JP2018072939A - Video processing program, video processing method, and video processing apparatus - Google Patents
Video processing program, video processing method, and video processing apparatus Download PDFInfo
- Publication number
- JP2018072939A JP2018072939A JP2016208821A JP2016208821A JP2018072939A JP 2018072939 A JP2018072939 A JP 2018072939A JP 2016208821 A JP2016208821 A JP 2016208821A JP 2016208821 A JP2016208821 A JP 2016208821A JP 2018072939 A JP2018072939 A JP 2018072939A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video processing
- ball
- detected
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
実施形態は、映像処理プログラム、映像処理方法、及び映像処理装置に関する。 Embodiments relate to a video processing program, a video processing method, and a video processing apparatus.
スポーツの試合映像を解析することにより、選手やボールの追跡を行う映像処理装置、映像処理方法、及び映像処理プログラムが知られている。このような映像処理装置は、例えば過去複数フレームの位置情報に基づいて現在のフレームにおけるボールの位置を予測して、その周辺領域を探索する。しかしこのような方法では、当該領域においてボールが見つからない場合に対応することが困難であった。 A video processing device, a video processing method, and a video processing program for tracking a player or a ball by analyzing a sports game video are known. Such a video processing device, for example, predicts the position of the ball in the current frame based on the position information of a plurality of past frames, and searches the surrounding area. However, with such a method, it is difficult to cope with a case where a ball is not found in the area.
スポーツの試合映像からボールや選手を画像認識で検出して追跡し、その移動軌跡を二次元フィールド上にマッピングすることが可能な映像処理装置、映像処理方法、及び映像処理プログラムを提供する。 Provided are a video processing device, a video processing method, and a video processing program capable of detecting and tracking a ball or a player from a sports game video by image recognition and mapping the movement trajectory onto a two-dimensional field.
実施形態の映像処理プログラムは、スポーツを撮影した映像を処理するためにコンピュータに、映像から第１物体と、第１物体と異なる複数の第２物体とを検出させ、検出された第１物体、及び複数の第２物体の位置を推定させることを映像におけるフレーム毎に繰り返し、あるフレームにおいて第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、第１物体の近傍に位置する第２物体が第１物体を保持しているとみなす。 The video processing program according to the embodiment causes a computer to detect a first object and a plurality of second objects different from the first object from the video in order to process an image of sports, and the detected first object, When the first object cannot be detected in a certain frame, the position of the plurality of second objects is repeatedly estimated for each frame in the video, and is positioned in the vicinity of the first object in the frame before the frame. It is assumed that the second object holds the first object.
以下に、実施形態について図面を参照して説明する。参照される図面は模式的なものである。以下の説明において、同一の機能及び構成を有する要素については、共通する参照符号を付す。参照符号を構成する数字の後のアルファベットは、同じ数字を含んだ参照符号によって参照され、且つ同様の構成を有する要素同士を区別するために使用される。同じ数字を含んだ参照符号で示される要素を相互に区別する必要がない場合、これらの要素は数字のみを含んだ参照符号により参照される。 Embodiments will be described below with reference to the drawings. The drawings referred to are schematic. In the following description, elements having the same function and configuration are denoted by common reference symbols. The alphabet after the number constituting the reference sign is referred to by the reference sign including the same number, and is used to distinguish elements having a similar structure. If it is not necessary to distinguish between elements indicated by reference signs containing the same numbers, these elements are referenced by reference signs containing only numbers.
［１］第１実施形態
以下に、第１実施形態に係る映像処理装置について説明する。
[1] First Embodiment A video processing apparatus according to the first embodiment will be described below.
［１−１］構成
［１−１−１］装置構成
まず、図１を用いて映像処理装置の全体構成について説明する。図１には映像処理装置のブロック図が示されている。図１に示すように映像処理装置１は、プロセッサ（ＣＰＵ）１０、ランダムアクセスメモリ（ＲＡＭ）１１、読み出し専用メモリ（ＲＯＭ）１２、記憶部１３、及びディスプレイ１４を備えている。
[1-1] Configuration [1-1-1] Apparatus Configuration First, the overall configuration of the video processing apparatus will be described with reference to FIG. FIG. 1 shows a block diagram of the video processing apparatus. As shown in FIG. 1, the video processing apparatus 1 includes a processor (CPU) 10, a random access memory (RAM) 11, a read-only memory (ROM) 12, a storage unit 13, and a display 14.
ＣＰＵ１０は、映像処理装置１全体の動作を制御する。例えばＣＰＵ１０は、ユーザーによる操作や外部の図示せぬホスト機器からの命令に応答して、後述する映像処理に用いるプログラムを実行する。またＣＰＵ１０は、記憶部１３のメモリ空間を管理する。 The CPU 10 controls the operation of the entire video processing apparatus 1. For example, the CPU 10 executes a program used for video processing to be described later in response to a user operation or a command from an external host device (not shown). Further, the CPU 10 manages the memory space of the storage unit 13.
ＲＡＭ１１は、ＣＰＵ１０の作業領域として使用されるメモリである。ＲＡＭ１１としては、例えばＤＲＡＭ等の半導体メモリが使用される。 The RAM 11 is a memory used as a work area for the CPU 10. For example, a semiconductor memory such as a DRAM is used as the RAM 11.
ＲＯＭ１２は、制御用のプログラムや制御データ等が予め記憶された不揮発性のメモリである。ＲＯＭ１２は、例えばＢＩＯＳ（Basic Input/Output System）を保持する。 The ROM 12 is a nonvolatile memory in which a control program, control data, and the like are stored in advance. The ROM 12 holds, for example, a basic input / output system (BIOS).
記憶部１３は、ユーザーが解析に使用する映像ファイルや、映像処理によって生成されたデータを記憶する。また記憶部１３は、映像処理に用いる種々のプログラムや、プログラムに関連するデータを保持する。記憶部１３に保持されたプログラムは、映像処理装置１が当該プログラムを実行する際に読み出され、ＲＡＭ１１に展開される。記憶部１３としては、例えばＳＳＤ（Solid State Drive）や、ハードディスクドライブが使用される。尚、記憶部１３はデータを記憶することが可能であれば良く、記憶部１３としてその他の記憶媒体を使用しても良い。 The storage unit 13 stores video files used for analysis by the user and data generated by video processing. The storage unit 13 holds various programs used for video processing and data related to the programs. The program held in the storage unit 13 is read when the video processing apparatus 1 executes the program, and is developed in the RAM 11. For example, an SSD (Solid State Drive) or a hard disk drive is used as the storage unit 13. The storage unit 13 only needs to be able to store data, and other storage media may be used as the storage unit 13.
ディスプレイ１４は、ＣＰＵ１０が種々のプログラムに対応するＧＵＩ（Graphical User Interface）等を表示する。例えばディスプレイ１４は、映像処理の結果を再生するために使用される。 The display 14 displays a GUI (Graphical User Interface) or the like corresponding to various programs by the CPU 10. For example, the display 14 is used for reproducing the result of the video processing.
尚、以上で説明した映像処理装置１の構成はあくまで一例であり、その他の構成であっても良い。例えば、映像処理装置１が記憶部１３及びディスプレイ１４を備えていなくても良い。この場合、映像処理装置１には、記憶部１３及びディスプレイ１４がそれぞれ外部接続される。 Note that the configuration of the video processing device 1 described above is merely an example, and other configurations may be used. For example, the video processing apparatus 1 may not include the storage unit 13 and the display 14. In this case, the storage unit 13 and the display 14 are externally connected to the video processing device 1.
また、以上の説明において、映像処理に用いるプログラムが記憶部１３に記憶されている場合を例に説明したが、これに限定されない。例えば、映像処理装置１が実行するプログラムを、図示せぬネットワーク上のサーバーに保持させても良い。この場合、映像処理装置１が映像処理を実行する際に、種々のプログラムがネットワーク上のサーバーから映像処理装置１に配信される。そして種々のプログラムを受信した映像処理装置１は、これらのプログラムをＲＡＭ１１に展開して、映像処理を実行する。 In the above description, the case where a program used for video processing is stored in the storage unit 13 is described as an example, but the present invention is not limited to this. For example, a program executed by the video processing apparatus 1 may be held in a server on a network (not shown). In this case, when the video processing device 1 executes video processing, various programs are distributed from the server on the network to the video processing device 1. The video processing apparatus 1 that has received various programs develops these programs in the RAM 11 and executes video processing.
［１−１−２］プログラム構成
次に、図２を用いて映像処理に用いるプログラムの構成について説明する。図２には、映像処理時にＲＡＭ１１に展開される種々のプログラムが示されている。図２に示すように映像処理を実行する場合にＲＡＭ１１には、メインプログラム２０、分析プログラム２１、再生プログラム２７、及びディスプレイデータ２８が展開される。
[1-1-2] Program Configuration Next, the configuration of a program used for video processing will be described with reference to FIG. FIG. 2 shows various programs developed in the RAM 11 during video processing. As shown in FIG. 2, when executing video processing, the RAM 11 is expanded with a main program 20, an analysis program 21, a reproduction program 27, and display data 28.
メインプログラム２０は、映像処理装置１において映像ファイルの分析処理と、分析処理により得られた分析データの再生処理とを選択的に実行するためのソフトウェアである。以下の説明において映像ファイルは、例えばスポーツの中継等に使用された試合映像であり、動画データ及び音声データを含むものとする。尚、本映像処理に対応する映像ファイルのフォーマットは特に限定されない。 The main program 20 is software for selectively executing video file analysis processing and analysis data reproduction processing obtained by the analysis processing in the video processing device 1. In the following description, the video file is, for example, a game video used for sports broadcasts, and includes moving image data and audio data. Note that the format of the video file corresponding to the video processing is not particularly limited.
分析プログラム２１は、種々のプログラムを実行することによって映像ファイルを分析するプログラムである。分析プログラム２１は、フィールド検出プログラム２２、物体検出プログラム２３、物***置推定プログラム２４、プレー種別判別プログラム２５、及びシーン分割プログラム２６を含んでいる。尚、この分析プログラム２１の構成はこれに限定されない。例えば、分析プログラム２１が１つのプログラムにより構成されていても良く、プログラム毎に分かれていなくても良い。 The analysis program 21 is a program for analyzing a video file by executing various programs. The analysis program 21 includes a field detection program 22, an object detection program 23, an object position estimation program 24, a play type determination program 25, and a scene division program 26. The configuration of the analysis program 21 is not limited to this. For example, the analysis program 21 may be configured by one program, and may not be divided for each program.
分析プログラム２１を実行することにより、ＣＰＵ１０は、図３に示すように例えばフィールド検出部３０、第１物体検出部３１Ａ、第２物体検出部３１Ｂ、チーム種別判別部３２、物***置推定部３３、移動方向推定部３４、移動速度推定部３５、プレー種別判別部３６、特定音検出部３７、及びシーン分割部３８として機能する。尚、本例ではＣＰＵ１０の処理毎に名称を変更して説明するが、ＣＰＵ１０は同時に複数の処理を実行することも可能である。 By executing the analysis program 21, as shown in FIG. 3, the CPU 10 has, for example, a field detection unit 30, a first object detection unit 31A, a second object detection unit 31B, a team type determination unit 32, an object position estimation unit 33, It functions as a movement direction estimation unit 34, a movement speed estimation unit 35, a play type determination unit 36, a specific sound detection unit 37, and a scene division unit 38. In this example, the name is changed for each process of the CPU 10, but the CPU 10 can execute a plurality of processes at the same time.
フィールド検出部３０は、ＣＰＵ１０がフィールド検出プログラム２２を実行することにより実現され、動画に表示されているフィールド領域を検出する。物体検出部３１及びチーム種別判別部３２は、ＣＰＵ１０が物体検出プログラム２３を実行することにより実現される。第１物体検出部３１Ａは、動画に表示されている人物を検出する。第２物体検出部３１Ｂは、動画に表示されているボールを検出する。チーム種別判別部３２は、動画に表示されている人物の種別を判別する。物***置推定部３３は、物***置推定プログラム２４を実行することにより実現され、フィールド、人物、及びボールの検出結果から、選手及びボールの移動軌跡を推定する。移動方向推定部３４、移動速度推定部３５、及びプレー種別判別部３６は、プレー種別判別プログラム２５を実行することにより実現される。移動方向推定部３４は、フィールド、人物及びボールの検出結果から、人物及びボールの移動方向を推定する。移動速度推定部３５は、フィールド、人物、及びボールの検出結果から、人物及びボールの移動速度を推定する。プレー種別判別部３６は、フィールド、人物、及びボールの検出結果から、映像ファイルの各時点におけるプレーの種別を判別する。特定音検出部３７及びシーン分割部３８は、ＣＰＵ１０がシーン分割プログラム２６を実行することにより実現される。特定音検出部３７は、音声データから審判のホイッスル音等の特定音を検出する。シーン分割部３８は、特定音検出部３７が特定音を検出したタイミングに基づいて、映像ファイルのシーンを分割する。 The field detection unit 30 is realized by the CPU 10 executing the field detection program 22 and detects a field region displayed in the moving image. The object detection unit 31 and the team type determination unit 32 are realized by the CPU 10 executing the object detection program 23. The first object detection unit 31A detects a person displayed in the moving image. The second object detection unit 31B detects the ball displayed in the moving image. The team type determination unit 32 determines the type of person displayed in the moving image. The object position estimation unit 33 is realized by executing the object position estimation program 24, and estimates the movement trajectory of the player and the ball from the detection result of the field, the person, and the ball. The movement direction estimation unit 34, the movement speed estimation unit 35, and the play type determination unit 36 are realized by executing the play type determination program 25. The movement direction estimation unit 34 estimates the movement direction of the person and the ball from the detection result of the field, the person and the ball. The moving speed estimation unit 35 estimates the moving speed of the person and the ball from the detection results of the field, the person, and the ball. The play type discriminating unit 36 discriminates the play type at each time point of the video file from the detection results of the field, the person, and the ball. The specific sound detection unit 37 and the scene division unit 38 are realized by the CPU 10 executing the scene division program 26. The specific sound detection unit 37 detects a specific sound such as a referee whistle sound from the audio data. The scene dividing unit 38 divides the scene of the video file based on the timing when the specific sound detecting unit 37 detects the specific sound.
再生プログラム２７は、分析された映像ファイルの再生処理を実行するプログラムである。再生処理には、例えば分析された映像ファイルと、関連付けられた分析データとが使用される。尚、再生処理に映像ファイルと分析データとを用いる場合を例に挙げているが、これに限定されない。例えば、分析データ自体に映像ファイルの動画データ及び音声データを含ませることによって、分析データのみで再生処理を実行することも可能である。 The playback program 27 is a program that executes playback processing of the analyzed video file. For example, the analyzed video file and the associated analysis data are used for the reproduction process. In addition, although the case where a video file and analysis data are used for a reproduction process is mentioned as an example, it is not limited to this. For example, by including moving image data and audio data of a video file in the analysis data itself, it is possible to execute the reproduction process using only the analysis data.
ディスプレイデータ２８は、各種プログラムに関連付けられた画像ファイルを含む。例えばＣＰＵ１０は、各種プログラムを実行した場合にディスプレイデータ２８内の対応する画像ファイルをディスプレイ１４に表示する。 The display data 28 includes image files associated with various programs. For example, the CPU 10 displays a corresponding image file in the display data 28 on the display 14 when various programs are executed.
＜フィールドの一例＞
以上で説明された映像処理装置１を用いて分析されるスポーツとしては、例えばラグビーが挙げられる。以下の説明では、ラグビーの試合映像を映像処理装置１によって分析する場合を例に使用する。本例に用いるラグビーのフィールド構成を図４に示す。
<Example of field>
Rugby is mentioned as a sport analyzed using the image processing apparatus 1 demonstrated above, for example. In the following description, the case where the video processing device 1 analyzes a rugby game video is used as an example. FIG. 4 shows the field configuration of rugby used in this example.
図４に示すようにラグビーのフィールドＦＬＤには、ゴールライン４０Ａ及び４０Ｂ、ハーフウェイライン４１、１０メートルライン４２Ａ及び４２Ｂ、２２メートルライン４３Ａ及び４３Ｂ、タッチライン４４Ａ及び４４Ｂ、５メートルライン４５Ａ及び４５Ｂ、並びに１５メートルライン４６Ａ及び４６Ｂが設けられる。そしてゴールライン４０Ａ及び４０Ｂ上にはそれぞれ、ゴールポスト４７Ａ及び４７Ｂが設置される。 As shown in FIG. 4, rugby field FLD includes goal lines 40A and 40B, halfway line 41, 10 meter lines 42A and 42B, 22 meter lines 43A and 43B, touch lines 44A and 44B, and 5 meter lines 45A and 45B. , And 15 meter lines 46A and 46B. Goal posts 47A and 47B are installed on the goal lines 40A and 40B, respectively.
フィールドＦＬＤ全体のサイズは、タッチライン４４Ａ及び４４Ｂ間が７０メートル以内、ゴールライン４０Ａ及び４０Ｂ間が１００メートル以内に設定される。尚、フィールドＦＬＤ内のラインのうち、ハーフウェイライン４１と１０メートルライン４２との間隔は試合会場に依らず一定であり、ハーフウェイライン４１と２２メートルライン４３との間隔は試合会場に依らず一定である。同様に、タッチライン４４と５メートルライン４５との間隔試合会場に依らず一定であり、タッチライン４４と１５メートルライン４６との間隔は試合会場に依らず一定である。 The size of the entire field FLD is set within 70 meters between the touch lines 44A and 44B and within 100 meters between the goal lines 40A and 40B. Of the lines in the field FLD, the distance between the halfway line 41 and the 10 meter line 42 is constant regardless of the game venue, and the distance between the halfway line 41 and the 22 meter line 43 is independent of the game venue. It is constant. Similarly, the distance between the touch line 44 and the 5 meter line 45 is constant regardless of the game venue, and the distance between the touch line 44 and the 15 meter line 46 is constant regardless of the game venue.
［１−２］動作
［１−２−１］メインプログラム２０
次に、図５を用いてメインプログラム２０に基づいた映像処理装置１の動作について説明する。図５には、メインプログラム２０による映像処理装置１の動作フローチャートが示されている。図５に示すようにまずＣＰＵ１０は、ユーザーに動作の選択を要求する（ステップＳ１０）。このときユーザーは、例えば“分析処理”と“再生処理”のいずれかを選択することが出来る。
[1-2] Operation [1-2-1] Main Program 20
Next, the operation of the video processing apparatus 1 based on the main program 20 will be described using FIG. FIG. 5 shows an operation flowchart of the video processing apparatus 1 by the main program 20. As shown in FIG. 5, first, the CPU 10 requests the user to select an operation (step S10). At this time, for example, the user can select either “analysis processing” or “reproduction processing”.
映像処理装置１がユーザーからの分析処理命令を受け付けると、ＣＰＵ１０はユーザーに分析処理を実行する映像ファイルの選択を要求する。そして映像処理装置１がユーザーによる映像ファイルの選択を受け付けると（ステップＳ１１）、ＣＰＵ１０は分析プログラム２１を実行して映像ファイルを分析する（ステップＳ１２）。この映像ファイルの分析方法の詳細については後述する。映像ファイルの分析が終了すると、ＣＰＵ１０は得られた分析データを映像ファイルに関連付けて記憶部１３に保存し（ステップＳ１３）、メインプログラム２０による処理を終了する。 When the video processing apparatus 1 receives an analysis processing command from the user, the CPU 10 requests the user to select a video file for executing the analysis processing. When the video processing apparatus 1 accepts selection of a video file by the user (step S11), the CPU 10 executes the analysis program 21 and analyzes the video file (step S12). Details of this video file analysis method will be described later. When the analysis of the video file is finished, the CPU 10 stores the obtained analysis data in the storage unit 13 in association with the video file (step S13), and the processing by the main program 20 is finished.
一方で、映像処理装置１がユーザーからの再生処理命令を受け付けると、ＣＰＵ１０はユーザーに再生処理を実行する分析データの選択を要求する。そして映像処理装置１がユーザーによる分析データの選択を受け付けると（ステップＳ１４）、ＣＰＵ１０は再生プログラム２７を実行して映像ファイルの分析結果を表示する（ステップＳ１５）。この分析結果の表示方法の具体例については後述する。分析データの表示が終了すると、ＣＰＵ１０はメインプログラム２０による処理を終了する。 On the other hand, when the video processing apparatus 1 receives a reproduction processing command from the user, the CPU 10 requests the user to select analysis data for executing the reproduction processing. When the video processing apparatus 1 accepts selection of analysis data by the user (step S14), the CPU 10 executes the reproduction program 27 and displays the analysis result of the video file (step S15). A specific example of this analysis result display method will be described later. When the display of the analysis data ends, the CPU 10 ends the processing by the main program 20.
尚、以上で説明したメインプログラム２０による動作は一例であり、これに限定されない。例えば、ユーザーが分析したい映像ファイルを選択すると、ＣＰＵ１０が分析プログラム２１を実行して、続けて再生プログラム２７を実行するようにしても良い。このように映像処理装置１は、分析したい映像ファイルを選択するだけで当該映像ファイルの分析結果を続けて表示させることも可能である。 In addition, the operation | movement by the main program 20 demonstrated above is an example, and is not limited to this. For example, when the user selects a video file to be analyzed, the CPU 10 may execute the analysis program 21 and then execute the reproduction program 27. As described above, the video processing apparatus 1 can continuously display the analysis result of the video file only by selecting the video file to be analyzed.
［１−２−２］分析プログラム２１
次に、分析プログラム２１に基づいた映像処理装置１の動作について説明する。分析プログラム２１が実行されると、ＣＰＵ１０がフィールド検出プログラム２２、物体検出プログラム２３、及び物***置推定プログラム２４を実行して、フィールド検出部３０、物体検出部３１、及び物***置推定部３３として機能する。この分析処理における映像処理装置１の全体的な動作フローチャートが図６に示されている。尚、個々のステップの詳細については後述する。
[1-2-2] Analysis program 21
Next, the operation of the video processing apparatus 1 based on the analysis program 21 will be described. When the analysis program 21 is executed, the CPU 10 executes the field detection program 22, the object detection program 23, and the object position estimation program 24, and functions as the field detection unit 30, the object detection unit 31, and the object position estimation unit 33. To do. An overall operation flowchart of the video processing apparatus 1 in this analysis processing is shown in FIG. Details of each step will be described later.
図６に示すように、まずフィールド検出部３０が試合映像からフィールド領域を検出する（ステップＳ２０）。そしてフィールド検出部３０は、検出したフィールド領域が対応するフィールド全体からみた座標の情報を算出して、物体検出部３１及び物***置推定部３３に送信する（図示せず）。また物体検出部３１は、試合映像から選手及びボールを検出する（ステップＳ２１）。このとき物体検出部３１は、フィールド検出部３０からの座標情報と、選手及びボールの映像上の位置から、選手及びボールのフィールド上の座標を確定する。そして物***置推定部３３は、物体検出部３１が確定させた選手及びボールの座標情報を受けて、選手及びボールをそれぞれ追跡する（ステップＳ２２）。このステップＳ２０〜Ｓ２２における動作は、本分析処理において継続して実行される。 As shown in FIG. 6, the field detection unit 30 first detects a field region from the game video (step S20). Then, the field detection unit 30 calculates coordinate information viewed from the entire field corresponding to the detected field region, and transmits the information to the object detection unit 31 and the object position estimation unit 33 (not shown). Moreover, the object detection part 31 detects a player and a ball from a game image | video (step S21). At this time, the object detection unit 31 determines the coordinates of the player and the ball on the field from the coordinate information from the field detection unit 30 and the positions on the video of the player and the ball. Then, the object position estimation unit 33 receives the player and ball coordinate information determined by the object detection unit 31, and tracks the player and the ball, respectively (step S22). The operations in steps S20 to S22 are continuously executed in the present analysis process.
試合進行に伴い物体検出部３１は、ボールが選手の陰に隠れる等の影響によってボールを見失うことがある（ステップＳ２３）。このとき物***置推定部３３は、物体検出部３１がボールを見失ったことを検知する。そして物***置推定部３３は、物体検出部３１がボールを見失った位置に対して例えば直近にいる選手をボール保持者とみなして追跡する（ステップＳ２４）。 As the game progresses, the object detection unit 31 may lose sight of the ball due to an influence such as hiding the ball behind the player (step S23). At this time, the object position estimation unit 33 detects that the object detection unit 31 has lost sight of the ball. Then, the object position estimation unit 33 tracks the player who is closest to the position where the object detection unit 31 loses sight of the ball, for example, as a ball holder (step S24).
その後、物体検出部３１がボール保持者の近傍でボールを再検出すると（ステップＳ２５）、物***置推定部３３はボールが再検出されたことを検知する。そして物***置推定部３３は、ボール保持者の移動軌跡からボールの位置を推定する（ステップＳ２６）。具体的には、ボールを見失っていた期間におけるボールの移動軌跡を、例えばボール保持者と同じであるとみなす。 Thereafter, when the object detection unit 31 redetects the ball in the vicinity of the ball holder (step S25), the object position estimation unit 33 detects that the ball has been redetected. Then, the object position estimation unit 33 estimates the position of the ball from the movement locus of the ball holder (step S26). Specifically, the movement trajectory of the ball during the period in which the ball is lost is considered to be the same as that of the ball holder, for example.
このように映像処理装置１は、試合映像でボールが検出されない期間が存在していても、試合中のボールの位置を連続的に把握することが出来る。以下に、本分析処理を実現するためのフィールド検出部３０、物体検出部３１、チーム種別判別部３２、及び物***置推定部３３による映像処理装置１の詳細な動作の一例を順に説明する。 As described above, the video processing device 1 can continuously grasp the position of the ball in the game even when there is a period in which the ball is not detected in the game video. Hereinafter, an example of detailed operations of the video processing apparatus 1 by the field detection unit 30, the object detection unit 31, the team type determination unit 32, and the object position estimation unit 33 for realizing the analysis processing will be described in order.
＜フィールド検出部３０＞
まず、図７及び図８を用いてフィールド検出プログラム２２に基づいた映像処理装置１の詳細な動作について説明する。図７にはフィールド検出プログラム２２による映像処理装置１の動作フローチャートが示され、図８にはフィールド検出プログラム２２による分析の対象となるフィールド映像の一例が示されている。
<Field detection unit 30>
First, the detailed operation of the video processing apparatus 1 based on the field detection program 22 will be described with reference to FIGS. FIG. 7 shows a flowchart of the operation of the video processing apparatus 1 by the field detection program 22, and FIG. 8 shows an example of a field video to be analyzed by the field detection program 22.
図７に示すようにまずフィールド検出部３０は、動画データからフィールド検出処理を実行するフレームを選択する（ステップＳ３０）。このとき選択されるフレームは、例えば選択された動画データの１フレーム目に対応する。 As shown in FIG. 7, the field detection unit 30 first selects a frame for performing field detection processing from the moving image data (step S30). The frame selected at this time corresponds to, for example, the first frame of the selected moving image data.
次にフィールド検出部３０は、当該フレームの映像ＶＴＲからフィールド領域を抽出する（ステップＳ３１）。フィールド領域は、例えばフィールドの色に基づいて映像ＶＴＲから抽出される。このフィールドの色情報はユーザーが予め設定しても良いし、フィールド検出部３０が映像ＶＴＲにおいて広範囲を占める色をフィールドの色とみなしても良い。またフィールド検出部３０は、緑色の面積が大きい領域をフィールドとしてみなしても良い。 Next, the field detection unit 30 extracts a field region from the video VTR of the frame (step S31). The field region is extracted from the video VTR based on the color of the field, for example. The color information of this field may be set in advance by the user, or the field detection unit 30 may regard the color occupying a wide range in the video VTR as the color of the field. Further, the field detection unit 30 may regard a region having a large green area as a field.
次にフィールド検出部３０は、映像ＶＴＲからラインを検出する（ステップＳ３２）。具体的には、例えばステップＳ３１において抽出されたフィールド領域内を、フィールドの色でマスクする。これによりフィールド領域内の前景が抽出され、フィールド検出部３０は前景からフィールド領域内のラインを検出することが可能となる。図８に示す例においてフィールド検出部３０は、横方向に延びるラインＬ１及びＬ２と、縦方向に延びるラインＬ３及びＬ４とを検出している。以下の説明において、ラインＬ１が映像ＶＴＲの外周部に接する領域のことを端部Ｅ１及びＥ２と呼び、ラインＬ２が映像ＶＴＲの外周部に接する領域のことを端部Ｅ３及びＥ４と呼ぶ。 Next, the field detection unit 30 detects a line from the video VTR (step S32). Specifically, for example, the field region extracted in step S31 is masked with the field color. As a result, the foreground in the field area is extracted, and the field detection unit 30 can detect a line in the field area from the foreground. In the example shown in FIG. 8, the field detection unit 30 detects lines L1 and L2 extending in the horizontal direction and lines L3 and L4 extending in the vertical direction. In the following description, the region where the line L1 is in contact with the outer periphery of the video VTR is referred to as ends E1 and E2, and the region where the line L2 is in contact with the outer periphery of the video VTR is referred to as ends E3 and E4.
次にフィールド検出部３０は、映像ＶＴＲに表示された領域の座標演算処理を実行する（ステップＳ３３）。座標演算処理は、映像ＶＴＲに表示されたフィールド領域がフィールド全体のどの座標に対応するのかを関連付ける処理である。例えば、図８に示すようにラインＬ１〜Ｌ４が検出された場合、まずフィールド検出部３０はラインＬ１〜Ｌ４がフィールド内のどのラインに対応するかを判別する。 Next, the field detection unit 30 executes coordinate calculation processing for the area displayed in the video VTR (step S33). The coordinate calculation process is a process of associating which coordinate of the entire field corresponds to the field area displayed on the video VTR. For example, when the lines L1 to L4 are detected as shown in FIG. 8, the field detection unit 30 first determines to which line in the field the lines L1 to L4 correspond.
具体的にはフィールド検出部３０は、例えば検出されたラインの間隔や、ラインの線種を確認することによって検出されたラインの種別を確定させる。図８に示す例の場合フィールド検出部３０は、例えば横方向に延びるラインＬ１及びＬ２が実線であることから、ラインＬ１及びＬ２がそれぞれタッチライン４４Ａ及び４４Ｂであることを判別する。またフィールド検出部３０は、縦方向に延びるラインＬ３が実線であり、ラインＬ４が破線であることと、ラインＬ３とラインＬ４の間隔から、ラインＬ３が２２メートルライン４３Ａであり、ラインＬ４が１０メートルライン４２Ａであることを判別する。 Specifically, the field detection unit 30 determines the type of the detected line by confirming the interval between the detected lines and the line type of the line, for example. In the case of the example shown in FIG. 8, the field detection unit 30 determines that the lines L1 and L2 are the touch lines 44A and 44B, respectively, since the lines L1 and L2 extending in the horizontal direction are solid lines, for example. The field detection unit 30 also determines that the line L3 is a 22 meter line 43A and the line L4 is 10 based on the fact that the line L3 extending in the vertical direction is a solid line, the line L4 is a broken line, and the distance between the lines L3 and L4. It is determined that it is the meter line 42A.
そしてフィールド検出部３０は、判別したラインＬ１〜Ｌ４の情報と、映像ＶＴＲの表示領域の情報とから、映像ＶＴＲに表示された領域が、フィールド全体のどの座標に対応するのかを演算する。図８に示す映像ＶＴＲに対して座標演算処理を実行した場合、図９に示すような情報が得られる。図９に示すように二次元フィールドＦＬＤ内には、映像ＶＴＲの端部Ｅ１〜Ｅ４を順に繋いだ領域が示され、映像領域外が斜線でマスクされている。ここで二次元フィールドＦＬＤとは、フィールド全体が表示されたフィールドの画像のことを示している。そしてフィールド検出部３０は、このように関連付けられた映像ＶＴＲの座標データを記憶部１３に保存する。 Then, the field detection unit 30 calculates which coordinate in the entire field corresponds to the area displayed on the video VTR from the information on the determined lines L1 to L4 and the information on the display area of the video VTR. When coordinate calculation processing is executed on the video VTR shown in FIG. 8, information as shown in FIG. 9 is obtained. As shown in FIG. 9, in the two-dimensional field FLD, an area where the end portions E1 to E4 of the video VTR are connected in order is shown, and the outside of the video area is masked with diagonal lines. Here, the two-dimensional field FLD indicates a field image in which the entire field is displayed. Then, the field detection unit 30 stores the coordinate data of the video VTR thus associated in the storage unit 13.
次にフィールド検出部３０は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ３４）。処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ３４、ＮＯ）、フィールド検出部３０はステップ２０に戻り、続くフレームを選択して同様の処理を実行する。一方で、処理を実行したフレームが最後のフレームに該当した場合（ステップＳ３４、ＹＥＳ）、フィールド検出部３０はフィールド検出プログラム２２の実行を終了する。 Next, the field detection unit 30 checks whether or not the frame that has been processed so far is the last frame (step S34). When the processed frame does not correspond to the last frame (step S34, NO), the field detection unit 30 returns to step 20, selects the subsequent frame, and executes the same processing. On the other hand, when the frame that has been processed corresponds to the last frame (step S34, YES), the field detection unit 30 ends the execution of the field detection program 22.
尚、上記説明におけるラインの判別方法はあくまで一例であり、これに限定されない。例えば、フィールドＦＬＤ内に設けられたフラグを認識することによってタッチライン４４を判別するようにしても良いし、ゴールポスト４７Ａ及び４７Ｂを認識することによってゴールライン４０Ａ及び４０Ｂ上を判別するようにしても良い。 Note that the line determination method in the above description is merely an example, and the present invention is not limited to this. For example, the touch line 44 may be discriminated by recognizing the flag provided in the field FLD, or the goal lines 40A and 40B may be discriminated by recognizing the goal posts 47A and 47B. Also good.
また、上記説明においてフレーム毎にフィールド検出処理を実行した場合を例に説明したが、これに限定されない。例えばフィールド検出部３０は、フィールドを検出した後の処理において、続くフレームとの映像の差分を確認することによりフィールド及びラインを判別しても良い。 In the above description, the case where the field detection process is executed for each frame has been described as an example, but the present invention is not limited to this. For example, the field detection unit 30 may determine the field and the line by confirming the video difference from the subsequent frame in the processing after detecting the field.
＜物体検出部３１及びチーム種別判別部３２＞
次に、図１０及び図１１を用いて物体検出プログラム２３に基づいた映像処理装置１の詳細な動作について説明する。図１０には物体検出プログラム２３による映像処理装置１の動作フローチャートが示され、図１１には物体検出プログラム２３による分析の対象となる試合映像の一例が示されている。
<Object detection unit 31 and team type determination unit 32>
Next, detailed operations of the video processing apparatus 1 based on the object detection program 23 will be described with reference to FIGS. 10 and 11. FIG. 10 shows an operation flowchart of the video processing apparatus 1 by the object detection program 23, and FIG. 11 shows an example of a game video to be analyzed by the object detection program 23.
図１０に示すようにまず物体検出部３１は、動画データから物体検出処理を実行するフレームを選択する（ステップＳ４０）。このとき選択されるフレームは、例えば選択された映像ＶＴＲの１フレーム目に対応する。 As shown in FIG. 10, the object detection unit 31 first selects a frame for executing object detection processing from the moving image data (step S40). The frame selected at this time corresponds to, for example, the first frame of the selected video VTR.
次に物体検出部３１は、当該フレームの映像ＶＴＲからフィールド上の物体を抽出する（ステップＳ４１）。このステップＳ４１における画像処理は、図７を用いて説明したステップＳ３２における画像処理と同様であり、フィールド領域内の前景を抽出することにより物体を検出する。 Next, the object detection unit 31 extracts an object on the field from the video VTR of the frame (step S41). The image processing in step S41 is similar to the image processing in step S32 described with reference to FIG. 7, and an object is detected by extracting the foreground in the field area.
次に物体検出部３１は、フィールド領域内の前景として抽出された物体が人物であるか、ボールであるかを判別する（ステップＳ４２）。具体的には、図１１に示すように第１物体検出部３１Ａが選手Ｐ１〜Ｐ８を判別し、第２物体検出部３１ＢがボールＢＬを判別する。また第１物体検出部３１Ａは、選手が複数人接触しているような状況を確認した場合、その複数の選手の塊を密集ＨＤとして認識する。この密集ＨＤは、ラグビーの場合スクラム、ラック、モール等に対応している。 Next, the object detection unit 31 determines whether the object extracted as the foreground in the field area is a person or a ball (step S42). Specifically, as shown in FIG. 11, the first object detection unit 31A determines the players P1 to P8, and the second object detection unit 31B determines the ball BL. Moreover, 31 A of 1st object detection parts recognize the mass of the several player as dense HD, when the situation where the player has contacted several persons is confirmed. This dense HD corresponds to scrum, rack, mall, etc. in the case of rugby.
そしてチーム種別判別部３２が、抽出した選手の色情報からチーム種別を判別する（ステップＳ４３）。具体的にはチーム種別判別部３２が、例えば選手Ｐ１〜Ｐ８が検出された矩形の領域において、似た特徴の色情報を有する人物をグループ分けする。図１１に示す例では選手Ｐ１〜Ｐ４が黒色のユニフォームを身につけ、選手Ｐ５〜Ｐ８が白色のユニフォームを身につけていることから、チーム種別判別部３２は選手Ｐ１〜Ｐ４をＡチームに分類し、選手Ｐ５〜Ｐ８をＢチームに分類する。 Then, the team type determination unit 32 determines the team type from the extracted player color information (step S43). Specifically, the team type determination unit 32 groups persons having color information with similar characteristics in a rectangular area where, for example, the players P1 to P8 are detected. In the example shown in FIG. 11, since the players P1 to P4 are wearing black uniforms and the players P5 to P8 are wearing white uniforms, the team type determination unit 32 classifies the players P1 to P4 as A teams. The players P5 to P8 are classified into the B team.
次に物体検出部３１は、フィールド上に検出された物体の座標を算出する（ステップＳ３４）。具体的には、フィールド検出プログラム２２によって得られたフィールド領域の座標情報に基づいて、第１物体検出部３１Ａが選手Ｐ１〜Ｐ８及び密集ＨＤの二次元フィールドＦＬＤ上における座標を算出し、第２物体検出部３１ＢがボールＢＬの二次元フィールドＦＬＤ上における座標を算出する。図１１に示す映像ＶＴＲに対して座標演算処理を実行した場合、図１２に示すような情報が得られる。図１２に示すように二次元フィールドＦＬＤ内には、選手Ｐ１〜Ｐ４が黒丸で示され、選手Ｐ５〜Ｐ８が白丸で示され、密集ＨＤが破線の円で示され、ボールＢＬが楕円で示されている。そして物体検出部３１は、このように関連付けられた選手Ｐ１〜Ｐ８、密集ＨＤ、及びボールＢＬの情報を記憶部１３に保存する。 Next, the object detection unit 31 calculates the coordinates of the object detected on the field (step S34). Specifically, based on the coordinate information of the field area obtained by the field detection program 22, the first object detection unit 31A calculates the coordinates on the two-dimensional field FLD of the players P1 to P8 and the dense HD, The object detection unit 31B calculates the coordinates of the ball BL on the two-dimensional field FLD. When coordinate calculation processing is executed on the video VTR shown in FIG. 11, information as shown in FIG. 12 is obtained. As shown in FIG. 12, in the two-dimensional field FLD, the players P1 to P4 are indicated by black circles, the players P5 to P8 are indicated by white circles, the dense HD is indicated by a dashed circle, and the ball BL is indicated by an ellipse. Has been. And the object detection part 31 preserve | saves the information of the players P1-P8, dense HD, and ball | bowl BL which were linked | related in this way in the memory | storage part 13. FIG.
次に物体検出部３１は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ４５）。処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ４５、ＮＯ）、ステップ４０に戻り、物体検出部３１は続くフレームを選択して同様の処理を実行する。一方で、処理を実行したフレームが最後のフレームに該当した場合（ステップＳ４５、ＹＥＳ）、物体検出部３１は物体検出プログラム２３の実行を終了する。 Next, the object detection unit 31 checks whether or not the frame that has been processed so far is the last frame (step S45). When the processed frame does not correspond to the last frame (step S45, NO), the process returns to step 40, and the object detection unit 31 selects the subsequent frame and executes the same process. On the other hand, when the processed frame corresponds to the last frame (step S45, YES), the object detection unit 31 ends the execution of the object detection program 23.
尚、以上で説明したステップＳ４１において第２物体検出部３１Ｂは、例えば予め登録されたボールの大きさ、形状、及び色情報に基づいてボールを探索して検出する。このボールの情報は、ユーザーによって入力されても良いし、ユーザーが幾つかのメーカー、型番等の情報を選択して、プリセットされたデータが参照されるようにしても良い。 In step S41 described above, the second object detection unit 31B searches for and detects a ball based on, for example, pre-registered ball size, shape, and color information. The ball information may be input by the user, or the user may select information on several manufacturers, model numbers, etc., and the preset data may be referred to.
また、以上の説明において第１物体検出部３１Ａが複数の選手の塊を密集ＨＤとして認識する場合を例に説明したが、第１物体検出部３１Ａが密集とみなす人数は２人以上に限定されず、任意の人数に設定することが出来る。 In the above description, the case where the first object detection unit 31A recognizes a mass of a plurality of players as the dense HD has been described as an example. However, the number of people regarded as the dense by the first object detection unit 31A is limited to two or more. It can be set to any number of people.
また、以上で説明したステップＳ３１及びＳ３２において、第１物体検出部３１Ａが検出する人物としては、選手以外にも主審、線審、リザーブの選手等が検出されることがある。この場合に第１物体検出部３１Ａは、例えば主審及び線審がＡチーム及びＢチームの選手と異なる色情報を有することと、当該グループに属する物体の人数等から、主審及び線審を判別することが出来る。また、第１物体検出部３１Ａは、例えばフィールド領域のうちタッチライン４４より外側にいる人物をその時点でプレーをしていない選手であるとみなすことによって、リザーブの選手を判別することが出来る。 In addition, in steps S31 and S32 described above, as a person detected by the first object detection unit 31A, a referee, a referee, a reserve player, and the like may be detected in addition to the player. In this case, for example, the first object detection unit 31A can determine the referee and the line referee from the fact that the referee and the line referee have different color information from the players of the team A and the team B and the number of objects belonging to the group. I can do it. In addition, the first object detection unit 31A can determine the reserved player by regarding a person outside the touch line 44 in the field area as a player who is not playing at that time, for example.
また、上記説明においてフレーム毎に物体検出処理を実行した場合を例に説明したが、これに限定されない。例えば物体検出部３１は、物体を検出した後の処理において、続くフレームとの映像の差分を確認することにより選手及びボールを判別しても良い。 In the above description, the case where the object detection process is executed for each frame has been described as an example. However, the present invention is not limited to this. For example, the object detection unit 31 may determine the player and the ball by confirming the difference in video from the subsequent frame in the processing after detecting the object.
＜物***置推定部３３＞
次に、図１３を用いて物***置推定プログラム２４に基づいた映像処理装置１の詳細な動作について説明する。図１３には、物***置推定プログラム２４による映像処理装置１の動作フローチャートが示されている。
<Object position estimation unit 33>
Next, the detailed operation of the video processing apparatus 1 based on the object position estimation program 24 will be described with reference to FIG. FIG. 13 shows an operation flowchart of the video processing apparatus 1 by the object position estimation program 24.
図１３に示すようにまず物***置推定部３３は、動画データから物***置推定処理を実行するフレームを選択する（ステップＳ５０）。次に物***置推定部３３は、物体検出プログラム２３によって算出された選手及びボールの座標情報を参照して追跡する（ステップＳ５１）。 As shown in FIG. 13, the object position estimation unit 33 first selects a frame for executing the object position estimation process from the moving image data (step S50). Next, the object position estimation unit 33 performs tracking with reference to the coordinate information of the player and the ball calculated by the object detection program 23 (step S51).
次に物***置推定部３３は、当該フレームの映像ＶＴＲにおいて、ボールが検出されたかどうかを確認する（ステップＳ５２）。 Next, the object position estimating unit 33 confirms whether or not a ball is detected in the video VTR of the frame (step S52).
ステップＳ５２においてボールが検出されなかった場合（ステップＳ５２、ＮＯ）、物***置推定部３３は、ボール保持者が設定されているかどうかを確認する（ステップＳ５３）。ボール保持者が設定されていない場合（ステップＳ５３、ＮＯ）、物***置推定部３３は、ボールを見失った場所に最も近い選手をボール保持者とみなしてボール保持者情報を付与する（ステップＳ５４）。そして物***置推定部３３は、ステップＳ５３においてボール保持者が設定されていなかった場合（ステップＳ５３、ＹＥＳ）と、ステップＳ５４の処理後に、ステップＳ５６に移行する。 When a ball is not detected in step S52 (step S52, NO), the object position estimating unit 33 checks whether or not a ball holder is set (step S53). When the ball holder is not set (step S53, NO), the object position estimating unit 33 regards the player closest to the place where the ball is lost as the ball holder and gives the ball holder information (step S54). . When the ball holder is not set in step S53 (step S53, YES), the object position estimation unit 33 proceeds to step S56 after the process of step S54.
ステップＳ５２においてボールが検出された場合（ステップＳ５２、ＹＥＳ）、物***置推定部３３は、ボール保持者設定がされている場合にはその設定を解除して、当該選手のボール保持者としての追跡を停止する（ステップＳ５５）。つまり選手に付与されたボール保持者情報は、ボールが再検出された時点で解除される。そして物***置推定部３３は、ステップＳ５５の処理後に、ステップＳ５６に移行する
ステップＳ５５において物***置推定部３３は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ５５）。
If a ball is detected in step S52 (step S52, YES), the object position estimation unit 33 cancels the setting when the ball holder is set, and tracks the player as the ball holder. Is stopped (step S55). That is, the ball holder information given to the player is released when the ball is re-detected. Then, the object position estimation unit 33 proceeds to step S56 after the process of step S55. In step S55, the object position estimation unit 33 confirms whether or not the frame that has been processed so far is the last frame (step S55). ).
処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ５６、ＮＯ）、ステップＳ５０に戻り、物体検出部３１は続くフレームを選択して、同様の処理を実行する。 When the processed frame does not correspond to the last frame (step S56, NO), the process returns to step S50, and the object detection unit 31 selects the subsequent frame and executes the same process.
処理を実行したフレームが最後のフレームに該当した場合（ステップＳ５６、ＹＥＳ）、物***置推定部３３はボール保持者の情報から、動画データにおけるボールの位置を推定する（ステップＳ５７）。そして物***置推定部３３は、推定した選手及びボールの移動軌跡の情報を記憶部１３に保存して、物***置推定プログラム２４の実行を終了する。 When the processed frame corresponds to the last frame (step S56, YES), the object position estimation unit 33 estimates the position of the ball in the moving image data from the information of the ball holder (step S57). Then, the object position estimation unit 33 stores the estimated player and ball movement trajectory information in the storage unit 13 and ends the execution of the object position estimation program 24.
以上で説明した物***置推定プログラムによってボール保持者が設定される状況の具体例を、図１４及び図１５を用いて説明する。 A specific example of the situation in which the ball holder is set by the object position estimation program described above will be described with reference to FIGS.
図１４は、見失う前のボールＢＬ付近に密集ＨＤがない場合の一例である。図１４の（１）には選手Ｐ１及びＰ２が示され、選手Ｐ１がボールＢＬを保持している状況が示されている。この状況から、選手Ｐ１が保持していたボールＢＬが映像から見えなくなったと仮定する。すると図１４の（２）に示すように、物***置推定部３３は、見失ったボールＢＬの直近にいた選手Ｐ１にボール保持者情報を付与し、選手Ｐ１をボール保持者として追跡する。 FIG. 14 is an example in the case where there is no dense HD near the ball BL before losing sight. FIG. 14 (1) shows players P1 and P2, and shows a situation where the player P1 holds the ball BL. From this situation, it is assumed that the ball BL held by the player P1 is no longer visible from the video. Then, as shown in (2) of FIG. 14, the object position estimation unit 33 gives the ball holder information to the player P1 who is closest to the lost ball BL, and tracks the player P1 as the ball holder.
図１５は見失う前のボールＢＬ付近に密集ＨＤがある場合の一例である。図１５の（１）にはＡチームの選手Ｐ１〜Ｐ３、Ｂチームの選手Ｐ４〜Ｐ６、及び密集ＨＤが示され、選手Ｐ１がボールＢＬを保持している状況が示されている。この状況から、選手Ｐ１が保持していたボールＢＬが映像から見えなくなったと仮定する。すると図１５の（２）に示すように、物***置推定部３３は、見失ったボールＢＬの付近にあった密集ＨＤにボール保持者情報を付与し、密集ＨＤをボール保持者として追跡する。 FIG. 15 is an example in the case where there is a dense HD near the ball BL before losing sight. FIG. 15 (1) shows the players P1 to P3 of the A team, the players P4 to P6 of the B team, and the crowded HD, and the situation where the player P1 holds the ball BL. From this situation, it is assumed that the ball BL held by the player P1 is no longer visible from the video. Then, as shown in (2) of FIG. 15, the object position estimation unit 33 gives the ball holder information to the dense HD near the lost ball BL, and tracks the dense HD as the ball holder.
このようにボール保持者情報を付与する対象は、見失ったボール付近の密集ＨＤの有無によって変更してもよい。尚、本例における「付近」の指定する範囲は、任意の数値に設定することが出来る。 Thus, the target to which the ball holder information is given may be changed depending on the presence or absence of the dense HD near the lost ball. Note that the range designated by “near” in this example can be set to any numerical value.
［１−３］第１実施形態の効果
ラグビー等のスポーツにおける試合映像では、ボールが選手やボール付近に形成された密集（スクラム、モール、ラック等）の陰に隠れて見えなくなることがある。
[1-3] Effects of First Embodiment In a game image in sports such as rugby, the ball may be hidden behind a player or a crowd (such as a scrum, a mall, or a rack) formed near the ball.
そこで第１実施形態に係る映像処理装置１は、スポーツの試合映像の分析処理において、ボールを見失った場合にボール保持者を設定して追跡する。具体的には、物体検出部３１が常にボール及び選手の検出を実行して、物体検出部３１がボールを検出できない場合に、物***置推定部３３が最後にボールを検出した位置に最も近い選手に対してボール保持者情報を付与して追跡する。そして物***置推定部３３は、設定したボール保持者情報を、物体検出部３１がボールを再検出するまで維持する。 Therefore, the video processing device 1 according to the first embodiment sets and tracks the ball holder when the player loses sight of the ball in the analysis process of the sports game video. Specifically, when the object detection unit 31 always detects the ball and the player and the object detection unit 31 cannot detect the ball, the player closest to the position where the object position estimation unit 33 last detected the ball. The ball holder information is given to and tracked. The object position estimation unit 33 maintains the set ball holder information until the object detection unit 31 redetects the ball.
これにより物***置推定部３３は、物体検出部３１が検知できなかったボールの軌跡を補間することが出来る。言い換えると物***置推定部３３は、ボールを見失った際にボール保持者を追跡することによって、ボールの移動軌跡を連続的に把握することが可能となる。つまり第１実施形態に係る映像処理装置１は、スポーツの試合映像の分析処理におけるボールの追跡精度を向上することが出来る。 Thereby, the object position estimation unit 33 can interpolate the trajectory of the ball that the object detection unit 31 could not detect. In other words, the object position estimation unit 33 can continuously grasp the movement trajectory of the ball by tracking the ball holder when the ball is lost. That is, the video processing apparatus 1 according to the first embodiment can improve the tracking accuracy of the ball in the analysis process of the sports game video.
また、第１実施形態に係る映像処理装置１は、ボール保持者を設定することによって、見失ったボールを探索する領域を狭くすることが出来る。具体的には、映像から見えなくなったボールは、近くにいた選手（ボール保持者）が保持している可能性が高く、ボール保持者の近傍から再検出される可能性が高い。つまり映像処理装置１は、物体検出部３１Ａがボール保持者情報を参照して、ボール保持者情報が付与された選手の近傍からボールを探すことによって、ボールの検出精度を向上し、且つボールを検出する速度を早くすることが出来る。 In addition, the video processing device 1 according to the first embodiment can narrow a region for searching for a lost ball by setting a ball holder. Specifically, a ball that has disappeared from the image is likely to be held by a nearby player (ball holder), and is likely to be detected again in the vicinity of the ball holder. That is, the image processing apparatus 1 improves the detection accuracy of the ball by searching for a ball from the vicinity of the player to whom the ball holder information is given by the object detection unit 31A referring to the ball holder information, and The detection speed can be increased.
［２］第２実施形態
次に、第２実施形態に係る映像処理装置１について説明する。第２実施形態に係る映像処理装置１は、第１実施形態で説明した映像処理装置１において、複数のボール保持者を設定するものである。
[2] Second Embodiment Next, a video processing apparatus 1 according to a second embodiment will be described. The video processing apparatus 1 according to the second embodiment sets a plurality of ball holders in the video processing apparatus 1 described in the first embodiment.
［２−１］動作
まず、図１６を用いて物***置推定プログラム２４に基づいた映像処理装置１の動作において、ボール保持者を複数設定する場合について説明する。図１６には、図１３におけるステップＳ５０〜Ｓ５６のループが繰り返されている間に、映像処理装置１が追加で処理する動作のフローチャートが示されている。
[2-1] Operation First, a case where a plurality of ball holders are set in the operation of the video processing apparatus 1 based on the object position estimation program 24 will be described with reference to FIG. FIG. 16 shows a flowchart of an operation that the video processing apparatus 1 additionally performs while the loop of steps S50 to S56 in FIG. 13 is repeated.
物***置推定部３３は、ボール保持者の付近を選手が通過した場合に図１６に示す動作を実行する。具体的には物***置推定部３３は、ボール保持者の付近を選手が通過した選手に対して、追加でボール保持者情報を付与する（ステップＳ６０）。つまりステップＳ６０の動作が実行されると、複数のボール保持者が存在する状況になる。 The object position estimation unit 33 performs the operation shown in FIG. 16 when the player passes near the ball holder. Specifically, the object position estimation unit 33 additionally provides ball holder information to a player who has passed near the ball holder (step S60). That is, when the operation of step S60 is executed, a situation exists in which there are a plurality of ball holders.
物***置推定プログラム２４の進行に伴い、見失っていたボールが再検出されると（ステップＳ６１）、物***置推定部３３はボール保持者が複数存在した期間のボール保持者情報を修正する（ステップＳ６２）。具体的には、物***置推定部３３は当該期間において、実際にボールを保持していたと推測されるボール保持者以外の選手のボール保持者としての履歴を消去する。そして物***置推定部３３は、図１３を用いて説明した物***置推定処理を継続する。このようにボール保持者を複数設定する状況の具体例が、図１７に示されている。 When the lost ball is redetected as the object position estimation program 24 progresses (step S61), the object position estimation unit 33 corrects the ball holder information for a period in which a plurality of ball holders exist (step S62). ). Specifically, the object position estimation unit 33 erases the history as a ball holder of players other than the ball holder who is estimated to have actually held the ball during the period. Then, the object position estimation unit 33 continues the object position estimation process described with reference to FIG. A specific example of a situation where a plurality of ball holders are set in this way is shown in FIG.
図１７は、一人のボール保持者が他の選手と交差する場合の一例である。図１７の（１）には選手Ｐ１及びＰ２が示され、選手Ｐ１にボール保持者情報が付与されている状況が示されている。この状況から、選手Ｐ２が選手Ｐ１の付近を通過する。すると図１７の（２）に示すように、物***置推定部３３は、ボール保持者である選手Ｐ１と交差した選手Ｐ２に対してもボール保持者情報を付与し、選手Ｐ１と選手Ｐ２の両選手をボール保持者として追跡する。そして続く状況において選手Ｐ２の付近からボールＢＬが再検出されると、物***置推定部３３は（２）以降におけるボール保持者は選手Ｐ２であると推定する。つまり物***置推定部３３は（１）〜（２）の期間におけるボール保持者が選手Ｐ１であり、（２）以降におけるボール保持者が選手Ｐ２であるとみなせるため、ボールＢＬの軌跡が図１７の（３）に示す破線のような軌跡であると推測することが出来る。 FIG. 17 is an example of a case where one ball holder intersects with another player. FIG. 17 (1) shows the players P1 and P2, and shows the situation where the ball holder information is given to the player P1. From this situation, the player P2 passes near the player P1. Then, as shown in FIG. 17 (2), the object position estimation unit 33 gives the ball holder information to the player P2 that intersects the player P1 who is the ball holder, and both the player P1 and the player P2 Track the player as the ball holder. When the ball BL is detected again from the vicinity of the player P2 in the following situation, the object position estimation unit 33 estimates that the ball holder in (2) and after is the player P2. That is, the object position estimation unit 33 can consider that the ball holder in the period of (1) to (2) is the player P1 and the ball holder in (2) and after is the player P2, so the locus of the ball BL is as shown in FIG. It can be estimated that the locus is as shown by the broken line in (3).
以上のように物***置推定部３３は、複数のボール保持者情報から正しいボール保持者情報を抽出することが出来る。尚、映像処理装置１は、複数のボール保持者からボール保持者の候補を絞る方法として、図１８〜図２０に示すような方法を適用してもよい。 As described above, the object position estimation unit 33 can extract correct ball holder information from a plurality of ball holder information. Note that the video processing apparatus 1 may apply a method as shown in FIGS. 18 to 20 as a method of narrowing down a candidate for a ball holder from a plurality of ball holders.
図１８に示す方法は、複数のボール保持者の速度情報から正しいボール保持者を推測するものである。図１８の（１）には選手Ｐ１及びＰ２が示され、選手Ｐ１及びＰ２の両方共にボール保持者情報が付与されている状況が示されている。この状況から、移動速度推定部３５が選手Ｐ１と選手Ｐ２の速度を算出し、物***置推定部３３が選手Ｐ１と選手Ｐ２の速度を比較する。そして物***置推定部３３は、例えば選手Ｐ１の方が選手Ｐ２よりも移動速度が早いことを検知すると、図１８の（２）に示すように選手Ｐ２に対してボール保持者としての追跡を停止する。尚、物***置推定部３３が速度を比較する方法としては、移動速度推定部３５が選手Ｐ１と選手Ｐ２の具体的な速度を算出することにより比較しても良いが、これに限定されない。例えば、移動速度推定部３５が選手Ｐ１と選手Ｐ２との相対的な速度の関係を物***置推定部３３に通知することにより、物***置推定部３３がボール保持者の候補を絞るようにしても良い。また、物***置推定部３３が複数のボール保持者の移動速度を比較するタイミングは、複数のボール保持者が発生してから所定の時間経過後とされる。この所定の時間を指定するフレーム数は適宜変更することが可能である。また、物***置推定部３３は、複数のボール保持者の移動速度の差がある閾値を超えた場合に、ボール保持者の候補を限定するようにしても良い。 The method shown in FIG. 18 estimates the correct ball holder from the speed information of a plurality of ball holders. FIG. 18 (1) shows players P1 and P2, and shows a situation where both the players P1 and P2 are given ball holder information. From this situation, the moving speed estimation unit 35 calculates the speeds of the players P1 and P2, and the object position estimation unit 33 compares the speeds of the players P1 and P2. Then, for example, when the object position estimating unit 33 detects that the moving speed of the player P1 is faster than that of the player P2, the object position estimating unit 33 stops tracking the player P2 as a ball holder as shown in (2) of FIG. To do. The method by which the object position estimation unit 33 compares the speeds may be compared by the movement speed estimation unit 35 calculating specific speeds of the player P1 and the player P2, but is not limited thereto. For example, the movement speed estimation unit 35 notifies the object position estimation unit 33 of the relationship between the relative speeds of the players P1 and P2, so that the object position estimation unit 33 narrows down the candidates for the ball holder. good. The timing at which the object position estimating unit 33 compares the movement speeds of the plurality of ball holders is after a predetermined time has elapsed since the generation of the plurality of ball holders. The number of frames that specify the predetermined time can be changed as appropriate. Further, the object position estimation unit 33 may limit the candidates for the ball holder when the difference in the moving speeds of the plurality of ball holders exceeds a certain threshold.
図１９に示す方法は、複数のボール保持者のその後のプレーから正しいボール保持者を推測するものである。図１９の（１）にはＡチームの選手Ｐ１及びＰ２と、Ｂチームの選手Ｐ３及びＰ４が示され、選手Ｐ１と選手Ｐ２にボール保持者情報が付与されている状況が示されている。この状況から、Ａチームの選手Ｐ１とＢチームの選手Ｐ３とが接触して密集ＨＤを形成されると、物***置推定部３３は、図１９の（２）に示すようにボール保持者である選手Ｐ１が形成した密集ＨＤをボール保持者とみなし、選手Ｐ２に対してボール保持者としての追跡を停止する。 The method shown in FIG. 19 is to infer the correct ball holder from the subsequent play of a plurality of ball holders. FIG. 19 (1) shows the players P1 and P2 of the A team and the players P3 and P4 of the B team, and the situation where the ball holder information is given to the players P1 and P2. From this situation, when the player P1 of team A and the player P3 of team B are in contact with each other to form a dense HD, the object position estimation unit 33 is a ball holder as shown in (2) of FIG. The crowded HD formed by the player P1 is regarded as a ball holder, and the tracking of the player P2 as a ball holder is stopped.
図２０に示す方法は、密集を起点として複数のボール保持者が発生した場合における正しいボール保持者を推測するものである。図２０の（１）にはＡチームの選手Ｐ１及びＰ２と、Ｂチームの選手Ｐ３及びＰ４と、密集ＨＤ１が示され、選手Ｐ１と密集ＨＤ１にボール保持者情報が付与されている状況が示されている。この状況から、Ａチームの選手Ｐ１とＢチームの選手Ｐ３とが接触して密集ＨＤを形成されると、物***置推定部３３は、図２０の（２）に示すようにボール保持者である選手Ｐ１が新たに形成した密集ＨＤ２をボール保持者とみなし、密集ＨＤ１に対してボール保持者としての追跡を停止する。 The method shown in FIG. 20 estimates a correct ball holder when a plurality of ball holders are generated starting from crowding. FIG. 20 (1) shows the players P1 and P2 of the A team, the players P3 and P4 of the B team, and the dense HD1, and the situation where the ball holder information is given to the players P1 and the dense HD1. Has been. From this situation, when the player P1 of team A and the player P3 of team B are in contact with each other to form a dense HD, the object position estimation unit 33 is a ball holder as shown in (2) of FIG. The dense HD2 newly formed by the player P1 is regarded as a ball holder, and tracking of the dense HD1 as a ball holder is stopped.
［２−２］第２実施形態の効果
第２実施形態に係る映像処理装置１は、物***置推定部３３がボール保持者付近を通過した選手にもボール保持者情報を付与することにより、一時的に複数のボール保持者を追跡する。そしてボールが再検出された場合に、複数のボール保持者が設定されていた期間におけるボール保持者情報を修正する。
[2-2] Effects of the Second Embodiment The video processing apparatus 1 according to the second embodiment allows the object position estimation unit 33 to temporarily give the ball holder information to a player who has passed near the ball holder, thereby temporarily Track multiple ball holders. Then, when the ball is re-detected, the ball holder information is corrected during a period in which a plurality of ball holders have been set.
これにより第２実施形態に係る映像処理装置１は、第１実施形態よりもボールの追跡精度を向上することが出来、物体検出部３１が見失ったボールを再検出する精度を向上することが出来る。そして第２実施形態に係る映像処理装置１は、試合中のより精確なボールの軌跡を把握することが出来る。 Thereby, the video processing apparatus 1 according to the second embodiment can improve the tracking accuracy of the ball as compared with the first embodiment, and can improve the accuracy of redetecting the ball that the object detection unit 31 has lost. . And the video processing apparatus 1 which concerns on 2nd Embodiment can grasp | ascertain the more accurate locus | trajectory of a ball | bowl during a game.
［３］第３実施形態
次に、第３実施形態に係る映像処理装置１について説明する。第３実施形態に係る映像処理装置１は、第１実施形態で説明した映像処理装置１において、分析プログラム２１を実行する際にさらにプレー種別判別プログラム２５を実行するものである。
[3] Third Embodiment Next, a video processing apparatus 1 according to a third embodiment will be described. The video processing apparatus 1 according to the third embodiment further executes a play type determination program 25 when the analysis program 21 is executed in the video processing apparatus 1 described in the first embodiment.
［３−１］動作
まず、図２１を用いてプレー種別判別プログラム２５に基づいた映像処理装置１の動作について説明する。図２１には、プレー種別判別プログラム２５による映像処理装置１の動作フローチャートが示されている。
[3-1] Operation First, the operation of the video processing apparatus 1 based on the play type determination program 25 will be described with reference to FIG. FIG. 21 shows an operation flowchart of the video processing apparatus 1 by the play type discrimination program 25.
図２１に示すようにまずプレー種別判別部３６は、動画データからプレー種別判別処理を実行するフレームを選択する（ステップＳ７０）。 As shown in FIG. 21, the play type determination unit 36 first selects a frame for executing the play type determination process from the moving image data (step S70).
次にプレー種別判別部３６は、物体検出プログラム２３によって識別された物体の種別を確認する（ステップＳ７１）。具体的には、検出された物体のうち選手とボールとを確認する。尚、ボールが検出されなかった場合には、物***置推定プログラム２４の分析結果からボール保持者情報を取得する。 Next, the play type determination unit 36 confirms the type of the object identified by the object detection program 23 (step S71). Specifically, the player and the ball are confirmed among the detected objects. If the ball is not detected, the ball holder information is acquired from the analysis result of the object position estimation program 24.
次にプレー種別判別部３６は、移動方向推定部３４が算出した物体の移動速度を確認し（ステップＳ７２）、さらに移動速度推定部３５が算出した物体の移動方向を確認する（ステップＳ７３）。そしてプレー種別判別部３６は、物体検出部３１が検出した物体の位置情報と、確認した物体の移動方向及び移動速度とから、その時点におけるプレー種別を判別する（ステップＳ７４）。ここでプレー種別判別部３６が判別するプレーの種別としては、例えば“ラン”、“パス”、及び“キック”が挙げられる。 Next, the play type determination unit 36 checks the movement speed of the object calculated by the movement direction estimation unit 34 (step S72), and further checks the movement direction of the object calculated by the movement speed estimation unit 35 (step S73). Then, the play type determination unit 36 determines the play type at that time from the position information of the object detected by the object detection unit 31 and the confirmed moving direction and moving speed of the object (step S74). Here, examples of the play type determined by the play type determination unit 36 include “run”, “pass”, and “kick”.
“ラン”の判定基準は、例えば図２２に示す条件に設定される。図２２には、選手Ｐ１及びＰ２が示され、選手Ｐ１がボールＢＬを保持している状況が示されている。そして選手Ｐ１と選手Ｐ２は、敵陣の方向に走っている。この状況においてプレー種別判別部３６は、選手Ｐ１とボールＢＬが略同じ速度且つ略同じ方向に移動していることを認識して、プレーの種別が“ラン”であると判定する。 The criterion for “run” is set to the conditions shown in FIG. 22, for example. FIG. 22 shows the players P1 and P2, and shows a situation where the player P1 holds the ball BL. Player P1 and player P2 are running in the direction of the enemy team. In this situation, the play type determination unit 36 recognizes that the player P1 and the ball BL are moving in substantially the same speed and in the same direction, and determines that the play type is “run”.
“パス”の判定基準は、例えば図２３に示す条件に設定される。図２３には、選手Ｐ１及びＰ２が示され、選手Ｐ１が選手Ｐ２に向かってボールＢＬをパスしている状況が示されている。この状況においてプレー種別判別部３６は、選手Ｐ１から離れたボールＢＬがオフサイドライン５０より後方を移動していることを認識して、プレーの種別が“パス”であると判定する。 The criterion for “pass” is set to the conditions shown in FIG. 23, for example. FIG. 23 shows players P1 and P2, and shows a situation where the player P1 passes the ball BL toward the player P2. In this situation, the play type determination unit 36 recognizes that the ball BL away from the player P1 is moving behind the offside line 50, and determines that the type of play is “pass”.
“キック”の判定基準は、例えば図２４に示す条件に設定される。図２４には、選手Ｐ１及びＰ２が示され、選手Ｐ１が走り込んできた選手Ｐ２の前方に向かってボールＢＬをキックしている状況が示されている。この状況においてプレー種別判別部３６は、選手Ｐ１から離れたボールＢＬがオフサイドライン５０より前方を移動していることを認識して、プレーの種別が“キック”であると判定する。 The criterion for determining “kick” is set, for example, under the conditions shown in FIG. FIG. 24 shows the players P1 and P2, and shows the situation where the player is kicking the ball BL toward the front of the player P2 into which the player P1 has run. In this situation, the play type determination unit 36 recognizes that the ball BL away from the player P1 is moving in front of the offside line 50, and determines that the play type is “kick”.
以上のようにプレー種別判別部３６はその時点におけるプレー種別を判別して、判別したプレー種別の情報を記憶部１３に保存する。プレー種別判別プログラム２５を実行することにより得られた情報は、例えば図２５に示すように記録される。図２５には、プレー種別判別プログラム２５による分析結果を示すテーブルの一例が示されている。 As described above, the play type discriminating unit 36 discriminates the play type at that time, and stores the discriminated play type information in the storage unit 13. Information obtained by executing the play type determination program 25 is recorded as shown in FIG. 25, for example. FIG. 25 shows an example of a table showing the analysis results obtained by the play type determination program 25.
図２５に示すプレー種別判別プログラム２５の分析結果では、プレー種別が変化する時点のフレーム数が記録されている。例えば、動画データのフレーム数が６０の時点で、プレー種別が“キック”となっている。そしてフレーム数が“４２０”の時点で、プレー種別が“ラン”に変わっている。このような場合、フレーム数が“６０”から“４２０”までの期間は、プレー種別が“キック”であったことを示している。続くフレームにおけるプレー種別についても同様である。尚、プレー種別判別プログラム２５の分析結果の記録方法はこれに限定されず、例えば全てのフレームにおいて、対応するプレー種別を記録するようにしても良い。 In the analysis result of the play type discrimination program 25 shown in FIG. 25, the number of frames when the play type changes is recorded. For example, when the number of frames of moving image data is 60, the play type is “kick”. When the number of frames is “420”, the play type is changed to “RUN”. In such a case, the period from the number of frames “60” to “420” indicates that the play type was “kick”. The same applies to the play type in the subsequent frame. The method of recording the analysis result of the play type determination program 25 is not limited to this. For example, the corresponding play type may be recorded in all frames.
そして物体検出部３１は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ７５）。処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ７５、ＮＯ）、ステップ７０に戻り、プレー種別判別部３６は続くフレームを選択して同様の処理を実行する。一方で、処理を実行したフレームが最後のフレームに該当した場合（ステップＳ７５、ＹＥＳ）、プレー種別判別部３６はプレー種別判別プログラム２５の実行を終了する。 Then, the object detection unit 31 checks whether or not the frame that has been processed so far is the last frame (step S75). If the processed frame does not correspond to the last frame (step S75, NO), the process returns to step 70, and the play type determination unit 36 selects the subsequent frame and executes the same process. On the other hand, when the processed frame corresponds to the last frame (step S75, YES), the play type determination unit 36 ends the execution of the play type determination program 25.
尚、以上で説明した“パス”及び“キック”の判別する方法として、さらに移動速度の情報を使用することも可能である。例えば、“キック”の速度は“パス”の速度よりも速いことが予想されることから、選手から離れたボールＢＬの移動速度に対して所定の閾値を設定する。そして、例えばボールの速度が当該閾値より高い場合に“キック”と判定し、当該閾値以下の場合に“パス”と判定する。これにより、プレー種別判別部３６は“パス”及び“キック”の判定精度を向上することが出来る。 Incidentally, as a method for discriminating between “pass” and “kick” described above, it is also possible to use information on the moving speed. For example, since the speed of “kick” is expected to be faster than the speed of “pass”, a predetermined threshold is set for the moving speed of the ball BL away from the player. Then, for example, when the velocity of the ball is higher than the threshold, it is determined as “kick”, and when it is equal to or lower than the threshold, it is determined as “pass”. Thereby, the play type determination unit 36 can improve the determination accuracy of “pass” and “kick”.
［３−２］第３実施形態の効果
第３実施形態に係る映像処理装置１は、移動方向推定部３４及び移動速度推定部３５により算出されたボールの移動方向及び移動速度に基づいて、プレー種別判別部３６が試合映像の各時点におけるプレーの種別を自動で判定する。これにより第３実施形態に係る映像処理装置１は、ユーザーが試合映像を分析する負荷を軽減することが出来る。
[3-2] Effects of Third Embodiment The video processing apparatus 1 according to the third embodiment plays based on the moving direction and moving speed of the ball calculated by the moving direction estimating unit 34 and the moving speed estimating unit 35. The type discriminating unit 36 automatically determines the type of play at each time point of the game video. Thereby, the video processing apparatus 1 according to the third embodiment can reduce the load of the user analyzing the game video.
［４］第４実施形態
次に、第４実施形態に係る映像処理装置１について説明する。第４実施形態に係る映像処理装置１は、第１実施形態で説明した映像処理装置１において、分析プログラム２１を実行する際にさらにシーン分割プログラム２６を実行するものである。
[4] Fourth Embodiment Next, a video processing apparatus 1 according to a fourth embodiment will be described. The video processing device 1 according to the fourth embodiment further executes the scene division program 26 when the analysis program 21 is executed in the video processing device 1 described in the first embodiment.
［４−１］動作
まず、図２６を用いてシーン分割プログラム２６に基づいた映像処理装置１の動作について説明する。図２６には、シーン分割プログラム２６による映像処理装置１の動作フローチャートが示されている。
[4-1] Operation First, the operation of the video processing apparatus 1 based on the scene division program 26 will be described with reference to FIG. FIG. 26 shows an operation flowchart of the video processing apparatus 1 by the scene division program 26.
図２６に示すようにまず特定音検出部３７は、映像ファイルにおける音声データを解析する（ステップＳ８０）。具体的には特定音検出部３７は、例えば音声データの開始から終了までの音声の波形を確認する。そして特定音検出部３７は、解析した音声データにおいて特定音が検出されたかどうかを確認する（ステップＳ８１）。この特定音としては、例えば試合中に用いられる審判のホイッスル音が挙げられ、特定音検出部３７はホイッスル音に対応する特定周波数の音を検出する。 As shown in FIG. 26, the specific sound detection unit 37 first analyzes the audio data in the video file (step S80). Specifically, the specific sound detection unit 37 confirms the sound waveform from the start to the end of the sound data, for example. Then, the specific sound detection unit 37 confirms whether or not a specific sound is detected in the analyzed voice data (step S81). As this specific sound, for example, a referee whistle sound used during a game can be cited, and the specific sound detection unit 37 detects a sound having a specific frequency corresponding to the whistle sound.
特定音が検出された場合（ステップＳ８１、ＹＥＳ）、特定音検出部３７は、特定音が検出された時点に対応する動画データのフレーム数をシーン分割部３８に通知する。すると通知を受けたシーン分割部３８は、当該フレームを基準として映像ファイルのシーンを分割する（ステップＳ８２）。ここで「シーン」とは一つのプレーの区切りを示し、具体的にはホイッスル音によって区切られた映像の期間を示している。 When the specific sound is detected (step S81, YES), the specific sound detection unit 37 notifies the scene dividing unit 38 of the number of frames of the moving image data corresponding to the time when the specific sound is detected. Upon receiving the notification, the scene dividing unit 38 divides the scene of the video file with reference to the frame (step S82). Here, “scene” indicates a break of one play, specifically, a period of video divided by a whistle sound.
ステップＳ８１において特定音が検出されなかった場合（ステップＳ８１、ＮＯ）、又はステップＳ８２におけるシーン分割処理が終了した後に、特定音検出部３７は音声の解析が全て終了したかどうかを確認する（ステップＳ８３）。ここで音声の解析が終了していなかった場合（ステップＳ８３、ＮＯ）、ステップＳ８０に戻り、特定音検出部３７及びシーン分割部３８により同様の処理が繰り返される。一方で、音声の解析が終了した場合（ステップＳ８３、ＹＥＳ）、特定音検出部３７はシーン分割プログラム２６の実行を終了する。 When the specific sound is not detected in step S81 (step S81, NO), or after the scene division processing in step S82 is completed, the specific sound detection unit 37 confirms whether or not all of the audio analysis is completed (step S81). S83). If the voice analysis has not been completed (step S83, NO), the process returns to step S80, and the same process is repeated by the specific sound detection unit 37 and the scene division unit 38. On the other hand, when the analysis of the voice is finished (step S83, YES), the specific sound detection unit 37 finishes the execution of the scene division program 26.
以上で説明したシーン分割処理の具体例が図２７に示されている。図２７には、映像ファイルの進行状態と、時間軸とが表示されている。 A specific example of the scene division processing described above is shown in FIG. In FIG. 27, the progress state of the video file and the time axis are displayed.
図２７に示すように時刻ｔ０において試合の映像が開始し、時刻ｔ１において試合開始のホイッスル音を特定音検出部３７が検出する。するとシーン分割部３８は、時刻ｔ１において映像ファイルのシーンを分割する。以降も同様に、特定音検出部３７が特定音を検出した時刻ｔ２及びｔ３において、シーン分割部３８が映像ファイルを分割する。図２７に示す例では、時刻ｔ３と時刻ｔ４との間の情報は省略され、時刻ｔ４において試合終了のホイッスルを特定音検出部３７が検出する。そして、時刻ｔ５において映像が終了している。このような処理によって映像ファイルは、図２７に示すようにシーン１〜シーンｎ（ｎは５以上の整数）に分割される。 As shown in FIG. 27, the video of the game starts at time t0, and the specific sound detection unit 37 detects the whistle sound at the start of the game at time t1. Then, the scene dividing unit 38 divides the scene of the video file at time t1. Similarly, the scene dividing unit 38 divides the video file at times t2 and t3 when the specific sound detecting unit 37 detects the specific sound. In the example shown in FIG. 27, information between time t3 and time t4 is omitted, and the specific sound detection unit 37 detects a whistle at the end of the game at time t4. Then, the video ends at time t5. By such processing, the video file is divided into scenes 1 to n (n is an integer of 5 or more) as shown in FIG.
そして分割されたシーンは、分析プログラム２１終了後にユーザーがタグ情報を付与することが出来る。分割されたシーンに対してタグ情報を付与した場合の一例が、図２８に示されている。図２８に示すようにタグ情報は、シーン毎に付与される。タグ情報としては、例えば試合開始や試合終了等の情報や、スクラム、ラインアウト、トライ等のプレー種別の情報が使用される。 Then, the user can add tag information to the divided scenes after the analysis program 21 is finished. FIG. 28 shows an example in which tag information is assigned to a divided scene. As shown in FIG. 28, tag information is given for each scene. As tag information, for example, information such as the start or end of a game, or information of play type such as a scrum, a line-out, or a try is used.
尚、特定音検出部３７が検出する特定音の情報は、ユーザーによって直接指定された特定の周波数を用いても良い。また特定音の情報として、ユーザーによって選択されたホイッスルのメーカー、型番等の情報に基づいて、プリセットされた周波数情報が使用されるようにしても良い。 The specific sound information detected by the specific sound detection unit 37 may use a specific frequency directly designated by the user. As specific sound information, preset frequency information may be used based on information such as the manufacturer and model number of the whistle selected by the user.
［４−２］第４実施形態の効果
第４実施形態に係る映像処理装置１は、特定音検出部３７が試合映像から特定音を検出したタイミングに基づいて、シーン分割部３８が試合映像のシーンを自動で分割する。これにより第３実施形態に係る映像処理装置１は、試合映像におけるプレーの区切りを簡便に構造化することが出来、ユーザーが試合映像を分析する負荷を軽減することが出来る。
[4-2] Effects of the Fourth Embodiment In the video processing device 1 according to the fourth embodiment, the scene dividing unit 38 detects the match video based on the timing when the specific sound detection unit 37 detects the specific sound from the game video. Divide the scene automatically. Thereby, the video processing apparatus 1 according to the third embodiment can easily structure the play breaks in the game video, and can reduce the load of the user analyzing the game video.
［５］第５実施形態
次に、第５実施形態に係る映像処理装置１について説明する。第５実施形態に係る映像処理装置１は、第１〜第４実施形態で説明した映像処理装置１における分析結果を表示する再生プログラム２７の実行例である。
[5] Fifth Embodiment Next, a video processing apparatus 1 according to a fifth embodiment will be described. The video processing apparatus 1 according to the fifth embodiment is an execution example of the reproduction program 27 that displays the analysis result in the video processing apparatus 1 described in the first to fourth embodiments.
［５−１］動作
まず、図２９を用いて再生プログラム２７に基づいた映像処理装置１の動作について説明する。図２９には、再生プログラム２７によりディスプレイ１４上に表示される画面の一例が示されている。
[5-1] Operation First, the operation of the video processing apparatus 1 based on the reproduction program 27 will be described with reference to FIG. FIG. 29 shows an example of a screen displayed on the display 14 by the reproduction program 27.
図２９に示すように再生プログラム２７が実行されると、ディスプレイ１４上には例えば映像表示領域６０、映像コントロール部６１、フィールド表示領域６２、タグ選択領域６３、及びサムネイル領域６４が表示される。 When the playback program 27 is executed as shown in FIG. 29, for example, a video display area 60, a video control unit 61, a field display area 62, a tag selection area 63, and a thumbnail area 64 are displayed on the display 14.
映像表示領域６０は、分析された動画データを表示する領域である。この領域６０においてＣＰＵ１０は、ユーザーによる設定に基づいて分析プログラム２１による物体の検出結果をオーバーレイ表示させることが出来る。このオーバーレイ表示の設定としては、例えば物体の種別毎に、検出した選手の位置を示す枠の大きさ、形状、色等が指定される。 The video display area 60 is an area for displaying the analyzed moving image data. In this area 60, the CPU 10 can display an object detection result by the analysis program 21 in an overlay manner based on the setting by the user. As the overlay display setting, for example, the size, shape, color, and the like of the frame indicating the position of the detected player are specified for each type of object.
映像コントロール部６１には、映像表示領域６０において再生する映像をコントロールするボタンが表示されている。ＣＰＵ１０は、ユーザーによって映像コントロール部６１における再生ボタン、一時停止ボタン、停止ボタン、及びプログレスバーが操作されたことを検知すると、領域６０に表示された映像に対して各ボタンに対応する動作を適用する。 The video control unit 61 displays buttons for controlling the video to be reproduced in the video display area 60. When the CPU 10 detects that the user has operated the play button, pause button, stop button, and progress bar in the video control unit 61, the CPU 10 applies the operation corresponding to each button to the video displayed in the area 60. To do.
フィールド表示領域６２は、分析プログラム２１の分析結果を表示する領域である。具体的には、領域６２には二次元フィールドが表示され、領域６０で表示している時刻において選手、密集、及びボールが位置する座標にアイコンを表示する。この領域６２における選手、密集、及びボールの表示方法としては、領域６０と同様に、物体の種別毎にアイコンの大きさ、形状、色等を指定することが出来る。またＣＰＵ１０は、領域６０に表示されているフィールド領域を、領域６２に示しても良い。この場合ＣＰＵ１０は、例えば図９に示すように映像の領域外をマスクして表示させる。 The field display area 62 is an area for displaying the analysis result of the analysis program 21. Specifically, a two-dimensional field is displayed in the area 62, and icons are displayed at the coordinates where the player, the crowd, and the ball are located at the time displayed in the area 60. As a display method of players, crowds, and balls in this area 62, the size, shape, color, etc. of the icon can be designated for each type of object, as in the area 60. In addition, the CPU 10 may indicate the field area displayed in the area 60 in the area 62. In this case, the CPU 10 masks and displays the outside of the video area as shown in FIG. 9, for example.
タグ選択領域６３は、分析プログラム２１実行後にユーザーが付与したタグ情報を表示する領域である。ＣＰＵ１０は、ユーザーによって領域６３に表示されたタグ情報が選択されたことを検知すると、選択されたタグ情報に対応するシーンのサムネイルをサムネイル領域６４に表示させる。尚、ＣＰＵ１０は、サムネイル領域６４に表示された複数のサムネイルに対して、そのシーンの開始時刻をオーバーレイ表示させても良い。そしてＣＰＵ１０は、ユーザーによって、領域６４におけるサムネイルのいずれかが選択されたことを検知すると、そのサムネイルに対応するシーンの映像を領域６０に表示する。 The tag selection area 63 is an area for displaying tag information given by the user after execution of the analysis program 21. When the CPU 10 detects that the tag information displayed in the area 63 is selected by the user, the CPU 10 displays a thumbnail of the scene corresponding to the selected tag information in the thumbnail area 64. Note that the CPU 10 may display the start time of the scene as an overlay for a plurality of thumbnails displayed in the thumbnail area 64. When the CPU 10 detects that one of the thumbnails in the area 64 is selected by the user, the CPU 10 displays the video of the scene corresponding to the thumbnail in the area 60.
尚、ＣＰＵ１０は、ユーザーによる設定に基づいて、図３０に示すようにライン及びグリッドを映像表示領域６０上にオーバーレイ表示させることが出来る。図３０は、図８で示した映像に対してライン及びグリッドをオーバーレイ表示させた場合の一例である。本例においてＣＰＵ１０は、１０メートルライン４２Ａ、２２メートルライン４３Ａ、５メートルライン４５及び４５Ｂ、並びに１５メートルライン４６Ａ及び４６Ｂに異なるラインをオーバーレイ表示して、フィールドの縦方向及び横方向にそれぞれグリッドＧＤをオーバーレイ表示している。またＣＰＵ１０は、ラインの種類毎にオーバーレイ表示させるラインの線種、太さ、及び色等を変更することが可能であり、同様にグリッドの線種、太さ、色、表示間隔等も変更することが可能である。 Note that the CPU 10 can display an overlay display of lines and grids on the video display area 60 as shown in FIG. FIG. 30 shows an example in which lines and grids are overlaid on the video shown in FIG. In this example, the CPU 10 overlays different lines on the 10-meter line 42A, the 22-meter line 43A, the 5-meter line 45 and 45B, and the 15-meter line 46A and 46B, and grids GD in the vertical and horizontal directions of the field, respectively. Is displayed as an overlay. Further, the CPU 10 can change the line type, thickness, color, and the like of the line to be overlaid for each line type, and similarly changes the line type, thickness, color, display interval, etc. of the grid. It is possible.
また、ＣＰＵ１０は、ユーザーによる設定に基づいて、図３１に示すようにフィールド表示領域６２上に選手及びボールの軌跡を表示させることが出来る。図３１は、図１２で示した例に対して選手及びボールＢＬの移動軌跡ＴＲを追加して、フィールド表示領域６２に表示させた場合の一例である。図３１に示すようにＣＰＵ１０は、フィールド表示領域６２上に選手Ｐ１〜Ｐ８、及びボールＢＬの軌跡ＴＲを表示させることが出来る。またＣＰＵ１０は、物体の種別毎に軌跡ＴＲの線種、太さ、色等を変更することが可能である。本例において選手Ｐ１〜Ｐ８の軌跡ＴＲは実線の矢印で示され、ボールＢＬに対応する軌跡ＴＲは破線の矢印で示されている。さらにＣＰＵ１０は、この移動軌跡ＴＲについて、現在表示しているフレームから過去何フレーム分表示させるかを、任意の期間に設定することが出来る。 Further, the CPU 10 can display the path of the player and the ball on the field display area 62 as shown in FIG. 31 based on the setting by the user. FIG. 31 shows an example in which the movement trajectory TR of the player and the ball BL is added to the example shown in FIG. As shown in FIG. 31, the CPU 10 can display the tracks TR of the players P <b> 1 to P <b> 8 and the ball BL on the field display area 62. Further, the CPU 10 can change the line type, thickness, color, and the like of the trajectory TR for each type of object. In this example, the trajectories TR of the players P1 to P8 are indicated by solid arrows, and the trajectory TR corresponding to the ball BL is indicated by dashed arrows. Further, the CPU 10 can set the number of past frames displayed from the currently displayed frame for the movement trajectory TR in an arbitrary period.
尚、図３１において密集ＨＤに含まれた選手が省略されているが、ＣＰＵ１０は密集ＨＤに含まれた選手を省略せずに表示することも出来る。この場合にＣＰＵ１０は、例えば密集ＨＤを示す破線の円の中に、選手を示す黒丸及び白丸を表示させる。 In FIG. 31, the players included in the dense HD are omitted, but the CPU 10 can also display the players included in the dense HD without omitting them. In this case, for example, the CPU 10 displays a black circle and a white circle indicating the player in a broken-line circle indicating the dense HD.
また、上記説明において二次元フィールドに分析結果を表示させた場合を例に説明したが、これに限定されない。例えば、フィールド全体を３Ｄの斜視図で表現し、同様の情報を表示させるようにしても良い。 In the above description, the case where the analysis result is displayed in the two-dimensional field has been described as an example, but the present invention is not limited to this. For example, the entire field may be represented by a 3D perspective view so that similar information is displayed.
［５−２］第５実施形態の効果
第５実施形態に係る映像処理装置１は、試合映像と、第１〜第４実施形態における試合映像の分析結果とを併せて表示することが出来る。具体的には映像処理装置１は、試合映像と、試合映像に対応する時刻における選手及びボール等の情報をマッピングした二次元フィールドとを同時に表示することが出来る。また映像処理装置１は、表示している試合映像にグリッド等をオーバーレイ表示させることが出来、さらに二次元フィールド上にマッピングした選手及びボールに対して移動軌跡を表示することが出来る。
[5-2] Effect of Fifth Embodiment The video processing device 1 according to the fifth embodiment can display a match video and the analysis result of the match video in the first to fourth embodiments together. Specifically, the video processing apparatus 1 can simultaneously display a game video and a two-dimensional field mapping information such as players and balls at a time corresponding to the game video. Further, the video processing apparatus 1 can display a grid or the like on the displayed game video, and can display a movement trajectory for the player and the ball mapped on the two-dimensional field.
これにより第５実施形態に係る映像処理装置１は、ユーザーが試合映像からプレー要因を分析することを助けることが出来るため、ユーザーのチーム強化などに寄与する試合映像の分析時間を大幅に短縮することが出来る。 As a result, the video processing apparatus 1 according to the fifth embodiment can help the user to analyze the play factors from the game video, so that the analysis time of the game video that contributes to the strengthening of the team of the user and the like is greatly shortened. I can do it.
また、第５実施形態に係る映像処理装置１では、一覧表示されたシーンのサムネイル画像から、ユーザーが所望のシーンを選択して再生することが出来る。これにより第５実施形態に係る映像処理装置１は、ユーザーが参照したいシーンを容易に見つけ出すことが出来るため、ユーザーが試合映像を分析する効率を向上することが出来る。 In the video processing apparatus 1 according to the fifth embodiment, the user can select and reproduce a desired scene from thumbnail images of the scenes displayed in a list. Thereby, since the video processing apparatus 1 according to the fifth embodiment can easily find a scene that the user wants to refer to, the efficiency of the user analyzing the game video can be improved.
［６］変形例等
上記実施形態の映像処理プログラムは、スポーツを撮影した映像を処理するためにコンピュータに、映像から第１物体＜BL、図11＞と、第１物体と異なる複数の第２物体＜P1-P8、図11＞とを検出させ、検出された第１物体、及び複数の第２物体の位置を推定させることを映像におけるフレーム毎に繰り返し、あるフレームにおいて第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、第１物体の近傍に位置する第２物体が第１物体を保持しているとみなす＜ボール保持者、図14＞。
[6] Modifications etc. The video processing program of the above-described embodiment causes a computer to process a video of sports shooting, from the video, the first object <BL, FIG. 11>, and a plurality of second different from the first object. The object <P1-P8, FIG. 11> can be detected and the positions of the detected first object and the plurality of second objects can be estimated repeatedly for each frame in the video, and the first object can be detected in a certain frame. If not, it is considered that the second object located in the vicinity of the first object holds the first object in the frame before the relevant frame <ball holder, FIG. 14>.
これにより、スポーツの試合映像から検出したボールを追跡し続けることが可能な映像処理プログラムを提供することが出来る。 Accordingly, it is possible to provide a video processing program capable of continuously tracking a ball detected from a sports game video.
尚、上記実施形態において、映像処理装置１によって映像処理を実行する場合を例に説明したが、これに限定されない。例えばユーザーは、図３２に示すようにクラウドサービスを利用することによって映像処理を実行しても良い。図３２には、ユーザーの所有するコンピュータＰＣと、クラウドサービスに利用されるサーバーＳＶと、コンピュータＰＣとサーバーＳＶとの間を接続する通信ネットワークＮＷが示されている。この場合、上記実施形態において説明した映像処理に用いるプログラムはサーバーＳＶ側で管理される。そしてユーザーは通信ネットワークＮＷを介してサーバーＳＶにアクセスし、分析したい試合映像のファイルをサーバーＳＶ側にアップロードすることによって、上記実施形態で説明した処理を実行することが出来る。尚、クラウドサービスの利用方法はこれに限定されず、種々の利用方法が考えられる。例えば、映像処理において、実行するプログラムをユーザーのコンピュータＰＣとサーバーＳＶ側とで分担して処理するようにしても良い。 In the above embodiment, the case where the video processing is executed by the video processing device 1 has been described as an example, but the present invention is not limited to this. For example, the user may execute video processing by using a cloud service as shown in FIG. FIG. 32 shows a computer PC owned by a user, a server SV used for a cloud service, and a communication network NW connecting the computer PC and the server SV. In this case, the program used for the video processing described in the above embodiment is managed on the server SV side. The user accesses the server SV via the communication network NW and uploads a game video file to be analyzed to the server SV side, thereby executing the processing described in the above embodiment. In addition, the usage method of a cloud service is not limited to this, Various usage methods are considered. For example, in video processing, a program to be executed may be shared between the user computer PC and the server SV.
また、上記実施形態において、映像処理装置１の映像処理を映像ファイルの開始から終了までの全てを対象とした場合を例に説明したが、これに限定されない。例えば、映像処理装置１は、ユーザーによって設定された任意の期間に基づいて、当該期間のみ分析処理を実行するようにしても良い。 In the above-described embodiment, the case where the video processing of the video processing device 1 covers all the video files from the start to the end has been described as an example. However, the present invention is not limited to this. For example, the video processing apparatus 1 may execute the analysis process only during the period based on an arbitrary period set by the user.
また、上記実施形態において、各種映像処理がソフトウェアで実行される場合を例に説明したが、これに限定されない。例えば、一部の処理を専用のハードウェアにより実現しても良いし、全ての処理を専用のハードウェアにより実現しても良い。例えば、映像処理において、フィールド検出部３０として機能する回路や、物体検出部３１として機能する回路を利用することが可能である。その他の処理についても同様である。これらのハードウェアは、映像処理装置１に内蔵されていても良いし、外部接続により利用しても良い。 Further, although cases have been described with the above embodiment as examples where various video processes are executed by software, the present invention is not limited to this. For example, some processes may be realized by dedicated hardware, or all processes may be realized by dedicated hardware. For example, a circuit that functions as the field detection unit 30 or a circuit that functions as the object detection unit 31 can be used in video processing. The same applies to other processes. These hardware may be built in the video processing apparatus 1 or may be used by external connection.
また、上記実施形態において、各種プログラムの説明に用いたフローチャートは一例であり、これに限定されない。例えば、各フローチャートにおける処理は、可能な限り処理の順番を入れ替えることが可能である。例えば、図１３を用いて説明したステップＳ５７の処理は、ステップＳ５５とステップＳ５６の間に実行されても良い。 Moreover, in the said embodiment, the flowchart used for description of various programs is an example, and is not limited to this. For example, the processing order of the flowcharts can be changed as much as possible. For example, the process in step S57 described with reference to FIG. 13 may be executed between step S55 and step S56.
また、上記実施形態において、ボールを検出出来なくなった直後にボール保持者を設定する場合を例に説明したが、これに限定されない。例えば、動画からボールを検出出来ない期間が所定のフレーム数以上に達した場合に、ボール保持者の設定をするようにしても良い。また、ボールが検出出来なくなった時点の前後で所定のフレーム数ボールが検出されていた場合に、その前後でボールが検出された位置から、現在のフレームにおけるボールの位置を線形補間することも出来る。 Moreover, in the said embodiment, although the case where a ball holder was set immediately after it became impossible to detect a ball | bowl was demonstrated to the example, it is not limited to this. For example, the ball holder may be set when the period during which the ball cannot be detected from the moving image reaches a predetermined number of frames or more. In addition, when a predetermined number of frames have been detected before and after the point at which the ball can no longer be detected, the position of the ball in the current frame can be linearly interpolated from the position at which the ball was detected before and after that. .
また、上記実施形態において、各種プログラムは可能な限り平行して実行することが可能である。また、各種プログラムが共通の情報を取得する必要がある場合、当該情報をプログラム間で共有することも出来る。また、上記実施形態において説明したフィールド検出方法、物体検出方法はあくまで一例であり、これに限定されない。フィールド、選手、ボールを検出することが出来れば、それぞれ異なる方法を用いても良い。 In the above embodiment, various programs can be executed in parallel as much as possible. When various programs need to acquire common information, the information can be shared between programs. The field detection method and the object detection method described in the above embodiment are merely examples, and the present invention is not limited to this. Different methods may be used as long as the field, player, and ball can be detected.
また、上記実施形態において、「色情報」とは、例えば色ヒストグラムのことを示している。つまりチーム種別判別部３２は、例えば検出した各選手の色ヒストグラムから、特定の波形を検出することによって、グループ分けをすることが出来る。 In the above-described embodiment, “color information” indicates, for example, a color histogram. That is, the team type determination unit 32 can perform grouping by detecting a specific waveform from the detected color histogram of each player, for example.
尚、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 In addition, although embodiment of this invention was described, this embodiment is shown as an example and is not intending limiting the range of invention. This embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１…映像処理装置、１０…ＣＰＵ、１１…ＲＡＭ、１２…ＲＯＭ、１３…記憶部、１４…ディスプレイ、２０…メインプログラム、２１…分析プログラム、２２…フィールド検出プログラム、２３…物体検出プログラム、２４…物***置推定プログラム、２５…プレー種別判別プログラム、２６…シーン分割プログラム、２７…再生プログラム、２８…ディスプレイデータ、３０…フィールド検出部、３１…物体検出部、３２…チーム種別判別部、３３…物***置推定部、３４…移動方向推定部、３５…移動速度推定部、３６…プレー種別判別部、３７…特定音検出部、３８…シーン分割部。 DESCRIPTION OF SYMBOLS 1 ... Video processing apparatus, 10 ... CPU, 11 ... RAM, 12 ... ROM, 13 ... Memory | storage part, 14 ... Display, 20 ... Main program, 21 ... Analysis program, 22 ... Field detection program, 23 ... Object detection program, 24 ... object position estimation program, 25 ... play type discrimination program, 26 ... scene division program, 27 ... reproduction program, 28 ... display data, 30 ... field detection unit, 31 ... object detection unit, 32 ... team type discrimination unit, 33 ... Object position estimating unit 34... Moving direction estimating unit 35... Moving speed estimating unit 36 36 play type determining unit 37 37 specific sound detecting unit 38 38 scene dividing unit.
Claims (15)
前記映像から第１物体を検出させ、
前記映像から、前記第１物体と異なる複数の第２物体を検出させ、
前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
あるフレームにおいて前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなす、映像処理プログラム。 In order to process the video of sports,
Detecting a first object from the image;
Detecting a plurality of second objects different from the first object from the video;
Repetitively estimating the position of the detected first object and the positions of the plurality of detected second objects for each frame in the video;
Video processing in which when the first object cannot be detected in a certain frame, a second object located in the vicinity of the first object is regarded as holding the first object in a frame before the frame. program.
前記第３物体が前記第１物体を保持しているとみなして追跡している際に前記第３物体と前記第４物体とが近接した場合に、前記第４物体も前記第１物体を保持しているとみなして追跡させ、前記映像における第１時間経過後に前記第３物体の移動速度と前記第４物体の移動速度とを比較させ、前記第３及び第４物体のうち移動速度が速い方の追跡を継続させ、移動速度が遅い方の追跡を停止させる、請求項１乃至請求項４のいずれかに記載の映像処理プログラム。 The plurality of second objects includes third and fourth objects,
The third object also holds the first object when the third object comes close to the fourth object while the third object is tracking as if the third object is held. The moving speed of the third object is compared with the moving speed of the fourth object after the first time has elapsed in the video, and the moving speed of the third and fourth objects is fast. The video processing program according to any one of claims 1 to 4, wherein the tracking of the direction is continued and the tracking of the slower moving speed is stopped.
前記第３物体が前記第１物体を保持しているとみなされた後に前記第３物体と前記第４物体とが接触した場合に、前記第３物体と前記第４物体とを含む密集が前記第１物体を保持しているとみなす、請求項１乃至請求項４のいずれかに記載の映像処理プログラム。 The plurality of second objects includes third and fourth objects,
When the third object and the fourth object come into contact after the third object is considered to hold the first object, the crowding including the third object and the fourth object is the The video processing program according to claim 1, wherein the video processing program is regarded as holding the first object.
前記フィールド領域と、二次元で示されたフィールド全体との座標の対応を算出させ、
前記第１物体と前記複数の第２物体の前記フィールド全体における座標を算出させ、
前記フィールド全体の画像、前記第１物体の位置、及び前記複数の第２物体の位置を、表示部に表示させる、請求項１乃至請求項７のいずれかに記載の映像処理プログラム。 Let the field area displayed in the video be detected,
A coordinate correspondence between the field region and the whole field shown in two dimensions is calculated;
Calculating coordinates in the entire field of the first object and the plurality of second objects;
The video processing program according to any one of claims 1 to 7, wherein an image of the entire field, the position of the first object, and the positions of the plurality of second objects are displayed on a display unit.
前記第１の音を検出したタイミングに基づいて前記映像のシーンを分割させる、請求項１乃至請求項１１のいずれかに記載の映像処理プログラム。 Detecting a first sound in the audio in the video;
The video processing program according to any one of claims 1 to 11, wherein the video scene is divided based on a timing at which the first sound is detected.
前記タグ情報に基づいたインデックスを表示部に表示させ、
前記インデックスを選択する信号を受信すると、前記選択されたインデックスに対応するシーンの情報を一覧表示させる、請求項１２に記載の映像処理プログラム。 Give tag information to each of the divided scenes,
An index based on the tag information is displayed on the display unit,
13. The video processing program according to claim 12, wherein when a signal for selecting the index is received, a list of scene information corresponding to the selected index is displayed.
前記映像から、前記第１物体と異なる複数の第２物体を検出し、
前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
あるフレームにおいて前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなす、映像処理方法。 In the video of sports, the first object is detected from the video,
Detecting a plurality of second objects different from the first object from the video;
Repetitively estimating the position of the detected first object and the positions of the plurality of detected second objects for each frame in the video;
Video processing in which when the first object cannot be detected in a certain frame, a second object located in the vicinity of the first object is regarded as holding the first object in a frame before the frame. Method.
前記映像から、前記第１物体と異なる複数の第２物体を検出する第２物体検出部と、
前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定することを、前記映像におけるフレーム毎に繰り返す位置推定部と
を具備し、前記位置推定部は、あるフレームにおいて前記第１物体検出部が前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなす、映像処理装置。 A first object detection unit for detecting a first object from the video in an image of sports;
A second object detection unit for detecting a plurality of second objects different from the first object from the video;
A position estimation unit that repeats estimating the position of the detected first object and the positions of the plurality of detected second objects for each frame in the video, and the position estimation unit includes: When the first object detection unit cannot detect the first object in the frame, the second object located in the vicinity of the first object holds the first object in the frame before the frame. A video processing device that is considered to be.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016208821A JP6853528B2 (en) | 2016-10-25 | 2016-10-25 | Video processing programs, video processing methods, and video processing equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016208821A JP6853528B2 (en) | 2016-10-25 | 2016-10-25 | Video processing programs, video processing methods, and video processing equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018072939A true JP2018072939A (en) | 2018-05-10 |
| JP6853528B2 JP6853528B2 (en) | 2021-03-31 |
Family
ID=62111603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016208821A Active JP6853528B2 (en) | 2016-10-25 | 2016-10-25 | Video processing programs, video processing methods, and video processing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6853528B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210103736A1 (en) * | 2019-10-07 | 2021-04-08 | Canon Kabushiki Kaisha | Control apparatus, control system, control method, and storage medium |
| US11189035B2 (en) | 2016-11-18 | 2021-11-30 | Kabushiki Kaisha Toshiba | Retrieval device, retrieval method, and computer program product |
| JP2022520498A (en) * | 2019-12-30 | 2022-03-30 | シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド | Image processing methods, devices, storage media and electronic devices |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172583A (en) * | 2004-12-15 | 2006-06-29 | Sony Corp | Reproducing device, reproducing method, recording device, recording medium, program storage medium, and program |
| WO2014024475A1 (en) * | 2012-08-10 | 2014-02-13 | パナソニック株式会社 | Video provision method, transmission device, and reception device |
| JP2015070503A (en) * | 2013-09-30 | 2015-04-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2016
- 2016-10-25 JP JP2016208821A patent/JP6853528B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172583A (en) * | 2004-12-15 | 2006-06-29 | Sony Corp | Reproducing device, reproducing method, recording device, recording medium, program storage medium, and program |
| WO2014024475A1 (en) * | 2012-08-10 | 2014-02-13 | パナソニック株式会社 | Video provision method, transmission device, and reception device |
| JP2015070503A (en) * | 2013-09-30 | 2015-04-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Non-Patent Citations (2)
| Title |
|---|
| YOSHINORI OHNO, JUN MIURA, YOSHIAKI SHIRAI: "Tracking players and estimation of the 3D position of a ball in soccer games", PROCEEDINGS 15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION. ICPR-2000, JPN6020045166, 3 September 2000 (2000-09-03), pages 145 - 148, XP010533520, ISSN: 0004394314, DOI: 10.1109/ICPR.2000.905293 * |
| 蔵野準二, 林昌希, 山本大樹, 大島京子, 田靡雅基, 青木義満: "アメリカンフットボール映像におけるプレー開始・終了位置と選手動作情報を用いたボール軌跡抽出", 精密工学会誌, vol. 81, no. 1, JPN6020045165, 5 January 2015 (2015-01-05), pages 91 - 98, ISSN: 0004394313 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11189035B2 (en) | 2016-11-18 | 2021-11-30 | Kabushiki Kaisha Toshiba | Retrieval device, retrieval method, and computer program product |
| US20210103736A1 (en) * | 2019-10-07 | 2021-04-08 | Canon Kabushiki Kaisha | Control apparatus, control system, control method, and storage medium |
| US11557122B2 (en) * | 2019-10-07 | 2023-01-17 | Canon Kabushiki Kaisha | Control apparatus, control system, control method, and storage medium |
| JP2022520498A (en) * | 2019-12-30 | 2022-03-30 | シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド | Image processing methods, devices, storage media and electronic devices |
| JP7105383B2 (en) | 2019-12-30 | 2022-07-22 | シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド | Image processing method, device, storage medium and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6853528B2 (en) | 2021-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6419830B2 (en) | System, method and apparatus for image retrieval | |
| US9589595B2 (en) | Selection and tracking of objects for display partitioning and clustering of video frames | |
| JP6649231B2 (en) | Search device, search method and program | |
| KR101484844B1 (en) | Apparatus and method for privacy masking tool that provides real-time video | |
| KR20150020526A (en) | Automatic digital curation and tagging of action videos | |
| JP2007281858A (en) | Animation editing device | |
| JP6853528B2 (en) | Video processing programs, video processing methods, and video processing equipment | |
| CN104618656A (en) | Information processing method and electronic equipment | |
| WO2016021121A1 (en) | Correcting and verifying method, and correcting and verifying device | |
| US10146870B2 (en) | Video playback method and surveillance system using the same | |
| JP4513039B2 (en) | Image processing apparatus, image processing method, and program | |
| RU2609071C2 (en) | Video navigation through object location | |
| JP4546762B2 (en) | Video event discriminating learning data generating device and program thereof, and video event discriminating device and program thereof | |
| JP6218296B1 (en) | Video playback device, video playback method, program thereof, and recording medium | |
| Jiang et al. | Deep learning application in broadcast tennis video annotation | |
| KR20200013145A (en) | Apparatus of extracting highlight and method thereof | |
| KR101944454B1 (en) | Information processing program and information processing method | |
| KR102233494B1 (en) | Multi-object tracking device and method in 360 degree video space | |
| KR20150142747A (en) | User gesture-based video play apparatus and operation method thereof | |
| JP2021061535A5 (en) | ||
| JP2016019138A (en) | Image processing apparatus, method and program | |
| JP2009302780A (en) | Specific scene extracting device and specific scene extraction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20161124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161128 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170907 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6853528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |