JP2021002152A - Image processing device, control method, and control program - Google Patents

Image processing device, control method, and control program Download PDF

Info

Publication number
JP2021002152A
JP2021002152A JP2019114756A JP2019114756A JP2021002152A JP 2021002152 A JP2021002152 A JP 2021002152A JP 2019114756 A JP2019114756 A JP 2019114756A JP 2019114756 A JP2019114756 A JP 2019114756A JP 2021002152 A JP2021002152 A JP 2021002152A
Authority
JP
Japan
Prior art keywords
input image
ball
unit
person
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019114756A
Other languages
Japanese (ja)
Inventor
孝憲 國友
Takanori Kunitomo
孝憲 國友
慎也 尾藤
Shinya Bito
慎也 尾藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2019114756A priority Critical patent/JP2021002152A/en
Publication of JP2021002152A publication Critical patent/JP2021002152A/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide an image processing device capable of satisfactorily extracting an input image photographed at a timing when a ball comes into contact with a person, a control method, and a control program.SOLUTION: A CPU 140 functioning as an image processing device includes an acquisition part 141 for acquiring an input image group obtained by photographing a prescribed space in each constant period by a plurality of imaging devices, a detection position specification part 145 for detecting an object estimated as a ball from an input image group photographed at each photographing timing and specifying a detection position of an object in a prescribed space, a prediction position estimation part 146 for estimating a prediction position of the ball in the prescribed space at each photographing timing on the basis of a detection position specified from the input image group photographed before the photographing timing, and a contact determination part 147 for determining that the ball comes into contact with a person in the prescribed space in the case where a distance between the prediction position in each photographing timing and a detection position is equal to or more than a threshold and that the prediction position is within the photographing range of an input image included in the input image group.SELECTED DRAWING: Figure 2

Description

本発明は、画像処理装置、制御方法及び制御プログラムに関する。 The present invention relates to an image processing apparatus, a control method and a control program.

バレーボール等のスポーツでは、試合又は練習を撮影した画像を用いて、各プレイヤのフォームもしくは動き又はチーム全体のフォーメーション等の問題点を抽出し、フィードバックすることにより、各プレイヤ又はチームを効率良く強化することができる。一般に、試合又は練習を撮影した画像は膨大であるため、各プレイヤが、撮影された画像の中から所望のシーンを探すためには、かなりの手間がかかる。そのため、近年、試合又は練習が実施されるコート等の空間が撮影された複数の入力画像から、特定のシーンを抽出する画像処理装置が開発されている。 In sports such as volleyball, each player or team is efficiently strengthened by extracting problems such as the form or movement of each player or the formation of the entire team by using images of the game or practice. be able to. In general, since the images of a game or practice are enormous, it takes a lot of time and effort for each player to search for a desired scene from the captured images. Therefore, in recent years, an image processing device has been developed that extracts a specific scene from a plurality of input images in which a space such as a court where a game or practice is carried out is photographed.

スポーツを撮影した映像を処理する映像処理装置が開示されている（特許文献１）。この映像処理装置は、映像からボールと複数の選手とを検出し、あるフレームにおいてボールを検出できなかった場合に、そのフレームの前のフレームにおいて、ボールの近傍に位置する選手がボールを保持しているとみなす。 A video processing device that processes a video shot of sports is disclosed (Patent Document 1). This image processing device detects the ball and a plurality of players from the image, and when the ball cannot be detected in a certain frame, the player located in the vicinity of the ball holds the ball in the frame before the frame. It is considered to be.

複数のフレーム画像における移動体の追跡結果に基づいて特定のフレーム画像を確認対象フレーム画像として表示し、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像における移動体の位置を修正する修正確認装置が開示されている（特許文献２）。 A correction confirmation device that displays a specific frame image as a confirmation target frame image based on the tracking results of the moving object in a plurality of frame images, and corrects the position of the moving object in the confirmation target frame image when the user's correction instruction is received. Is disclosed (Patent Document 2).

特開２０１８−７２９３９号公報JP-A-2018-72939 国際公開第２０１６／０２１１２１号International Publication No. 2016/021121

ボールを使用するスポーツのシーン解析に用いられる画像処理装置では、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することが求められている。 An image processing device used for scene analysis of sports using a ball is required to satisfactorily extract an input image taken at the timing when the ball comes into contact with a person.

画像処理装置、制御方法及び制御プログラムの目的は、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することを可能とすることにある。 The purpose of the image processing device, the control method, and the control program is to make it possible to satisfactorily extract an input image taken at the timing when the ball comes into contact with a person.

実施形態の一側面に係る画像処理装置は、出力部と、複数の撮像装置により一定周期毎に所定空間が撮影された複数の入力画像を含む入力画像群を取得する取得部と、各撮影タイミングに撮影された入力画像群からボールと推定される物体を検出し、所定空間内の物体の検出位置を特定する検出位置特定部と、各撮影タイミングにおける所定空間内のボールの予測位置を、その撮影タイミングより前に撮影された入力画像群から特定された検出位置に基づいて推定する予測位置推定部と、各撮影タイミングにおける予測位置と検出位置との間の距離が閾値以上であり且つその予測位置が入力画像群に含まれる入力画像の撮影範囲内である場合に、所定空間内でボールが人物に接触したと判定する接触判定部と、接触判定部によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報を出力部から出力する出力制御部と、を有する。 The image processing device according to one aspect of the embodiment includes an output unit, an acquisition unit that acquires an input image group including a plurality of input images in which a predetermined space is captured by a plurality of imaging devices at regular intervals, and each shooting timing. The detection position specifying unit that detects an object presumed to be a ball from the input image group captured in 1 and specifies the detection position of the object in the predetermined space, and the predicted position of the ball in the predetermined space at each shooting timing. The distance between the predicted position estimation unit that estimates based on the detection position specified from the input image group captured before the shooting timing and the predicted position and the detection position at each shooting timing is equal to or greater than the threshold value and the prediction thereof. When the position is within the shooting range of the input image included in the input image group, the contact determination unit that determines that the ball has touched the person in the predetermined space and the contact determination unit determines that the ball has contacted the person. It has an output control unit that outputs information about an input image taken at the shooting timing from the output unit.

また、実施形態の一側面に係る制御方法は、出力部を有する画像処理装置の制御方法であって、画像処理装置が、複数の撮像装置により一定周期毎に所定空間が撮影された複数の入力画像を含む入力画像群を取得し、各撮影タイミングに撮影された入力画像群からボールと推定される物体を検出し、所定空間内の物体の検出位置を特定し、各撮影タイミングにおける所定空間内のボールの予測位置を、その撮影タイミングより前に撮影された入力画像群から特定された検出位置に基づいて推定し、各撮影タイミングにおける予測位置と検出位置との間の距離が閾値以上であり且つその予測位置が入力画像群に含まれる入力画像の撮影範囲内である場合に、所定空間内でボールが人物に接触したと判定し、ボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報を出力部から出力する。 Further, the control method according to one aspect of the embodiment is a control method of an image processing device having an output unit, and the image processing device has a plurality of inputs in which a predetermined space is photographed by a plurality of imaging devices at regular intervals. An input image group including an image is acquired, an object presumed to be a ball is detected from the input image group captured at each shooting timing, the detection position of the object in a predetermined space is specified, and the object is within the predetermined space at each shooting timing. The predicted position of the ball is estimated based on the detection position specified from the input image group shot before the shooting timing, and the distance between the predicted position and the detection position at each shooting timing is equal to or greater than the threshold value. Moreover, when the predicted position is within the shooting range of the input image included in the input image group, it is determined that the ball has touched the person in the predetermined space, and the image is shot at the shooting timing determined that the ball has touched the person. The information about the input image is output from the output unit.

また、実施形態の一側面に係る制御プログラムは、出力部を有するコンピュータの制御プログラムであって、複数の撮像装置により一定周期毎に所定空間が撮影された複数の入力画像を含む入力画像群を取得し、各撮影タイミングに撮影された入力画像群からボールと推定される物体を検出し、所定空間内の物体の検出位置を特定し、各撮影タイミングにおける所定空間内のボールの予測位置を、その撮影タイミングより前に撮影された入力画像群から特定された検出位置に基づいて推定し、各撮影タイミングにおける予測位置と検出位置との間の距離が閾値以上であり且つその予測位置が入力画像群に含まれる入力画像の撮影範囲内である場合に、所定空間内でボールが人物に接触したと判定し、ボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報を出力部から出力することをコンピュータに実行させる。 Further, the control program according to one aspect of the embodiment is a control program of a computer having an output unit, and includes an input image group including a plurality of input images in which a predetermined space is captured by a plurality of imaging devices at regular intervals. The object that is presumed to be a ball is detected from the input image group shot at each shooting timing, the detection position of the object in the predetermined space is specified, and the predicted position of the ball in the predetermined space at each shooting timing is determined. Estimated based on the detection position specified from the input image group captured before the shooting timing, the distance between the predicted position and the detection position at each shooting timing is equal to or greater than the threshold value, and the predicted position is the input image. When it is within the shooting range of the input image included in the group, it is determined that the ball has touched a person in a predetermined space, and information about the input image shot at the shooting timing when it is determined that the ball has touched the person is displayed. Have the computer execute the output from the output section.

本発明によれば、画像処理装置、制御方法及び制御プログラムは、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することが可能となる。 According to the present invention, the image processing device, the control method, and the control program can satisfactorily extract the input image taken at the timing when the ball comes into contact with the person.

実施形態に従った画像処理システム１の概略構成を示す図である。It is a figure which shows the schematic structure of the image processing system 1 according to an embodiment. 記憶装置１２０及びＣＰＵ１４０の概略構成を示す図である。It is a figure which shows the schematic structure of the storage device 120 and the CPU 140. 特徴情報テーブルのデータ構造の一例を示す模式図である。It is a schematic diagram which shows an example of the data structure of a feature information table. 解析処理の動作を示すフローチャートである。It is a flowchart which shows the operation of analysis processing. 管理テーブルのデータ構造の一例を示す模式図である。It is a schematic diagram which shows an example of the data structure of a management table. 入力画像の一例を示す模式図である。It is a schematic diagram which shows an example of an input image. 入力画像の一例を示す模式図である。It is a schematic diagram which shows an example of an input image. イベントの特定について説明するための模式図である。It is a schematic diagram for demonstrating the identification of an event. イベントの特定について説明するための模式図である。It is a schematic diagram for demonstrating the identification of an event. イベントの特定について説明するための模式図である。It is a schematic diagram for demonstrating the identification of an event. イベントの特定について説明するための模式図である。It is a schematic diagram for demonstrating the identification of an event. イベントの特定について説明するための模式図である。It is a schematic diagram for demonstrating the identification of an event. イベントの特定について説明するための模式図である。It is a schematic diagram for demonstrating the identification of an event. イベントの終了について説明するための模式図である。It is a schematic diagram for demonstrating the end of an event. イベントの終了について説明するための模式図である。It is a schematic diagram for demonstrating the end of an event. 第１イベント処理の動作を示すフローチャートである。It is a flowchart which shows the operation of the 1st event processing. 第１イベント処理の動作を示すフローチャートである。It is a flowchart which shows the operation of the 1st event processing. ボールと人物の接触について説明するための模式図である。It is a schematic diagram for demonstrating the contact between a ball and a person. ボールと人物の接触について説明するための模式図である。It is a schematic diagram for demonstrating the contact between a ball and a person. ボールと人物の接触について説明するための模式図である。It is a schematic diagram for demonstrating the contact between a ball and a person. ボールと人物の接触について説明するための模式図である。It is a schematic diagram for demonstrating the contact between a ball and a person. 第２イベント処理の動作を示すフローチャートである。It is a flowchart which shows the operation of the 2nd event processing. 出力処理の動作を示すフローチャートである。It is a flowchart which shows the operation of output processing. 閲覧画面１８００の一例を示す模式図である。It is a schematic diagram which shows an example of a reading screen 1800. 他の解析処理の動作を示すフローチャートである。It is a flowchart which shows the operation of other analysis processing. 他の制御回路２６０の概略構成を示すブロック図である。It is a block diagram which shows the schematic structure of another control circuit 260.

以下、本発明の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Hereinafter, the image processing apparatus, the control method, and the control program according to one aspect of the present invention will be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to those embodiments, but extends to the inventions described in the claims and their equivalents.

図１は、実施形態に従った画像処理システム１の概略構成を示す図である。 FIG. 1 is a diagram showing a schematic configuration of an image processing system 1 according to an embodiment.

図１に示すように、画像処理システム１は、一又は複数の画像処理装置１００と、複数の撮像装置２００と、一又は複数の端末装置３００と、を有する。画像処理装置１００は、ネットワークを介して、撮像装置２００及び端末装置３００に接続されている。 As shown in FIG. 1, the image processing system 1 includes one or more image processing devices 100, a plurality of image pickup devices 200, and one or a plurality of terminal devices 300. The image processing device 100 is connected to the image pickup device 200 and the terminal device 300 via a network.

複数の撮像装置２００は、第１撮像装置及び第２撮像装置の一例であり、例えばネットワークカメラ等である。撮像装置２００は、タブレットＰＣ（Personal Computer）、多機能携帯電話（いわゆるスマートフォン）等でもよい。各撮像装置２００は、所定イベントが実施されるイベント空間を、それぞれ異なる位置から又はそれぞれ異なる角度で撮像するように配置される。所定イベントは、複数のプレイヤにより実施されるスポーツの試合又は練習等である。所定イベントは、複数の人物により実行されるものであればどのようなものでもよく、例えば複数の奏者により演奏される音楽コンサート又は複数のプレイヤにより実施されるダンス等でもよい。スポーツは、ボールを使用して実行されるバレーボール等である。スポーツは、サッカー、ラグビー、アメリカンフットボール、陸上競技又は水泳等でもよい。イベント空間は、バレーボールのコート等である。イベント空間は、スポーツが実施されるグラウンドもしくはプール、又は、音楽コンサートもしくはダンスが実施されるホール等でもよい。 The plurality of imaging devices 200 are examples of the first imaging device and the second imaging device, such as a network camera. The image pickup device 200 may be a tablet PC (Personal Computer), a multifunctional mobile phone (so-called smartphone), or the like. Each image pickup apparatus 200 is arranged so as to image an event space in which a predetermined event is performed from different positions or at different angles. A predetermined event is a sports match or practice performed by a plurality of players. The predetermined event may be any event as long as it is performed by a plurality of persons, for example, a music concert performed by a plurality of players, a dance performed by a plurality of players, and the like. Sports are volleyball and the like performed using a ball. The sport may be soccer, rugby, American football, athletics or swimming. The event space is a volleyball court or the like. The event space may be a ground or pool where sports are held, or a hall where music concerts or dances are held.

所定イベントは、それぞれ種別が異なる複数のイベントを含む。所定イベントがバレーボールの練習である場合、複数のイベントの内の第１イベントは、例えば試合形式練習であり、複数のイベントの内の第２イベントは、例えばスパイク練習である。複数のイベントは３つ以上でもよい。イベント空間は、一又は複数の空間（例えば、第１空間及び第２空間）を含む。イベント空間に含まれる各空間は、所定イベントに含まれる各イベントが実施される空間であり、相互に重なっていてもよい。即ち、複数の空間の内の第１空間は、第１イベントが実施される空間であり、複数の空間の内の第２空間は、第２イベントが実施される空間である。また、イベント空間がバレーボールのコートである場合、イベント空間は、画像を解析する対象のコートである対象コート及び相手コートを含む。以下では、イベント空間内の対象コートに対応する領域を所定空間と称する場合がある。 The predetermined event includes a plurality of events of different types. When the predetermined event is a volleyball practice, the first event among the plurality of events is, for example, a match-style practice, and the second event among the plurality of events is, for example, a spike practice. The plurality of events may be three or more. The event space includes one or more spaces (eg, first space and second space). Each space included in the event space is a space in which each event included in a predetermined event is carried out, and may overlap each other. That is, the first space in the plurality of spaces is the space in which the first event is carried out, and the second space in the plurality of spaces is the space in which the second event is carried out. When the event space is a volleyball court, the event space includes a target court and an opponent court which are the target courts for which the image is analyzed. In the following, the area corresponding to the target court in the event space may be referred to as a predetermined space.

複数の撮像装置２００は、各撮像装置２００により撮像されないイベント空間内の死角が、他の何れかの撮像装置２００によって撮像されるように配置されることが好ましい。イベント空間がバレーボールのコートである場合、少なくとも一つの撮像装置２００は、撮像方向がネットの延伸方向と直交する方向となるように配置され、少なくとも一つの撮像装置２００は、撮像方向がネットの延伸方向となるように配置されることが好ましい。 It is preferable that the plurality of imaging devices 200 are arranged so that the blind spots in the event space that are not imaged by each imaging device 200 are imaged by any other imaging device 200. When the event space is a volleyball court, at least one imaging device 200 is arranged so that the imaging direction is orthogonal to the stretching direction of the net, and at least one imaging device 200 has the imaging direction extending the net. It is preferable to arrange them so as to be oriented.

撮像装置２００は、２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。縮小光学系タイプの撮像センサに代えて、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。また、撮像装置２００は、後述する、画像処理装置１００の通信装置、記憶装置及びＣＰＵ（Central Processing Unit）と同様の通信装置、記憶装置及びＣＰＵを有する。撮像装置２００の撮像センサは、一定周期（例えば３３ｍｓｅｃ）毎にイベント空間を撮影してアナログの画像信号を生成し、Ａ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、記憶装置に記憶する。ＣＰＵは、記憶装置に記憶された画像データを、通信インタフェース回路を介して画像処理装置１００に送信する。 The image pickup device 200 includes a reduction optical system type image pickup sensor including an image pickup device composed of CCDs (Charge Coupled Devices) arranged in two dimensions, and an A / D converter. Instead of the reduction optical system type image sensor, a 1x optical system type CIS (Contact Image Sensor) including an image sensor made of CMOS (Complementary Metal Oxide Semiconductor) may be used. Further, the image pickup device 200 has a communication device, a storage device, and a CPU similar to the communication device, the storage device, and the CPU (Central Processing Unit) of the image processing device 100, which will be described later. The image sensor of the image pickup device 200 captures an event space at regular intervals (for example, 33 msec), generates an analog image signal, and outputs the analog image signal to the A / D converter. The A / D converter converts the output analog image signal into analog-digital, sequentially generates digital image data, and stores it in a storage device. The CPU transmits the image data stored in the storage device to the image processing device 100 via the communication interface circuit.

なお、各撮像装置２００は、画像処理装置１００から撮影タイミングを同期させるための同期信号を定期的に受信し、受信した同期信号に従って同一のタイミングにイベント空間を撮像して入力画像を生成する。 Each image pickup device 200 periodically receives a synchronization signal for synchronizing the shooting timing from the image processing device 100, images the event space at the same timing according to the received synchronization signal, and generates an input image.

端末装置３００は、パーソナルコンピュータ、ノートＰＣ、タブレットＰＣ、多機能携帯電話等の情報処理装置である。各端末装置３００は、スポーツのプレイヤ又はマネージャ等の利用者により、撮像装置２００で撮影された画像を閲覧するために使用される。 The terminal device 300 is an information processing device such as a personal computer, a notebook PC, a tablet PC, and a multifunctional mobile phone. Each terminal device 300 is used by a user such as a sports player or manager to view an image captured by the image pickup device 200.

端末装置３００は、後述する、画像処理装置１００の通信装置、操作装置、表示装置、記憶装置及びＣＰＵと同様の通信装置、操作装置、表示装置、記憶装置及びＣＰＵ等を有する。ＣＰＵは、操作装置を用いた利用者による指示を受け付け、受け付けた指示に従って、通信装置を介して画像処理装置１００に、画像を表示するための表示データの取得要求信号を送信する。また、ＣＰＵは、通信装置を介して画像処理装置１００から受信した表示データに応じた画像を記憶装置に記憶しつつ表示装置に表示する。 The terminal device 300 has a communication device, an operation device, a display device, a storage device, a communication device similar to the CPU, an operation device, a display device, a storage device, a CPU, and the like, which will be described later. The CPU receives an instruction from the user using the operation device, and transmits a display data acquisition request signal for displaying an image to the image processing device 100 via the communication device according to the received instruction. Further, the CPU displays an image corresponding to the display data received from the image processing device 100 via the communication device on the display device while storing the image in the storage device.

画像処理装置１００は、サーバ、パーソナルコンピュータ、ノートＰＣ等の情報処理装置である。画像処理装置１００は、通信装置１０１と、操作装置１０２と、表示装置１０３と、記憶装置１２０と、ＣＰＵ（Control Processing Unit）１４０と、制御回路１６０とを有する。 The image processing device 100 is an information processing device such as a server, a personal computer, and a notebook PC. The image processing device 100 includes a communication device 101, an operation device 102, a display device 103, a storage device 120, a CPU (Control Processing Unit) 140, and a control circuit 160.

通信装置１０１は、出力部の一例である。通信装置１０１は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。通信装置１０１は、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）８０２．１１規格等に準拠した通信インタフェース回路を有してもよい。その場合、通信装置１０１は、アクセスポイントを介して無線通信ネットワークに接続する。なお、通信装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、撮像装置２００及び端末装置３００と電気的に接続してもよい。通信装置１０１は、撮像装置２００及び端末装置３００と接続して画像及び各種の情報を送受信する。 The communication device 101 is an example of an output unit. The communication device 101 has a communication interface circuit compliant with TCP / IP (Transmission Control Protocol / Internet Protocol) and the like, and connects to a communication network such as an intranet or the Internet. The communication device 101 may have a communication interface circuit conforming to the IEEE (Institute of Electrical and Electronic Engineers) 802.11 standard or the like. In that case, the communication device 101 connects to the wireless communication network via the access point. The communication device 101 has an interface circuit similar to a serial bus such as USB (Universal Serial Bus), and may be electrically connected to the image pickup device 200 and the terminal device 300. The communication device 101 connects to the image pickup device 200 and the terminal device 300 to transmit and receive images and various information.

操作装置１０２は、キーボード、マウス、タッチパッド等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号をＣＰＵ１４０に出力する。 The operation device 102 has an input device such as a keyboard, a mouse, and a touch pad, and an interface circuit for acquiring a signal from the input device, and outputs a signal corresponding to the operation of the user to the CPU 140.

表示装置１０３は、出力部の他の例である。表示装置１０３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、ＣＰＵ１４０からの指示に従って、記憶装置１２０に保存されている画像データをディスプレイに表示する。 The display device 103 is another example of the output unit. The display device 103 has a display composed of a liquid crystal, an organic EL, and the like, and an interface circuit for outputting image data to the display, and displays the image data stored in the storage device 120 on the display according to an instruction from the CPU 140. ..

記憶装置１２０は、記憶部の一例である。記憶装置１２０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１２０には、画像処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶装置１２０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。 The storage device 120 is an example of a storage unit. The storage device 120 includes a memory device such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a fixed disk device such as a hard disk, or a portable storage device such as a flexible disk and an optical disk. Further, the storage device 120 stores computer programs, databases, tables, etc. used for various processes of the image processing device 100. The computer program may be installed in the storage device 120 from a computer-readable portable recording medium using a known setup program or the like. The portable recording medium is, for example, a CD-ROM (compact disk read only memory), a DVD-ROM (digital versatile disk read only memory), or the like.

また、記憶装置１２０は、データとして、各イベントが実施されるイベント空間における人物配置に関する特徴情報を管理する特徴情報テーブルを予め記憶する。特徴情報テーブルの詳細については後述する。また、記憶装置１２０は、複数の撮像装置２００毎に、各撮像装置２００の配置位置（撮像素子の位置）、撮像方向（光学系の光軸方向）、画角及び撮像範囲等を予め記憶する。また、記憶装置１２０は、複数の撮像装置２００毎に、各撮像装置２００により人物等の物体が存在しないイベント空間が撮像された背景画像を予め記憶する。また、記憶装置１２０は、イベント空間内の各空間（第１空間、第２空間、対象コート、相手コート等）の範囲を示す情報を予め記憶する。また、記憶装置１２０は、撮像装置２００から取得した入力画像等を記憶するとともに、各入力画像を管理するための管理テーブルを記憶する。管理テーブルの詳細については後述する。 In addition, the storage device 120 stores in advance as data a feature information table that manages feature information related to the arrangement of people in the event space where each event is performed. The details of the feature information table will be described later. Further, the storage device 120 stores in advance the arrangement position (position of the image pickup element), the image pickup direction (optical axis direction of the optical system), the angle of view, the image pickup range, etc. of each image pickup device 200 for each of the plurality of image pickup devices 200. .. In addition, the storage device 120 stores in advance a background image in which an event space in which an object such as a person does not exist is captured by each of the plurality of image pickup devices 200. Further, the storage device 120 stores in advance information indicating the range of each space (first space, second space, target coat, partner coat, etc.) in the event space. In addition, the storage device 120 stores the input images and the like acquired from the image pickup device 200, and also stores the management table for managing each input image. The details of the management table will be described later.

ＣＰＵ１４０は、予め記憶装置１２０に記憶されているプログラムに基づいて動作する。なお、ＣＰＵ１４０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１４０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。 The CPU 140 operates based on a program stored in the storage device 120 in advance. Instead of the CPU 140, a DSP (digital signal processor), an LSI (large scale integration), or the like may be used. Further, instead of the CPU 140, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programming Gate Array) or the like may be used.

ＣＰＵ１４０は、通信装置１０１、操作装置１０２、表示装置１０３、記憶装置１２０及び制御回路１６０等と接続され、これらの各部を制御する。ＣＰＵ１４０は、通信装置１０１を介した撮像装置２００及び端末装置３００とのデータ送受信制御、撮像装置２００から取得した画像の解析処理等を行う。 The CPU 140 is connected to a communication device 101, an operation device 102, a display device 103, a storage device 120, a control circuit 160, and the like, and controls each of these parts. The CPU 140 performs data transmission / reception control between the image pickup device 200 and the terminal device 300 via the communication device 101, analysis processing of an image acquired from the image pickup device 200, and the like.

制御回路１６０は、入力画像に対して所定の画像処理を実行する。制御回路１６０は、ＣＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等で構成される。 The control circuit 160 executes predetermined image processing on the input image. The control circuit 160 is composed of a CPU, DSP, LSI, ASIC, FPGA, or the like.

図２は、記憶装置１２０及びＣＰＵ１４０の概略構成を示す図である。 FIG. 2 is a diagram showing a schematic configuration of a storage device 120 and a CPU 140.

図２に示すように、記憶装置１２０には、取得プログラム１２１、判定プログラム１２２、選択プログラム１２３、第１処理プログラム１２４、第２処理プログラム１２９、終了判定プログラム１３０及び出力制御プログラム１３１等の各プログラムが記憶される。第１処理プログラム１２４には、検出位置特定プログラム１２５、予測位置推定プログラム１２６、接触判定プログラム１２７及び記憶制御プログラム１２８等が含まれる。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１４０は、記憶装置１２０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、ＣＰＵ１４０は、取得部１４１、判定部１４２、選択部１４３、第１処理部１４４、第２処理部１４９、終了判定部１５０及び出力制御部１５１として機能する。第１処理部１４４には、検出位置特定部１４５、予測位置推定部１４６、接触判定部１４７及び記憶制御部１４８等が含まれる。 As shown in FIG. 2, the storage device 120 includes programs such as an acquisition program 121, a determination program 122, a selection program 123, a first processing program 124, a second processing program 129, an end determination program 130, and an output control program 131. Is memorized. The first processing program 124 includes a detection position specifying program 125, a predicted position estimation program 126, a contact determination program 127, a storage control program 128, and the like. Each of these programs is a functional module implemented by software running on the processor. The CPU 140 reads each program stored in the storage device 120 and operates according to each read program. As a result, the CPU 140 functions as an acquisition unit 141, a determination unit 142, a selection unit 143, a first processing unit 144, a second processing unit 149, an end determination unit 150, and an output control unit 151. The first processing unit 144 includes a detection position specifying unit 145, a predicted position estimation unit 146, a contact determination unit 147, a memory control unit 148, and the like.

図３は、特徴情報テーブルのデータ構造の一例を示す模式図である。 FIG. 3 is a schematic diagram showing an example of the data structure of the feature information table.

図３に示すように、特徴情報テーブルには、複数のイベントの識別情報（イベントＩＤ）、複数の撮像装置２００の識別情報（撮像装置ＩＤ）、領域情報、特徴情報及び終了条件等が相互に関連付けて記憶される。 As shown in FIG. 3, in the feature information table, identification information (event ID) of a plurality of events, identification information (imaging device ID) of a plurality of imaging devices 200, area information, feature information, termination conditions, and the like are mutually present. It is associated and stored.

領域情報は、各撮像装置２００により生成された入力画像内で各イベントが実施される各空間に対応する領域、即ち各空間が撮像された領域を示す情報であり、各領域に含まれる各画素の座標の集合である。なお、相互に異なる複数の撮像装置２００により生成された各入力画像において、同一の空間に対応する各領域は、各領域に少なくともその空間の一部が含まれるように設定されていればよく、必ずしもその空間の全部が含まれるように設定されていなくてもよい。 The area information is information indicating an area corresponding to each space in which each event is executed in the input image generated by each image pickup apparatus 200, that is, an area in which each space is imaged, and each pixel included in each area. Is a set of coordinates of. In each input image generated by a plurality of imaging devices 200 that are different from each other, each region corresponding to the same space may be set so that at least a part of the space is included in each region. It does not necessarily have to be set to include the entire space.

特徴情報は、所定イベントに含まれる複数のイベント毎に且つ複数の撮像装置２００毎に設定され、各撮像装置２００が撮像した入力画像内の、各イベントが実施される各空間における人物配置に係る特徴を示す。人物配置は、複数の人物の位置（フォーメーション）又は動き（連携動作）等である。特徴情報は、入力画像内の各空間が撮像された領域における人物数（人物領域の数）又は人物領域の偏り（標準偏差）に関する条件等である。特徴情報は、例えば、人物数が所定数以上であること、及び／又は、人物領域の偏りが所定範囲内であること等である。複数の特徴情報の内の第１特徴情報は、第１イベントが実施される第１空間における人物配置に関する特徴を示し、複数の特徴情報の内の第２特徴情報は、第２イベントが実施される第２空間における人物配置に関する特徴を示す。 The feature information is set for each of a plurality of events included in a predetermined event and for each of a plurality of image pickup devices 200, and relates to the arrangement of people in each space in which each event is carried out in the input image captured by each image pickup device 200. Show features. The person arrangement is the position (formation) or movement (cooperative movement) of a plurality of people. The feature information is a condition related to the number of people (the number of person areas) or the bias of the person area (standard deviation) in the area where each space in the input image is imaged. The feature information is, for example, that the number of persons is a predetermined number or more, and / or that the bias of the person area is within a predetermined range. The first feature information among the plurality of feature information indicates the feature related to the person arrangement in the first space where the first event is carried out, and the second feature information among the plurality of feature information is the second event carried out. The characteristics related to the arrangement of people in the second space are shown.

終了条件は、その特徴情報に対応するイベントの終了条件である。終了条件は、入力画像内の各空間が撮像された領域における人物数又は人物領域の偏りに関する条件等である。終了条件は、例えば、人物数と基準数との差が所定差以上であること、又は、人物領域の標準偏差と基準標準偏差との差が所定差以上であること等である。なお、終了条件は、人物数がイベント開始時の人物数から所定数以上減少すること、又は、人物領域の位置がイベント開始時の位置から所定距離以上変化すること等でもよい。 The end condition is the end condition of the event corresponding to the feature information. The end condition is a condition related to the number of people or the bias of the person area in the area where each space in the input image is imaged. The end condition is, for example, that the difference between the number of persons and the reference number is a predetermined difference or more, or that the difference between the standard deviation of the person area and the reference standard deviation is a predetermined difference or more. The end condition may be that the number of people decreases by a predetermined number or more from the number of people at the start of the event, or that the position of the person area changes by a predetermined distance or more from the position at the start of the event.

図４は、画像処理装置１００による解析処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、解析処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１２０に記憶されているプログラムに基づき主にＣＰＵ１４０により画像処理装置１００の各要素と協働して実行される。 FIG. 4 is a flowchart showing the operation of the analysis process by the image processing device 100. Hereinafter, the operation of the analysis process will be described with reference to the flowchart shown in FIG. The operation flow described below is mainly executed by the CPU 140 in cooperation with each element of the image processing device 100 based on the program stored in the storage device 120 in advance.

最初に、取得部１４１は、通信装置１０１を介して複数の撮像装置２００から、各撮像装置２００によりイベント空間が撮影された複数の入力画像を含む入力画像群を取得し、記憶装置１２０に保存する（ステップＳ１０１）。各撮像装置２００は一定周期毎に入力画像を撮影し、取得部１４１は一定周期毎に、各撮像装置２００により撮像された入力画像群を取得する。即ち、入力画像群には、各撮像装置２００により同一タイミングで撮影された入力画像が含まれる。複数の撮像装置２００の内の第１撮像装置２００によってイベント空間、即ち第１空間及び第２空間が撮影された入力画像は、第１入力画像の一例である。複数の撮像装置２００の内の第１撮像装置２００と異なる第２撮像装置２００によってイベント空間、即ち第１空間及び第２空間が撮影された入力画像は、第２入力画像の一例である。取得部１４１は、一定周期毎に第１入力画像及び第２入力画像を取得することにより、複数の第１入力画像及び複数の第２入力画像を取得する。さらに、取得部１４１は、取得した各入力画像に関する情報を管理テーブルに記憶する。 First, the acquisition unit 141 acquires an input image group including a plurality of input images in which the event space is captured by each image pickup device 200 from the plurality of image pickup devices 200 via the communication device 101, and stores the input image group in the storage device 120. (Step S101). Each imaging device 200 captures an input image at regular intervals, and the acquisition unit 141 acquires a group of input images captured by each imaging device 200 at regular intervals. That is, the input image group includes input images taken at the same timing by each imaging device 200. The input image in which the event space, that is, the first space and the second space is captured by the first image pickup device 200 among the plurality of image pickup devices 200 is an example of the first input image. The input image in which the event space, that is, the first space and the second space is captured by the second image pickup device 200 different from the first image pickup device 200 among the plurality of image pickup devices 200 is an example of the second input image. The acquisition unit 141 acquires a plurality of first input images and a plurality of second input images by acquiring the first input image and the second input image at regular intervals. Further, the acquisition unit 141 stores information about each acquired input image in the management table.

図５は、管理テーブルのデータ構造の一例を示す模式図である。 FIG. 5 is a schematic diagram showing an example of the data structure of the management table.

図５に示すように、管理テーブルには、取得した入力画像毎に、各入力画像の識別情報（画像ＩＤ）、撮像装置ＩＤ、格納アドレス、撮影時刻、物体領域、検出位置、ターンの識別情報（ターンＩＤ）及び状態等が相互に関連付けて記憶される。撮像装置ＩＤは、各入力画像を生成した撮像装置２００の撮像装置ＩＤである。格納アドレスは、各入力画像を格納している記憶装置１２０内のアドレスである。撮影時刻は、各入力画像が生成された時刻である。物体領域は、各入力画像内でボールと推定される物体が存在する領域として検出された二次元領域である。検出位置は、その物体の所定空間内の三次元位置である。ターンＩＤは、ボールが対象コートに移動してきてから相手コート又はコート外に移動するまでのターン毎に割り当てられた識別情報である。状態は、対応する入力画像におけるイベント又は物体等の状態である。 As shown in FIG. 5, in the management table, the identification information (image ID) of each input image, the image pickup device ID, the storage address, the shooting time, the object area, the detection position, and the identification information of the turn are displayed for each acquired input image. (Turn ID), state, etc. are stored in association with each other. The image pickup device ID is an image pickup device ID of the image pickup device 200 that generated each input image. The storage address is an address in the storage device 120 that stores each input image. The shooting time is the time when each input image is generated. The object area is a two-dimensional area detected as an area in which an object presumed to be a ball exists in each input image. The detection position is a three-dimensional position in a predetermined space of the object. The turn ID is identification information assigned for each turn from when the ball moves to the target court to when it moves to the opponent's court or off the court. The state is the state of an event, object, etc. in the corresponding input image.

取得部１４１は、管理テーブルにおいて、取得した入力画像毎に、各入力画像の画像ＩＤ、撮像装置ＩＤ、格納アドレス、撮影時刻及び最新のターンＩＤを関連付けて記憶する。ターンＩＤは、処理開始時、初期値に設定され、後述するステップＳ２０６の処理において更新される。 In the management table, the acquisition unit 141 stores the image ID, the image pickup device ID, the storage address, the shooting time, and the latest turn ID of each input image in association with each acquired input image. The turn ID is set to an initial value at the start of processing and is updated in the processing of step S206 described later.

図６Ａ及び図６Ｂは、入力画像の一例を示す模式図である。 6A and 6B are schematic views showing an example of an input image.

図６Ａは、サイドラインの延伸方向においてコートの略中央に且つセンターラインの延伸方向においてコートの外側に配置された第１撮像装置２００から、コートの一方のサイドを撮像した第１入力画像６００の一例を示す。図６Ｂは、サイドラインの延伸方向においてコートの外側に且つセンターラインの延伸方向においてコートの略中央に配置された第２撮像装置２００から、コートを撮像した第２入力画像６１０の一例を示す。第１入力画像６００及び第２入力画像６１０には、それぞれ、イベント空間として同一のコートが含まれている。 FIG. 6A shows the first input image 600 in which one side of the coat is imaged from the first image pickup apparatus 200 arranged substantially in the center of the coat in the extension direction of the side line and outside the coat in the extension direction of the center line. An example is shown. FIG. 6B shows an example of the second input image 610 in which the coat is imaged from the second image pickup apparatus 200 arranged outside the coat in the extension direction of the side line and substantially in the center of the coat in the extension direction of the center line. The first input image 600 and the second input image 610 each include the same coat as the event space.

次に、判定部１４２は、取得した入力画像群に含まれる入力画像毎に、各入力画像から、人物が含まれる人物領域を検出する（ステップＳ１０２）。 Next, the determination unit 142 detects a person area including a person from each input image for each input image included in the acquired input image group (step S102).

判定部１４２は、まず、各入力画像から、イベント空間内の各イベントが実施される空間に対応する領域、即ち各空間が撮像された領域を抽出する。判定部１４２は、特徴情報テーブルから、各入力画像を撮像した撮像装置２００と関連付けられた領域情報を読み出し、各入力画像から、読み出した領域情報に示される領域を抽出する。 First, the determination unit 142 extracts from each input image a region in the event space corresponding to the space in which each event is executed, that is, a region in which each space is imaged. The determination unit 142 reads out the area information associated with the image pickup apparatus 200 that has captured each input image from the feature information table, and extracts the area indicated by the read out area information from each input image.

判定部１４２は、各撮像装置２００により撮像された入力画像において、抽出した領域内の各画素の輝度値と、その撮像装置２００により撮像された背景画像の対応する各画素の輝度値との差の絶対値を算出する。判定部１４２は、算出した差の絶対値が所定値以上となる画素の領域を差分領域として抽出し、相互に隣接（８連結）する差分領域をラベリングによりグループ化して変化領域として検出する。判定部１４２は、検出した変化領域の内、大きさ及び／又は縦横比等の特徴量が予め設定された範囲内である変化領域を人物領域として検出する。なお、各変化領域は、入力画像内の位置及び撮像装置２００の設置情報（設置高さ、俯角、画角等）等を用いて、実際の大きさに合うように変換されてもよい。また、判定部１４２は、フレーム間差分又は機械学習等の他の公知の技術を用いて、人物領域を検出してもよい。また、判定部１４２は、入力画像内の各画素の輝度値が二値化閾値以上であるか否かによって入力画像を二値化し、輝度値が二値化閾値未満である画素をラベリングによりグループ化して変化領域として検出してもよい。 The determination unit 142 determines the difference between the brightness value of each pixel in the extracted region and the brightness value of each corresponding pixel of the background image captured by the image pickup device 200 in the input image captured by each image pickup device 200. Calculate the absolute value of. The determination unit 142 extracts a pixel region in which the calculated absolute value of the difference is equal to or greater than a predetermined value as a difference region, groups the difference regions adjacent to each other (8 connected) by labeling, and detects them as a change region. The determination unit 142 detects as a person area a change area in which a feature amount such as a size and / or an aspect ratio is within a preset range among the detected change areas. Each change area may be converted to fit the actual size by using the position in the input image and the installation information (installation height, depression angle, angle of view, etc.) of the imaging device 200. In addition, the determination unit 142 may detect the person region by using other known techniques such as inter-frame difference or machine learning. Further, the determination unit 142 binarizes the input image depending on whether or not the brightness value of each pixel in the input image is equal to or higher than the binarization threshold value, and groups the pixels whose brightness value is less than the binarization threshold value by labeling. It may be converted and detected as a change area.

図６Ａ及び図６Ｂにおいて、第１イベントが実施される第１空間は、一方のコートの中央位置の周辺空間６０１、６１１であり、第２イベントが実施される第２空間は、第１空間と同一の空間であるものとする。なお、第２空間は、第１空間と異なる領域でもよい。第１入力画像６００では、領域６０２が、第１空間６０１が撮像された領域として抽出されるとともに、第２空間が撮像された領域としても抽出される。また、第２入力画像６１０では、領域６１２が、第１空間６１１が撮像された領域として抽出されるとともに、第２空間が撮像された領域として抽出される。また、この例では、第２撮像装置２００に対応する領域情報として、一方のコートの中央位置の周辺空間に加えて、他方のコートの中央位置の周辺空間が設定されているものとする。そのため、第２入力画像６１０では、領域６１２とは別に、他方のコートの中央位置の周辺空間６１３が撮像された領域６１４も抽出されている。判定部１４２は、抽出した領域６０２、領域６１２及び領域６１４内で人物領域を検出する。 In FIGS. 6A and 6B, the first space in which the first event is carried out is the peripheral spaces 601 and 611 at the center position of one of the courts, and the second space in which the second event is carried out is the first space. It is assumed that they are the same space. The second space may be a region different from the first space. In the first input image 600, the area 602 is extracted as the area where the first space 601 is imaged, and is also extracted as the area where the second space is imaged. Further, in the second input image 610, the area 612 is extracted as the area where the first space 611 is imaged, and the area 612 is extracted as the area where the second space is imaged. Further, in this example, it is assumed that the peripheral space at the center position of the other coat is set in addition to the peripheral space at the center position of the other coat as the area information corresponding to the second imaging device 200. Therefore, in the second input image 610, apart from the region 612, the region 614 in which the peripheral space 613 at the center position of the other coat is captured is also extracted. The determination unit 142 detects a person region in the extracted regions 602, 612, and 614.

次に、判定部１４２は、入力画像群に含まれる入力画像毎に、イベント空間内の各空間に対応する領域と各領域に対応する特徴情報との適合度合いを算出する（ステップＳ１０３）。適合度合いは、各領域に含まれる人物領域の状態と、各特徴情報とが合致している度合いである。 Next, the determination unit 142 calculates the degree of conformity between the region corresponding to each space in the event space and the feature information corresponding to each region for each input image included in the input image group (step S103). The degree of conformity is the degree to which the state of the person area included in each area and each feature information match.

判定部１４２は、特徴情報テーブルから、各イベント、各入力画像を撮像した撮像装置２００及び各空間に対応する領域情報と関連付けられた特徴情報を読み出し、検出した人物領域と、読み出した特徴情報との適合度合いを算出する。判定部１４２は、人物領域が、特徴情報に示される条件を満たす数又は割合が高いほど高くなるように、適合度合いを算出する。なお、判定部１４２は、人物領域が、特徴情報に示される全ての条件を満たすことを示す値と、人物領域が、何れかの条件を満たさないことを示す値との二値を有するように適合度合いを算出してもよい。 The determination unit 142 reads out the feature information associated with the image pickup device 200 that captured each event and each input image and the area information corresponding to each space from the feature information table, and the detected person area and the read feature information. Calculate the degree of conformity of. The determination unit 142 calculates the degree of conformity so that the higher the number or ratio of the person area satisfying the conditions shown in the feature information, the higher the degree of conformity. The determination unit 142 has a binary value of a value indicating that the person area satisfies all the conditions shown in the feature information and a value indicating that the person area does not satisfy any of the conditions. The degree of conformity may be calculated.

また、判定部１４２は、機械学習等の他の公知の技術を用いて、適合度合いを算出してもよい。その場合、判定部１４２は、画像が入力された場合に、その画像において各イベントが実施されている確度を出力するように事前学習された識別器により、適合度合いを算出する。識別器は、ディープラーニング等により、各イベントが実施されている空間を撮影した複数の学習用画像と、各イベントが実施されていない空間を撮影した複数の学習用画像とを用いて事前学習され、特徴情報として予め記憶装置１２０に記憶される。判定部１４２は、入力画像から抽出した各領域を含む画像を識別器に入力し、識別器から出力された確度を適合度合いとして取得する。 Further, the determination unit 142 may calculate the degree of conformity by using other known techniques such as machine learning. In that case, when an image is input, the determination unit 142 calculates the degree of conformity by a discriminator trained in advance so as to output the probability that each event is executed in the image. The classifier is pre-learned by deep learning or the like using a plurality of learning images of the space where each event is carried out and a plurality of learning images of the space where each event is not carried out. , It is stored in the storage device 120 in advance as feature information. The determination unit 142 inputs an image including each region extracted from the input image to the classifier, and acquires the accuracy output from the classifier as the degree of conformity.

このように、判定部１４２は、第１入力画像及び第２入力画像の両方において、第１空間に対応する領域と第１特徴情報との適合度合い、及び、第２空間に対応する領域と第２特徴情報との適合度合いを算出する。 As described above, the determination unit 142 determines the degree of conformity between the region corresponding to the first space and the first feature information, and the region corresponding to the second space and the second in both the first input image and the second input image. 2 Calculate the degree of compatibility with the feature information.

次に、判定部１４２は、算出した何れかの適合度合いが所定数以上連続して閾値以上であるか否かを判定する（ステップＳ１０４）。判定部１４２は、特定の撮像装置２００により撮像された入力画像の特定の領域において特定のイベントに対応する特徴情報との適合度合いが所定数以上連続して閾値以上である場合に、適合度合いが所定数以上連続して閾値以上であると判定する。所定数及び閾値は、事前の実験により、各イベントが実施されている状態と、実施されていない状態とを区別可能な値に設定される。所定数は１以上の自然数である。 Next, the determination unit 142 determines whether or not any of the calculated degree of conformity is continuously equal to or greater than the threshold value by a predetermined number or more (step S104). The determination unit 142 determines the degree of conformity when the degree of conformity with the feature information corresponding to a specific event in a specific region of the input image captured by the specific imaging device 200 is continuously equal to or greater than a predetermined number of threshold values. It is determined that the threshold value or more is continuously determined by a predetermined number or more. The predetermined number and the threshold value are set to values that can distinguish between the state in which each event is performed and the state in which each event is not performed by a prior experiment. The predetermined number is a natural number of 1 or more.

何れの適合度合いも所定数以上連続して閾値以上でない場合、判定部１４２は、処理をステップＳ１０１に戻し、ステップＳ１０１〜Ｓ１０４の処理を繰り返す。一方、何れかの適合度合いが所定数以上連続して閾値以上である場合、判定部１４２は、その適合度合いに対応するイベントを、イベント空間において実施されているイベントとして特定する（ステップＳ１０５）。なお、複数のイベントに係る適合度合いが所定数以上連続して閾値以上である場合、判定部１４２は、適合度合いが最も高いイベントを、イベント空間において実施されているイベントとして特定する。 When none of the conformance degrees is continuously equal to or greater than the threshold value by a predetermined number or more, the determination unit 142 returns the process to step S101 and repeats the processes of steps S101 to S104. On the other hand, when any of the degree of conformity is continuously equal to or greater than the threshold value by a predetermined number or more, the determination unit 142 identifies the event corresponding to the degree of conformity as an event being carried out in the event space (step S105). When the degree of conformity relating to a plurality of events is continuously equal to or greater than a predetermined number and is equal to or greater than the threshold value, the determination unit 142 identifies the event having the highest degree of conformity as an event implemented in the event space.

このように、判定部１４２は、複数の第１入力画像及び複数の第２入力画像において、算出した各適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定する。特に、判定部１４２は、連続して撮影された所定数の第１入力画像又は第２入力画像における、第１特徴情報との適合度合い又は第２特徴情報との適合度合いが全て閾値以上である場合に、第１イベント又は第２イベントが実施されたと判定する。 In this way, the determination unit 142 determines whether or not the first event or the second event has been executed in the plurality of first input images and the plurality of second input images based on the calculated degree of conformity. In particular, in the determination unit 142, the degree of conformity with the first feature information or the degree of conformity with the second feature information in a predetermined number of continuously captured first input images or second input images are all equal to or higher than the threshold value. In this case, it is determined that the first event or the second event has been carried out.

さらに、判定部１４２は、管理テーブルにおいて、適合度合いが所定数以上連続して閾値以上となった入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、特定したイベント及びイベント開始を設定する。 Further, the determination unit 142 specifies an event and an event specified in the management table as the state of the input image in which the degree of conformity is continuously equal to or higher than the threshold value by a predetermined number or more and each input image taken at the same timing as the input image. Set the start.

図７Ａ、図７Ｂ、図８、図９Ａ、図９Ｂ及び図１０は、イベントの特定について説明するための模式図である。 7A, 7B, 8, 9A, 9B and 10 are schematic diagrams for explaining the identification of the event.

図７Ａは、第１撮像装置２００によりスパイク練習を開始しようとしている状態のコートが撮像された第１入力画像７００を示し、図７Ｂは、第１撮像装置２００によりスパイク練習の開始直前のコートが撮像された第１入力画像７１０を示す。図７Ａに示すように、第１入力画像７００では、選手がコート内に集まり始めており、領域６０２内で３つの人物領域７０１〜７０３がばらばらに検出されている。一方、図７Ｂに示すように、第１入力画像７１０では、５人の選手がコート内に集まっており、領域６０２内で５つの人物領域７１１〜７１５が一列に並んだ状態で検出されている。仮にスパイク練習及び第１撮像装置２００に関連付けられた特徴情報として「人物領域が４つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ一列に対応する設定範囲内であること」が設定されているものとする。その場合、第１入力画像７００に対するスパイク練習の適合度合いは低くなり、第１入力画像７００からはイベントとしてスパイク練習が特定されない。一方、第１入力画像７１０に対するスパイク練習の適合度合いは高くなり、第１入力画像７１０からイベントとしてスパイク練習が特定される。 FIG. 7A shows a first input image 700 in which a coat in a state where the spike practice is about to be started by the first imaging device 200 is captured, and FIG. 7B shows a coat immediately before the start of the spike practice by the first imaging device 200. The captured first input image 710 is shown. As shown in FIG. 7A, in the first input image 700, athletes have begun to gather in the court, and three person regions 701 to 703 are separately detected in the region 602. On the other hand, as shown in FIG. 7B, in the first input image 710, five athletes are gathered in the court, and five person regions 711 to 715 are detected in a row in the region 602. .. Assuming that the feature information associated with the spike practice and the first imaging device 200 is "there are four or more person areas" and "the standard deviations of the horizontal and vertical center of gravity positions of each person area correspond to one row respectively". It is assumed that "being within the range" is set. In that case, the degree of conformity of the spike practice with respect to the first input image 700 is low, and the spike practice is not specified as an event from the first input image 700. On the other hand, the degree of conformity of the spike practice with respect to the first input image 710 is high, and the spike practice is specified as an event from the first input image 710.

図８は、第２撮像装置２００によりスパイク練習の開始直前のコートが撮像された第２入力画像８００を示す。図８に示すように、第２入力画像８００では、５人の選手が手前側のコート内に集まっており、領域６１２内で５つの人物領域８０１〜８０５が検出されている。さらに、第２入力画像８００では、４人の選手が奥側のコート内に集まっており、領域６１４内で４つの人物領域８０６〜８０９が検出されている。仮にスパイク練習、第２撮像装置２００及び手前側のコート領域に関連付けられた特徴情報として「人物領域が４つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ一列に対応する設定範囲内であること」が設定されているものとする。また、スパイク練習、第２撮像装置２００及び奥側のコート領域に関連付けられた特徴情報として「人物領域が２つ以上であること」が設定されているものとする。その場合、第２入力画像８００に対するスパイク練習の適合度合いは高くなり、第２入力画像８００からイベントとしてスパイク練習が特定される。 FIG. 8 shows a second input image 800 in which the coat immediately before the start of the spike practice was imaged by the second imaging device 200. As shown in FIG. 8, in the second input image 800, five athletes are gathered in the court on the front side, and five person regions 801 to 805 are detected in the region 612. Further, in the second input image 800, four athletes are gathered in the court on the back side, and four person regions 806 to 809 are detected in the region 614. Assuming that the feature information associated with the spike practice, the second imaging device 200 and the court area on the front side is "there are four or more person areas" and "the standard deviation of the horizontal and vertical center of gravity of each person area". It is assumed that "must be within the setting range corresponding to each row" is set. Further, it is assumed that "there are two or more person areas" is set as the feature information associated with the spike practice, the second imaging device 200, and the court area on the back side. In that case, the degree of conformity of the spike practice with respect to the second input image 800 becomes high, and the spike practice is specified as an event from the second input image 800.

図９Ａは、第２撮像装置２００により試合形式練習を開始しようとしている状態のコートが撮像された第２入力画像９００を示し、図９Ｂは、第２撮像装置２００により試合形式練習の開始直前のコートが撮像された第２入力画像９１０を示す。図９Ａに示すように、第２入力画像９００では、選手が手前側のコート内に集まり始めており、領域６１２内で５つの人物領域９０１〜９０５がばらばらに検出されている。一方、図９Ｂに示すように、第２入力画像９１０では、８人の選手が手前側のコート内に集まっており、領域６１２内で６つの人物領域９１１〜９１６が円状に並んだ状態で検出されている。仮に試合形式練習、第２撮像装置２００及び手前側のコート領域に関連付けられた特徴情報として「人物領域が５つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ円状に対応する設定範囲内であること」が設定されているものとする。また、試合形式練習、第２撮像装置２００及び奥側のコート領域に関連付けられた特徴情報として「人物領域が０であること」が設定されているものとする。その場合、第２入力画像９００に対する試合形式練習の適合度合いは低くなり、第２入力画像９００からはイベントとして試合形式練習が特定されない。一方、第２入力画像９１０に対する試合形式練習の適合度合いは高くなり、第２入力画像９１０からイベントとして試合形式練習が特定される。 FIG. 9A shows a second input image 900 in which the court in a state where the second imaging device 200 is about to start the game-style practice is captured, and FIG. 9B shows immediately before the start of the game-style practice by the second imaging device 200. The second input image 910 in which the coat was imaged is shown. As shown in FIG. 9A, in the second input image 900, the players have begun to gather in the court on the front side, and five person areas 901 to 905 are separately detected in the area 612. On the other hand, as shown in FIG. 9B, in the second input image 910, eight athletes are gathered in the court on the front side, and six person regions 911 to 916 are arranged in a circle in the region 612. It has been detected. Assuming that the feature information associated with the match-style practice, the second imaging device 200 and the court area on the front side is "there are five or more person areas" and "the standard deviation of the horizontal and vertical center of gravity of each person area". It is assumed that "is within the setting range corresponding to each circle" is set. Further, it is assumed that "the person area is 0" is set as the feature information associated with the game-style practice, the second imaging device 200, and the court area on the back side. In that case, the degree of conformity of the match-style practice with respect to the second input image 900 is low, and the match-style practice is not specified as an event from the second input image 900. On the other hand, the degree of conformity of the match-style practice with respect to the second input image 910 is high, and the match-style practice is specified as an event from the second input image 910.

図１０は、第１撮像装置２００により試合形式練習の開始直前のコートが撮像された第１入力画像１０００を示す。図１０に示すように、第１入力画像１０００では、９人の選手がコート内に集まっており、領域６０２内で５つの人物領域１００１〜１００５が円状に並んだ状態で検出されている。仮に試合形式練習及び第１撮像装置２００に関連付けられた特徴情報として「人物領域が５つ以上であること」及び「各人物領域の水平及び垂直方向の重心位置の標準偏差がそれぞれ円状に対応する設定範囲内であること」が設定されているものとする。その場合、第１入力画像１０００に対する試合形式練習の適合度合いは高くなり、第１入力画像１０００からイベントとして試合形式練習が特定される。 FIG. 10 shows a first input image 1000 in which the court immediately before the start of the game-style practice is imaged by the first imaging device 200. As shown in FIG. 10, in the first input image 1000, nine athletes are gathered in the court, and five person regions 1001 to 1005 are detected in the region 602 in a state of being arranged in a circle. Assuming that the feature information associated with the match-style practice and the first imaging device 200 is "there are five or more person areas" and "the standard deviations of the horizontal and vertical center of gravity positions of each person area correspond to each other in a circle". It is assumed that "being within the setting range to be performed" is set. In that case, the degree of conformity of the match format practice with respect to the first input image 1000 becomes high, and the match format practice is specified as an event from the first input image 1000.

次に、選択部１４３は、最新の入力画像群に含まれる入力画像毎に、特定されたイベントに対応する空間内の人物密集度合いを算出する（ステップＳ１０６）。 Next, the selection unit 143 calculates the degree of crowding of people in the space corresponding to the specified event for each input image included in the latest input image group (step S106).

選択部１４３は、各人物領域間の距離が短いほど、又は、各人物領域の重なり度合いが大きいほど、大きくなるように人物密集度合いを算出する。選択部１４３は、まず、検出された各人物領域の外接矩形を特定する。選択部１４３は、特定した各外接矩形と他の全ての外接矩形との距離の逆数の平均値を人物密集度合いとして算出する。なお、選択部１４３は、特定した各外接矩形と、その外接矩形の最も近くに位置する外接矩形との距離の逆数の平均値を人物密集度合いとして算出してもよい。また、選択部１４３は、特定した各外接矩形が重なっている他の外接矩形の数の平均値を人物密集度合いとして算出してもよい。また、選択部１４３は、特定した各外接矩形が他の外接矩形と重なっている領域の面積又は面積割合の平均値を人物密集度合いとして算出してもよい。 The selection unit 143 calculates the degree of crowding of people so that the shorter the distance between each person area or the larger the degree of overlap of each person area, the greater the degree of crowding of people. The selection unit 143 first identifies the circumscribed rectangle of each detected person area. The selection unit 143 calculates the average value of the reciprocals of the distances between each of the specified circumscribed rectangles and all the other circumscribed rectangles as the degree of crowding of people. The selection unit 143 may calculate the average value of the reciprocals of the distances between each of the specified circumscribed rectangles and the circumscribed rectangle located closest to the circumscribed rectangle as the degree of crowding of people. Further, the selection unit 143 may calculate the average value of the number of other circumscribed rectangles on which the specified circumscribed rectangles overlap as the degree of crowding of people. Further, the selection unit 143 may calculate the average value of the area or area ratio of the area where each of the specified circumscribed rectangles overlaps with the other circumscribed rectangles as the degree of crowding of people.

このように、選択部１４３は、判定部１４２によりイベントが実施されたと判定された判定の基礎とされた入力画像において、実施されると判定されたイベントに対応する空間内の第１人物密集度合いを算出する。また、選択部１４３は、その判定の基礎とされた入力画像を撮影した撮像装置２００と異なる各撮像装置２００が同じタイミングで撮影した他の入力画像において、同じイベントに対応する空間内の第２人物密集度合いを算出する。 In this way, the selection unit 143 is the first person crowding degree in the space corresponding to the event determined to be executed in the input image used as the basis of the determination determined that the event was executed by the determination unit 142. Is calculated. Further, the selection unit 143 is a second in the space corresponding to the same event in another input image taken at the same timing by each image pickup device 200 different from the image pickup device 200 that captured the input image used as the basis of the determination. Calculate the degree of crowding of people.

次に、選択部１４３は、入力画像毎に算出した人物密集度合いを比較することにより、複数の撮像装置２００の中から、人物密集度合いが最も小さい入力画像を撮像した撮像装置２００を選択する（ステップＳ１０７）。 Next, the selection unit 143 selects the image pickup device 200 that has captured the input image having the smallest person density degree from among the plurality of image pickup devices 200 by comparing the calculated degree of crowd density for each input image ( Step S107).

このように、選択部１４３は、判定部１４２によって複数のイベントの内の何れかが実施されたと判定された場合、第１人物密集度合いと、第２人物密集度合いとの比較に基づいて、撮像装置２００の選択を行う。 As described above, when it is determined by the determination unit 142 that any one of the plurality of events has been performed, the selection unit 143 takes an image based on the comparison between the degree of density of the first person and the degree of density of the second person. Select the device 200.

さらに、選択部１４３は、管理テーブルにおいて、ステップＳ１０５で状態にイベント開始が設定された入力画像の内、選択した撮像装置２００に関連付けられた入力画像の状態に、撮像装置２００が選択された旨をさらに設定する。 Further, the selection unit 143 indicates that the image pickup device 200 is selected as the state of the input image associated with the selected image pickup device 200 among the input images whose event start is set to the state in step S105 in the management table. To set further.

次に、取得部１４１は、最新の入力画像群を取得する（ステップＳ１０８）。なお、既にステップＳ１０１で最新の入力画像群を取得済みである場合、取得部１４１は、ステップＳ１０８の処理を省略してもよい。 Next, the acquisition unit 141 acquires the latest input image group (step S108). If the latest input image group has already been acquired in step S101, the acquisition unit 141 may omit the process of step S108.

次に、第１処理部１４４又は第２処理部１４９は、最新の入力画像群に対して、特定したイベントに応じたイベント処理を実行する（ステップＳ１０９）。イベント処理の詳細については後述する。 Next, the first processing unit 144 or the second processing unit 149 executes event processing according to the specified event for the latest input image group (step S109). Details of event processing will be described later.

次に、終了判定部１５０は、ステップＳ１０２の処理と同様にして、最新の入力画像群に含まれる入力画像の内、選択部１４３によって選択された撮像装置２００が撮影した入力画像から、人物が含まれる人物領域を検出する（ステップＳ１１０）。 Next, in the same manner as in the process of step S102, the end determination unit 150 selects a person from the input images taken by the image pickup apparatus 200 selected by the selection unit 143 among the input images included in the latest input image group. The included person area is detected (step S110).

次に、終了判定部１５０は、検出した人物領域が、判定部１４２によって特定されたイベントの終了条件を満たすか否かを判定する（ステップＳ１１１）。 Next, the end determination unit 150 determines whether or not the detected person area satisfies the end condition of the event specified by the determination unit 142 (step S111).

検出した人物領域がイベントの終了条件を満たさない場合、終了判定部１５０は、特に処理を実行せず、処理をステップＳ１０８へ戻し、ステップＳ１０８〜Ｓ１１１の処理を繰り返す。一方、検出した人物領域がイベントの終了条件を満たす場合、終了判定部１５０は、特定したイベントが終了したと判定し（ステップＳ１１２）、処理をステップＳ１０１へ戻す。 When the detected person area does not satisfy the end condition of the event, the end determination unit 150 does not execute any particular process, returns the process to step S108, and repeats the processes of steps S108 to S111. On the other hand, when the detected person area satisfies the end condition of the event, the end determination unit 150 determines that the specified event has ended (step S112), and returns the process to step S101.

このように、終了判定部１５０は、選択された撮像装置２００が、判定部１４２による判定の基礎とされた入力画像より後に撮影した入力画像が、判定部１４２により実施されると判定されたイベントの終了条件を満たす場合に、そのイベントが終了したと判定する。これにより、終了判定部１５０は、個々の人物を良好に検出しやすい入力画像を用いて、イベントが終了したか否かをより高精度に判定することができる。 In this way, the end determination unit 150 determines that the input image captured by the selected imaging device 200 after the input image on which the determination unit 142 is based is executed by the determination unit 142. If the end condition of is satisfied, it is determined that the event has ended. As a result, the end determination unit 150 can determine with higher accuracy whether or not the event has ended by using an input image that makes it easy to detect each person well.

さらに、終了判定部１５０は、管理テーブルにおいて、人物領域がイベントの終了条件を満たす入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、対応するイベント及びイベント終了を設定する。 Further, the end determination unit 150 sets the corresponding event and the end of the event in the management table for the input image in which the person area satisfies the end condition of the event and the state of each input image taken at the same timing as the input image. ..

図１１Ａ及び図１１Ｂは、イベントの終了について説明するための模式図である。 11A and 11B are schematic diagrams for explaining the end of the event.

図１１Ａは、第１撮像装置２００によりスパイク練習の終了直後のコートが撮像された第１入力画像１１００を示す。図１１Ａに示すように、第１入力画像１１００では、選手がコートから去り始めており、領域６０２内で３つの人物領域１１０１〜１１０３のみが検出されている。仮にスパイク練習及び第１撮像装置２００に関連付けられた終了条件として「人物領域が４つ以上から３つ以下に変化したこと」が設定されている場合、スパイク練習が終了したと判定される。 FIG. 11A shows a first input image 1100 in which the coat immediately after the end of the spike practice was imaged by the first imaging device 200. As shown in FIG. 11A, in the first input image 1100, the athlete is starting to leave the court, and only three person regions 1101 to 1103 are detected in the region 602. If "the person area has changed from 4 or more to 3 or less" is set as the end condition associated with the spike practice and the first imaging device 200, it is determined that the spike practice has ended.

図１１Ｂは、第２撮像装置２００により試合形式練習の終了直後のコートが撮像された第２入力画像１１１０を示す。図１１Ｂに示すように、第２入力画像１１１０では、選手がコートから去り始めており、領域６１２内で３つの人物領域１１１１〜１１１３のみが検出されている。仮に試合形式練習及び第２撮像装置２００に関連付けられた終了条件として「人物領域が５つ以上から３つ以下に変化したこと」が設定されている場合、試合形式練習が終了したと判定される。 FIG. 11B shows a second input image 1110 in which the court immediately after the end of the match-style practice was imaged by the second imaging device 200. As shown in FIG. 11B, in the second input image 1110, the athlete has begun to leave the court, and only three person regions 1111-1113 have been detected in the region 612. If "the person area has changed from 5 or more to 3 or less" is set as the end condition associated with the match format practice and the second imaging device 200, it is determined that the match format practice has been completed. ..

終了判定部１５０は、選択部１４３により選択された撮像装置２００が撮影した、人物密集度合いが小さい入力画像を用いてイベントが終了したか否かを判定するため、イベントの終了の検出誤りを抑制し、イベントの終了を高精度に検出することができる。 Since the end determination unit 150 determines whether or not the event has ended using the input image with a small degree of crowding of people taken by the imaging device 200 selected by the selection unit 143, the end determination unit 150 suppresses an error in detecting the end of the event. However, the end of the event can be detected with high accuracy.

図１２及び図１３は、画像処理装置１００による第１イベント処理の動作を示すフローチャートである。第１イベント処理は、図４の解析処理のステップＳ１０５においてバレーボールの試合形式練習がイベントとして特定された場合に、ステップＳ１０９のイベント処理として実行される。 12 and 13 are flowcharts showing the operation of the first event processing by the image processing device 100. The first event processing is executed as the event processing of step S109 when the volleyball game-style practice is specified as an event in step S105 of the analysis processing of FIG.

最初に、検出位置特定部１４５は、図４のステップＳ１０８で取得された入力画像群から、ボールと推定される物体（以下、対象物体と称する場合がある）を検出する（ステップＳ２０１）。第１イベント処理は、図４のステップＳ１０８で最新の入力画像群毎が取得されるたびに実行される。そのため、検出位置特定部１４５は、各撮影タイミングに撮影された入力画像群から対象物体を検出する。 First, the detection position specifying unit 145 detects an object presumed to be a ball (hereinafter, may be referred to as a target object) from the input image group acquired in step S108 of FIG. 4 (step S201). The first event processing is executed every time the latest input image group is acquired in step S108 of FIG. Therefore, the detection position specifying unit 145 detects the target object from the input image group captured at each imaging timing.

検出位置特定部１４５は、ステップＳ１０２の処理と同様にして、各撮像装置２００により撮像された入力画像において、変化領域を検出する。検出位置特定部１４５は、検出した変化領域の内、形状、大きさ及び／又は縦横比等の特徴量が予め設定された特徴量に最も近似する変化領域を対象物体の物体領域として検出する。即ち、検出位置特定部１４５は、各入力画像において形状、大きさ及び／又は縦横比が最もボールに近い対象物体を一つ検出する。なお、検出位置特定部１４５は、フレーム間差分又は機械学習等の他の公知の技術を用いて、物体領域を検出してもよい。 The detection position specifying unit 145 detects a change region in the input image captured by each image pickup device 200 in the same manner as in the process of step S102. The detection position specifying unit 145 detects as an object region of the target object a change region in which the feature quantity such as shape, size and / or aspect ratio is closest to the preset feature quantity among the detected change regions. That is, the detection position specifying unit 145 detects one target object whose shape, size and / or aspect ratio is closest to the ball in each input image. The detection position specifying unit 145 may detect the object region by using other known techniques such as inter-frame difference or machine learning.

さらに、検出位置特定部１４５は、管理テーブルにおいて、取得した入力画像毎に、各入力画像から検出された物体領域の位置を示す情報を記憶する。 Further, the detection position specifying unit 145 stores information indicating the position of the object region detected from each input image for each acquired input image in the management table.

次に、検出位置特定部１４５は、現在の追跡状態が追跡中であるか否かを判定する。追跡状態は、初期状態として非追跡中に設定され、ボールが対象コート内に入ったとみなされた時に追跡中に設定され、ボールが対象コート外に出たとみなされた時に非追跡中に設定される。さらに、検出位置特定部１４５は、前回までの第１イベント処理においてボールが撮像装置２００の撮影範囲外に存在すると判定されていたか否かと、今回、対象物体が入力画像の所定範囲内に検出されたか否かと、を判定する（ステップＳ２０２）。 Next, the detection position specifying unit 145 determines whether or not the current tracking state is being tracked. The tracking state is initially set to non-tracking, set to tracking when the ball is considered to be on the target court, and set to non-tracking when the ball is considered to be off the target court. To. Further, the detection position specifying unit 145 detects whether or not the ball was determined to be outside the shooting range of the imaging device 200 in the first event processing up to the previous time, and this time, the target object is detected within a predetermined range of the input image. Whether or not it is determined (step S202).

検出位置特定部１４５は、過去にボールが撮影範囲外に移動していると判定され、且つ、その後、対象物体が入力画像の所定範囲内に検出されていない場合、前回までの第１イベント処理においてボールが撮影範囲外に存在すると判定されていたとみなす。所定範囲は、入力画像群に含まれる各入力画像の、ボールが撮影範囲外に移動していると判定された判定の基礎となった予測位置側の端部周辺に設定される。所定範囲は、人物等の他の物体が存在せず、撮影範囲外に移動したボールが戻ってくる領域であり、且つ、戻ってきたボールが確実に撮像される範囲に設定されることが好ましい。 If it is determined that the ball has moved out of the shooting range in the past and the target object is not detected within the predetermined range of the input image after that, the detection position specifying unit 145 processes the first event up to the previous time. It is considered that the ball was determined to be outside the shooting range. The predetermined range is set around the end portion of each input image included in the input image group on the predicted position side, which is the basis of the determination that the ball is determined to be moving out of the shooting range. The predetermined range is preferably an area in which the ball that has moved out of the shooting range returns without the presence of other objects such as a person, and is set to a range in which the returned ball is reliably imaged. ..

例えば、ボールが撮影範囲外に移動していると判定されたときの予測位置が撮影範囲の上方である場合、所定範囲は、その入力画像の上端部から所定距離（例えばボールの直径の３倍に相当する画素数）の範囲に設定される。一方、ボールが撮影範囲外に移動していると判定されたときの予測位置が撮影範囲の右方である場合、所定範囲は、その入力画像の右端部から所定距離の範囲に設定される。また、検出位置特定部１４５は、撮影範囲外に移動する直前のボールの軌道に基づいてボールの戻り位置を推定し、推定した戻り位置から所定距離内の領域に所定範囲を設定してもよい。検出位置特定部１４５は、入力画像群に含まれる入力画像の内の所定数（例えば１）以上の入力画像において対象物体が所定範囲内に検出された場合、対象物体が入力画像の所定範囲内に検出されたと判定する。 For example, when the predicted position when it is determined that the ball is moving outside the shooting range is above the shooting range, the predetermined range is a predetermined distance (for example, three times the diameter of the ball) from the upper end of the input image. The number of pixels corresponding to) is set in the range. On the other hand, when the predicted position when it is determined that the ball is moving outside the shooting range is to the right of the shooting range, the predetermined range is set to a range of a predetermined distance from the right end of the input image. Further, the detection position specifying unit 145 may estimate the return position of the ball based on the trajectory of the ball immediately before moving out of the shooting range, and set a predetermined range in a region within a predetermined distance from the estimated return position. .. When the target object is detected within a predetermined range in the input images of a predetermined number (for example, 1) or more of the input images included in the input image group, the detection position specifying unit 145 sets the target object within the predetermined range of the input image. It is determined that the image was detected.

追跡状態が追跡中であり、前回までの第１イベント処理においてボールが撮影範囲外に存在すると判定されており、且つ、今回、対象物体が入力画像の所定範囲内に検出されなかった場合、検出位置特定部１４５は、特に処理を実行せず、一連のステップを終了する。このように、検出位置特定部１４５は、接触判定部１４７によりボールが撮影範囲外に移動したと判定された場合、入力画像群のその判定の基礎となった予測位置側の端部周辺において物体が新たに検出されるまで、検出位置を新たに特定しない。これにより、検出位置特定部１４５は、一端、撮影範囲外に移動したボールを誤った位置で検出することを抑制できる。また、画像処理装置１００は、ボールが撮影範囲外に移動した場合には、ボールの予測位置を推定する処理を省略するため、第１イベント処理における処理負荷を軽減させることができる。 If the tracking state is being tracked, it is determined that the ball exists outside the shooting range in the first event processing up to the previous time, and the target object is not detected within the predetermined range of the input image this time, it is detected. The position specifying unit 145 ends a series of steps without executing any particular process. In this way, when the contact determination unit 147 determines that the ball has moved out of the shooting range, the detection position identification unit 145 is an object around the end portion on the predicted position side, which is the basis of the determination of the input image group. Does not specify a new detection position until is newly detected. As a result, the detection position specifying unit 145 can suppress the detection of the ball that has moved out of the shooting range at an erroneous position. Further, since the image processing device 100 omits the process of estimating the predicted position of the ball when the ball moves out of the shooting range, the processing load in the first event processing can be reduced.

なお、検出位置特定部１４５は、ボールが撮影範囲外に移動していると判定されてから所定時間経過しても、対象物体が入力画像の所定範囲内に検出されなかった場合、ボールがコートに戻ってこなかったとみなして、追跡状態を非追跡中に設定してもよい。 The detection position specifying unit 145 coats the ball if the target object is not detected within the predetermined range of the input image even after a predetermined time has passed since it was determined that the ball has moved out of the shooting range. The tracking status may be set to non-tracking, assuming that it did not return to.

一方、追跡状態が非追跡中である場合、ボールが撮影範囲外に存在すると判定されていない場合、又は、対象物体が入力画像の所定範囲内に検出された場合、検出位置特定部１４５は、イベント空間内の対象物体の検出位置を特定する（ステップＳ２０３）。画像処理装置１００は、各撮像装置２００により生成される入力画像内の画素毎に、撮像方向に対する、撮像素子から各画素に対応するイベント空間内の位置に向かう方向の水平面上の角度を記憶装置１２０に事前に設定しておく。検出位置特定部１４５は、複数の撮像装置２００の内の任意の二つの撮像装置２００により生成された入力画像において、対象物体の各重心位置に対応する角度を特定する。検出位置特定部１４５は、各撮像装置２００の配置位置及び特定した角度に基づいて、公知のステレオカメラの原理（三角測量の技術）を用いて、イベント空間内の対象物体の検出位置を特定する。なお、画像処理装置１００は、測距センサを有し、検出位置特定部１４５は、測距センサにより測定された対象物体までの距離に基づいて、公知の三辺測量の技術を用いて、イベント空間内の対象物体の検出位置を特定してもよい。 On the other hand, when the tracking state is not tracking, the ball is not determined to be outside the shooting range, or the target object is detected within a predetermined range of the input image, the detection position specifying unit 145 The detection position of the target object in the event space is specified (step S203). The image processing device 100 stores, for each pixel in the input image generated by each image pickup device 200, an angle on the horizontal plane in the direction from the image pickup element to the position in the event space corresponding to each pixel with respect to the image pickup direction. Set to 120 in advance. The detection position specifying unit 145 specifies an angle corresponding to each center of gravity position of the target object in the input image generated by any two image pickup devices 200 among the plurality of image pickup devices 200. The detection position specifying unit 145 identifies the detection position of the target object in the event space by using a known stereo camera principle (triangulation technique) based on the arrangement position and the specified angle of each imaging device 200. .. The image processing device 100 has a distance measuring sensor, and the detection position specifying unit 145 uses a known three-sided measuring technique based on the distance to the target object measured by the distance measuring sensor to perform an event. The detection position of the target object in the space may be specified.

これにより、検出位置特定部１４５は、ボールが所定空間（対象コート）内に位置する場合、所定空間内の対象物体の検出位置を特定する。 As a result, when the ball is located in the predetermined space (target court), the detection position specifying unit 145 specifies the detection position of the target object in the predetermined space.

さらに、検出位置特定部１４５は、管理テーブルにおいて、特定した検出位置を各入力画像と関連付けて記憶する。 Further, the detection position specifying unit 145 stores the specified detection position in association with each input image in the management table.

次に、検出位置特定部１４５は、現在の追跡状態が追跡中であるか否かを判定する（ステップＳ２０４）。現在の追跡状態が追跡中である場合、検出位置特定部１４５は、処理をステップＳ２０７へ移行する。 Next, the detection position specifying unit 145 determines whether or not the current tracking state is being tracked (step S204). When the current tracking state is being tracked, the detection position identifying unit 145 shifts the process to step S207.

一方、現在の追跡状態が非追跡中である場合、検出位置特定部１４５は、対象物体の検出位置が所定空間（対象コート）内であるか否かを判定する（ステップＳ２０５）。対象物体の検出位置が所定空間外である場合、検出位置特定部１４５は、特に処理を実行せず、一連のステップを終了する。 On the other hand, when the current tracking state is non-tracking, the detection position specifying unit 145 determines whether or not the detection position of the target object is within the predetermined space (target coat) (step S205). When the detection position of the target object is outside the predetermined space, the detection position specifying unit 145 ends a series of steps without executing any particular process.

一方、対象物体の検出位置が所定空間内である場合、検出位置特定部１４５は、追跡状態を追跡中に設定するとともに、ボールが人物に接触した回数を示す接触回数を０にリセットする（ステップＳ２０６）。さらに、検出位置特定部１４５は、新たなターンＩＤを生成し、管理テーブルにおいて、今回の入力画像群に含まれる各入力画像に関連付けられたターンＩＤを新たに生成したターンＩＤに更新する。以降、第１イベント処理のステップＳ１０１で新たに取得した入力画像には、この新たに生成されたターンＩＤが関連付けて記憶される。 On the other hand, when the detection position of the target object is within the predetermined space, the detection position specifying unit 145 sets the tracking state during tracking and resets the number of contacts indicating the number of times the ball has touched the person to 0 (step). S206). Further, the detection position specifying unit 145 generates a new turn ID, and updates the turn ID associated with each input image included in the input image group this time to the newly generated turn ID in the management table. After that, the newly generated turn ID is associated and stored in the input image newly acquired in step S101 of the first event processing.

次に、予測位置推定部１４６は、前回までの第１イベント処理において特定された各検出位置に基づいて、今回の第１イベント処理における所定空間内のボールの予測位置を推定する（ステップＳ２０７）。 Next, the predicted position estimation unit 146 estimates the predicted position of the ball in the predetermined space in the current first event processing based on each detection position specified in the first event processing up to the previous time (step S207). ..

予測位置推定部１４６は、直前の所定数分の検出位置毎に、その直前の検出位置からその検出位置に向かう移動ベクトルを算出する。予測位置推定部１４６は、最新の検出位置ほど重みが大きくなるように重み付けした、各移動ベクトルの重み付き平均を算出し、直前の検出位置から、算出した重み付き平均の分だけ移動した位置を予測位置として推定する。このように、予測位置推定部１４６は、各撮影タイミングにおける所定空間内のボールの予測位置を、その撮影タイミングより前に撮影された入力画像群から特定された検出位置に基づいて推定する。 The predicted position estimation unit 146 calculates a movement vector from the immediately preceding detection position toward the detection position for each detection position for a predetermined number immediately before. The predicted position estimation unit 146 calculates a weighted average of each movement vector weighted so that the weight becomes larger as the latest detection position increases, and the position moved from the immediately preceding detection position by the calculated weighted average. Estimate as a predicted position. In this way, the predicted position estimation unit 146 estimates the predicted position of the ball in the predetermined space at each shooting timing based on the detection position specified from the input image group shot before the shooting timing.

次に、接触判定部１４７は、予測位置と今回の検出位置との間の距離が閾値以上であるか否かを判定する（ステップＳ２０８）。閾値は、例えば、ボールの直径サイズに設定される。なお、閾値は、撮影間隔の間にボールが移動し得る距離の最大値等に設定されてもよい。予測位置と今回の検出位置との間の距離が閾値未満である場合、接触判定部１４７は、今回の対象物体の検出位置が妥当であるとみなし、特に処理を実行せず、一連のステップを終了する。この場合、以降の第１イベント処理では、今回の検出位置を用いて、ボールの追跡が行われる。 Next, the contact determination unit 147 determines whether or not the distance between the predicted position and the current detection position is equal to or greater than the threshold value (step S208). The threshold is set, for example, to the diameter size of the ball. The threshold value may be set to the maximum value of the distance that the ball can move during the shooting interval. When the distance between the predicted position and the current detection position is less than the threshold value, the contact determination unit 147 considers that the detection position of the target object this time is appropriate, does not execute any particular process, and performs a series of steps. finish. In this case, in the subsequent first event processing, the ball is tracked using the current detection position.

一方、予測位置と今回の検出位置との間の距離が閾値以上である場合、接触判定部１４７は、その予測位置が入力画像群に含まれる入力画像の撮影範囲内であるか否かを判定する（ステップＳ２０９）。 On the other hand, when the distance between the predicted position and the current detection position is equal to or greater than the threshold value, the contact determination unit 147 determines whether or not the predicted position is within the shooting range of the input image included in the input image group. (Step S209).

予測位置が入力画像群に含まれる全ての入力画像の撮影範囲外である場合、接触判定部１４７は、所定空間内でボールが撮影範囲外に移動したと判定し（ステップＳ２１０）、一連のステップを終了する。上記したように、検出位置特定部１４５は、各入力画像において形状が最もボールに近い物体を対象物体として検出する。ボールが撮影範囲外に移動した場合、入力画像内にボールが含まれないため、検出位置特定部１４５は、ボールでない物体を対象物体として検出してしまう。接触判定部１４７は、予測位置に基づいて、ボールが撮影範囲外に移動したことを検出することにより、ボールでない物体をボールと誤って追跡することを抑制できる。 When the predicted position is outside the shooting range of all the input images included in the input image group, the contact determination unit 147 determines that the ball has moved out of the shooting range within the predetermined space (step S210), and a series of steps. To finish. As described above, the detection position specifying unit 145 detects the object having the shape closest to the ball in each input image as the target object. When the ball moves out of the shooting range, the detection position specifying unit 145 detects an object other than the ball as the target object because the ball is not included in the input image. By detecting that the ball has moved out of the shooting range based on the predicted position, the contact determination unit 147 can prevent an object that is not the ball from being mistakenly tracked as the ball.

一方、予測位置が入力画像群に含まれる何れかの入力画像の撮影範囲内である場合、接触判定部１４７は、所定空間内でボールが人物に接触したと判定する（ステップＳ２１１）。接触判定部１４７は、直前の第１イベント処理において、ボールが人物に接触していないと判定されていた場合、即ち予測位置と検出位置との間の距離が閾値未満であった場合又は予測位置が撮影範囲外であった場合、接触回数をインクリメント（＋１）する。 On the other hand, when the predicted position is within the shooting range of any of the input images included in the input image group, the contact determination unit 147 determines that the ball has touched a person in a predetermined space (step S211). The contact determination unit 147 determines that the ball is not in contact with a person in the first event processing immediately before, that is, when the distance between the predicted position and the detected position is less than the threshold value or the predicted position. If is out of the shooting range, the number of contacts is incremented (+1).

なお、接触判定部１４７は、予測位置が、入力画像群に含まれる一以上の所定数の入力画像の撮影範囲外である場合に、ボールが撮影範囲外に移動したと判定し、それ以外の場合に、ボールが人物に接触したと判定してもよい。 The contact determination unit 147 determines that the ball has moved out of the shooting range when the predicted position is outside the shooting range of one or more predetermined number of input images included in the input image group, and other than that. In some cases, it may be determined that the ball has touched a person.

図１４Ａ、図１４Ｂ、図１５Ａ及び図１５Ｂは、ボールと人物の接触について説明するための模式図である。 14A, 14B, 15A and 15B are schematic views for explaining the contact between the ball and a person.

図１４Ａは、ボールが人物から離間している時に生成された入力画像１４００であり、図１４Ｂは、入力画像１４００から検出された差分領域の一部を示す画像１４１０である。図１４Ｂにおいて、差分領域は白色で示され、差分領域以外の領域は黒色で示されている。入力画像１４００内のボール１４０１及び人物１４０２は背景画像に存在しないため、画像１４１０においてボール１４０１及び人物１４０２にそれぞれ対応する領域１４１１及び領域１４１２は差分領域として検出され、物体領域として適切に検出される。 FIG. 14A is an input image 1400 generated when the ball is separated from the person, and FIG. 14B is an image 1410 showing a part of the difference region detected from the input image 1400. In FIG. 14B, the difference region is shown in white, and the region other than the difference region is shown in black. Since the balls 1401 and the person 1402 in the input image 1400 do not exist in the background image, the areas 1411 and 1412 corresponding to the balls 1401 and the person 1402 in the image 1410 are detected as the difference areas, and are appropriately detected as the object areas. ..

図１５Ａは、ボールが人物に接触している時に生成された入力画像１５００であり、図１５Ｂは、入力画像１５００から検出された差分領域の一部を示す画像１５１０である。入力画像１５００内のボール１５０１及び人物１５０２は背景画像に存在しないため、画像１５１０においてボール１５０１及び人物１５０２にそれぞれ対応する領域１５１１及び領域１５１２は差分領域として検出される。但し、ボール１５０１及び人物１５０２が接触していることにより、領域１５１１及び領域１５１２は連結して検出される。そのため、領域１５１１及び１５１２の大きさ及び／又は縦横比等の特徴量は、ボールの特徴量と大きく異なり、物体領域として検出されない可能性がある。図１５Ｂに示す例では、ボール１５０１に対応する領域１５１１でなく、特定の人物の頭部１５０３に対応する領域１５１３が物体領域として検出されている。 FIG. 15A is an input image 1500 generated when the ball is in contact with a person, and FIG. 15B is an image 1510 showing a part of the difference region detected from the input image 1500. Since the balls 1501 and the person 1502 in the input image 1500 do not exist in the background image, the regions 1511 and the regions 1512 corresponding to the balls 1501 and the person 1502 are detected as difference regions in the image 1510, respectively. However, since the ball 1501 and the person 1502 are in contact with each other, the region 1511 and the region 1512 are connected and detected. Therefore, the features such as the size and / or the aspect ratio of the regions 1511 and 1512 are significantly different from the features of the ball, and may not be detected as an object region. In the example shown in FIG. 15B, not the region 1511 corresponding to the ball 1501 but the region 1513 corresponding to the head 1503 of a specific person is detected as the object region.

接触判定部１４７は、物体領域が不適切な位置に検出されたとき、予測位置に基づいてボールが人物に接触したか撮影範囲外に移動したかを判定することにより、ボールが人物に接触した場合又はボールが撮影範囲外に移動した場合でも良好にボールを追跡できる。 When the object area is detected at an inappropriate position, the contact determination unit 147 determines whether the ball touches the person or moves out of the shooting range based on the predicted position, so that the ball comes into contact with the person. Even if the ball moves out of the shooting range, the ball can be tracked well.

次に、予測位置推定部１４６は、管理テーブルにおいて、今回の検出位置を予測位置に置換する（ステップＳ２１２）。即ち、予測位置推定部１４６は、接触判定部１４７によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像群から特定された検出位置を、その撮影タイミングにおける予測位置に置換する。予測位置推定部１４６は、置換した予測位置を用いて、今回の撮影タイミングより後の撮影タイミングにおける予測位置を推定する。これにより、予測位置推定部１４６は、以降の第１イベント処理のステップＳ２０７において、ボールが予測位置（即ち人物と接触している位置）に存在するとみなしてボールを追跡するため、より高精度にボールを追跡できる。 Next, the predicted position estimation unit 146 replaces the current detected position with the predicted position in the management table (step S212). That is, the predicted position estimation unit 146 replaces the detection position specified from the input image group shot at the shooting timing when the contact determination unit 147 determines that the ball has touched the person with the predicted position at the shooting timing. .. The predicted position estimation unit 146 estimates the predicted position at the shooting timing after the current shooting timing by using the replaced predicted position. As a result, in the subsequent step S207 of the first event processing, the predicted position estimation unit 146 considers that the ball exists at the predicted position (that is, the position in contact with the person) and tracks the ball with higher accuracy. You can track the ball.

次に、記憶制御部１４８は、接触回数が０回から１回に変化したか否かを判定する（ステップＳ２１３）。 Next, the memory control unit 148 determines whether or not the number of contacts has changed from 0 to 1 (step S213).

接触回数が０回から１回に変化した場合、記憶制御部１４８は、管理テーブルにおいて、現在処理中の（最新の）入力画像群に含まれる各入力画像の状態に、レシーブを示す情報を設定することにより、予測位置をレシーブ位置として記憶する（ステップＳ２１４）。そして、記憶制御部１４８は、一連のステップを終了する。このように、記憶制御部１４８は、検出位置特定部１４５により所定空間内に対象物体が検出されてから、接触判定部１４７によりボールが人物に１回目に接触したと判定された撮影タイミングにおける予測位置をレシーブ位置として記憶する。 When the number of contacts changes from 0 to 1, the memory control unit 148 sets the information indicating the receive in the state of each input image included in the (latest) input image group currently being processed in the management table. By doing so, the predicted position is stored as the receive position (step S214). Then, the memory control unit 148 ends a series of steps. In this way, the memory control unit 148 predicts the shooting timing at which the detection position identification unit 145 detects the target object in the predetermined space and the contact determination unit 147 determines that the ball has first contacted the person. The position is stored as the receive position.

一方、接触回数が０回から１回に変化していない場合、記憶制御部１４８は、接触回数が１回から２回に変化したか否かを判定する（ステップＳ２１５）。 On the other hand, when the number of contacts has not changed from 0 to 1, the memory control unit 148 determines whether or not the number of contacts has changed from 1 to 2 (step S215).

接触回数が１回から２回に変化した場合、記憶制御部１４８は、管理テーブルにおいて、現在処理中の（最新の）入力画像群に含まれる各入力画像の状態に、トスを示す情報を設定することにより、予測位置をトス位置として記憶する（ステップＳ２１６）。そして、記憶制御部１４８は、一連のステップを終了する。このように、記憶制御部１４８は、検出位置特定部１４５により所定空間内に対象物体が検出されてから、接触判定部１４７によりボールが人物に２回目に接触したと判定された撮影タイミングにおける予測位置をトス位置として記憶する。 When the number of contacts changes from 1 to 2, the memory control unit 148 sets information indicating toss in the state of each input image included in the (latest) input image group currently being processed in the management table. By doing so, the predicted position is stored as the toss position (step S216). Then, the memory control unit 148 ends a series of steps. In this way, the memory control unit 148 predicts the shooting timing at which the detection position specifying unit 145 detects the target object in the predetermined space and then the contact determination unit 147 determines that the ball has contacted the person for the second time. The position is memorized as the toss position.

一方、接触回数が１回から２回に変化していない場合、記憶制御部１４８は、接触回数が２回から３回に変化したか否かを判定する（ステップＳ２１７）。 On the other hand, when the number of contacts has not changed from 1 to 2, the memory control unit 148 determines whether or not the number of contacts has changed from 2 to 3 (step S217).

接触回数が２回から３回に変化した場合、記憶制御部１４８は、管理テーブルにおいて、現在処理中の（最新の）入力画像群に含まれる各入力画像の状態に、スパイクを示す情報を設定することにより、予測位置をスパイク位置として記憶する（ステップＳ２１８）。このように、記憶制御部１４８は、検出位置特定部１４５により所定空間内に対象物体が検出されてから、接触判定部１４７によりボールが人物に３回目に接触したと判定された撮影タイミングにおける予測位置をスパイク位置として記憶する。さらに、記憶制御部１４８は、追跡状態を非追跡中に設定し、一連のステップを終了する。追跡状態を非追跡状態に設定した後は、以降の第１イベント処理のステップＳ２０５において、対象物体の検出位置が所定空間内であると判定されるまで、ボールは相手コート又はコート外に位置するとみなされ、ボールの追跡は実行されない。 When the number of contacts changes from 2 to 3, the memory control unit 148 sets information indicating spikes in the state of each input image included in the (latest) input image group currently being processed in the management table. By doing so, the predicted position is stored as the spike position (step S218). In this way, the memory control unit 148 predicts the shooting timing at which the detection position specifying unit 145 detects the target object in the predetermined space and then the contact determination unit 147 determines that the ball has contacted the person for the third time. The position is stored as a spike position. Further, the memory control unit 148 sets the tracking state during non-tracking and ends a series of steps. After setting the tracking state to the non-tracking state, the ball is positioned on the opponent's court or off the court until it is determined that the detection position of the target object is within the predetermined space in the subsequent step S205 of the first event processing. It is considered and no ball tracking is performed.

一方、２回から３回に変化していない場合、記憶制御部１４８は、特に処理を実行せず、一連のステップを終了する。 On the other hand, when the change has not changed from 2 times to 3 times, the storage control unit 148 does not execute any particular process and ends a series of steps.

第１処理部１４４は、第１イベント処理を実行することにより、試合形式の練習においてレシーブ、トス、スパイクが行われた画像及びレシーブ位置、トス位置、スパイク位置を適切に記憶しておくことができる。 By executing the first event processing, the first processing unit 144 can appropriately store the receive, toss, and spiked images and the receive position, toss position, and spike position in the match-style practice. it can.

図１６は、画像処理装置１００による第２イベント処理の動作を示すフローチャートである。第２イベント処理は、図４の解析処理のステップＳ１０５においてバレーボールのスパイク練習がイベントとして特定された場合に、ステップＳ１０９のイベント処理として実行される。 FIG. 16 is a flowchart showing the operation of the second event processing by the image processing device 100. The second event processing is executed as the event processing of step S109 when the volleyball spike practice is specified as an event in step S105 of the analysis processing of FIG.

第２処理部１４９は、図１２のステップＳ２０１、Ｓ２０３、Ｓ２０７の処理と同様にして、対象物体を検出し（ステップＳ３０１）、対象物体の検出位置を特定し（ステップＳ３０２）、ボールの予測位置を推定する（ステップＳ３０３）。また、第２処理部１４９は、図１２のステップＳ２０８の処理と同様にして、予測位置と検出位置との間の距離が閾値以上であるか否かを判定する（ステップＳ３０４）。第２処理部１４９は、予測位置と検出位置との間の距離が閾値未満である場合、特に処理を実行せずに、一連のステップを終了し、予測位置と検出位置との間の距離が閾値以上である場合、所定空間内でボールが人物に接触したと判定する（ステップＳ３０５）。次に、第２処理部１４９は、ステップＳ２１２、Ｓ２１４の処理と同様にして、検出位置を予測位置に置換し（ステップＳ３０６）、予測位置をスパイク位置として記憶し（ステップＳ３０７）、一連のステップを終了する。 The second processing unit 149 detects the target object (step S301), identifies the detection position of the target object (step S302), and predicts the ball's predicted position in the same manner as in the processes of steps S201, S203, and S207 of FIG. Is estimated (step S303). Further, the second processing unit 149 determines whether or not the distance between the predicted position and the detection position is equal to or greater than the threshold value in the same manner as the processing in step S208 of FIG. 12 (step S304). When the distance between the predicted position and the detected position is less than the threshold value, the second processing unit 149 ends a series of steps without executing any particular process, and the distance between the predicted position and the detected position is reduced. If it is equal to or greater than the threshold value, it is determined that the ball has come into contact with a person within a predetermined space (step S305). Next, the second processing unit 149 replaces the detected position with the predicted position (step S306) and stores the predicted position as the spike position (step S307) in the same manner as in the processes of steps S212 and S214, and a series of steps. To finish.

第２処理部１４９は、第２イベント処理を実行することにより、特定の人物から順次提供されるトスに対して各選手がスパイクを行う練習においてスパイクが行われた画像及びスパイク位置を適切に記憶することができる。 By executing the second event processing, the second processing unit 149 appropriately stores the image in which the spike was performed and the spike position in the practice in which each player spikes the toss sequentially provided by a specific person. can do.

図１７は、画像処理装置１００による出力処理の動作を示すフローチャートである。以下、図１７に示したフローチャートを参照しつつ、出力処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１２０に記憶されているプログラムに基づき主にＣＰＵ１４０により画像処理装置１００の各要素と協働して実行される。 FIG. 17 is a flowchart showing the operation of output processing by the image processing device 100. Hereinafter, the operation of the output processing will be described with reference to the flowchart shown in FIG. The operation flow described below is mainly executed by the CPU 140 in cooperation with each element of the image processing device 100 based on the program stored in the storage device 120 in advance.

最初に、出力制御部１５１は、通信装置１０１を介して端末装置３００から第１表示データの取得要求信号を受信した場合、第１表示データを生成し、通信装置１０１を介して端末装置３００に送信することにより出力する（ステップＳ４０１）。第１表示データは、端末装置３００の利用者が、画像処理装置１００に記憶された画像の中から所望の画像を指定するための表示データである。端末装置３００は、第１表示データを受信した場合、受信した第１表示データに基づいて、閲覧画面を表示する。 First, when the output control unit 151 receives the acquisition request signal of the first display data from the terminal device 300 via the communication device 101, the output control unit 151 generates the first display data to the terminal device 300 via the communication device 101. Output by transmitting (step S401). The first display data is display data for the user of the terminal device 300 to specify a desired image from the images stored in the image processing device 100. When the terminal device 300 receives the first display data, the terminal device 300 displays the browsing screen based on the received first display data.

図１８は、端末装置３００に表示される閲覧画面１８００の一例を示す模式図である。 FIG. 18 is a schematic view showing an example of the viewing screen 1800 displayed on the terminal device 300.

図１８に示すように、閲覧画面１８００には、第１指定領域１８１０、第２指定領域１８２０及び画像領域１８３０が含まれる。但し、第１表示データには第１指定領域１８１０を表示するためのデータのみが含まれ、第１表示データの受信時に表示される閲覧画面には、第２指定領域１８２０及び画像領域１８３０は表示されない。第１指定領域１８１０には、期間指定ボックス１８１１、練習選択ボタン１８１２、動作選択ボタン１８１３、トス領域選択ボタン１８１４、カメラ選択ボタン１８１５及び絞り込みボタン１８１６等が表示される。 As shown in FIG. 18, the viewing screen 1800 includes a first designated area 1810, a second designated area 1820, and an image area 1830. However, the first display data includes only the data for displaying the first designated area 1810, and the second designated area 1820 and the image area 1830 are displayed on the browsing screen displayed when the first display data is received. Not done. In the first designated area 1810, a period designation box 1811, a practice selection button 1812, an operation selection button 1813, a toss area selection button 1814, a camera selection button 1815, a narrowing down button 1816, and the like are displayed.

期間指定ボックス１８１１は、絞り込み条件として、生成（撮影）された期間を指定するためのボックスである。練習選択ボタン１８１２は、絞り込み条件として練習内容を指定するためのボタンであり、練習内容として試合形式練習、スパイク練習、レシーブ練習又は指定なし等が選択可能に表示される。動作選択ボタン１８１３は、絞り込み条件としてプレイヤの動作を指定するためのボタンであり、動作としてレシーブ、トス、スパイク又は指定なし等が選択可能に表示される。 The period designation box 1811 is a box for designating a generated (photographed) period as a narrowing condition. The practice selection button 1812 is a button for designating a practice content as a narrowing-down condition, and as a practice content, a match-style practice, a spike practice, a receive practice, or no designation is displayed so as to be selectable. The operation selection button 1813 is a button for designating a player's operation as a narrowing condition, and a receive, toss, spike, no specification, or the like is displayed as an operation so as to be selectable.

トス領域選択ボタン１８１４は、動作選択ボタン１８１３でトス又はスパイクが選択された場合に、絞り込み条件として、さらに所定空間（対象コート）内のトス位置の領域（以下、トス領域と称する場合がある）を指定するためのボタンである。画像１８１７に表示されているように、所定空間は、複数の領域に分類される。特に、所定空間は、コート内のネットの延伸方向において複数の領域（スロット）に分類される。図１８に示す例では、所定空間は、５、４、３、２、１、０、Ａ、Ｂ、Ｃの９つの領域に分類されており、選択されたトス領域には色が塗られている。 When the toss or spike is selected by the operation selection button 1813, the toss area selection button 1814 further narrows down the area of the toss position in the predetermined space (target coat) (hereinafter, may be referred to as a toss area). It is a button to specify. As shown in image 1817, the predetermined space is classified into a plurality of areas. In particular, the predetermined space is classified into a plurality of regions (slots) in the stretching direction of the net in the coat. In the example shown in FIG. 18, the predetermined space is classified into nine regions of 5, 4, 3, 2, 1, 0, A, B, and C, and the selected toss region is colored. There is.

カメラ選択ボタン１８１５は、絞り込み条件として、撮像装置２００を指定するためのボタンである。カメラ選択ボタン１８１５の隣には、各撮像装置２００の配置位置及び撮像方向を表す画像１８１８が表示されており、利用者は、画像１８１８を参照して所望の撮像装置２００又は指定なしを選択することができる。絞り込みボタン１８１６が押下されると、端末装置３００は、利用者による絞り込み条件の指定を受け付ける。 The camera selection button 1815 is a button for designating the image pickup apparatus 200 as a narrowing-down condition. Next to the camera selection button 1815, an image 1818 indicating the arrangement position and imaging direction of each imaging device 200 is displayed, and the user selects a desired imaging device 200 or no designation by referring to the image 1818. be able to. When the narrowing down button 1816 is pressed, the terminal device 300 accepts the user to specify the narrowing down condition.

利用者により、動作としてスパイクが指定され、絞り込みボタン１８１６が押下された場合、端末装置３００は、第２表示データの取得要求信号を画像処理装置１００に送信する。この取得要求信号には、利用者により指定された各絞り込み条件が含まれる。出力制御部１５１は、通信装置１０１を介して端末装置３００から第２表示データの取得要求信号を受信した場合、受信した取得要求信号に含まれる絞り込み条件の指定を受け付ける（ステップＳ４０２）。これにより、出力制御部１５１は、絞り込み条件に含まれる、利用者による所定空間内の複数の領域の内の何れかのトス領域の指定を受け付ける。トス領域は、第１領域の一例である。 When a spike is specified as an operation by the user and the narrowing down button 1816 is pressed, the terminal device 300 transmits a second display data acquisition request signal to the image processing device 100. This acquisition request signal includes each narrowing-down condition specified by the user. When the output control unit 151 receives the acquisition request signal of the second display data from the terminal device 300 via the communication device 101, the output control unit 151 accepts the designation of the narrowing-down condition included in the received acquisition request signal (step S402). As a result, the output control unit 151 accepts the designation of any toss area among the plurality of areas in the predetermined space by the user, which is included in the narrowing-down condition. The toss region is an example of the first region.

次に、出力制御部１５１は、利用者に指定された絞り込み条件に対応し且つスパイクが実施されている入力画像を抽出する（ステップＳ４０３）。出力制御部１５１は、管理テーブルを参照して、利用者に指定された期間に、利用者に指定された撮像装置２００により生成され、且つ、利用者に指定された練習が実施されている入力画像を抽出する。なお、利用者によって撮像装置２００が指定されていない場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した入力画像を抽出する。その場合、出力制御部１５１は、管理テーブルにおいて、状態に、指定された練習の開始が設定された入力画像の内、撮像装置２００が選択された旨が設定された入力画像に関連付けられた撮像装置２００を、選択された撮像装置２００として特定する。さらに、出力制御部１５１は、抽出した入力画像の内、利用者に指定された領域でトスが実施された入力画像、即ち状態としてトスを示す情報が設定され、且つ、対象物体の検出位置が、利用者に指定されたトス領域に対応する入力画像を抽出する。そして、出力制御部１５１は、抽出した各入力画像と同一の撮像装置２００により撮像され、同一のターンに含まれ且つ状態としてスパイクを示す情報が設定された入力画像を抽出する。 Next, the output control unit 151 extracts an input image corresponding to the narrowing conditions specified by the user and in which spikes are performed (step S403). The output control unit 151 refers to the management table, and is an input generated by the image pickup apparatus 200 designated by the user during the period designated by the user, and the practice designated by the user is performed. Extract the image. When the image pickup device 200 is not specified by the user, the output control unit 151 extracts the input image captured by the image pickup device 200 selected by the selection unit 143. In that case, the output control unit 151 takes an image associated with the input image in which the image pickup device 200 is set to be selected from the input images in which the start of the specified practice is set in the state in the management table. The device 200 is identified as the selected imaging device 200. Further, in the output control unit 151, among the extracted input images, the input image in which the toss is performed in the area designated by the user, that is, the information indicating the toss as the state is set, and the detection position of the target object is set. , Extract the input image corresponding to the toss area specified by the user. Then, the output control unit 151 extracts an input image that is imaged by the same imaging device 200 as each extracted input image, is included in the same turn, and information indicating a spike is set as a state.

次に、出力制御部１５１は、第２表示データを生成し、通信装置１０１を介して端末装置３００に送信することにより出力する（ステップＳ４０４）。第２表示データは、利用者が絞り込み条件として、さらに所望のスパイク位置又はスパイク位置の領域（以降、スパイク領域と称する場合がある）を指定するための表示データである。出力制御部１５１は、ステップＳ４０３で抽出した各入力画像における対象物体の検出位置を一覧表示するとともに、各入力画像の第１詳細情報を表示するように第２表示データを生成する。第１詳細情報には、各入力画像の撮影時刻、各検出位置の水平面上の位置（コート内の位置）、鉛直方向の位置（打点の高さ）、トスの時間（トスからスパイクまでの時間）等が含まれる。第１詳細情報は、スパイク位置に関する情報の一例であり、接触判定部１４７によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報の一例である。 Next, the output control unit 151 generates the second display data and outputs it by transmitting it to the terminal device 300 via the communication device 101 (step S404). The second display data is display data for the user to further specify a desired spike position or a region of the spike position (hereinafter, may be referred to as a spike area) as a narrowing condition. The output control unit 151 displays a list of the detection positions of the target objects in each input image extracted in step S403, and generates second display data so as to display the first detailed information of each input image. The first detailed information includes the shooting time of each input image, the position of each detection position on the horizontal plane (position in the court), the position in the vertical direction (height of the hitting point), and the toss time (time from toss to spike). ) Etc. are included. The first detailed information is an example of information on the spike position, and is an example of information on an input image taken at a shooting timing when the contact determination unit 147 determines that the ball has touched a person.

このように、出力制御部１５１は、利用者により指定された領域に含まれる各トス位置に関連付けられた各スパイク位置を一覧表示する第２表示データを生成して通信装置１０１から出力する。また、出力制御部１５１は、一覧表示されたスパイク位置の内、利用者により指定されたスパイク位置に関する情報を表示するように、第２表示データを生成する。端末装置３００は、第２表示データを受信した場合、受信した第２表示データに基づいて、表示している閲覧画面を更新する。 In this way, the output control unit 151 generates second display data that lists and displays each spike position associated with each toss position included in the area designated by the user, and outputs the second display data from the communication device 101. Further, the output control unit 151 generates the second display data so as to display the information regarding the spike position designated by the user among the spike positions displayed in the list. When the terminal device 300 receives the second display data, the terminal device 300 updates the displayed browsing screen based on the received second display data.

図１８に示す例では、更新される閲覧画面１８００には、第１指定領域１８１０に加えて、第２指定領域１８２０が含まれる。第２指定領域１８２０には、スパイク領域選択ボタン１８２１及び絞り込みボタン１８２２等が表示される。スパイク領域選択ボタン１８２１は、絞り込み条件として、さらに所定空間内のスパイク領域を指定するためのボタンである。 In the example shown in FIG. 18, the updated browsing screen 1800 includes a second designated area 1820 in addition to the first designated area 1810. In the second designated area 1820, a spike area selection button 1821, a narrowing down button 1822, and the like are displayed. The spike area selection button 1821 is a button for further designating a spike area in a predetermined space as a narrowing condition.

スパイク領域選択ボタン１８２１の下には、複数の領域に分類された対象コートを表す画像１８２３が表示される。画像１８２３では、トス領域選択ボタン１８１４で選択された領域でトスが実施された各入力画像に対応する記号１８２４が、スパイクが実施された位置に分布される。各記号１８２４は、利用者により複数の方法で指定可能に表示される。例えば、利用者により各記号１８２４に対してシングルタップがなされた場合、シングルタップされた記号１８２４に対応する入力画像の第１詳細情報１８２５がさらに表示される。一方、利用者により各記号１８２４に対してダブルタップがなされた場合、ダブルタップされた記号１８２４に対応するスパイク位置の指定が受け付けられる。また、画像１８２３では、スパイク領域選択ボタン１８２１で指定されたスパイク領域には色が塗られている。利用者は、画像１８２３を参照して、所望の領域を選択することができる。 Below the spike area selection button 1821, an image 1823 representing the target coats classified into a plurality of areas is displayed. In image 1823, the symbols 1824 corresponding to each input image tossed in the area selected by the toss area selection button 1814 are distributed at the spiked positions. Each symbol 1824 is displayed so that it can be specified by the user in a plurality of ways. For example, when the user makes a single tap for each symbol 1824, the first detailed information 1825 of the input image corresponding to the single tapped symbol 1824 is further displayed. On the other hand, when the user double-tap each symbol 1824, the designation of the spike position corresponding to the double-tapped symbol 1824 is accepted. Further, in the image 1823, the spike area designated by the spike area selection button 1821 is painted in color. The user can select a desired region with reference to image 1823.

絞り込みボタン１８２２が押下されると、端末装置３００は、利用者によるスパイク位置又はスパイク領域の指定を受け付ける。 When the narrowing down button 1822 is pressed, the terminal device 300 accepts the user to specify the spike position or the spike area.

端末装置３００は、利用者によるスパイク位置又はスパイク領域の指定を受け付けると、第３表示データの取得要求信号を画像処理装置１００に送信する。この取得要求信号には、利用者により指定されたスパイク位置又はスパイク領域が含まれる。出力制御部１５１は、通信装置１０１を介して端末装置３００から第３表示データの取得要求信号を受信した場合、受信した取得要求信号に含まれるスパイク位置又はスパイク領域の指定を受け付ける（ステップＳ４０５）。これにより、出力制御部１５１は、利用者による、第２表示データに従って一覧表示されたスパイク位置の内の何れかのスパイク位置の指定、又は、複数の領域の内の何れかのスパイク領域の指定を受け付ける。スパイク領域は、第２領域の一例である。 When the terminal device 300 receives the designation of the spike position or the spike area by the user, the terminal device 300 transmits the acquisition request signal of the third display data to the image processing device 100. This acquisition request signal includes a spike position or spike area specified by the user. When the output control unit 151 receives the acquisition request signal of the third display data from the terminal device 300 via the communication device 101, the output control unit 151 accepts the designation of the spike position or the spike area included in the received acquisition request signal (step S405). .. As a result, the output control unit 151 specifies the spike position of any of the spike positions listed according to the second display data, or the designation of any spike area among the plurality of areas by the user. Accept. The spike region is an example of a second region.

次に、出力制御部１５１は、管理テーブルを参照して、利用者に指定されたスパイク位置又はスパイク領域に対応する入力画像を抽出する（ステップＳ４０６）。出力制御部１５１は、管理テーブルを参照して、ステップＳ４０２で受け付けた、利用者に指定された期間に、利用者に指定された撮像装置２００により生成された入力画像を抽出する。なお、利用者によって撮像装置２００が指定されていない場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した入力画像を抽出する。さらに、出力制御部１５１は、抽出した入力画像の内、トスを示す情報が設定された時の対象物体の検出位置が利用者に指定されたトス領域に対応する入力画像を抽出する。出力制御部１５１は、抽出した入力画像の内、スパイクを示す情報が設定された時の対象物体の検出位置が、指定されたスパイク位置又はスパイク領域に対応する入力画像を抽出する。 Next, the output control unit 151 refers to the management table and extracts the input image corresponding to the spike position or the spike area designated by the user (step S406). The output control unit 151 refers to the management table and extracts the input image generated by the image pickup apparatus 200 designated by the user during the period designated by the user, which is received in step S402. When the image pickup device 200 is not specified by the user, the output control unit 151 extracts the input image captured by the image pickup device 200 selected by the selection unit 143. Further, the output control unit 151 extracts an input image corresponding to the toss region in which the detection position of the target object when the information indicating the toss is set corresponds to the toss region specified by the user from the extracted input images. The output control unit 151 extracts an input image in which the detection position of the target object when the information indicating the spike is set corresponds to the specified spike position or spike region from the extracted input images.

次に、出力制御部１５１は、第３表示データを生成し、通信装置１０１を介して端末装置３００に送信することにより出力し（ステップＳ４０７）、一連のステップを終了する。第３表示データは、利用者により指定された絞り込み条件を満たす入力画像を表示する表示データである。即ち、第３表示データは、利用者に指定されたトス領域に含まれる各トス位置及び利用者に指定されたスパイク位置又はスパイク領域に含まれる各スパイク位置に対応する入力画像を表示する表示データである。出力制御部１５１は、ステップＳ４０６で抽出した各入力画像の前後の所定期間（例えば１０秒間）分の入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成する。 Next, the output control unit 151 generates the third display data and outputs it by transmitting it to the terminal device 300 via the communication device 101 (step S407), and ends a series of steps. The third display data is display data for displaying an input image that satisfies the narrowing condition specified by the user. That is, the third display data is display data that displays an input image corresponding to each toss position included in the toss area designated by the user and each spike position designated by the user or each spike position included in the spike area. Is. The output control unit 151 continuously displays the input images for a predetermined period (for example, 10 seconds) before and after each input image extracted in step S406, and superimposes the second detailed information of each input image on each input image. The third display data is generated so as to be displayed.

第２詳細情報には、各入力画像に対応するイベント（練習内容）、時刻、各入力画像における各検出位置の水平面上の位置、鉛直方向の位置、トスの時間等が含まれる。第２詳細情報は、接触判定部１４７によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報の一例である。また、第２詳細情報は、利用者により指定されたスパイク位置又はスパイク領域に含まれる各スパイク位置に関する情報の一例である。端末装置３００は、第３表示データを受信した場合、受信した第３表示データに基づいて、表示している閲覧画面を更新する。 The second detailed information includes an event (practice content) corresponding to each input image, a time, a position on the horizontal plane of each detection position in each input image, a position in the vertical direction, a toss time, and the like. The second detailed information is an example of information regarding an input image taken at a shooting timing when the contact determination unit 147 determines that the ball has come into contact with a person. Further, the second detailed information is an example of information regarding the spike position designated by the user or each spike position included in the spike area. When the terminal device 300 receives the third display data, the terminal device 300 updates the displayed browsing screen based on the received third display data.

図１８に示す例では、更新される閲覧画面１８００には、第１指定領域１８１０及び第２指定領域１８２０に加えて、画像領域１８３０が含まれる。画像領域１８３０には、第１指定領域１８１０及び第２指定領域１８２０で指定された絞り込み条件を満たす入力画像１８３１が表示される。入力画像１８３１には、第２詳細情報が重畳して表示される。なお、入力画像１８３１は、利用者からの指示に応じて、任意のタイミングで一時停止又はスロー再生等を行うように表示される。利用者は、閲覧画面１８００により、膨大な量の入力画像の中から、所望のトス位置及びスパイク位置に対応する入力画像を、効率良く閲覧することができる。また、利用者は、各トス位置及びスパイク位置に関する数値情報を把握することができ、適切にプレーにフィードバックすることができる。したがって、画像処理装置１００は、利用者の利便性を向上させることができる。 In the example shown in FIG. 18, the updated browsing screen 1800 includes an image area 1830 in addition to the first designated area 1810 and the second designated area 1820. In the image area 1830, the input image 1831 that satisfies the narrowing conditions specified in the first designated area 1810 and the second designated area 1820 is displayed. The second detailed information is superimposed and displayed on the input image 1831. The input image 1831 is displayed so as to perform pause, slow playback, or the like at an arbitrary timing in response to an instruction from the user. The viewing screen 1800 allows the user to efficiently browse the input image corresponding to the desired toss position and spike position from the huge amount of input images. In addition, the user can grasp the numerical information regarding each toss position and spike position, and can appropriately feed back to the play. Therefore, the image processing device 100 can improve the convenience of the user.

また、ステップＳ４０２において利用者により動作としてトスが指定された場合、端末装置３００は、第３表示データの取得要求信号を画像処理装置１００に送信する。出力制御部１５１は、通信装置１０１を介して端末装置３００から第３表示データの取得要求信号を受信した場合、受信した取得要求信号に含まれる絞り込み条件の指定を受け付ける。出力制御部１５１は、動作としてスパイクが指定された場合と同様にして、利用者に指定された期間、撮像装置２００及び練習に対応する入力画像の内、利用者に指定された領域でトスが実施された入力画像を抽出する。出力制御部１５１は、抽出した各入力画像の前後の所定期間分の入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成して送信する。 Further, when the toss is specified as the operation by the user in step S402, the terminal device 300 transmits the acquisition request signal of the third display data to the image processing device 100. When the output control unit 151 receives the acquisition request signal of the third display data from the terminal device 300 via the communication device 101, the output control unit 151 accepts the designation of the narrowing-down condition included in the received acquisition request signal. The output control unit 151 sets the toss in the area specified by the user in the image pickup device 200 and the input image corresponding to the practice for the period specified by the user in the same manner as when the spike is specified as the operation. Extract the performed input image. The output control unit 151 continuously displays the input images for a predetermined period before and after each extracted input image, and displays the second detailed information of each input image superimposed on each input image. Generate and send display data.

同様に、ステップＳ４０２において利用者により動作としてレシーブが指定された場合、端末装置３００は、第３表示データの取得要求信号を画像処理装置１００に送信する。出力制御部１５１は、動作としてスパイクが指定された場合と同様にして、利用者に指定された期間、撮像装置２００及び練習に対応する入力画像の内、レシーブが実施された入力画像を抽出する。出力制御部１５１は、抽出した各入力画像の前後の所定期間分の入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成して送信する。 Similarly, when the receive is specified as an operation by the user in step S402, the terminal device 300 transmits the acquisition request signal of the third display data to the image processing device 100. The output control unit 151 extracts the received input image from the input image corresponding to the imaging device 200 and the practice for the period specified by the user in the same manner as when the spike is specified as the operation. .. The output control unit 151 continuously displays the input images for a predetermined period before and after each extracted input image, and displays the second detailed information of each input image superimposed on each input image. Generate and send display data.

同様に、ステップＳ４０２において動作が指定されていなかった場合、端末装置３００は、第３表示データの取得要求信号を画像処理装置１００に送信する。出力制御部１５１は、動作としてスパイクが指定された場合と同様にして、利用者に指定された期間、撮像装置２００及び練習に対応する入力画像を抽出する。出力制御部１５１は、状態に利用者に指定された練習の開始が設定された入力画像から、その練習の終了が設定された入力画像までを、利用者に指定された練習に対応する入力画像として抽出する。なお、利用者によって撮像装置２００が指定されていない場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した入力画像を抽出する。出力制御部１５１は、抽出した各入力画像を連続して表示するとともに、各入力画像の第２詳細情報を各入力画像に重畳して表示するように第３表示データを生成して送信する。 Similarly, when the operation is not specified in step S402, the terminal device 300 transmits the acquisition request signal of the third display data to the image processing device 100. The output control unit 151 extracts the image pickup device 200 and the input image corresponding to the practice for the period specified by the user in the same manner as when the spike is specified as the operation. The output control unit 151 sets the input image corresponding to the practice specified by the user from the input image in which the start of the practice specified by the user is set to the input image in which the end of the practice is set in the state. Extract as. When the image pickup device 200 is not specified by the user, the output control unit 151 extracts the input image captured by the image pickup device 200 selected by the selection unit 143. The output control unit 151 continuously displays each of the extracted input images, and generates and transmits third display data so that the second detailed information of each input image is superimposed and displayed on each input image.

このように、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した複数の入力画像において、判定部１４２による判定の基礎とされた入力画像又はその入力画像と同じタイミングで撮影された入力画像を抽出する。そして、出力制御部１５１は、抽出した各入力画像を、判定部１４２により実施されると判定された各イベントのイベント名、時刻等を含む第２詳細情報と結び付けて表示するように第３表示データを生成する。 As described above, the output control unit 151 captures the plurality of input images captured by the imaging device 200 selected by the selection unit 143 at the same timing as the input image used as the basis of the determination by the determination unit 142 or the input image thereof. Extract the input image. Then, the output control unit 151 displays the extracted input images in association with the second detailed information including the event name, time, etc. of each event determined to be executed by the determination unit 142. Generate data.

以上詳述したように、画像処理装置１００は、複数の撮像装置２００によりイベント空間が撮影された複数の入力画像からイベントを検出するとともに、人物密集度合いに基づいて撮像装置２００を選択する。画像処理装置１００は、人物密集度合いが最も小さい入力画像を撮像した撮像装置２００を選択することにより、利用者が判別しやすい入力画像を抽出することができ、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することが可能となった。 As described in detail above, the image processing device 100 detects an event from a plurality of input images in which the event space is captured by the plurality of image pickup devices 200, and selects the image pickup device 200 based on the degree of crowding of people. The image processing device 100 can extract an input image that is easy for the user to distinguish by selecting an image pickup device 200 that captures an input image having the smallest degree of crowding of people, and can be used as an event from a plurality of input images. It has become possible to extract the corresponding input image satisfactorily.

例えば、イベントがバレーボールの練習である場合、ウィングスパイカーは特にゲーム形式練習とスパイク練習を中心にチェックすることを希望し、リベロはゲーム形式練習とレシーブ練習を中心にチェックすることを希望する。即ち、練習を実施したプレイヤが画像を閲覧する場合、プレイヤのポジションに応じて、各プレイヤがチェックしたいシーンは異なる。利用者は閲覧を希望する練習が撮影された画像を全ての画像の中から手動で探し出す必要がなくなり、画像処理装置１００は、利用者の利便性を向上させることが可能となる。 For example, if the event is a volleyball practice, Wing Spyker wants to focus on game-style practice and spike practice, and Libero wants to focus on game-style practice and receive practice. That is, when the player who has practiced browses the image, the scene that each player wants to check differs depending on the position of the player. The user does not have to manually search for the image in which the practice desired to be viewed is taken from all the images, and the image processing device 100 can improve the convenience of the user.

また、バレーボールでは、個々の人物又はボールが、それぞれ異なる練習において同一の位置にある場合又は同一の動きをする場合があり、個々の人物又はボールの位置又は動きに基づいて、練習内容を特定することが困難である。また、練習内容によっては、個々の人物又はボールが、互いに重なってしまい、適切に抽出されない可能性がある。一方、コート内の複数のプレイヤの位置（フォーメーション）又は動き（連携動作）は、練習毎に異なる。画像処理装置１００は、空間内の人物配置に関する特徴情報に基づいてイベントを特定するため、個々の人物又は物体の位置又は動きに基づいて練習内容を特定する場合と比較して、高精度に練習内容を特定できる。 In volleyball, individual persons or balls may be in the same position or move in the same position in different exercises, and the practice content is specified based on the position or movement of each individual person or ball. Is difficult. In addition, depending on the practice content, individual persons or balls may overlap each other and may not be properly extracted. On the other hand, the positions (formations) or movements (cooperative movements) of a plurality of players on the court differ from practice to practice. Since the image processing device 100 identifies the event based on the feature information regarding the arrangement of the person in the space, the image processing device 100 practices with higher accuracy than the case of specifying the practice content based on the position or movement of each person or object. The content can be specified.

また、画像処理装置１００は、直前の対象物体の検出位置に基づくボールの予測位置と対象物体の検出位置との間の距離が閾値以上であり且つその予測位置が入力画像群の撮影範囲内である場合、ボールが人物に接触したと判定する。これにより、画像処理装置１００は、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することが可能となった。 Further, in the image processing device 100, the distance between the predicted position of the ball based on the detection position of the immediately preceding target object and the detection position of the target object is equal to or greater than the threshold value, and the predicted position is within the shooting range of the input image group. If there is, it is determined that the ball has touched a person. As a result, the image processing device 100 can satisfactorily extract the input image taken at the timing when the ball comes into contact with the person.

特に、バレーボールでは、セッターがトスアップする際のボールの位置、又は、アタッカーがスパイクを打つ際のボールの位置等、ボールがプレイヤに接触した瞬間のボールの位置は、プレイヤの各動作の良否を判断するための重要な要素となる。プレイヤは、ボールがプレイヤに接触したタイミングに撮影された入力画像を効率良く閲覧することが可能となり、画像処理装置１００は、利用者の利便性を向上させることが可能となる。 In particular, in volleyball, the position of the ball at the moment when the ball touches the player, such as the position of the ball when the setter tosses up or the position of the ball when the attacker hits a spike, determines the quality of each movement of the player. It will be an important factor to do. The player can efficiently browse the input image taken at the timing when the ball comes into contact with the player, and the image processing device 100 can improve the convenience of the user.

また、画像処理装置１００は、複数の撮像装置２００により生成された入力画像を用いて、ボールを追跡する。特定の撮像装置２００の死角にボールが存在する場合でも、そのボールは他の撮像装置２００によって撮影されるため、画像処理装置１００は、ボールを良好に追跡し続けることができる。 In addition, the image processing device 100 tracks the ball using the input images generated by the plurality of image pickup devices 200. Even if the ball is present in the blind spot of the specific imaging device 200, the ball is photographed by another imaging device 200, so that the image processing device 100 can continue to track the ball well.

図１９は、他の実施形態に係る画像処理装置１００による解析処理の動作を示すフローチャートである。以下、図１９に示したフローチャートを参照しつつ、他の実施形態に係る解析処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１２０に記憶されているプログラムに基づき主にＣＰＵ１４０により画像処理装置１００の各要素と協働して実行される。 FIG. 19 is a flowchart showing the operation of the analysis process by the image processing device 100 according to the other embodiment. Hereinafter, the operation of the analysis process according to the other embodiment will be described with reference to the flowchart shown in FIG. The operation flow described below is mainly executed by the CPU 140 in cooperation with each element of the image processing device 100 based on the program stored in the storage device 120 in advance.

図４に示した解析処理では、画像処理装置１００は、複数の入力画像からイベントを特定してから、人物密集度合いに基づいて撮像装置２００を選択する。一方、図１９に示す解析処理では、画像処理装置１００は、人物密集度合いに基づいて撮像装置２００を選択してから、選択した撮像装置２００により生成された入力画像からイベントを特定する。 In the analysis process shown in FIG. 4, the image processing device 100 identifies an event from a plurality of input images, and then selects the image pickup device 200 based on the degree of crowding of people. On the other hand, in the analysis process shown in FIG. 19, the image processing device 100 selects the image pickup device 200 based on the degree of crowding of people, and then identifies the event from the input image generated by the selected image pickup device 200.

最初に、取得部１４１は、図４のステップＳ１０１の処理と同様にして、入力画像群を取得し（ステップＳ５０１）、選択部１４３は、図４のステップＳ１０２の処理と同様にして、入力画像群に含まれる各入力画像から人物領域を検出する（ステップＳ５０２）。 First, the acquisition unit 141 acquires the input image group in the same manner as in the process of step S101 of FIG. 4 (step S501), and the selection unit 143 acquires the input image group in the same manner as in the process of step S102 of FIG. A person area is detected from each input image included in the group (step S502).

次に、選択部１４３は、入力画像群に含まれる何れかの入力画像において、所定数以上の人物領域が検出されたか否かを判定する（ステップＳ５０３）。所定数は、２以上の自然数、例えば３に設定される。 Next, the selection unit 143 determines whether or not a predetermined number or more of the person areas are detected in any of the input images included in the input image group (step S503). The predetermined number is set to a natural number of 2 or more, for example 3.

次に、選択部１４３は、図４のステップＳ１０６の処理と同様にして、入力画像群に含まれる入力画像毎に、人物密集度合いを算出する（ステップＳ５０４）。但し、選択部１４３は、複数のイベントのそれぞれに対応する空間毎に、各空間内の人物密集度合いを算出する。即ち、選択部１４３は、所定のタイミングで第１撮像装置２００が撮影した第１入力画像の第１空間及び第２空間内の第１人物密集度合いを算出する。また、選択部１４３は、その所定のタイミングで第２撮像装置２００が撮影した第２入力画像の第１空間及び第２空間内の第２人物密集度合いを算出する。 Next, the selection unit 143 calculates the degree of crowding of people for each input image included in the input image group in the same manner as in the process of step S106 of FIG. 4 (step S504). However, the selection unit 143 calculates the degree of crowding of people in each space for each space corresponding to each of the plurality of events. That is, the selection unit 143 calculates the degree of density of the first person in the first space and the second space of the first input image taken by the first imaging device 200 at a predetermined timing. In addition, the selection unit 143 calculates the degree of density of the second person in the first space and the second space of the second input image taken by the second imaging device 200 at the predetermined timing.

次に、選択部１４３は、図４のステップＳ１０７の処理と同様にして、人物密集度合いに基づいて撮像装置２００を選択する（ステップＳ５０５）。但し、選択部１４３は、複数のイベントのそれぞれに対応する空間毎に、人物密集度合いが最も小さい入力画像を撮像した撮像装置２００を選択する。即ち、選択部１４３は、第１人物密集度合いと、第２人物密集度合いとの比較に基づいて、撮像装置２００の選択を行う。 Next, the selection unit 143 selects the image pickup apparatus 200 based on the degree of crowding of people in the same manner as in the process of step S107 of FIG. 4 (step S505). However, the selection unit 143 selects the image pickup device 200 that captures the input image having the smallest degree of crowding of people for each space corresponding to each of the plurality of events. That is, the selection unit 143 selects the image pickup apparatus 200 based on the comparison between the degree of density of the first person and the degree of density of the second person.

次に、取得部１４１は、ステップＳ５０１の処理と同様にして、入力画像群を取得し（ステップＳ５０６）、判定部１４２は、ステップＳ５０２の処理と同様にして、入力画像群に含まれる各入力画像から人物領域を検出する（ステップＳ５０７）。なお、既にステップＳ１０１で最新の入力画像群を取得済みであり人物領域を検出済みである場合、取得部１４１及び判定部１４２は、ステップＳ５０６及びＳ５０７の処理を省略してもよい。 Next, the acquisition unit 141 acquires the input image group in the same manner as in the process of step S501 (step S506), and the determination unit 142 acquires each input included in the input image group in the same manner as in the process of step S502. A person area is detected from the image (step S507). If the latest input image group has already been acquired and the person area has been detected in step S101, the acquisition unit 141 and the determination unit 142 may omit the processing of steps S506 and S507.

次に、判定部１４２は、図４のステップＳ１０３の処理と同様にして、イベント空間内の各空間に対応する領域と各領域に対応する特徴情報との適合度合いを算出する（ステップＳ５０８）。但し、判定部１４２は、選択部１４３によって選択された撮像装置２００が撮影した各入力画像について適合度合いを算出する。即ち、判定部１４２は、選択部１４３によって選択された撮像装置２００が撮影した各入力画像について、第１空間内の画像と第１特徴情報との第１適合度合い、及び、第２空間内の画像と第２特徴情報との第２適合度合いを算出する。 Next, the determination unit 142 calculates the degree of conformity between the region corresponding to each space in the event space and the feature information corresponding to each region in the same manner as the process of step S103 of FIG. 4 (step S508). However, the determination unit 142 calculates the degree of conformity for each input image captured by the image pickup apparatus 200 selected by the selection unit 143. That is, the determination unit 142 has, for each input image taken by the image pickup apparatus 200 selected by the selection unit 143, the first degree of conformity between the image in the first space and the first feature information, and the first degree of conformity in the second space. The second degree of conformity between the image and the second feature information is calculated.

次に、判定部１４２は、図４のステップＳ１０４の処理と同様にして、算出した何れかの適合度合いが所定数以上連続して閾値以上であるか否かを判定する（ステップＳ５０９）。但し、判定部１４２は、選択された撮像装置２００により撮像された入力画像の特定の領域において特定のイベントに対応する特徴情報が所定数以上連続して閾値以上である場合に、何れかの適合度合いが所定数以上連続して閾値以上であると判定する。 Next, the determination unit 142 determines whether or not any of the calculated degree of conformity is continuously equal to or greater than the threshold value by a predetermined number or more in the same manner as in the process of step S104 of FIG. 4 (step S509). However, when the feature information corresponding to a specific event in a specific region of the input image captured by the selected imaging device 200 is continuously equal to or greater than a threshold value by a predetermined number or more, the determination unit 142 conforms to any of the above. It is determined that the degree is continuously equal to or greater than the threshold value.

何れの適合度合いも所定数以上連続して閾値以上でない場合、判定部１４２は、処理をステップＳ５０６に戻し、ステップＳ５０６〜Ｓ５０９の処理を繰り返す。一方、何れかの適合度合いが所定数以上連続して閾値以上である場合、判定部１４２は、その適合度合いに対応するイベントを、イベント空間において実施されているイベントとして特定する（ステップＳ５１０）。即ち、判定部１４２は、選択部１４３によって選択された撮像装置２００が撮影した各入力画像において、第１適合度合い及び第２適合度合いに基づいて、第１イベント又は第２イベントが実施されたか否かを判定する。特に、判定部１４２は、選択部１４３によって選択された撮像装置２００が連続して撮影した所定数の入力画像における第１適合度合い又は第２適合度合いが全て閾値以上である場合に、第１イベント又は第２イベントが実施されたと判定する。 When none of the conforming degrees is continuously equal to or greater than the threshold value by a predetermined number or more, the determination unit 142 returns the process to step S506 and repeats the processes of steps S506 to S509. On the other hand, when any of the degree of conformity is continuously equal to or greater than the threshold value by a predetermined number or more, the determination unit 142 identifies the event corresponding to the degree of conformity as an event being carried out in the event space (step S510). That is, the determination unit 142 determines whether or not the first event or the second event has been executed based on the first degree of conformity and the second degree of conformity in each input image captured by the image pickup apparatus 200 selected by the selection unit 143. Is determined. In particular, the determination unit 142 determines the first event when the first degree of conformity or the second degree of conformity in a predetermined number of input images continuously captured by the image pickup apparatus 200 selected by the selection unit 143 are all equal to or greater than the threshold value. Alternatively, it is determined that the second event has been carried out.

判定部１４２は、管理テーブルにおいて、適合度合いが所定数以上連続して閾値以上となった入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、特定したイベント及びイベント開始を設定する。また、選択部１４３は、イベント開始が設定された入力画像の内、ステップＳ５０５で選択した撮像装置２００に関連付けられた入力画像の状態に、撮像装置２００が選択された旨をさらに設定する。 In the management table, the determination unit 142 sets the specified event and the start of the event in the state of the input image in which the degree of conformity is continuously equal to or higher than the threshold value by a predetermined number or more and each input image taken at the same timing as the input image. Set. Further, the selection unit 143 further sets that the image pickup device 200 is selected in the state of the input image associated with the image pickup device 200 selected in step S505 among the input images for which the event start is set.

次に、取得部１４１は、最新の入力画像群を取得する（ステップＳ５１１）。なお、既にステップＳ５０６で最新の入力画像群を取得済みである場合、取得部１４１は、ステップＳ５１１の処理を省略してもよい。 Next, the acquisition unit 141 acquires the latest input image group (step S511). If the latest input image group has already been acquired in step S506, the acquisition unit 141 may omit the process of step S511.

次に、第１処理部１４４又は第２処理部１４９は、図４のステップＳ１０９の処理と同様にして、最新の入力画像群に対して、特定したイベントに応じたイベント処理を実行する（ステップＳ５１２）。 Next, the first processing unit 144 or the second processing unit 149 executes event processing according to the specified event for the latest input image group in the same manner as the processing in step S109 of FIG. 4 (step). S512).

次に、終了判定部１５０は、ステップＳ５０２の処理と同様にして、最新の入力画像群に含まれる各入力画像から人物領域を検出する（ステップＳ５１３）。 Next, the end determination unit 150 detects a person area from each input image included in the latest input image group in the same manner as in the process of step S502 (step S513).

次に、終了判定部１５０は、図４のステップＳ１１１の処理と同様にして、検出した人物領域が、判定部１４２によって特定されたイベントの終了条件を満たすか否かを判定する（ステップＳ５１４）。 Next, the end determination unit 150 determines whether or not the detected person area satisfies the end condition of the event specified by the determination unit 142 in the same manner as the process of step S111 of FIG. 4 (step S514). ..

検出した人物領域がイベントの終了条件を満たさない場合、終了判定部１５０は、特に処理を実行せず、処理をステップＳ５１１へ戻し、ステップＳ５１１〜Ｓ５１４の処理を繰り返す。一方、検出した人物領域がイベントの終了条件を満たす場合、終了判定部１５０は、特定したイベントが終了したと判定し（ステップＳ５１５）、処理をステップＳ５０１へ戻す。このように、終了判定部１５０は、判定部１４２による判定の基礎とされた入力画像より後に撮影された入力画像が、判定部１４２により実施されると判定されたイベントの終了条件を満たす場合に、そのイベントが終了したと判定する。終了判定部１５０は、管理テーブルにおいて、人物領域がイベントの終了条件を満たす入力画像及びその入力画像と同じタイミングで撮影された各入力画像の状態に、対応するイベント及びイベント終了を設定する。 When the detected person area does not satisfy the end condition of the event, the end determination unit 150 does not execute any particular process, returns the process to step S511, and repeats the processes of steps S511 to S514. On the other hand, when the detected person area satisfies the end condition of the event, the end determination unit 150 determines that the specified event has ended (step S515), and returns the process to step S501. As described above, the end determination unit 150 satisfies the end condition of the event determined to be executed by the determination unit 142 when the input image taken after the input image on which the determination by the determination unit 142 is based is satisfied. , Determines that the event has ended. In the management table, the end determination unit 150 sets the corresponding event and the end of the event in the state of the input image in which the person area satisfies the end condition of the event and each input image taken at the same timing as the input image.

なお、図４に示す解析処理の代わりに、図１９に示す解析処理が実行される場合も、図１７に示す表示処理が実行される。この場合、出力制御部１５１は、選択部１４３によって選択された撮像装置２００が撮影した複数の入力画像において判定部１４２による判定の基礎とされた入力画像を、判定部１４２により実施されると判定されたイベントと結び付けて出力する。 When the analysis process shown in FIG. 19 is executed instead of the analysis process shown in FIG. 4, the display process shown in FIG. 17 is also executed. In this case, the output control unit 151 determines that the determination unit 142 executes the input image that is the basis of the determination by the determination unit 142 in the plurality of input images taken by the image pickup device 200 selected by the selection unit 143. Output in association with the event that was done.

以上詳述したように、画像処理装置１００は、人物密集度合いに基づいて撮像装置２００を選択し、選択した撮像装置２００により生成された入力画像からイベントを特定する。これにより、画像処理装置１００は、個々の人物を良好に検出しやすい入力画像を用いて、より高精度にイベントを特定することが可能となり、複数の入力画像の中からイベントに対応する入力画像を良好に抽出することが可能となった。 As described in detail above, the image processing device 100 selects the image pickup device 200 based on the degree of crowding of people, and identifies the event from the input image generated by the selected image pickup device 200. As a result, the image processing device 100 can identify the event with higher accuracy by using the input image that can easily detect each person well, and the input image corresponding to the event from the plurality of input images. It became possible to extract satisfactorily.

図２０は、他の実施形態に係る画像処理装置における制御回路２６０の概略構成を示すブロック図である。 FIG. 20 is a block diagram showing a schematic configuration of a control circuit 260 in an image processing apparatus according to another embodiment.

制御回路２６０は、制御回路１６０の代わりに使用され、ＣＰＵ１４０の代わりに、解析処理及び表示処理を実行する。制御回路２６０は、取得回路２６１、判定回路２６２、選択回路２６３、第１処理回路２６４、第２処理回路２６９、終了判定回路２７０及び出力制御回路２７１等を有する。第１処理回路２６４には、検出位置特定回路２６５、予測位置推定回路２６６、接触判定回路２６７及び記憶制御回路２６８等が含まれる。 The control circuit 260 is used in place of the control circuit 160 and executes analysis processing and display processing in place of the CPU 140. The control circuit 260 includes an acquisition circuit 261, a determination circuit 262, a selection circuit 263, a first processing circuit 264, a second processing circuit 269, an end determination circuit 270, an output control circuit 271 and the like. The first processing circuit 264 includes a detection position specifying circuit 265, a predicted position estimation circuit 266, a contact determination circuit 267, a memory control circuit 268, and the like.

取得回路２６１は、取得部の一例であり、取得部１４１と同様の機能を有する。取得回路２６１は、通信装置１０１を介して各撮像装置２００から入力画像を取得し、記憶装置１２０に保存する。 The acquisition circuit 261 is an example of the acquisition unit and has the same function as the acquisition unit 141. The acquisition circuit 261 acquires an input image from each image pickup device 200 via the communication device 101 and stores it in the storage device 120.

判定回路２６２は、判定部の一例であり、判定部１４２と同様の機能を有する。判定回路２６２は、記憶装置１２０から入力画像を読み出し、入力画像からイベント空間において実施されているイベントを特定し、記憶装置１２０に記憶された管理テーブルを更新する。 The determination circuit 262 is an example of the determination unit, and has the same function as the determination unit 142. The determination circuit 262 reads an input image from the storage device 120, identifies an event being executed in the event space from the input image, and updates the management table stored in the storage device 120.

選択回路２６３は、選択部の一例であり、選択部１４３と同様の機能を有する。選択回路２６３は、記憶装置１２０から各入力画像を読み出し、入力画像における人物密集度合いに基づいて撮像装置２００を選択し、記憶装置１２０に記憶された管理テーブルを更新する。 The selection circuit 263 is an example of the selection unit, and has the same function as the selection unit 143. The selection circuit 263 reads each input image from the storage device 120, selects the image pickup device 200 based on the degree of crowding of people in the input image, and updates the management table stored in the storage device 120.

第１処理回路２６４は、第１処理部の一例であり、第１処理部１４４と同様の機能を有する。第１処理回路２６４は、記憶装置１２０から入力画像を読み出し、入力画像群に対して第１イベント処理を実行し、記憶装置１２０に記憶された管理テーブルを更新する。 The first processing circuit 264 is an example of the first processing unit, and has the same function as the first processing unit 144. The first processing circuit 264 reads the input image from the storage device 120, executes the first event processing on the input image group, and updates the management table stored in the storage device 120.

検出位置特定回路２６５は、検出位置特定部の一例であり、検出位置特定部１４５と同様の機能を有する。検出位置特定回路２６５は、記憶装置１２０から入力画像を読み出し、入力画像において対象物体の検出位置を特定し、検出位置を記憶装置１２０に記憶する。 The detection position specifying circuit 265 is an example of the detection position specifying unit, and has the same function as the detection position specifying unit 145. The detection position specifying circuit 265 reads an input image from the storage device 120, identifies the detection position of the target object in the input image, and stores the detection position in the storage device 120.

予測位置推定回路２６６は、予測位置推定部の一例であり、予測位置推定部１４６と同様の機能を有する。予測位置推定回路２６６は、記憶装置１２０から対象物体の検出位置を読み出し、ボールの予測位置を推定し、予測位置を記憶装置１２０に記憶する。 The predicted position estimation circuit 266 is an example of the predicted position estimation unit, and has the same function as the predicted position estimation unit 146. The predicted position estimation circuit 266 reads the detected position of the target object from the storage device 120, estimates the predicted position of the ball, and stores the predicted position in the storage device 120.

接触判定回路２６７は、接触判定部の一例であり、接触判定部１４７と同様の機能を有する。接触判定回路２６７は、記憶装置１２０から対象物体の検出位置及びボールの予測位置を読み出し、ボールが人物に接触したか否かを判定し、判定結果を記憶装置１２０に記憶する。 The contact determination circuit 267 is an example of the contact determination unit, and has the same function as the contact determination unit 147. The contact determination circuit 267 reads the detection position of the target object and the predicted position of the ball from the storage device 120, determines whether or not the ball has come into contact with a person, and stores the determination result in the storage device 120.

記憶制御回路２６８は、記憶制御部の一例であり、記憶制御部１４８と同様の機能を有する。記憶制御回路２６８は、記憶装置１２０からボールと人物の接触の判定結果を読み出し、レシーブ位置、トス位置及びスパイク位置を特定し、記憶装置１２０に記憶する。 The memory control circuit 268 is an example of the memory control unit, and has the same function as the memory control unit 148. The storage control circuit 268 reads out the determination result of the contact between the ball and the person from the storage device 120, identifies the receive position, the toss position, and the spike position, and stores them in the storage device 120.

第２処理回路２６９は、第２処理部の一例であり、第２処理部１４９と同様の機能を有する。第２処理回路２６９は、記憶装置１２０から入力画像を読み出し、入力画像群に対して第２イベント処理を実行し、記憶装置１２０に記憶された管理テーブルを更新する。 The second processing circuit 269 is an example of the second processing unit, and has the same function as the second processing unit 149. The second processing circuit 269 reads the input image from the storage device 120, executes the second event processing on the input image group, and updates the management table stored in the storage device 120.

終了判定回路２７０は、終了判定部の一例であり、終了判定部１５０と同様の機能を有する。終了判定回路２７０は、記憶装置１２０から入力画像を読み出し、入力画像においてイベントが終了したか否かを判定し、記憶装置１２０に記憶された管理テーブルを更新する。 The end determination circuit 270 is an example of the end determination unit, and has the same function as the end determination unit 150. The end determination circuit 270 reads the input image from the storage device 120, determines whether or not the event has ended in the input image, and updates the management table stored in the storage device 120.

出力制御回路２７１は、出力制御部の一例であり、出力制御部１５１と同様の機能を有する。出力制御回路２７１は、通信装置１０１を介して端末装置３００から、又は、操作装置１０２から利用者による指示を受け付ける。出力制御回路２７１は、受け付けた指示に従って、記憶装置１２０から入力画像及び管理テーブルを読み出し、表示データを生成して通信装置１０１を介して端末装置３００に、又は、表示装置１０３に出力する。 The output control circuit 271 is an example of the output control unit, and has the same function as the output control unit 151. The output control circuit 271 receives an instruction from the user from the terminal device 300 or from the operation device 102 via the communication device 101. The output control circuit 271 reads the input image and the management table from the storage device 120 according to the received instruction, generates display data, and outputs the display data to the terminal device 300 or the display device 103 via the communication device 101.

以上詳述したように、画像処理装置は、制御回路２６０を用いる場合も、複数の入力画像の中からイベントに対応する入力画像を良好に抽出すること、及び、ボールが人物に接触したタイミングに撮影された入力画像を良好に抽出することが可能となった。 As described in detail above, even when the control circuit 260 is used, the image processing device satisfactorily extracts the input image corresponding to the event from the plurality of input images, and at the timing when the ball comes into contact with the person. It has become possible to extract the captured input image satisfactorily.

以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像処理装置１００は、各撮像装置２００が入力画像を生成したタイミングでリアルタイムに解析処理を実行しなくてもよい。画像処理装置１００は、過去に撮像装置２００が生成した入力画像をまとめて記憶装置１２０に記憶しておき、記憶装置１２０に記憶された入力画像を順次取得しながら解析処理を実行してもよい。 Although suitable embodiments have been described above, the embodiments are not limited thereto. For example, the image processing device 100 does not have to execute the analysis process in real time at the timing when each image pickup device 200 generates the input image. The image processing device 100 may collectively store the input images generated by the image pickup device 200 in the past in the storage device 120, and execute the analysis process while sequentially acquiring the input images stored in the storage device 120. ..

また、画像処理装置１００は、各表示データを端末装置３００に送信して端末装置３００に閲覧画面を表示するのでなく、表示装置１０３に閲覧画面を表示してもよい。その場合、画像処理装置１００は、操作装置１０２から利用者による閲覧画面の表示指示及び各絞り込み条件の指定を受け付け、受け付けた指示又は指定に応じて、各表示データに従った閲覧画面を生成し、表示装置１０３に表示する。 Further, the image processing device 100 may display the browsing screen on the display device 103 instead of transmitting each display data to the terminal device 300 and displaying the browsing screen on the terminal device 300. In that case, the image processing device 100 receives the display instruction of the browsing screen and the designation of each narrowing-down condition by the user from the operation device 102, and generates a browsing screen according to each display data according to the received instruction or designation. , Displayed on the display device 103.

また、画像処理システム１において、クラウドコンピューティングの形態でサービスを提供できるように、ネットワーク上に複数の画像処理装置を分散して配置し、各画像処理装置に協働させて、各入力画像の解析処理等を分担させてもよい。これにより、画像処理システム１は、複数の撮像装置２００が生成した入力画像について、効率よく解析処理を実行できる。 Further, in the image processing system 1, a plurality of image processing devices are distributed and arranged on the network so that the service can be provided in the form of cloud computing, and each image processing device is made to cooperate with each other to provide the input image. The analysis process and the like may be shared. As a result, the image processing system 1 can efficiently execute analysis processing on the input images generated by the plurality of image pickup devices 200.

１００ 画像処理装置、１２０ 記憶装置、１４１ 取得部、１４２ 判定部、１４３ 選択部、１４５ 検出位置特定部、１４６ 予測位置推定部、１４７ 接触判定部、１４８ 記憶制御部、１５０ 終了判定部、１５１ 出力制御部 100 image processing device, 120 storage device, 141 acquisition unit, 142 judgment unit, 143 selection unit, 145 detection position identification unit, 146 prediction position estimation unit, 147 contact judgment unit, 148 storage control unit, 150 end judgment unit, 151 output Control unit

Claims (10)

出力部と、
複数の撮像装置により一定周期毎に所定空間が撮影された複数の入力画像を含む入力画像群を取得する取得部と、
各撮影タイミングに撮影された入力画像群からボールと推定される物体を検出し、前記所定空間内の前記物体の検出位置を特定する検出位置特定部と、
各撮影タイミングにおける前記所定空間内のボールの予測位置を、当該撮影タイミングより前に撮影された入力画像群から特定された前記検出位置に基づいて推定する予測位置推定部と、
各撮影タイミングにおける前記予測位置と前記検出位置との間の距離が閾値以上であり且つ当該予測位置が前記入力画像群に含まれる入力画像の撮影範囲内である場合に、前記所定空間内でボールが人物に接触したと判定する接触判定部と、
前記接触判定部によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報を前記出力部から出力する出力制御部と、
を有することを特徴とする画像処理装置。 Output section and
An acquisition unit that acquires an input image group including a plurality of input images in which a predetermined space is photographed by a plurality of imaging devices at regular intervals.
A detection position specifying unit that detects an object presumed to be a ball from the input image group shot at each shooting timing and specifies the detection position of the object in the predetermined space.
A predictive position estimation unit that estimates the predicted position of the ball in the predetermined space at each shooting timing based on the detected position specified from the input image group shot before the shooting timing.
When the distance between the predicted position and the detected position at each shooting timing is equal to or greater than the threshold value and the predicted position is within the shooting range of the input image included in the input image group, the ball is in the predetermined space. A contact determination unit that determines that the person has touched a person,
An output control unit that outputs information about an input image taken at a shooting timing when the ball is determined to have touched a person by the contact judgment unit from the output unit.
An image processing device characterized by having. 前記接触判定部は、前記予測位置と前記検出位置との間の距離が閾値以上であり且つ当該予測位置が前記撮影範囲外である場合、前記所定空間内でボールが前記撮影範囲外に移動したと判定する、請求項１に記載の画像処理装置。 When the distance between the predicted position and the detected position is equal to or greater than the threshold value and the predicted position is outside the shooting range, the contact determination unit moves the ball out of the shooting range within the predetermined space. The image processing apparatus according to claim 1. 前記検出位置特定部は、前記接触判定部によりボールが前記撮影範囲外に移動したと判定された場合、前記入力画像群の当該判定の基礎となった予測位置側の端部周辺において前記物体が新たに検出されるまで、前記検出位置を新たに特定しない、請求項２に記載の画像処理装置。 When the contact determination unit determines that the ball has moved out of the shooting range, the detection position specifying unit causes the object to move around the end portion on the predicted position side, which is the basis of the determination of the input image group. The image processing apparatus according to claim 2, wherein the detection position is not newly specified until it is newly detected. 前記予測位置推定部は、前記接触判定部によりボールが人物に接触したと判定された撮影タイミングに撮影された入力画像群から特定された前記検出位置を、当該撮影タイミングにおける前記予測位置に置換して、当該撮影タイミングより後の撮影タイミングにおける前記予測位置を推定する、請求項１〜３の何れか一項に記載の画像処理装置。 The predicted position estimation unit replaces the detected position specified from the input image group captured at the shooting timing when the ball is determined to have touched the person by the contact determination unit with the predicted position at the shooting timing. The image processing apparatus according to any one of claims 1 to 3, wherein the predicted position is estimated at a shooting timing after the shooting timing. 前記所定空間は、バレーボールのコートであり、
記憶部と、
前記検出位置特定部により前記所定空間内に前記物体が検出されてから、前記接触判定部によりボールが人物に２回目に接触したと判定された撮影タイミングにおける前記予測位置及び３回目に接触したと判定された撮影タイミングにおける前記予測位置をそれぞれトス位置及びスパイク位置として前記記憶部に記憶する記憶制御部と、をさらに有する、請求項１〜４の何れか一項に記載の画像処理装置。 The predetermined space is a volleyball court and
Memory and
After the object is detected in the predetermined space by the detection position specifying unit, the predicted position and the third contact at the shooting timing when the contact determination unit determines that the ball has contacted the person for the second time. The image processing apparatus according to any one of claims 1 to 4, further comprising a storage control unit that stores the predicted position at the determined shooting timing as a toss position and a spike position in the storage unit, respectively. 前記所定空間は、複数の領域に分類され、
前記出力制御部は、利用者による前記複数の領域の内の何れかの第１領域の指定を受け付け、指定された第１領域に含まれる各トス位置に関連付けられた各スパイク位置を一覧表示する表示データを前記出力部から出力する、請求項５に記載の画像処理装置。 The predetermined space is classified into a plurality of areas.
The output control unit accepts the user's designation of any first region among the plurality of regions, and displays a list of spike positions associated with each toss position included in the designated first region. The image processing apparatus according to claim 5, wherein display data is output from the output unit. 前記出力制御部は、利用者による前記一覧表示されたスパイク位置の内の何れかのスパイク位置の指定をさらに受け付け、指定されたスパイク位置に対応する入力画像、及び、指定されたスパイク位置に関する情報を表示する表示データを出力する、請求項６に記載の画像処理装置。 The output control unit further accepts the user to specify any of the spike positions displayed in the list, the input image corresponding to the specified spike position, and the information regarding the specified spike position. The image processing apparatus according to claim 6, which outputs display data for displaying. 前記出力制御部は、利用者による前記複数の領域の内の何れかの第２領域の指定をさらに受け付け、指定された第１領域に含まれる各トス位置及び第２領域に含まれる各スパイク位置に対応する入力画像、及び、各スパイク位置に関する情報を表示する表示データを前記出力部から出力する、請求項６または７に記載の画像処理装置。 The output control unit further accepts the designation of the second region from the plurality of regions by the user, and each toss position included in the designated first region and each spike position included in the second region. The image processing apparatus according to claim 6 or 7, wherein the input image corresponding to the above and display data for displaying information about each spike position are output from the output unit. 出力部を有する画像処理装置の制御方法であって、前記画像処理装置が、
複数の撮像装置により一定周期毎に所定空間が撮影された複数の入力画像を含む入力画像群を取得し、
各撮影タイミングに撮影された入力画像群からボールと推定される物体を検出し、前記所定空間内の前記物体の検出位置を特定し、
各撮影タイミングにおける前記所定空間内のボールの予測位置を、当該撮影タイミングより前に撮影された入力画像群から特定された前記検出位置に基づいて推定し、
各撮影タイミングにおける前記予測位置と前記検出位置との間の距離が閾値以上であり且つ当該予測位置が前記入力画像群に含まれる入力画像の撮影範囲内である場合に、前記所定空間内でボールが人物に接触したと判定し、
ボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報を前記出力部から出力する、
ことを特徴とする制御方法。 A control method for an image processing device having an output unit, wherein the image processing device
An input image group including a plurality of input images in which a predetermined space is photographed by a plurality of imaging devices at regular intervals is acquired.
An object presumed to be a ball is detected from the input image group shot at each shooting timing, and the detection position of the object in the predetermined space is specified.
The predicted position of the ball in the predetermined space at each shooting timing is estimated based on the detection position specified from the input image group shot before the shooting timing.
When the distance between the predicted position and the detected position at each shooting timing is equal to or greater than the threshold value and the predicted position is within the shooting range of the input image included in the input image group, the ball is in the predetermined space. Determined that he had contacted a person
Information about the input image taken at the shooting timing when it is determined that the ball has touched the person is output from the output unit.
A control method characterized by that. 出力部を有するコンピュータの制御プログラムであって、
複数の撮像装置により一定周期毎に所定空間が撮影された複数の入力画像を含む入力画像群を取得し、
各撮影タイミングに撮影された入力画像群からボールと推定される物体を検出し、前記所定空間内の前記物体の検出位置を特定し、
各撮影タイミングにおける前記所定空間内のボールの予測位置を、当該撮影タイミングより前に撮影された入力画像群から特定された前記検出位置に基づいて推定し、
各撮影タイミングにおける前記予測位置と前記検出位置との間の距離が閾値以上であり且つ当該予測位置が前記入力画像群に含まれる入力画像の撮影範囲内である場合に、前記所定空間内でボールが人物に接触したと判定し、
ボールが人物に接触したと判定された撮影タイミングに撮影された入力画像に関する情報を前記出力部から出力する、
ことを前記コンピュータに実行させることを特徴とする制御プログラム。 A control program for a computer that has an output unit.
An input image group including a plurality of input images in which a predetermined space is photographed by a plurality of imaging devices at regular intervals is acquired.
An object presumed to be a ball is detected from the input image group shot at each shooting timing, and the detection position of the object in the predetermined space is specified.
The predicted position of the ball in the predetermined space at each shooting timing is estimated based on the detection position specified from the input image group shot before the shooting timing.
When the distance between the predicted position and the detected position at each shooting timing is equal to or greater than the threshold value and the predicted position is within the shooting range of the input image included in the input image group, the ball is in the predetermined space. Determined that he had contacted a person
Information about the input image taken at the shooting timing when it is determined that the ball has touched the person is output from the output unit.
A control program characterized by causing the computer to execute the above.
JP2019114756A 2019-06-20 2019-06-20 Image processing device, control method, and control program Pending JP2021002152A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019114756A JP2021002152A (en) 2019-06-20 2019-06-20 Image processing device, control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019114756A JP2021002152A (en) 2019-06-20 2019-06-20 Image processing device, control method, and control program

Publications (1)

Publication Number Publication Date
JP2021002152A true JP2021002152A (en) 2021-01-07

Family

ID=73995031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019114756A Pending JP2021002152A (en) 2019-06-20 2019-06-20 Image processing device, control method, and control program

Country Status (1)

Country Link
JP (1) JP2021002152A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7360520B1 (en) 2022-04-13 2023-10-12 緯創資通股▲ふん▼有限公司 Object tracking integration method and integration device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7360520B1 (en) 2022-04-13 2023-10-12 緯創資通股▲ふん▼有限公司 Object tracking integration method and integration device

Similar Documents

Publication Publication Date Title
US9697617B2 (en) True space tracking of axisymmetric object flight using image sensor
JP7003628B2 (en) Object tracking program, object tracking device, and object tracking method
US6304665B1 (en) System for determining the end of a path for a moving object
US10412467B2 (en) Personalized live media content
US9652859B2 (en) Method of measuring a property of a trajectory of a ball with a mobile computer device
CN108369634A (en) System and method for monitoring the object in athletic ground
US20110019003A1 (en) Surveillance image retrieval apparatus and surveillance system
JP2023547207A (en) 3D object tracking using unverified detections registered by one or more sensors
JP6649231B2 (en) Search device, search method and program
JP4886707B2 (en) Object trajectory identification device, object trajectory identification method, and object trajectory identification program
US11615539B2 (en) Apparatus, method and computer program product for predicting whether an object moving across a surface will reach a target destination
CN103106654A (en) Apparatus, method and system
CN108370412B (en) Control device, control method, and recording medium
KR20210067875A (en) Electronic device for tagging event on sports play video and operating method thereof
JP6890103B2 (en) Positioning systems, positioning methods, and programs
CN103100204A (en) Method, apparatus and program
JP6593922B2 (en) Image surveillance system
JP7246005B2 (en) Mobile tracking device and mobile tracking method
JP2021002152A (en) Image processing device, control method, and control program
KR101188286B1 (en) Golf simulation system and method of controlling the same
US20140015966A1 (en) Imaging apparatus and imaging method
CN114037923A (en) Target activity hotspot graph drawing method, system, equipment and storage medium
CN114584680A (en) Motion data display method and device, computer equipment and storage medium
JP7304747B2 (en) Image processing device, control method and control program
Mateescu et al. Evaluation of several visual saliency models in terms of gaze prediction accuracy on video