JP6956324B2 - 動画分割方法、動画分割装置および動画処理システム - Google Patents

Description

本開示は、スポーツ映像等の動画像に対する処理を行う動画分割方法、動画分割装置および動画処理システムに関する。

近年では、例えばサッカー等のスポーツ動画像に基づいて、試合を通じて競技者やボール等の位置情報の追跡を行い、競技者毎に姿勢解析や行動解析、位置の追跡等を行い、トレーニングや次試合の戦術にフィードバックすることが行われている。

動画像を構成する多くの画像に対して、人が手動で解析を行う場合、多大な労力、時間、あるいは人手を要する。このため、例えば非特許文献１には、コンピュータによって自動で画像解析処理を行い、コンピュータの誤った場合には人の手による修正を受け付けることによって、即時的に解析を行うことができ、かつ人の労力を低減したスポーツ映像解析システムが開示されている。

田靡雅基、他５名、「スポーツ映像解析ソリューション」、Panasonic Technical Journal Vol. 61 No. 2 Nov. 2015, p. 78-83

非特許文献１に開示された技術では、動画像を所定時間ずつファイル分割し、コンピュータが分割したそれぞれのファイルに画像解析を行い、画像解析が行われた分割ファイルのそれぞれに対して複数の修正者が修正を行った後、分割ファイルを結合する。コンピュータが行う画像解析には、例えば競技者やボール等の位置を追跡する処理や、競技者の姿勢を検出する処理等が含まれる。非特許文献１に開示された技術では、このような動作により、画像解析処理とその修正とに要する時間を低減している。

しかしながら、例えば競技者が密集して映っている画像では、競技者がばらけて映っている画像よりも、コンピュータが画像解析によって競技者やボールの位置を特定することが難しくなり、コンピュータによる位置特定結果の誤りが多くなってしまう場合がある。そして、このような競技者が密集して映っている画像は、数フレームから数十フレームの間連続する場合がある。非特許文献１では動画像を所定時間ずつ分割しているので、画像解析が難しい画像の前後で動画像が分割されてしまうことがある。

非特許文献１では、分割ファイルには、コンピュータによる画像解析と、修正者による修正の結果、競技者やボールの位置の情報が重畳され、分割ファイルが結合される際には、結合箇所の前後で同一の競技者が特定され同一競技者の位置情報が連結される。このため、結合の前後の画像がコンピュータによる画像解析が難しい画像、すなわち競技者が密集して映っている画像であった場合、（１）結合箇所の前後における位置情報そのものの精度が低下する、（２）結合の際に同一の競技者を特定する精度が低下してしまい追跡結果の結合の精度が低下する、という問題があった。すなわち、従来の技術では動画を分割して行う動画解析の精度が低いという問題があった。

本開示は、動画を分割して行う動画解析の精度を高くする動画分割方法、動画分割装置および動画処理システムを提供する。

本開示における動画分割方法は、プロセッサが、動画像を構成する複数フレームの画像を複数のグループに分割する動画像分割方法であって、プロセッサは、画像から得られる特徴量に基づいて画像を編集作業する際の難易度を決定し、算出された画像の難易度に基づいて、分割されたグループにおける終了フレームの画像の難易度が所定の値より小さくなるように、動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する。
また、本開示における動画分割方法は、プロセッサが、動画像を構成する複数フレームの画像を複数のグループに分割する動画像分割方法であって、プロセッサは、画像から得られる特徴量に基づいて画像を編集作業する際の難易度を決定し、算出された画像の難易度に基づいて、分割されたグループにおける開始フレームの画像の難易度が所定の値より小さくなるように、動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する。

本開示によれば、動画を分割して行う動画解析の精度を高めることができる。

図１は、動画処理システムの構成の一例を示す図である。 図２は、動画分割装置（あるいは画像処理装置）の構成の一例を示す図である。 図３は、実施の形態１における動画処理システムの全体の動作の流れを説明するためのシーケンス図である。 図４は、背景領域の設定処理において、表示部に表示される画面の例を示す図である。 図５は、実施の形態１の分割送信処理における動画分割装置の動作を説明するためのフローチャートである。 図６は、パック形成処理における動画分割装置の動作を説明するためのフローチャートである。 図７は、難易度判定処理における動画分割装置の動作を説明するためのフローチャートである。 図８は、負荷値の設定方法の第１の例を示した図である。 図９は、負荷値の設定方法の第２の例を示した図である。 図１０は、負荷値累積情報について説明するための図である。 図１１は、実施の形態２における動画処理システムの全体の動作について説明するためのシーケンス図である。 図１２は、実施の形態２の分割送信処理における動画分割装置の動作を説明するためのフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。必要以上に詳細な説明とは、例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明等である。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、以下の説明および参照される図面は、当業者が本開示を理解するために提供されるものであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
［１．１ 構成］
図１は、動画処理システム１の構成の一例を示す図である。図１に示すように、動画処理システム１は、動画分割装置１００と、複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・と、カメラ３００と、を有する。動画分割装置１００とカメラ３００、および動画分割装置１００と複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・とは、それぞれ互いに通信可能に接続されている。なお、以下では、複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・をまとめて画像処理装置２００と記載する場合がある。

動画分割装置１００および画像処理装置２００は、例えばＰＣやワークステーション等のコンピュータにより構成される。図２は、動画分割装置１００（あるいは画像処理装置２００）の構成の一例を示す図である。図２に示すように、動画分割装置１００（あるいは画像処理装置２００）は、プロセッサ１０１（２０１）と、記憶部１０２（２０２）と、入力部１０３（２０３）と、表示部１０４（２０４）と、通信部１０５（２０５）と、バス１０６（２０６）とを有する。

プロセッサ１０１（２０１）は演算を行うことで動画分割装置１００（あるいは画像処理装置２００）の他の構成要素を制御する。

記憶部１０２（２０２）は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２（２０２）は動画分割装置１００（あるいは画像処理装置２００）のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等に相当する。図２に示す例では、動画分割装置１００（あるいは画像処理装置２００）は記憶部１０２（２０２）を１つのみ有しているが、必要性に応じて記憶部１０２（２０２）を複数有していてもよい。記憶部１０２（２０２）は、例えばＨＤＤ（Hard Disk Drive）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、ＳＳＤ（Solid State Drive）等により構成されればよい。

入力部１０３（２０３）は外部からの入力を受け付ける。入力部１０３（２０３）は、例えばマウスやキーボード、トラックボール等の入力デバイス等により構成されればよい。

表示部１０４（２０４）は外部へ情報を表示する。表示部１０４（２０４）は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスにより構成されればよい。

通信部１０５（２０５）は外部との情報の送受信を行う。通信部１０５（２０５）は、例えば通信ポートや無線通信デバイス等の通信インターフェースにより構成されればよい。動画分割装置１００は、通信部１０５を介して、画像処理装置２００との情報の送受信を行うことができる。また、画像処理装置２００は、通信部２０５を介して、動画分割装置１００との情報の送受信を行うことができる。

バス１０６（２０６）は動画分割装置１００（あるいは画像処理装置２００）を構成する各要素を、接続する経路である。プロセッサ１０１（２０１）にバス１０６（２０６）を統合することでプロセッサ１０１（２０１）の内部にバス１０６（２０６）を構成することもできる。バス１０６（２０６）は各要素を有線で接続してもよいし、各要素を無線で接続してもよい。

上記した動画分割装置１００（あるいは画像処理装置２００）の構成は一例である。従って、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成に別の構成要素を追加することによって構成されてもよい。また、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成から構成要素の一部を必要に応じて削除することによって構成されてもよい。また、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成要素を互いに統合することによって構成されてもよい。また、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成要素の一部によって構成されてもよい。

カメラ３００は、撮影対象を撮影して画像を生成し、動画分割装置１００に対して送信する。本開示の動画処理システム１において、カメラ３００が撮影する画像は、例えば秒間３０フレーム、すなわち１秒間に３０枚の静止画像を含む動画像である。

［１．２ 動作］
次に、実施の形態１における動画処理システム１の動作について説明する。以下の説明において、動画分割装置１００の動作は、主としてプロセッサ１０１が動画分割装置１００の他の各構成要素と協働して行われるものである。

動画処理システム１は、カメラ３００によって撮影されたスポーツ競技の動画像によって構成されるスポーツ映像に基づいて、動画像に映る競技者やスポーツ用具（ボール等）等の位置を追跡する。本開示において、スポーツ競技とは、例えばサッカーやアメリカンフットボール等、複数の競技者が同時に競技するものを想定しているが、例えばゴルフ等、１度に競技する競技者が１人であるものであってもよい。

スポーツ映像は、１台のカメラ３００が撮影した動画像により構成されてもよいし、複数台のカメラ３００が撮影した動画像を結合したものにより構成されてもよい。特にサッカーのようにフィールドが広い競技を撮影する場合には、複数台のカメラ３００が撮影した動画像を結合することが望ましい。動画像を結合する技術については本開示では特に限定しない。

図３は、実施の形態１における動画処理システム１の全体の動作の流れを説明するためのシーケンス図である。

ステップＳ３０１において、動画分割装置１００は、スポーツ映像を分割するための事前処理を行う。事前処理は、例えば動画像において競技者と背景（例えば競技場等）とを区別するために、背景に相当する領域を予め（例えば試合開始前に）設定し背景情報を取得する処理である。事前処理の詳細については後述する。

ステップＳ３０２において、動画分割装置１００は、ステップＳ３０１における事前処理で得た情報を用いて動画像を複数に分割し、複数の画像処理装置２００に対して送信する分割送信処理を行う。分割送信処理の詳細については後述する。

ステップＳ３０３において、複数の画像処理装置２００は、それぞれ動画分割装置１００から受信した、分割された動画像に対して、動画像に映る競技者やボール等の位置を追跡する追跡処理と、画像処理装置２００が行った追跡処理における誤りの編集作業を受け付ける編集受付処理と、を行う。画像処理装置２００における追跡処理は、例えば従来の移動体追跡技術を利用することができる。

追跡処理における誤りの編集作業とは、例えば以下のようなものである。動画像内で競技者が密集して動いている状態等において、従来の移動体追跡技術では、例えば隣接して動く２人の競技者を取り違えたり、競技者の足をボールと誤認識したりする事態が生じうる。このような事態が生じると、競技者の正常な追跡を行うことができないので、人間の目で追跡処理の結果を確認して修正を行う必要がある。上記した編集受付処理は、このように追跡処理の結果を目視した人間（以下、修正者と称する）による編集作業を受け付ける処理である。具体的には、画像処理装置２００は、例えば追跡処理の結果をほぼリアルタイムで表示部２０４に表示し、追跡処理が誤っているか否かを修正者に判定させる。そして、誤っている場合には入力部２０３を介して修正者による修正を受け付ける。画像処理装置２００は、このようにして編集受付処理を行う。

ステップＳ３０４において、画像処理装置２００は、ステップＳ３０３における追跡処理の結果（編集作業を反映済みのもの）を動画分割装置１００に送信する。

ステップＳ３０５において、動画分割装置１００は、追跡結果を結合する。動画分割装置１００は、ステップＳ３０４において画像処理装置２００から送信された、分割された各々の動画像（パック）の終了フレームにおける競技者の位置（追跡結果を参照することで得られる）および開始フレームにおける競技者の位置（追跡結果または初期姿勢付与の結果を参照することで得られる）を比較し、近接した位置に存在する競技者を同一の競技者とみなすことで、同一競技者の位置情報を連結することで追跡結果の結合を行う。

このような動作により、動画処理システム１は、スポーツ映像における競技者やボール等の追跡処理を、短時間で精度よく行うことができる。

［１．２．１ 事前処理］
以下では、図３のステップＳ３０１において動画分割装置１００が行う事前処理について詳細に説明する。事前処理には、背景情報の抽出処理と、難易度判定領域の設定処理とが含まれる。以下では、背景情報の抽出処理と、難易度判定領域の設定処理とについて個別に説明する。

（１）背景情報の抽出処理
背景領域は、スポーツ映像の動画像を構成する静止画像において、競技者やボール以外が映った領域である。すなわち、背景領域は、例えば、スポーツ競技が行われる競技場が映った領域である。

背景情報の抽出処理において、動画分割装置１００は、まず、これから撮影されるスポーツ映像の対象となるスポーツの競技場が映った画像をカメラ３００から取得し、表示部１０４に表示する。

図４は、背景情報の抽出処理において、表示部１０４に表示される画面の例を示す図である。図４は、スポーツ競技の一例としてサッカーのフィールド４００を試合開始前に撮影した画像を表示した画面である。

図４に示すように、事前処理において、表示部１０４に表示される画面は、競技者等が映っていない背景領域を設定するために、競技者が少ない、あるいは競技者が競技場全体に散らばっていない画像であることが望ましい。このため、事前処理は、例えば試合開始直前等に行われる。

事前処理の開始時に、動画分割装置１００は、表示部１０４に競技場の画像を表示し、続けて、操作者に対して背景領域を選択する旨の指示メッセージを表示する。この指示メッセージを見た操作者が、入力部１０３を介して、表示部１０４に表示された競技場の画像に対して、背景領域を選択する選択操作を行うと、動画分割装置１００はこの選択操作を受け付ける。これにより、動画分割装置１００は、背景領域を設定する。なお、操作者とは、例えば表示部１０４を見ながら事前処理における操作を行う人間である。

図４において、実線で囲まれた領域４０１は、操作者によって選択された背景領域を例示している。操作者は、入力部１０３を構成する、例えばマウス、トラックボール、あるいはタッチパネル等の操作デバイスを用いて、図４に例示する領域４０１を指定する。動画分割装置１００は、操作者に背景領域を選択する旨の指示メッセージを表示する際に、競技者あるいはボール等、試合中に動く可能性がある物体を含まない領域を背景領域として設定するように指示する。操作者がこの指示に従うことで、動画分割装置１００は、競技者あるいはボール等を含まない領域４０１を背景領域として設定することができる。図４においては、競技場の画像内に人物等が存在するため、当該人物を避けるように領域４０１が操作者によって指定されている。競技場の画像内に人物等が存在しない場合はフィールド全体を領域４０１と指定してもよい。

動画分割装置１００は、操作者により設定された領域４０１毎に、その領域の各画素が有する情報を抽出し、背景情報として記憶部１０２に格納する。動画分割装置１００が背景情報として抽出するのは、例えば、領域４０１が取り得る色相（Hue）値の範囲である。なお、動画分割装置１００は、色相だけでなく、彩度（Saturation）および／または明度（Value）の値を背景情報として抽出するようにしてもよい。

（２）難易度判定領域の設定処理
動画分割装置１００は、事前処理として、上記した背景情報の抽出処理に加えて、難易度判定領域の設定処理を行う。難易度判定領域とは、画像処理装置２００が行う追跡処理の結果に対して修正者が行う編集作業を受け付ける編集受付処理において、編集作業の難易度が高いか否かを判定するために設定される領域である。本実施の形態の難易度判定領域は、本開示の特定領域に相当する。

なお、事前処理において、上記した背景情報の抽出処理と、難易度判定領域の設定処理とが行われる順序は、本開示では限定されない。すなわち、背景情報の抽出処理が先に行われてもよいし、難易度判定領域の設定処理が先に行われてもよいし、背景情報の抽出処理と難易度判定領域の設定処理とが同時に行われてもよい。

編集作業の難易度が高いか否かは、例えば動画像を構成する各フレームの画像（静止画像）から抽出される特徴量に基づいて判定されればよい。特徴量とは、画像内における競技者の特徴を示す要素である。特徴量の具体例としては、例えば、競技者に対応する画像の色、輝度、頂点の位置、形状等が挙げられる。また、画像内における競技者の特徴を示すものであれば、公知の他の特徴量を利用してもよい。以下では、画像から抽出される特徴量として、例えば画像全体に対する、競技者に対応する領域の占める割合を採用した場合について説明する。

難易度判定領域の設定処理において、動画分割装置１００は、操作者に対して難易度領域を設定する旨の指示メッセージを表示部１０４に表示する。この指示メッセージを見た操作者が、表示部１０４に表示された競技場の画像に対して、入力部１０３を介して難易度判定領域を選択する選択操作を行うと、動画分割装置１００はこの選択操作を受け付ける。これにより、動画分割装置１００は、難易度判定領域を設定する。

具体的には、操作者は、入力部１０３を構成する、例えばマウス、トラックボール、あるいはタッチパネル等の操作デバイスを用いて、例えば図４に例示する領域４０２を指定する。なお、動画分割装置１００は、操作者に難易度判定領域を設定する旨の指示メッセージを表示する際に、例えば試合中に競技者が多数存在する可能性がある領域を難易度判定領域として設定するように指示する。操作者がこの指示に従うことで、動画分割装置１００は、試合中に競技者が多数存在する可能性がある領域４０２を難易度判定領域として設定することができる。

図４において、点線で囲まれた領域４０２は、操作者によって選択された難易度判定領域を例示している。図４では、一例として、サッカーのフィールドにおけるペナルティエリア付近が難易度判定領域として選択された場合を示している。ペナルティエリア付近は得点に絡むプレイが行われやすい領域であり、ボールがペナルティエリア内にある場合には競技者が密集しやすいことから、難易度判定領域として設定されることが望ましい領域である。なお、本開示では、難易度判定領域はペナルティエリア付近には限定されない。例えばフィールドの他の領域が難易度判定領域として選択および設定されてもよいし、他のスポーツ競技の場合にはその競技に特有の、競技者が密集しやすい領域が範囲度判定領域として選択および設定されてもよい。

なお、操作者が難易度判定領域として選択する領域４０２は、１つだけでなく、複数であってもよい。

動画分割装置１００は、操作者により設定された領域４０２毎に、その領域の位置を難易度判定領域位置情報として記憶部１０２に格納する。なお、難易度判定領域位置情報は、例えば静止画像内に任意の座標系を設定し、その座標系において難易度判定領域の位置を示す座標を含む情報等とすればよい。

［１．２．２ 分割送信処理］
次に、図３のステップＳ３０２における分割送信処理について詳細に説明する。図５は、実施の形態１の分割送信処理における動画分割装置１００の動作を説明するためのフローチャートである。

ステップＳ５０１において、動画分割装置１００は、カメラ３００により撮影された動画像に対してパック（Pack）形成処理を行う。パック形成処理とは、動画像を分割し、複数のグループ（以下パックと称する）を形成する処理である。

［１．２．２．１ パック形成処理］
以下、パック形成処理の詳細について説明する。図６は、パック形成処理における動画分割装置１００の動作を説明するためのフローチャートである。図６に示すパック形成処理の処理対象は、カメラ３００から入力された動画像を構成する各静止画像である。

ステップＳ６０１において、動画分割装置１００は、パック形成処理において使用するパラメータの初期化を行う。パック形成処理において使用されるパラメータは、フレーム数ｆと、カウント値ｃｎｔと、フレーム数ｆに対応する静止画像の難易度Ｄ＿ｌｅｖｅｌである。ステップＳ６０１の初期化によって、フレーム数ｆ＝０に、カウント値ｃｎｔ＝０に、難易度Ｄ＿ｌｅｖｅｌ＝Ｌｏｗに、それぞれ初期化される。

ステップＳ６０２において、動画分割装置１００は、カメラ３００から入力された動画像のｆフレーム目の静止画像を取得する。ｆフレーム目の静止画像は、以下説明する各ステップにおいて、処理対象の静止画像である。そして、ステップＳ６０３において、動画分割装置１００は、ステップＳ６０２において取得した静止画像から前景領域を抽出する。

前景領域とは、静止画像における背景領域以外の領域である。すなわち、本ステップＳ６０３において、動画分割装置１００は、上記した事前処理にて抽出された背景情報に基づいて、前景画像を抽出する。具体的には、動画分割装置１００は、背景情報として抽出した色相等の情報を、静止画像中における各画素の色相等の情報と比較することで、当該比較の結果乖離が大きい画素からなる画像を前景画像であるとして抽出する。そして、動画分割装置１００は、ｆフレーム目の静止画像において、背景領域を構成する画素の画素値を０（黒）に、前景領域を構成する画素の画素値を２５５（白）に、それぞれ設定した二値化画像を生成する。以下では、本ステップＳ６０３において動画分割装置１００が生成する二値化画像を、前景画像と称する。

ステップＳ６０４において、動画分割装置１００は、ステップＳ６０３において生成した前景画像を用いてラベリング処理を行う。ラベリング処理とは、画素値が２５５（白）である部分が連続した画素に同じ番号を割り振る処理である。すなわち、ラベリング処理によって、独立した前景領域毎にそれぞれ異なる番号を付与している。以下の説明において、ラベリング処理された前景領域をラベリング領域、前景画像におけるラベリング領域の数をラベリング数と称する。ステップＳ６０４において、動画分割装置１００は、ラベリング領域の位置に関するラベリング領域位置情報を生成し、記憶部１０２に格納する。

ステップＳ６０５において、動画分割装置１００は、難易度判定処理を行う。難易度判定処理は、画像処理装置２００が行う追跡処理の結果に対して修正者が行う編集作業を受け付ける編集受付処理において、編集作業の難易度が高いか否かを判定する処理である。

［１．２．２．１．１ 難易度判定処理］
以下、難易度判定処理の詳細について説明する。図７は、難易度判定処理における動画分割装置１００の動作を説明するためのフローチャートである。

ステップＳ７０１において、動画分割装置１００は、処理対象であるｆフレーム目の静止画像において、ステップＳ６０４のラベリング処理によって決定されたラベリング数Ｌ＿ｎｕｍを取得する。

ステップＳ７０２において、動画分割装置１００は、難易度判定処理において使用するパラメータの初期化を行う。難易度判定処理において使用されるパラメータは、静止画像内において何番目のラベリング領域であるかを示すカウンタ値ｘと、難易度判定領域内の前景量Ｄ＿ｓｉｚｅと、静止画像全体の前景量ＡＬＬ＿ｓｉｚｅとである。なお、前景量とは、前景領域のサイズ、具体的には、例えば画素数を示す量である。

ステップＳ７０３において、動画分割装置１００は、ｘ番目のラベリング領域のサイズＳ＿ｘを取得する。そして、ステップＳ７０４において、動画分割装置１００は、静止画像全体の前景量ＡＬＬ＿ｓｉｚｅにｘ番目のラベリング領域のサイズＳ＿ｘを加算する。

ステップＳ７０５において、動画分割装置１００は、ｘ番目のラベリング領域が難易度判定領域内であるか否かの判定を行う。本ステップＳ７０５における判定は、難易度判定領域位置情報とラベリング領域位置情報とに基づいて行われればよい。ステップＳ７０５においてｘ番目のラベリング領域が難易度判定領域内であると判定された場合（ステップＳ７０５：Ｙｅｓ）、処理はステップＳ７０６に進み、そうでない場合（ステップＳ７０５：Ｎｏ）、ステップＳ７０７に進む。

ステップＳ７０６において、動画分割装置１００は、難易度判定領域内の前景量Ｄ＿ｓｉｚｅにｘ番目のラベリング領域のサイズＳ＿ｘを加算する。そして、処理はステップＳ７０７に進む。

ステップＳ７０７において、動画分割装置１００は、カウンタ値ｘを１インクリメントし、ステップＳ７０８に進む。

ステップＳ７０８において、動画分割装置１００は、カウンタ値ｘがラベリング数Ｌ＿ｎｕｍに達していないか否かを判定する。ステップＳ７０８において、カウンタ値ｘがラベリング数Ｌ＿ｎｕｍに達していないと判定された場合（ステップＳ７０８：Ｙｅｓ）、処理はステップＳ７０３に戻り、そうでない場合（ステップＳ７０８：Ｎｏ）、ステップＳ７０９に進む。

ステップＳ７０９において、動画分割装置１００は、難易度判定領域内の前景量Ｄ＿ｓｉｚｅが静止画像全体の前景量ＡＬＬ＿ｓｉｚｅに所定の割合ｒａｔｅを乗算した値より大きいか否かを判定する。所定の割合ｒａｔｅは、編集作業の難易度が高いか否かを決定するために予め設定される割合であり、例えば６割である。ステップＳ７０９において、難易度判定領域内の前景量Ｄ＿ｓｉｚｅが静止画像全体の前景量ＡＬＬ＿ｓｉｚｅに所定の割合ｒａｔｅを乗算したものより大きいと判定された場合（ステップＳ７０９：Ｙｅｓ）、処理はステップＳ７１０に進み、そうでない場合（ステップＳ７０９：Ｎｏ）、ステップＳ７１１に進む。

ステップＳ７１０において、動画分割装置１００は、処理対象であるｆフレーム目の静止画像の難易度Ｄ＿ｌｅｖｅｌをＨｉｇｈと判定する。

一方、ステップＳ７１１において、動画分割装置１００は、ｆフレーム目の静止画像の難易度Ｄ＿ｌｅｖｅｌをＬｏｗと判定する。

すなわち、図７に示す難易度判定処理では、ｆフレーム目の静止画像において、難易度判定領域内の前景量Ｄ＿ｓｉｚｅが静止画像全体の前景量ＡＬＬ＿ｓｉｚｅに所定の割合ｒａｔｅを乗算した値より大きい場合には、画像内における競技者が多いことが想定されるため、難易度が高いと判定される。

図６の説明に戻る。ステップＳ６０６において、動画分割装置１００は、ステップＳ６０５の難易度判定処理において難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈであると判定されたか否かを判定する。ステップＳ６０６において、難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈであると判定された場合（ステップＳ６０６：Ｙｅｓ）、処理はステップＳ６０７に進み、そうでない場合（ステップＳ６０６：Ｎｏ）、ステップＳ６０９に進む。

ステップＳ６０７において、動画分割装置１００は、ｆフレーム目の静止画像の難易度Ｄ＿ｌｅｖｅｌをＨｉｇｈに更新する。そして、ステップＳ６０８において、動画分割装置１００は、カウント値ｃｎｔを０にリセットし、ステップＳ６１０に進む。

ステップＳ６０９において、動画分割装置１００は、カウント値ｃｎｔを１インクリメントしてステップＳ６１０に進む。

ステップＳ６１０において、動画分割装置１００は、処理対象の静止画像のフレーム数ｆが所定枚数Ｆ（例えばＦ＝７５０フレーム）以上となったか否かを判定する。ステップＳ６１０において、フレーム数ｆが所定枚数Ｆ以上となったと判定された場合（ステップＳ６１０：Ｙｅｓ）、処理はステップＳ６１２に進み、そうでない場合（ステップＳ６１０：Ｎｏ）、ステップＳ６１１に進む。

ステップＳ６１１において、動画分割装置１００は、フレーム数ｆを１インクリメントしてステップＳ６０２に戻る。

ステップＳ６１２において、動画分割装置１００は、カウント値ｃｎｔが所定値Ｆ＿ｃｎｔ以上となったか否かを判定する。ステップＳ６１２において、カウント値ｃｎｔが所定値Ｆ＿ｃｎｔ（例えば１０）以上となったと判定された場合（ステップＳ６１２：Ｙｅｓ）、処理はステップＳ６１３に進み、そうでない場合（ステップＳ６１２：Ｎｏ）、ステップＳ６１１に戻る。

ステップＳ６０８およびＳ６０９において、カウント値ｃｎｔは、処理対象の静止画像の難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈに更新された場合には０にリセットされ、Ｌｏｗのままである場合は１インクリメントされる。すなわち、難易度Ｄ＿ｌｅｖｅｌがＬｏｗである静止画像がＦ＿ｃｎｔフレーム以上連続した場合のみ、ステップＳ６１２においてカウント値ｃｎｔが所定値Ｆ＿ｃｎｔ以上となる。従って、ステップＳ６１３の処理は、処理対象の静止画像のフレーム数ｆがパック形成処理の開始から所定枚数Ｆ以上となり、かつ、難易度Ｄ＿ｌｅｖｅｌがＬｏｗである静止画像がＦ＿ｃｎｔフレーム以上連続した場合に行われる。

本実施の形態では、このようにカウント制御を用いて難易度Ｌｏｗである静止画像が連続した枚数が所定値以上であるか否かの判定を行った後に動画を分割するが、この構成は必須ではない。例えば処理対象のフレームの難易度がＬｏｗであると判定された場合、当該フレームで動画を分割しても良い。このようにしても、動画分割の前後における静止画像のいずれかが難易度Ｌｏｗとなるため、画像解析の精度が動画分割の前後いずれかで向上し、動画を分割して行う動画解析の精度を高めることができる。

ただし、本実施の形態のようにカウント制御を用いて難易度Ｌｏｗである静止画像が連続した枚数が所定値以上であるか否かの判定を行った後に動画を分割すると、難易度Ｌｏｗである静止画像がその後もしばらく連続することが経験的に知られているから、動画分割の前後における静止画像の難易度が所定枚数以上連続してＬｏｗとなりやすい。難易度がＬｏｗとなる静止画像が連続すると、動画分割の前後における画像解析の精度がより上がるため、動画を分割して行う動画解析の精度をより高めることができる。

ステップＳ６１３において、動画分割装置１００は、パック形成処理の開始フレームである０フレーム目の静止画像から、ｆフレーム目の静止画像までを１つのグループ（パック）としてパック形成を行う。ステップＳ６１３において形成されるパックの長さは、所定フレーム数Ｆ以上である。また、パックの最終フレームの静止画像の難易度はＬｏｗである。

本実施の形態では、このようにパックの最終フレームの静止画像の難易度がＬｏｗとなるように、パック形成を行った。このようにすると、最終フレームの静止画像に対する画像解析の精度が向上するため、動画を分割して行う動画解析の精度をより高めることができる。

また、他の実施の形態として、０フレーム目の静止画像から、（ｆ−所定枚数フレーム目）の静止画像までを１つのグループ（パック）としてパック形成を行うことで、パックの開始フレームの静止画像の難易度がＬｏｗとなるようにしてもよい。このようにすると、開始フレームの静止画像に対する画像解析の精度が向上するため、動画を分割して行う動画解析の精度をより高めることができる。

さらに、他の実施の形態として、０フレーム目の静止画像から、（ｆ−１）フレーム目の静止画像までを１つのグループ（パック）としてパック形成を行うことで、パックの開始フレーム・最終フレーム双方の静止画像の難易度がＬｏｗとなるようにしてもよい。

ステップＳ６１４において、動画分割装置１００は、ステップＳ６１３において形成したパックの負荷値を算出する。負荷値とは、画像処理装置２００において、修正者がパックの編集作業を行う際の負荷を示す度合いである。

負荷値の設定方法について具体的に説明する。１つの設定方法として、例えば、パックに含まれる静止画像のうち、難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈである静止画像が占める割合に基づいて負荷値を設定する方法がある。

図８は、負荷値の設定方法の第１の例を示した図である。図８において、左側の欄は、パック全体に対する難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈである静止画像の比率を示しており、右側の欄は、比率に応じた負荷値の例を示している。図８に示す例では、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０である場合、負荷値は１に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０より大きく０．２５未満である場合、負荷値は２に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０．２５以上０．５未満である場合、負荷値は３に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０．５以上０．７５未満である場合、負荷値は４に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０．７５以上１．０以下である場合、負荷値は５に設定されている。

すなわち、負荷値の設定方法の第１の例では、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が低いほど負荷値は低く、割合が高いほど負荷値は高く設定される。なお、図８に示す例では、負荷値は５段階に設定されているが、本開示はこれには限定されない。負荷値は例えば２段階など、図８に例示した５段階より少ない段階を有していてもよいし、５段階より多い段階を有していてもよい。負荷値が２段階の場合には、例えば難易度Ｈｉｇｈのフレームが１つでもあった場合に負荷値１とし、難易度Ｈｉｇｈのフレーム数が０であった場合に負荷値０とすればよい。

図９は、負荷値の設定方法の第２の例を示した図である。図９において、左側の欄は、所定フレーム数に対するパック全体のフレーム数の比率を示しており、右側の欄は、比率に応じた負荷値の例を示している。なお、所定フレーム数とは、図６のステップＳ６１０にて説明した所定フレーム数Ｆと同じ値でもよいし、異なる値であってもよい。図９に示す例では、パック全体のフレーム数が所定フレーム数の１倍以下である場合、負荷値は１に設定されている。また、パック全体のフレーム数が所定フレーム数の１倍より大きく１．５倍以下である場合、負荷値は２に設定されている。また、パック全体のフレーム数が所定フレーム数の１．５倍より大きく２倍以下である場合、負荷値は３に設定されている。また、パック全体のフレーム数が所定フレーム数の２倍より大きい場合、負荷値は４に設定されている。

負荷値の設定方法の第２の例では、所定フレーム数に対するパック全体のフレーム数の比率が低い、すなわちパックの長さが短いほど負荷値は低く、比率が高い、すなわちパックの長さが長いほど負荷値は高く設定される。なお、図９に示す例では、負荷値は４段階に設定されているが、本開示はこれには限定されない。負荷値は例えば２段階など、図９に例示した４段階より少ない段階を有していてもよいし、４段階より多い段階を有していてもよい。

以上のように、動画分割装置１００は、動画像を所定枚数以上のフレームの静止画像を含む複数のパックに分割する。より詳細には、動画分割装置１００は、パックを構成する各画像の難易度を判定し、難易度Ｌｏｗの画像が所定値Ｆ＿ｃｎｔ枚以上連続した場合に、連続した画像の最後の画像付近で動画像を分割し、パックを形成する。

図５の説明に戻る。ステップＳ５０２において、動画分割装置１００は、ステップＳ５０１において形成した複数のパックの送信先の候補である複数の画像処理装置２００毎の負荷値累積情報を取得する。

図１０は、負荷値累積情報について説明するための図である。図１０には、パックの送信先候補である画像処理装置２００の識別情報（ＩＤ）と、負荷値累積情報とを示す表１００１〜１００４が例示されている。表１００１〜１００４における負荷値累積情報は、時間の経過とともに更新されている。

表１００１は、ＩＤ．１〜ＩＤ．３のいずれの画像処理装置２００にもパックが送信されていない、初期状態の負荷値を示している。負荷値の初期値は１であり、ＩＤ．１からＩＤ．３の３台の画像処理装置２００の負荷値累積情報はそれぞれ１である。なお、以下では簡単のため、例えばＩＤ．１の画像処理装置２００の負荷値累積情報をＩＤ．１の負荷値のように記載する。

表１００２は、表１００１から時間が経過し、負荷値３を有する１つ目のパックが送信された状態の負荷値を示している。ＩＤ．１に対して負荷値３のパックが送信されたため、表１００２では、ＩＤ．１の負荷値が４に更新されている。

さらに、表１００３は、表１００２から時間が経過し、負荷値１を有する２つ目のパックが送信された状態の負荷値を示している。ＩＤ．２に対して負荷値１のパックが送信されたため、表１００３では、ＩＤ．２の負荷値が２に更新されている。

そして、表１００４は、表１００３からさらに時間が経過し、負荷値２を有する３つ目のパックが送信された状態の負荷値を示している。ＩＤ．３に対して負荷値２のパックが送信されたため、表１００４では、ＩＤ．３の負荷値が３に更新されている。

このように、負荷値累積情報は、現時点より以前に複数の画像処理装置２００のうちのいずれかに対して送信したパックの負荷値を、画像処理装置２００毎に累積した値である。

図５の説明に戻る。ステップＳ５０３において、動画分割装置１００は、ステップＳ５０２において取得した負荷値累積情報に基づいて、ステップＳ５０１において生成したパックを送信する送信先となる画像処理装置２００を決定する。

送信先の決定方法としては、例えばステップＳ５０２において取得した負荷値累積情報を参照して、負荷値の累積値が最も小さい画像処理装置２００を送信先とする方法がある。まだパックが送信されていない状態等、同じ負荷値累積情報を有する画像処理装置２００が複数存在する場合は、例えばＩＤが最も小さい画像処理装置２００を送信先として決定すればよい。

ステップＳ５０４において、動画分割装置１００は、ステップＳ５０３において決定した送信先に対して、ステップＳ５０１において生成したパックを送信する。

そして、ステップＳ５０５において、動画分割装置１００は、送信先の画像処理装置２００に対応する負荷値累積情報を更新する。具体的には、送信先の画像処理装置２００の負荷値累積情報にステップＳ６１４において算出した負荷値を加算して更新する。

ステップＳ５０６において、動画分割装置１００は、ステップＳ５０１において生成したパックで動画像が終了したか否かを判定する。なお、動画像が終了したとは、例えばカメラ３００が撮影していたスポーツ競技の試合が終了した等の理由により、カメラ３００が動画像の撮影を止めたことを意味する。ステップＳ５０６において、動画像が終了したと判定された場合（ステップＳ５０６：Ｙｅｓ）、処理は終了し、そうでない場合（ステップＳ５０６：Ｎｏ）、処理はステップＳ５０１に戻って次のパック形成処理を行う。

なお、次のパック形成処理の開始フレーム（２回目以降のＳ６０２において取得される画像）は前回のパック形成処理における最終的な値であるｆフレーム目とすると良い。

このようにすると、次のパック形成処理の開始フレームと、前のパック形成処理の終了フレームが重複する。次のパック形成処理の開始フレームと、前のパック形成処理の終了フレームが重複すると、分割された各々の動画像（パック）の終了フレームにおける競技者の位置（追跡結果を参照することで得られる）および開始フレームにおける競技者の位置が重複するのでステップＳ３０５の処理の精度が向上し、結果として追跡結果の結合の精度が向上する。なお、次のパック形成処理の開始フレームと、前のパック形成処理の終了フレームを重複させない場合であっても、前のパック形成処理の終了フレームの難易度はＬｏｗであるため、終了フレームにおける競技者の位置の精度が向上しているから、追跡結果の結合の精度が向上する。

また、次のパック形成処理の開始フレーム（２回目以降のＳ６０２において取得される画像）を前回のパック形成処理における最終的な値であるｆフレーム目とすると、次のパック形成処理の開始フレームの難易度がＬｏｗであることも保証される。開始フレームの難易度がＬｏｗであると、後述するような、静止画像に対して競技者の初期姿勢を付与する処理の精度が向上する利点もある。なお、前のパック形成処理の終了フレームを（ｆ−１）フレーム目とし、次のパック形成処理の開始フレームをｆフレーム目としても、次のパック形成処理の開始フレームの難易度がＬｏｗであることを保証させることができる。

［１．２．３ その後の処理］
図５に示すステップＳ５０４において動画分割装置１００から画像処理装置２００に対してパックが送信されると、図３に示すように、画像処理装置２００はパックを受信し、受信したパックに対して追跡処理を行う。そして、画像処理装置２００は追跡処理の結果をほぼリアルタイムで表示部２０４に表示し、追跡処理が誤っているか否かを修正者に判定させ、誤っている場合には入力部２０３を介して修正者による修正を受け付ける編集受付処理を行う（ステップＳ３０３）。これらの追跡処理および編集受付処理は、主としてプロセッサ２０１が画像処理装置２００の他の各構成要素と協働して行われるものである。

追跡処理は、具体的には、画像における競技者に対応する領域を抽出する競技者検出処理、パックの先頭の画像（開始フレーム）において競技者の初期姿勢を付与する姿勢付与処理、抽出した競技者の色等に基づいて競技者が属するチームを識別するチーム識別処理、競技者やボール等のスポーツ器具の位置を追跡する位置追跡処理等が含まれる。これらの競技者検出処理、姿勢付与処理、チーム識別処理、位置追跡処理および編集受付処理の詳細な説明は、例えば特許文献１に開示されている。

画像処理装置２００は、追跡処理および編集受付処理が完了すると、パックに含まれる各静止画像での競技者の位置をリスト化した追跡結果を生成する。画像処理装置２００が生成した追跡結果は、動画分割装置１００に送信される（図３のステップＳ３０４）。動画分割装置１００は、画像処理装置２００から受信した追跡結果を、順番に結合することによって、各競技者の１試合分の移動情報を生成する（図３のステップＳ３０５）。このように生成された１試合分の移動情報は、動画像に重畳して表示することにより、例えば競技者の運動量や運動性を客観的に評価したり、試合を通じた戦略を構築したりするために有用である。

［１．３ 効果等］
上記したように、本実施の形態１において、動画処理システム１は、動画分割装置１００と、画像処理装置２００と、カメラ３００とを有する。動画分割装置１００は、カメラ３００が撮影する動画像を構成する画像（静止画像）から特徴量を抽出し、特徴量に基づいて、画像に対する編集作業を行う際の難易度を決定する。本実施の形態では、特徴量として、画像全体に対する、競技者に対応する領域の占める割合を採用している。また、編集作業とは、画像処理装置２００が自動的に行う、画像内の競技者やボール等の位置を追跡する追跡処理における誤りを修正者が修正および編集する作業である。

そして、動画分割装置１００は、カメラ３００が撮影する動画像を複数のグループ（パック）に分割し、パックに含まれる画像の難易度に基づいて、パックを送信する画像処理装置２００を決定する。より詳細には、動画分割装置１００は、パックを構成する各画像の難易度を判定し、難易度Ｌｏｗの画像が所定値Ｆ＿ｃｎｔ枚以上連続した場合に、連続した画像の最後より１つ前の画像で動画像を分割し、パックを形成する。このため、動画分割装置１００によって形成される各パックの開始フレームまたは終了フレームの静止画像の難易度をＬｏｗとすることができる。結果として、追跡結果の連結の精度を向上させることができる。

従って、動画処理システム１によれば、画像処理装置２００における編集作業の難易度が高い静止画像の前又は後で動画像を分割することを回避することができる。

また、動画分割装置１００は、パックの送信先となる画像処理装置２００を決定する際に、パック毎に負荷値を算出し、以前に送信されたパックの負荷値の累積値が最も小さい画像処理装置２００を送信先として決定する。

このような構成により、動画分割装置１００は、カメラ３００が撮影した画像からパックを形成した時点で負荷が小さい画像処理装置２００を、形成したパックの送信先として決定することができる。このため、負荷が小さい画像処理装置２００に対して優先的にパックを送信することができるようになるので、画像処理装置２００毎の編集作業の負荷が分散され、動画像における競技者やボール等の位置の追跡処理を効率よく行うことができる。

（実施の形態２）
［２．１ 構成］
以下では、実施の形態２の動画処理システム１について説明する。実施の形態２における動画処理システム１は、図１に示すように、動画分割装置１００と、複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・と、カメラ３００と、を有する。動画分割装置１００とカメラ３００、および動画分割装置１００と複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・とは、それぞれ互いに通信可能に接続されている。

動画分割装置１００および画像処理装置２００は、例えばＰＣやワークステーション等のコンピュータにより構成される。図２に示すように、動画分割装置１００（あるいは画像処理装置２００）は、プロセッサ１０１（２０１）と、記憶部１０２（２０２）と、入力部１０３（２０３）と、表示部１０４（２０４）と、通信部１０５（２０５）と、バス１０６（２０６）とを有する。

［２．２ 動作］
次に、実施の形態２における動画処理システム１の動作について説明する。以下の説明において、動画分割装置１００の動作は、主としてプロセッサ１０１が動画分割装置１００の他の各構成要素と協働して行われるものである。

動画処理システム１は、カメラ３００によって撮影されたスポーツ競技の動画像によって構成されるスポーツ映像に基づいて、動画像に映る競技者やスポーツ用具（ボール等）等の位置を追跡する。

図１１は、実施の形態２における動画処理システム１の全体の動作について説明するためのシーケンス図である。図１１において、複数の画像処理装置２００のうち、１つの画像処理装置２００Ｘと、複数の画像処理装置２００Ｙ・・・と、複数の画像処理装置２００Ｚ・・・と、がそれぞれ異なる動作を行う。

ステップＳ１１０１において、動画分割装置１００は、スポーツ映像を分割するための事前処理を行う。事前処理は、上記した実施の形態１の１．２．１章にて説明した処理である。

ステップＳ１１０２において、動画分割装置１００は、ステップＳ３０１における事前処理で得た情報を用いて動画像を複数に分割し、複数の画像処理装置２００に対して送信する分割送信処理を行う。

［２．２．１ 分割送信処理］
以下、実施の形態２における分割送信処理の詳細について説明する。図１２は、実施の形態２の分割送信処理における動画分割装置１００の動作を説明するためのフローチャートである。

ステップＳ１２０１において、動画分割装置１００は、カメラ３００により撮影された動画像に対してパック形成処理を行う。パック形成処理とは、上記した実施の形態１の１．２．２．１章にて説明した処理である。

ステップＳ１２０２において、動画分割装置１００は、ステップＳ１２０１において生成したパックを全て画像処理装置２００Ｘに対して送信する。

ステップＳ１２０３において、動画分割装置１００は、ステップＳ１２０１において生成したパックで動画像が終了したか否かを判定する。なお、動画像が終了したとは、例えばカメラ３００が撮影していたスポーツ競技の試合が終了した等の理由により、カメラ３００が動画像の撮影を止めたことを意味する。ステップＳ１２０３において、動画像が終了したと判定された場合（ステップＳ１２０３：Ｙｅｓ）、処理は終了し、そうでない場合（ステップＳ１２０３：Ｎｏ）、処理はステップＳ１２０１に戻って次のパックの形成処理を行う。

図１１の説明に戻る。ステップＳ１１０３において、画像処理装置２００Ｘは、動画分割装置１００から送信された複数のパックに対して初期処理を行う。初期処理とは、パックの開始フレームの静止画像に対して、競技者の初期姿勢を付与する処理である。

パックの開始フレームの画像に対する初期姿勢を付与する処理は、例えば以下のように行われる。画像処理装置２００Ｘは、パックの開始フレームの静止画像（以下開始画像と称する）から特徴量を抽出し、特徴量に基づいて、競技者に対応する領域を検出する。そして、画像処理装置２００Ｘは、予め動画処理システム１の撮影対象となるスポーツ競技の他の動画像を機械学習することで、競技者の関節の位置を学習しておき、検出した競技者に対応する領域から、関節の位置を複数個推定する。そして、画像処理装置２００Ｘは、推定した関節の位置を適当な数に削減し、例えば動的計画法を用いて最適な関節の組み合わせを選択する。画像処理装置２００Ｘは、選択した関節の組み合わせに基づいて、検出した競技者の姿勢を推定する。画像処理装置２００Ｘは、このような初期姿勢の付与を、開始画像に映る全ての競技者に対して行う。

なお、上記した初期姿勢を付与する処理において、パックの開始フレームの静止画像から抽出する特徴量は、上記した難易度判定処理において使用した特徴量である、前景領域のサイズであってもよいし、他の特徴量を採用してもよい。

Ｓ１１０４において、画像処理装置２００Ｘは、ステップＳ１１０３における初期処理が完了したパックを、自らを含めて、画像処理装置２００Ｙおよび画像処理装置２００Ｚに分配する。各パックの分配先については、画像処理装置２００Ｘは、例えば以下のように決定すればよい。

ここで、前提として、実施の形態２では、画像処理装置２００Ｘおよび画像処理装置２００Ｙにおいては、修正者による編集作業が行われるが、画像処理装置２００Ｚにおいては、自動画像解析が行われるのみであり、修正者による編集作業は行われないとする。

このような前提を踏まえて、画像処理装置２００Ｘは、各パックの負荷値を参照し、負荷値が所定値以上であるパックについては、画像処理装置２００Ｘあるいは画像処理装置２００Ｙのいずれかを分配先に決定する。そして、画像処理装置２００Ｘは、負荷値が所定値未満であるパックについては、画像処理装置２００Ｚを分配先に決定する。このような分配方法を採用することで、画像処理装置２００Ｚの分だけ修正者の人数を減らすことができるので、動画処理システム１の動作コストを低減することができる。

ステップＳ１１０５において、画像処理装置２００Ｘは、ステップＳ１１０４において分配されたパックに対して、追跡処理および編集受付処理を行う。

ステップＳ１１０６において、画像処理装置２００Ｙは、ステップＳ１１０４において分配されたパックに対して、追跡処理および編集受付処理を行う。

ステップＳ１１０７において、画像処理装置２００Ｚは、ステップＳ１１０４において分配されたパックに対して、追跡処理を行う。

ステップＳ１１０８において、画像処理装置２００Ｘは、ステップＳ１１０５における追跡処理の結果（編集作業を反映済みのもの）を動画処理システム１に送信する。

ステップＳ１１０９において、画像処理装置２００Ｙは、ステップＳ１１０６における追跡処理の結果（編集作業を反映済みのもの）を動画処理システム１に送信する。

ステップＳ１１１０において、画像処理装置２００Ｚは、ステップＳ１１０７における追跡処理の結果を動画処理システム１に送信する。

ステップＳ１１１１において、動画分割装置１００は、動画分割装置１００は、ステップＳ１１０８からステップＳ１１１０において画像処理装置２００Ｘ、２００Ｙ、２００Ｚから送信された、分割された動画像における追跡処理の結果を結合し、動画像を通じた追跡結果を生成する。

［２．３ 効果等］
上記したように、本実施の形態２において、動画処理システム１は、動画分割装置１００と、画像処理装置２００と、カメラ３００とを有する。動画分割装置１００は、カメラ３００が撮影した画像の難易度に基づいて、編集作業の難易度を判定し、難易度が高い画像の前後で動画像が分割されることがないようにパックの分割を行う。そして、動画分割装置１００は、形成したパックを画像処理装置２００Ｘに送信し、画像処理装置２００Ｘは、全てのパックに対して、画像に映る競技者に姿勢を付与する初期処理を行い、自らを含めた複数の画像処理装置２００に対してパックを分配する。この際、画像処理装置２００Ｘは、負荷値が所定値以上であるパックは修正者が修正を行うことができる画像処理装置２００Ｘあるいは画像処理装置２００Ｙに対して分配し、負荷値が所定値未満であるパックは修正者による修正が行われない画像処理装置２００Ｘに対して分配する。

このような構成により、動画処理システム１全体の修正者の人数を減らすことができるので、動画処理システム１の動作コストを低減することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示としての実施の形態を説明した。しかしながら、本開示の技術は、上記した実施の形態に限定されず、変更、置き換え、付加、省略等を行った他の実施の形態にも適用できる。また上記した実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

以下では、他の実施の形態を例示する。上記した実施の形態では、動画分割装置１００は、各フレームの静止画像について、編集作業の難易度を、ＨｉｇｈかＬｏｗかの２段階に設定していた。しかしながら、動画分割装置１００は、例えば各フレームの静止画像における難易度をより多段階、すなわち例えば５段階などに設定するようにしてもよい。この場合、その後の処理、例えば図６に示すステップＳ６０６等において、難易度ＨｉｇｈかＬｏｗかを判定する代わりに、難易度が所定の段階以上か否かを判定すればよい。

また、上記した実施の形態では、カメラ３００が撮影した画像から特徴量を抽出し、特徴量に基づいて、編集作業の難易度を決定していた。上記した実施の形態では、特徴量として、本実施の形態では、例えば画像全体に対する、競技者に対応する領域の占める割合を採用していた。

しかしながら、特徴量は、画像内における競技者の特徴を示す要素であればどのようなものでもよい。すなわち、特徴量の具体例としては、例えば、色、輝度、頂点の位置、形状等が挙げられる。また、画像内における競技者の特徴を示すものであれば、公知の他の特徴量を利用してもよい。

また、上記した実施の形態では、難易度判定領域（特定領域）内に含まれる前景領域の割合に基づいて難易度を判定していた。難易度判定領域は、動画処理システム１の操作者により設定された、競技者が多いことが予想される領域であるため、難易度判定領域に内に含まれる前景領域の割合が高いことは、競技者が一箇所に密集していることを意味する。しかしながら、本開示では、難易度判定領域（特定領域）内に含まれる前景領域の割合に基づいて難易度を判定するのではなく、動画分割装置１００が難易度判定領域内の競技者の数を計数し、競技者の数が多い場合には少ない場合より難易度が高いと判定してもよい。難易度判定領域内の競技者の数を計数する方法については、公知の技術を利用すればよい。

また、上記した実施の形態では、図６等に示すように、難易度Ｌｏｗの画像が所定値Ｆ＿ｃｎｔ枚以上連続した場合に、連続した画像の最後より１つ前の画像で動画像を分割し、パックを形成していた。しかしながら、本開示の動画処理システム１は、他の方法でパックを形成してもよい。例えば、動画分割装置１００は、開始フレームから所定枚数目のフレームを終了フレームとして仮設定し、その後終了フレームが難易度Ｈｉｇｈであった場合は、終了フレームより後のフレームを終了フレームとして設定し直す方法でパックを形成してもよい。

また、上記した実施の形態では、動画分割装置１００は、画像処理装置２００に対して以前に送信されたパックの負荷値の累積値に基づいて、送信先となる画像処理装置２００を決定していた。しかしながら、例えば編集作業に要する時間が修正者によって異なる場合や、試合終盤等では、各画像処理装置２００に未処理のパックが残ったままの状態となっていることが考えられる。このような場合には、これまでの累積負荷値に基づいて送信先の画像処理装置２００を決定するよりも、今後の編集作業に要する時間を考慮して送信先を設定した方が望ましい。

従って、既に送信され、かつ処理の完了が通知されていないパック（未処理パック）の負荷値の画像処理装置２００毎の合計値を動画分割装置１００が算出し、この合計値に基づいて送信先を設定するようにしてもよい。この場合、１つのパックに対して追跡処理および編集受付処理を完了した画像処理装置２００が、動画分割装置１００に対して完了を通知し、動画分割装置１００は完了を通知されたパックの負荷値を、上記した負荷値累積情報から減じることで、未処理パックの負荷値の合計値を算出すればよい。

また、上記した実施の形態では、画像処理装置２００は、パックに含まれる各静止画像での競技者の位置をリスト化した追跡結果を動画分割装置１００に送信し、画像処理装置２００が複数の画像処理装置２００から受信した追跡結果を結合して競技者の１試合分の移動情報を生成していた。しかしながら、競技者の１試合分の移動情報を生成するために画像処理装置２００が動画分割装置１００に送信する情報はこの形式に限定されない。画像処理装置２００が動画分割装置１００に送信する情報は競技者の１試合分の移動情報を生成するために有益な情報であればよい。例えば、画像処理装置２００が、パックに含まれる各静止画像に競技者の位置を示すマーカ等を重畳して位置情報付加パックを生成し、生成した位置情報付加パックを、動画分割装置１００に送信してもよい。このようにしても、動画分割装置１００は複数の画像処理装置２００から受信したパックを結合して競技者の１試合分の移動情報を生成することができる。

また、複数の画像処理装置２００が生成した追跡結果もしくは位置情報付加パックを結合し、競技者の１試合分の移動情報を生成するのは動画分割装置１００でなくてもよい。例えば、複数の画像処理装置２００は、それぞれ生成した追跡結果もしくは位置情報付加パックを、他の動画結合装置に送信し、当該動画結合装置が複数の追跡結果もしくは位置情報付加パックを結合して競技者の１試合分の移動情報を生成するようにしてもよい。この場合、動画結合装置は、上記した動画分割装置１００や画像処理装置２００と同様に、ＰＣやワークステーション等のコンピュータで構成されればよい。

また、上記した実施の形態では、画像処理装置２００Ｘおよび画像処理装置２００Ｙにおいては、修正者による編集作業が行われるとしたが、これに限らず、例えば画像処理装置２００Ｙだけが修正者による編集作業が行われ、画像処理装置２００Ｘおよび画像処理装置２００Ｚにおいては自動画像解析が行われるのみであり、修正者による編集作業は行われないとしてもよい。この場合、画像処理装置２００Ｘの修正者は初期姿勢を付与する処理の確認および修正を行い、画像処理装置２００Ｙの修正者は追跡処理の確認および修正を行うというように、修正者による編集作業を編集内容ごとに分担することができる。

また、上記した実施の形態では、複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ、２００Ｘ、２００Ｙ、２００Ｚ等が同一の構成を有するものとして説明した。しかしながら、実施の形態２において、修正者が修正作業を行うことがない画像処理装置２００Ｚに関しては、例えば入力部２０３や表示部２０４を有しない等の構成の差異が存在してもよい。

また、上記した実施の形態では、動画分割装置１００および画像処理装置２００をそれぞれ異なる構成として記載した。しかしながら、例えば動画分割装置１００の機能と、画像処理装置２００の機能とを少数のＰＣやワークステーション等のコンピュータに搭載してもよい。このような場合、修正作業を行うための表示部および入力部を修正者の人数分用意することにより、動画分割装置１００と複数の画像処理装置２００の機能を、例えば１台等、ごく少数のコンピュータで実現することができる。これにより、動画処理システム１の設置コストを低減することができるようになる。

なお、上記した実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略等が行われてもよい。例えば、上述した実施の形態においては動画像の一例としてスポーツ競技の試合を撮影したスポーツ映像を構成する動画像を用いる例を説明した。しかし、本開示に用いられる動画像はスポーツ競技の試合を撮影したスポーツ映像を構成する動画像に限られない。本開示に用いられる動画像としては、広く解析の対象となる動画像全てが含まれ得る。解析の対象となる動画像の例としては人物の振る舞いを収録した動画像が含まれる。本開示を人物の振る舞いを収録した動画像に適用する場合は、動画像を構成する画像中の特定領域に存在する人物が多ければ、前記特定領域に存在する人物が少ない場合よりも、難易度が高いと決定するようにすると良い。また、アイドルのコンサート映像を収録した動画像も本開示に用いられる動画像に含まれる。本開示をアイドルのコンサート映像を収録した動画像に適用する場合は動画像を構成する画像中の特定領域に存在するアイドルが多ければ、前記特定領域に存在するアイドルが少ない場合よりも、難易度が高いと決定すると良い。

本開示は、動画像を分割する動画分割方法、動画分割装置および動画処理システムに適用可能である。

１ 動画処理システム
１００ 動画分割装置
１０１ プロセッサ
１０２ 記憶部
１０３ 入力部
１０４ 表示部
１０５ 通信部
１０６ バス
２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｘ，２００Ｙ，２００Ｚ 画像処理装置
２０１ プロセッサ
２０２ 記憶部
２０３ 入力部
２０４ 表示部
２０５ 通信部
２０６ バス
３００ カメラ
４００ フィールド
４０１，４０２ 領域
１００１，１００２，１００３，１００４ 表

Claims (16)

1. プロセッサが、動画像を構成する複数フレームの画像を複数のグループに分割する動画像分割方法であって、
   前記プロセッサは、
   前記画像から得られる特徴量に基づいて前記画像を編集作業する際の難易度を決定し、
   前記算出された前記画像の難易度に基づいて、分割されたグループにおける終了フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
   動画分割方法。
2. プロセッサが、動画像を構成する複数フレームの画像を複数のグループに分割する動画像分割方法であって、
   前記プロセッサは、
   前記画像から得られる特徴量に基づいて前記画像を編集作業する際の難易度を決定し、
   前記算出された前記画像の難易度に基づいて、分割されたグループにおける開始フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
   動画分割方法。
3. 前記プロセッサは、分割されたグループにおける終了フレームの画像と、他の分割されたグループにおける開始フレームの画像が重複するように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
   請求項１または請求項２に記載の動画分割方法。
4. 前記プロセッサは、
   分割されたグループにおける終了フレームを含む終了フレーム以前の複数の画像の難易度のいずれもが所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
   請求項１に記載の動画分割方法。
5. 前記プロセッサは、
   グループを形成する最初のフレームから所定枚数後に該当するフレームを前記終了フレームと定め、前記終了フレームの画像の難易度が所定の値より大きい場合は当該終了フレームより後ろのフレームを新たな終了フレームと定めることで、分割されたグループにおける終了フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
   請求項１に記載の動画分割方法。
6. 前記プロセッサは、
   前記終了フレームの画像の難易度が所定の値より大きい場合であっても、前記グループを形成するフレーム数が所定の値を超えている場合は、新たな終了フレームを定めない、
   請求項５に記載の動画分割方法。
7. 前記プロセッサは、
   前記分割した１のグループを構成する画像の難易度に基づいて、前記１のグループの送信先となる画像処理装置を決定する、
   請求項１または請求項２に記載の動画分割方法。
8. 前記プロセッサは、
   前記分割した１のグループを構成する画像のフレーム数の大きさに基づいて、前記１のグループの送信先となる画像処理装置を決定する、
   請求項１または請求項２に記載の動画分割方法。
9. 前記特徴量は、前記複数フレームの画像のそれぞれに対して、各フレームの画像に含まれる背景以外の領域である前景領域の大きさに対する、前記画像の所定の特定領域内に含まれる前記前景領域の大きさの割合であり、
   前記難易度は、前記前景領域の大きさの割合が所定割合より大きい場合は、前記前景領域の大きさの割合が所定割合より小さい場合よりも難易度が高いと決定される、
   請求項１または請求項２に記載の動画分割方法。
10. 前記動画像は、スポーツ競技の試合を撮影したスポーツ映像を構成する動画像であって、
    前記プロセッサは、前記動画像を構成する画像中の特定領域に存在する競技者が多ければ、前記特定領域に存在する競技者が少ない場合よりも、難易度が高いと決定する、
    請求項１または請求項２に記載の動画分割方法。
11. プロセッサを有する動画分割装置であって、
    前記プロセッサは、
    動画像を構成する複数フレームの画像から得られる特徴量に基づいて前記画像を編集作業する際の難易度を決定し、
    前記算出された前記画像の難易度に基づいて、分割されたグループにおける終了フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
    動画分割装置。
12. プロセッサを有する動画分割装置であって、
    前記プロセッサは、
    動画像を構成する複数フレームの画像から得られる特徴量に基づいて前記画像を編集作業する際の難易度を決定し、
    前記算出された前記画像の難易度に基づいて、分割されたグループにおける開始フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定する、
    動画分割装置。
13. 前記プロセッサは、
    前記分割した１のグループを構成する画像の難易度に基づいて、前記１のグループの送信先となる画像処理装置を決定する、
    請求項１１または請求項１２に記載の動画分割装置。
14. 前記プロセッサは、
    前記分割した１のグループを構成する画像のフレーム数の大きさに基づいて、前記１のグループの送信先となる画像処理装置を決定する、
    請求項１１または請求項１２に記載の動画分割装置。
15. プロセッサを有する動画分割装置と、前記動画分割装置が送信した動画像に対して所定の処理を行う複数の画像処理装置と、を有する動画処理システムであって、
    前記プロセッサは、
    動画像を構成する複数フレームの画像から得られる特徴量に基づいて前記画像を編集作業する際の難易度を決定し、
    前記算出された前記画像の難易度に基づいて、分割されたグループにおける終了フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定し、
    前記分割した１のグループを構成する画像の難易度に基づいて、前記複数の画像処理装置のうち、前記１のグループの送信先となる画像処理装置を決定する、
    動画処理システム。
16. プロセッサを有する動画分割装置と、前記動画分割装置が送信した動画像に対して所定の処理を行う複数の画像処理装置と、を有する動画処理システムであって、
    前記プロセッサは、
    動画像を構成する複数フレームの画像から得られる特徴量に基づいて前記画像を編集作業する際の難易度を決定し、
    前記算出された前記画像の難易度に基づいて、分割されたグループにおける開始フレームの画像の難易度が所定の値より小さくなるように、前記動画像を構成する複数フレームの画像を複数のグループに分割する箇所を決定し、
    前記分割した１のグループを構成する画像の難易度に基づいて、前記複数の画像処理装置のうち、前記１のグループの送信先となる画像処理装置を決定する、
    動画処理システム。

Images