JP7429887B2 - 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム - Google Patents

Description

本開示は、球技映像解析装置、球技映像解析方法、及び、コンピュータプログラムに関する。

従来、バレーボール分析ソフトウェアとして「Ｄａｔａ Ｖｏｌｌｅｙ」が市販され、このソフトウェアに精通したアナリストの主観的判断に基づいて、チームの選手の状況をデータ化する技術が知られている。

近年では、アナリストの操作に頼ることなく、コートを見下ろす四隅にそれぞれカメラを設置し、これら４台のカメラを同期させてプレイを撮影した映像を取り込み、ボールの動きを追跡して、当該ボールの３次元の位置情報を求め、同時に選手の背番号やプレイに含まれるアクションの種類（サーブ、レセプション、ディグ、トス、アタック、ブロック）に関する解析データを出力する技術が知られている（特許文献１）。

国際公開第２０１９／２２５４１５号

特許文献１によれば、コートを見下ろす四隅に、同スペックの高性能な専用カメラがそれぞれ設置され、各専用カメラで撮影された映像はすべて同期して取り込まれるように構成されている。

ところで、専用カメラではなく、身近に存在するカメラ（例えばスマートフォン及びタブレットといった携帯端末に搭載されたカメラ）を用いて、簡易な球技映像解析装置を構成し、球技の練習（例えばバレーボールのサーブの練習）に活用したいという要望がある。しかし、専用カメラではない場合、球技映像解析に用いられるカメラ間の性能などの違いにより、球技に係る移動体（例えばボール）の移動軌跡を特定できないという問題があった。

本開示の目的は、球技映像解析に特化した専用カメラを用いることなく、身近に存在するカメラを用いて球技に係る移動体の移動軌跡を特定できる技術を提供することにある。

本開示に係る球技映像解析装置は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信する受信部と、前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成する基準フレーム特定部と、第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する解析部と、を備え、前記基準フレーム特定部は、前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩを生成及び出力し、前記解析部は、前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第１の基準フレーム画像および前記第２の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける。

本開示に係る球技映像解析方法は、装置が、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定し、前記基準フレーム画像を特定する際、前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩを生成及び出力し、前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第１の基準フレーム画像および前記第２の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける。

本開示に係るコンピュータプログラムは、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を解析し、前記基準フレーム画像を特定する際、前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩを生成及び出力し、前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第１の基準フレーム画像および前記第２の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、自動的に特定した基準フレーム画像の確認および変更を行う基準フレーム確認用ＵＩを用いて、球技映像解析に特化した専用カメラを用いることなく、身近に存在するカメラを用いて球技に係る移動体の移動軌跡を特定できる。

本実施の形態に係る球技映像解析システムの構成例を示す図 ボールの位置の特定方法を説明するための図 球技映像解析装置の構成例を示すブロック図 基準フレーム画像の特定方法を説明するための図 事前作業の一例を示すフローチャート 事前作業に関する処理の一例を示すシーケンスチャート 図６において基準フレーム画像を変更する旨の操作が行われた場合の事前作業に関する処理の一例を示すシーケンスチャート 基準フレーム確認用ＵＩ（User Interface）の詳細例を示す図 基準フレーム変更用ＵＩの詳細例を示す図 解析結果の表示例を示す図 本開示に係る球技映像解析装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図 本開示に係る第１の形態端末、第２の形態端末及び表示端末の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（本実施の形態）
＜球技映像解析システムの構成＞
図１は、本実施の形態に係る球技映像解析システムの構成例を示す図である。

球技映像解析システム１０は、球技を撮影した映像を解析し、当該球技に用いられる移動体の軌跡を解析するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１０は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１０が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１０が対象とする移動体は、ボールに限らず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。

球技映像解析システム１０は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００を備える。第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００は、通信ネットワークＮを通じて互いに情報を送受信できる。通信ネットワークＮは、例えば、無線通信網（無線ＬＡＮ（Local Area Network）、４Ｇ、５Ｇ等）、インターネット網、又は、それらの組み合わせによって構成される。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、カメラを備える無線通信端末である。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、球技を行う人物（以下「プレイヤー」という）のアクションを撮影する。本実施の形態では、プレイヤーのアクションの１つであるバレーボールのサーブを例に説明する。ただし、プレイヤーのアクションは、バレーボールのサーブに限らず、ディグ、レセプション、トス、アタック、ブロック等であってもよい。あるいは、球技を行う人物のアクションは、バレーボール以外の上記スポーツにおける特定のアクションであってもよい。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、例えば、プレイヤーのサーブの練習を、互いに異なる方向から動画で撮影し、それぞれ、第１の動画２０１Ａ及び第２の動画２０１Ｂを生成する。例えば、図１に示すように、第１の携帯端末２０Ａはプレイヤーを右後方から撮影し、第２の携帯端末２０Ｂはプレイヤーを左後方から撮影する。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、生成した第１の動画２０１Ａ及び第２の動画２０１Ｂを、通信ネットワークＮを通じて、球技映像解析装置１００に送信する。

表示端末３０は、球技映像解析装置１００による解析結果を表示する。なお、解析結果の表示例については後述する（図１０参照）。表示端末３０の例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。表示端末３０は、第３の携帯端末と読み替えられてもよい。なお、解析結果を表示する表示端末３０を別途設ける構成を例示したが、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂのいずれかを、解析結果を表示する端末として利用してもよい。

球技映像解析装置１００は、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂからそれぞれ受信した第１の動画２０１Ａ及び第２の動画２０１Ｂに基づいて、３次元空間におけるボールの移動軌跡を解析する。３次元空間におけるボールの移動軌跡は、ボールの３次元座標を時系列に並べることで生成できる。

時刻ｔのボールの３次元座標は、図２に示すように、第１の動画２０１Ａの中の時刻ｔのフレーム画像Ｆ１と、第２の動画２０１Ｂの中の時刻ｔのフレーム画像Ｆ２から算出できる。すなわち、図２に示すように、第１の携帯端末２０Ａ（のカメラ）の位置Ｕ１からフレーム画像Ｆ１におけるボールの位置Ｂ１へ伸ばしたベクトルＶ１と、第２の携帯端末２０Ｂ（のカメラ）の位置Ｕ２からフレーム画像Ｆ２におけるボールの位置Ｂ２へ伸ばしたベクトルＶ２との交点が、ボールの３次元座標Ｐａとなる。

ここで、第１の携帯端末２０Ａが第１の動画２０１Ａの各フレーム画像に付与したタイムコード（時刻情報）と、第２の携帯端末２０Ｂが第２の動画２０１Ｂの各フレーム画像に付与したタイムコードとが完全に正確な時刻ならば、時刻ｔのタイムコードが付与されたフレーム画像Ｆ１、Ｆ２を用いて、上述の方法でボールの３次元座標を正確に特定できる。

しかし、特許文献１に示すような球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラのような汎用的なカメラを用いる場合、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、必ずしも正確なタイムコードを付与できるとは限らない。以下、その理由を説明する。

球技に係るスポーツのボールは高速に移動するため、ボールの３次元位置を特定するためには、例えば３０ｆｐｓ以上の高フレームレートで撮影し、第１の携帯端末２０Ａが撮影したフレーム画像と第２の携帯端末２０Ｂが撮影したフレーム画像との間にミリ秒単位の同期精度が求められる。

ここで、ＮＴＰ（Network Time Protocol）を使用して第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの内部クロックを同期させることが考えられる。しかし、ＮＴＰの同期精度は秒単位であるため、第１の携帯端末２０Ａの内部クロックと第２の携帯端末２０Ｂの内部クロックとの間にミリ秒単位の同期ずれが生じる可能性がある。よって、この方法では、高速に移動するボールの３次元座標を十分な精度で特定できない場合がある。

または、ＧＰＳ（Global Positioning System）といった衛星測位システムを使用して第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの内部クロックを同期させることが考えられる。しかし、この方法では、ＧＰＳ機能を搭載していない携帯端末のカメラは使用できなくなってしまう。また、屋内施設等においてＧＰＳ信号が受信できない場合に、第１の携帯端末２０Ａの内部クロックと第２の携帯端末２０Ｂの内部クロックとの間に同期ずれが生じてしまう可能性がある。よって、この方法では、高速に移動するボールの３次元座標を十分な精度で特定できない場合がある。

または、第１の携帯端末２０Ａ及び／又は第２の携帯端末２０Ｂがタイムコードを付与する際に、同期ずれが発生してしまう可能性がある。例えば、第１の携帯端末２０Ａよりも第２の携帯端末２０Ｂの処理性能が低い場合は、携帯端末２０Ｂのタイムコード付与の処理負荷が大きく、全体的に第１の携帯端末２０Ａよりも少し遅いタイムコードを付与してしまう可能性がある。この場合、フレーム画像Ｆ１とフレーム画像Ｆ２のタイムコードが同じであっても、フレーム画像Ｆ２は、実際にはフレーム画像Ｆ１よりも少し以前に撮影されたものになることがある。この少し以前に撮影されたフレーム画像Ｆ２では、ボールの位置がＢ３となり、図２に示すように、ボールの３次元座標もＰｂにずれてしまう。よって、算出されるボールの移動軌跡もずれてしまう。

そこで、本実施の形態に係る球技映像解析装置１００は、第１の携帯端末２０Ａと第２の携帯端末２０Ｂとの間のフレーム画像の同期ずれを特定する機能を有する。そして、球技映像解析装置１００は、その特定した同期ずれを考慮してボールの移動軌跡を算出する。これにより、特許文献１に示すような球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラのような汎用的なカメラを用いても、ボールの移動軌跡を算出できる。以下、詳細に説明する。

＜球技映像解析装置の構成＞
図３は、本実施の形態に係る球技映像解析装置１００の構成例を示すブロック図である。

球技映像解析装置１００は、動画受信部１０１、画像変換部１０２、基準フレーム特定部１０３、基準フレーム変更部１０４、解析部１０５、及び、結果表示部１０６を備える。

動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する。動画のフォーマットの例は、ＭＰＥＧ４、ＴＳファイル、Ｈ．２６４、Ｈ．２６５等である。第１の動画２０１Ａを構成する各フレーム画像には、第１の携帯端末２０Ａによってタイムコードが付与されている。第２の動画２０１Ｂを構成する各フレーム画像には、第２の携帯端末２０Ｂによってタイムコードが付与されている。図１にて説明したとおり、第１の動画２０１Ａ及び第２の動画２０１Ｂには、例えば、プレイヤーがサーブを打つシーンが撮影される。

画像変換部１０２は、第１の動画２０１Ａの各フレーム画像を静止画に変換し、第１のフレーム画像群２０２Ａを生成する。画像変換部１０２は、第２の動画２０１Ｂの各フレーム画像を静止画に変換し、第２のフレーム画像群２０２Ｂを生成する。静止画のフォーマットの例は、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ等である。

基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａ及び第２のフレーム画像群２０２Ｂの中から、それぞれ、フレーム同期のための基準となるフレーム画像（以下「基準フレーム画像」という）を特定する。以下、第１のフレーム画像群２０２Ａの中から特定された基準フレーム画像を第１の基準フレーム画像といい、第２のフレーム画像群２０２Ｂの中から特定された基準フレーム画像を第２の基準フレーム画像という。

基準フレーム特定部１０３は、アクションを構成する特定のサブアクションが撮影されたフレーム画像を、基準フレーム画像として特定する。例えば、基準フレーム特定部１０３は、サーブ（アクション）の一連の動作が撮影されたフレーム画像群のうち、サーブを打った手がボールに当たった瞬間（サブアクション）が撮影されたフレーム画像を、基準フレーム画像として特定する。次に、図４を参照して、基準フレーム画像を特定する方法の一例を説明する。

図４に示すように、基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａに対してボールの検出領域２１１Ａを設定する。基準フレーム特定部１０３は、第２のフレーム画像群２０２Ｂに対してボールの検出領域２１１Ｂを設定する。これにより、ボールの検出領域が小さくなるので、ボールの検出処理に要する時間を短縮できる。なお、当該ボールの検出領域の設定は行われなくてもよい。

基準フレーム特定部１０３は、公知の方法によって、第１のフレーム画像群２０２Ａの各フレーム画像からボールを検出する。例えば、基準フレーム特定部１０３は、パターンマッチングによってフレーム画像からボールを検出する。あるいは、基準フレーム特定部１０３は、ボール検出用に予め学習されたディープラーニングを用いて、フレーム画像からボールを検出する。基準フレーム特定部１０３は、同様に、第２のフレーム画像群２０２Ｂの各フレーム画像からもボールを検出する。

基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａの各フレーム画像から検出したボールの位置に基づいて、ボールの２次元の移動軌跡を算出する。そして、基準フレーム特定部１０３は、そのボールの２次元の移動軌跡の変化に基づいて、第１の基準フレーム画像を特定する。例えば、基準フレーム特定部１０３は、次のＳ１１～Ｓ１３の処理により第１の基準フレーム画像を特定する。

（Ｓ１１）基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａから、ボールのＸ方向の移動量が所定の閾値以上である（つまりボールが横方向に大きく移動した）第１のフレーム画像を抽出する。これにより、サーブを打った手がボールに当たった直後の、ボールがネット方向に飛んでいる第１のフレーム画像を抽出できる。

（Ｓ１２）基準フレーム特定部１０３は、Ｓ１１で抽出した第１のフレーム画像より以前の一定期間に含まれる複数の第１のフレーム画像のうち、ボールのＹ軸方向の移動量が所定の閾値以上変化し、かつ、Ｓ１１で抽出した第１のフレーム画像に最も近い第１のフレーム画像を特定する。これにより、サーブのために投げ上げられたボールが上昇中又は落下中である複数の第１のフレーム画像のうち、サーブを打った手がボールに当たった瞬間の第１のフレーム画像を特定できる。

（Ｓ１３）基準フレーム特定部１０３は、Ｓ１２で特定した第１のフレーム画像を、第１の基準フレーム画像とする。

基準フレーム特定部１０３は、上記と同様の処理により、第２の基準フレーム画像を特定する。そして、基準フレーム特定部１０３は、第１の基準フレーム画像に対応するタイムコード（以下「第１の基準タイムコード」という）と、第２の基準フレーム画像に対応するタイムコード（以下「第２の基準タイムコード」という）とを、同期ずれ情報２０３に書き込む。

なお、基準フレーム特定部１０３は、サーブとは異なるアクション及びサブアクションによって基準フレーム画像を特定してもよい。例えば、基準フレーム特定部１０３は、プレイヤーのアタック（又はディグ、レセプション、トス、ブロック等）を行った手がボールに当たった瞬間が撮影されているフレーム画像を、基準フレーム画像としてもよい。

また、基準フレーム特定部１０３は、第１の基準タイムコードから第２の基準タイムコードを差し引いた値（以下「同期時間差」という）を、同期ずれ情報２０３に書き込んでもよい。この同期ずれ情報２０３に書き込まれた同期時間差は、第１の携帯端末２０Ａと第２の携帯端末２０Ｂとの間のフレーム画像の同期ずれの大きさに相当する。例えば、同期時間差がほぼ０の場合、第１の携帯端末２０Ａが付与するタイムコードと、第２の携帯端末２０Ｂが付与するタイムコードとは、ほとんどずれない傾向にあることを示す。同期時間差が正値の場合、第２の携帯端末２０Ｂが付与するタイムコードは、第１の携帯端末２０Ａが付与するタイムコードよりも遅れる傾向にあることを示す。同期時間差が負値の場合、第１の携帯端末２０Ａが付与するタイムコードは、第２の携帯端末２０Ｂが付与するタイムコードよりも遅れる傾向にあることを示す。

図３の説明に戻る。

基準フレーム特定部１０３が上述した方法によって自動的に特定した基準フレーム画像は、必ずしも正しい基準フレーム画像であるとは限らない。そこで、基準フレーム特定部１０３は、ユーザが基準フレーム画像を確認するためのＵＩ（User Interface）（以下「基準フレーム確認用ＵＩ」という）３１０を提供する。なお、基準フレーム確認用ＵＩ３１０の詳細については後述する（図８参照）。

基準フレーム変更部１０４は、ユーザが基準フレーム画像を変更するためのＵＩ（以下「基準フレーム変更用ＵＩ」という）３２０を提供する。なお、基準フレーム変更用ＵＩ３２０の詳細については後述する（図９参照）。基準フレーム変更部１０４は、基準フレーム変更用ＵＩ３２０を通じて基準フレーム画像が変更された場合、その変更された基準フレーム画像に基づいて、同期ずれ情報２０３を変更する。

解析部１０５は、例えばプレイヤーによるサーブのアクションを撮影した第１の動画２０１Ａ及び第２の動画２０１Ｂから、同期ずれ情報２０３を用いて、アクションに係るボールの３次元空間における移動軌跡を特定し、そのボールの移動軌跡を示す情報を含む解析結果情報２０４を生成する。なお、解析部１０５が解析対象とする第１の動画２０１Ａ及び第２の動画２０１Ｂは、上述した同期ずれ情報２０３を生成するために撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂと異なるものであってよい。

例えば、解析部１０５は、事前にキャリブレーション処理により求めた第1の携帯端末２０Ａ及び第２の携帯端末２０Ｂの各々のカメラパラメータ（世界座標をカメラ画像に変換するための透視投影変換行列による）と、第１のフレーム画像におけるボールの位置と、同期ずれ情報２０３によって補正された、当該第１のフレーム画像に同期する第２のフレーム画像におけるボールの位置とに基づいて、当該第１のフレーム画像及び第２のフレーム画像が撮影されたタイミングにおけるボールの３次元座標を特定する。解析部１０５は、このように特定したボールの３次元座標を時系列に並べることにより、３次元空間におけるボールの移動軌跡を特定する。解析部１０５は、その特定したボールの移動軌跡を示す情報を含む解析結果情報２０４を生成する。これにより、球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラを用いても、十分な精度で３次元空間におけるボールの移動軌跡を解析できる。

結果表示部１０６は、解析結果情報２０４を、例えば表示端末３０に表示させる。なお、結果表示部１０６は、第１の携帯端末２０Ａ及び／又は第２の携帯端末２０Ｂに解析結果情報２０４を表示させてもよい。

＜事前作業＞
図５は、事前作業の一例を示すフローチャートである。事前作業とは、解析部１０５によって本番のアクションの解析を行う前に行われる作業であり、例えば、同期ずれ情報２０３を生成するために行われる作業である。

ユーザは、プレイヤー及びボールを互いに異なる方向から撮影できる位置に第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂをそれぞれ設置する（Ｓ１０１）。

ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂをペアリングする（Ｓ１０２）。ペアリングの情報は、球技映像解析装置１００へ送信されてよい。

ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂに対して、事前作業に係る撮影の開始を指示する（Ｓ１０３）。これにより、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、撮影を開始する。

プレイヤーはサーブを打つ（Ｓ１０４）。これにより、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、プレイヤーがサーブを打ってボールが飛んでいく第１の動画２０１Ａ及び第２の動画２０１Ｂを撮影できる。なお、ユーザとプレイヤーは同一人物であってもよい。

ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂに対して、事前作業に係る撮影の停止を指示する（Ｓ１０５）。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、撮影の停止の指示を受け、第１の動画２０１Ａ及び第２の動画２０１Ｂを球技映像解析装置１００へ送信する。球技映像解析装置１００は、第１の動画２０１Ａから第１の基準フレーム画像を、第２の動画２０１Ｂから第２の基準フレーム画像を特定し、基準フレーム確認用ＵＩ３１０を表示端末３０に表示させる。

ユーザは、表示端末３０に表示された基準フレーム確認用ＵＩ３１０から、第１の基準フレーム画像及び第２の基準フレーム画像を確認する（Ｓ１０６）。ユーザは、例えば、基準フレーム画像を変更する場合、基準フレーム確認用ＵＩ３１０を通じて、球技映像解析装置１００に対して、基準フレーム画像の変更を指示する。この場合、球技映像解析装置１００は、基準フレーム変更用ＵＩ３２０を表示端末３０に表示させる。

なお、上記のＳ１０３、Ｓ１０５における撮影の開始及び停止の指示は、どちらか一方の携帯端末から行うことができてよい。例えば、第1の携帯端末２０Ａから撮影の開始及び停止の指示が行われた場合、この撮影の開始及び指示は、球技映像解析装置１００を介して、第２の携帯端末２０Ｂに自動で送信されてよい。

ユーザは、表示端末３０に表示された基準フレーム変更用ＵＩ３２０を操作して、基準フレーム画像を変更する（Ｓ１０７）。なお、Ｓ１０６及びＳ１０７の詳細については後述する（図７、図８参照）。

以上の処理により、球技映像解析装置１００は、ユーザによって確認及び修正された第１の基準フレーム画像及び第２の基準フレーム画像に基づいて、同期ずれ情報２０３を生成できる。

＜事前作業に関する処理＞
図６は、事前作業に関する処理の一例を示すシーケンスチャートである。図６は、図５におけるＳ１０６～Ｓ１０７の詳細な説明に相当する。

動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し（Ｓ２０１）、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する（Ｓ２０２）。

画像変換部１０２は、第１の動画２０１Ａから第１のフレーム画像群２０２Ａを生成し、第２の動画２０１Ｂから第２のフレーム画像群２０２Ｂを生成する（Ｓ２０３）。

基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａの中から、アクションを構成する特定のサブアクションが撮影された第１の基準フレーム画像を探索する（Ｓ２０４）。例えば、基準フレーム特定部１０３は、前述のように、ボールの２次元（Ｘ方向、Ｙ方向）の移動軌跡の変化に基づいて、プレイヤーのサーブを打った手がボールに当たった瞬間が撮影された第１の基準フレーム画像を探索する。

基準フレーム特定部１０３は、上記同様、第２のフレーム画像群２０２Ｂの中から、第２の基準フレーム画像を探索する（Ｓ２０５）。このとき、基準フレーム特定部１０３は、第１の基準フレーム画像のタイムコードから所定時間遡ったタイムコード以降の第２のフレーム画像群２０２Ｂを、第２の基準フレーム画像の探索範囲としてよい。これにより、第２のフレーム画像群２０２Ｂのすべてを探索範囲とする場合と比較して、探索に要する時間を短縮できる。

基準フレーム特定部１０３は、第１の基準フレーム画像のタイムコード（第１の基準タイムコード）、及び、第２の基準フレーム画像のタイムコード（第２の基準タイムコード）を、同期ずれ情報２０３に書き込む（Ｓ２０６）。

基準フレーム変更部１０４は、第１の基準フレーム画像及び第２の基準フレーム画像、並びに、基準フレーム確認用ＵＩ３１０を表示するための情報を、表示端末３０に送信する（Ｓ２０７）。

表示端末３０は、第１の基準フレーム画像、第２の基準フレーム画像、及び、基準フレーム確認用ＵＩ３１０を表示する（Ｓ２０８）。なお、基準フレーム確認用ＵＩ３１０の詳細については後述する（図８参照）。

Ｓ２０８にて表示された基準フレーム確認用ＵＩ３１０に対して、ユーザが、基準フレーム画像を変更しない旨の操作を行った場合、表示端末３０は、変更なしを示す指示情報を球技映像解析装置１００に送信する（Ｓ２０９）。

基準フレーム変更部１０４は、変更なしを示す指示情報を受信した場合、Ｓ２０６にて書き込まれた同期ずれ情報２０３の内容を確定する（Ｓ２１０）。そして、球技映像解析装置１００は本処理を終了する。

図７は、図６において基準フレーム画像を変更する旨の操作が行われた場合の事前作業に関する処理の一例を示すシーケンスチャートである。

Ｓ２０８にて表示された基準フレーム確認用ＵＩ３１０に対して、ユーザが基準フレーム画像を変更する旨の操作を行った場合、表示端末３０は、変更ありを示す指示情報を、球技映像解析装置１００に送信する（Ｓ２２１）。

基準フレーム変更部１０４は、変更ありを示す指示情報を受信した場合、次の処理を行う。すなわち、基準フレーム変更部１０４は、第１のフレーム画像群２０２Ａから、Ｓ２０４で探索した第１の基準フレーム画像の前後に撮影された複数の第１のフレーム画像を抽出し、それら抽出した複数の第１のフレーム画像を、第１の基準フレーム画像の候補とする。

同様に、基準フレーム変更部１０４は、第２のフレーム画像群２０２Ｂから、Ｓ２０５で探索した第２の基準フレーム画像の前後に撮影された複数の第２のフレーム画像を抽出し、それら抽出した複数の第２のフレーム画像を、第２の基準フレーム画像の候補とする。そして、基準フレーム変更部１０４は、複数の第１の候補フレームの候補とこれらのタイムコード、複数の第２の基準フレーム画像の候補とこれらのタイムコード、及び、基準フレーム変更用ＵＩ３２０を表示するための情報を、表示端末３０に送信する（Ｓ２２２）。

表示端末３０は、基準フレーム変更用ＵＩ３２０を表示する（Ｓ２２３）。なお、基準フレーム変更用ＵＩ３２０の詳細については後述する（図９参照）。

ユーザは、Ｓ２２３にて表示された基準フレーム変更用ＵＩ３２０を操作して、複数の第１の基準フレーム画像の候補の中から、変更後の第１の基準フレーム画像を選択し、複数の第２の基準フレーム画像の候補の中から、変更後の第２の基準フレーム画像を選択する（Ｓ２２４）。

表示端末３０は、Ｓ２２４にて選択された、変更後の第１の基準フレーム画像のタイムコード（以下「変更後の第１の基準タイムコード」という）、及び／又は、変更後の第２の基準フレーム画像のタイムコード（以下「変更後の第２の基準タイムコード」という）を、球技映像解析装置１００に送信する（Ｓ２２５）。

基準フレーム変更部１０４は、表示端末３０から受信した、変更後の第１の基準タイムコード、及び／又は、変更後の第２の基準タイムコードを、同期ずれ情報２０３に上書きし、当該同期ずれ情報２０３の内容を確定する（Ｓ２２６）。これにより、基準フレーム特定部１０３によって自動的に生成された同期ずれ情報２０３の内容が、基準フレーム変更部１０４を通じてユーザによって変更された基準フレーム画像のタイムコードにて上書きされる。そして、球技映像解析装置１００は本処理を終了する。

＜基準フレーム確認用ＵＩの詳細＞
図８は、基準フレーム確認用ＵＩの詳細例を示す図である。

図８に示すように、基準フレーム確認用ＵＩ３１０は、第１の画像表示領域２１０Ａ、第２の画像表示領域２１０Ｂ、ＯＫボタン３１２、変更ボタン３１３、及び、やり直しボタン３１４を含む。なお、基準フレーム確認用ＵＩ３１０は、変更ボタン３１３又はやり直しボタン３１４の何れか一方を含まなくてもよい。

表示端末３０は、第１の画像表示領域２１０Ａに、図６のＳ２０７にて球技映像解析装置１００から送信された第１の基準フレーム画像を表示する。表示端末３０は、第２の画像表示領域２１０Ｂに、図６のＳ２０７にて球技映像解析装置１００から送信された第２の基準フレーム画像を表示する。図８に示すように、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂは、左右に並べて配置されてよい。ただし、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂの配置態様は、左右に並べられる配置に限られない。例えば、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂは、別々のウィンドウとして表示されてもよい。

表示端末３０は、ＯＫボタン３１２が押下された場合、図６のＳ２０９における変更なしを示す指示情報を、球技映像解析装置１００に送信する。ユーザは、第１の画像表示領域２１０Ａに表示された第１の基準フレーム画像と、第２の画像表示領域２１０Ｂに表示された第２の基準フレーム画像とのいずれもが、正しくサブアクションが撮影された画像である場合、ＯＫボタン３１２を押下してよい。これにより、図６のＳ２１０に示すように、同期ずれ情報２０３の内容が確定される。

表示端末３０は、変更ボタン３１３が押下された場合、図７のＳ２２１における変更ありを示す指示情報を、球技映像解析装置１００に送信する。ユーザは、第１の画像表示領域２１０Ａに表示された第１の基準フレーム画像と、第２の画像表示領域２１０Ｂに表示された第２の基準フレーム画像とのうちの少なくとも一方が、正しくサブアクションが撮影された画像でない場合、変更ボタン３１３を押下してよい。これにより、図７のＳ２２３に示すように、表示端末３０には、基準フレーム変更用ＵＩ３２０が表示される。

表示端末３０は、やり直しボタン３１４が押下された場合、事前作業のやり直しを示す指示情報を球技映像解析装置１００に送信する。この指示を受信した場合、球技映像解析装置１００、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、図５のＳ１０３から事前作業をやり直す。例えば、Ｓ１０４のサーブに失敗した場合、第１の基準フレーム画像及び／又は第２の基準フレーム画像が明らかにプレイヤーによるサーブのボールとは別のボール（例えば床に転がっているボールや他のプレイヤーが練習中のボール等）を認識したものである場合、ユーザは、やり直しボタン３１４を押下してよい。

なお、第１の基準フレーム画像には、Ｓ２０４にて探索された第１の基準フレーム画像の直前の３枚の第１のフレーム画像と、当該第１の基準フレームの直後の３枚の第１のフレーム画像とが含まれてよい。この場合、第１の基準フレーム画像は、Ｓ２０４にて探索された第１の基準フレーム画像も含めて、合計７枚となる。同様に、第２の基準フレーム画像には、Ｓ２０５にて探索された第２の基準フレーム画像の直前の３枚の第２のフレーム画像と、当該第２の基準フレーム画像の直後の３枚の第２のフレーム画像とが含まれてよい。この場合、第２の基準フレーム画像は、Ｓ２０５にて探索された第２の基準フレーム画像も含めて、合計７枚となる。

この場合、表示端末３０は、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂにおいて、それぞれ、７枚の第１の基準フレーム画像、及び、７枚の第２の基準フレーム画像を、同期させて連続的に表示してもよい。

なお、上記の７枚は一例であり、複数の第１及び第２の基準フレーム画像の枚数はいくつであってもよい。また、複数の第１及び第２の基準フレーム画像は、１フレームずつ連続する場合に限られず、所定のフレーム間隔でスキップされたものであってもよい。

これにより、ユーザは、１枚の第１の基準フレーム画像と第２の基準フレーム画像との間の同期を確認するだけでなく、複数枚の第１の基準フレーム画像と第２の基準フレーム画像との間の同期を容易に確認することができる。

なお、図８に示した基準フレーム確認用ＵＩ３１０を表示端末３０へ表示する例を示したが、この基準フレーム確認用ＵＩ３１０を、第1の携帯端末２０Ａ又は第２の携帯端末２０Ｂのいずれか一方に表示させてもよい。あるいは、第１の基準フレーム画像に対する基準フレーム確認用ＵＩ３１０を第1の携帯端末２０Ａに表示させ、第２の基準フレーム画像に対する基準フレーム確認用ＵＩ３１０を第２の携帯端末２０Ｂに表示させてもよい。

＜基準フレーム変更用ＵＩの詳細＞
図９は、基準フレーム変更用ＵＩの詳細例を示す図である。

図９に示すように、基準フレーム変更用ＵＩ３２０は、第１の画像表示領域２１０Ａ、第２の画像表示領域２１０Ｂ、ＯＫボタン３２２、及び、戻りボタン３２３を含む。さらに、基準フレーム変更用ＵＩ３２０は、第１の画像表示領域２１０Ａに対応する、１フレーム戻りボタン３２４Ａ、Ｎフレーム戻りボタン３２５Ａ、１フレーム進みボタン３２６Ａ、Ｎフレーム進みボタン３２７Ａを含む。ここで、Ｎは２以上の予め定められた整数である。さらに、基準フレーム変更用ＵＩ３２０は、第２の画像表示領域２１０Ｂに対応する、１フレーム戻りボタン３２４Ｂ、Ｎフレーム戻りボタン３２５Ｂ、１フレーム進みボタン３２６Ｂ、Ｎフレーム進みボタン３２７Ｂを含む。

表示端末３０は、戻りボタン３２３が押下された場合、図８に示す基準フレーム確認用ＵＩ３１０の表示に戻る。

表示端末３０は、１フレーム戻りボタン３２４Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりも１フレーム以前の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応する１フレーム戻りボタン３２４Ｂについても同様である。

表示端末３０は、Ｎフレーム戻りボタン３２５Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりもＮフレーム以前の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応するＮフレーム戻りボタン３２５Ｂについても同様である。

表示端末３０は、１フレーム進みボタン３２６Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりも１フレーム以後の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応する１フレーム進みボタン３２６Ｂについても同様である。

表示端末３０は、Ｎフレーム進みボタン３２７Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりもＮフレーム以後の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応するＮフレーム進みボタン３２７Ｂについても同様である。

ユーザは、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂのいずれにも、正しくサブアクションが撮影された画像が表示されるように、上述した各ボタン３２４Ａ～３２７Ａ、３２４Ｂ～３２７Ｂを操作してよい。

表示端末３０は、ＯＫボタン３２２が押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補のタイムコード（変更後の第１の基準タイムコード）、及び、第２の画像表示領域２１０Ｂに表示中の第２の基準フレーム画像の候補のタイムコード（変更後の第２の基準タイムコード）を、球技映像解析装置１００へ送信する。この処理は、図７のＳ２２５に相当する。ユーザは、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂのいずれにも正しくサブアクションが撮影された画像が表示されるように操作した後、ＯＫボタン３２２を押下してよい。

＜解析結果画面＞
図１０は、解析結果の表示例を示す図である。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、プレイヤーのサーブの練習を撮影し、それぞれ、第１の動画２０１Ａ及び第２の動画２０１Ｂを生成及び送信する。なお、この第１の動画２０１Ａ及び第２の動画２０１Ｂは、事前作業のために撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂとは異なるものであってよい。

解析部１０５は、サーブの練習が撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂとの間のフレーム画像の同期ずれを同期ずれ情報２０３に基づいて補正した上で、ボールの移動軌跡を解析し、解析結果情報２０４を生成する。例えば、同期ずれ情報２０３において、第２の基準タイムコードが第１の基準タイムコードよりも以後である場合、解析部１０５は、第２の基準タイムコードと第１の基準タイムコードとの間の差分時間の分、第１の動画２０１Ａの各フレーム画像を遅らせる補正を行った上で、第１の動画２０１の各フレーム画像と第２の動画２０１Ｂの各フレーム画像とを同期させて、ボールの移動軌跡を解析する。これにより、第２の携帯端末２０Ｂによるタイムコード付与の遅れが補正され、十分な精度のボールの移動軌跡を算出できる。

結果表示部１０６は、解析結果情報２０４に基づく解析結果画面３３０を、表示端末３０に表示させる。例えば、解析結果画面３３０には、図１０に示すように、第１の動画２０１Ａ又は第２の動画２０１Ｂの再生に対して、解析結果情報２０４が示すボールの移動軌跡３３１が重畳表示されてよい。加えて、解析結果画面３３０には、手で打たれたボールが手から離れた瞬間のボールの高さ及び速度が表示されてもよい。加えて、解析結果画面３３０には、ボールがネット上を通過する瞬間のボールの高さ及び速度が表示されてもよい。

これにより、プレイヤーは、解析結果画面３３０から、サーブのときの体の動きに加えて、そのサーブによるボールの移動軌跡を詳細に確認できる。

なお、上述では、事前作業として、予め同期調整用の動画を撮影し、同期調整及び確認を行ってから、解析処理用の動画を撮影して、ボールの軌跡等が重畳された動画を解析結果として表示させる例を説明した。しかし、本実施の形態は、同期調整用の動画と解析処理用の動画とを区別することなく、例えば、最初に撮影した動画において、連続して同期調整と解析処理とを行う構成であってもよい。さらに、同期ずれの検出を自動化し、順次撮影した動画に対する解析処理を行う中、任意のタイミングで同期調整を実行するようにしてもよい。

＜変形例＞
上述では、フレーム同期のずれを示す情報として、第１の携帯端末２０Ａが第１のフレーム画像に付与した第１のタイムコードと、第２の携帯端末２０Ｂが第２のフレーム画像に付与した第２のタイムコードとを用いる例を説明した。しかし、フレーム同期のずれを示す情報は、タイムコードに限られない。

例えば、フレーム同期のずれを示す情報として、第１の携帯端末２０Ａが生成した第１の動画２０１Ａにおける第１のフレーム画像のフレーム番号（以下「第１のフレーム番号」という）と、第２の携帯端末２０Ｂが生成した第２の動画２０１Ｂにおけるフレーム画像（以下「第２のフレーム番号」という）とを用いてもよい。この場合、基準フレーム特定部１０３は、第１の基準フレーム画像の第１のフレーム番号（以下「第１の基準フレーム番号」という）と、第２の基準フレーム画像の第２のフレーム番号（以下「第２の基準フレーム番号」という）とを、同期ずれ情報２０３に書き込んでよい。そして、基準フレーム変更部１０４は、基準フレーム変更用ＵＩ３２０を通じて選択された、変更後の第１の基準フレーム画像のフレーム番号（以下「変更後の第１の基準フレーム番号」という）、及び／又は、変更後の第２の基準フレーム画像のフレーム番号（以下「変更後の第２の基準フレーム番号」という）を、同期ずれ情報２０３に上書きしてもよい。

＜ハードウェア構成＞
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００の機能は、コンピュータプログラムにより実現され得る。

図１１は、球技映像解析装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

このコンピュータ１０００Ａは、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどの記憶装置１００７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークＮを介して有線又は無線にて通信を行う送受信装置１００９を備え、各部は、バス１０１０により接続される。

そして、読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークＮに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１００７に記憶させる。

そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。

図１２は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ及び表示端末３０の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。なお、図１１にて説明済みの構成要素については、同じ参照符号を付して説明を省略する場合がある。

このコンピュータ１０００Ｂは、入力装置１００１、出力装置１００２、ＣＰＵ１００３、ＧＰＵ１００４、ＲＯＭ１００５、ＲＡＭ１００６、記憶装置１００７、読取装置１００８、送受信装置１００９、カメラ装置１０１１を備え、各部は、バス１０１０により接続される。

カメラ装置１０１１は、撮像素子を備え、撮像画像（動画及び静止画）を生成する。生成された撮像画像は記憶装置１００７に記憶される。記憶装置１００７に記憶された撮像画像は、送受信装置１００９及び通信ネットワークＮを通じて外部のサーバ等に送信されてよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

（本開示のまとめ）
本開示に係る、球技映像解析装置（１００）は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画（２０１Ａ）及び第２の動画（２０１Ｂ）を受信する受信部（１０１）と、第１の動画及び前記第２の動画の各々から、アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、第１の動画から特定された基準フレーム画像である第１の基準フレーム画像と第２の動画から特定された基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報（２０３）を生成する基準フレーム特定部（１０３）と、第１の動画と第２の動画との間のフレーム画像の同期ずれを同期ずれ情報に基づいて補正し、移動体の移動軌跡を特定する解析部（１０５）と、を備える。

この構成によれば、特定のサブアクションが撮影された第１の基準フレーム画像と第２の基準フレーム画像との間の時間のずれを示す同期ずれ情報が生成される。よって、第１の動画及び第２の動画を撮影したカメラが、球技映像解析に特化した専用カメラでなかったとしても、同期ずれ情報に基づいて、第１の動画及び第２の動画との間のフレーム画像の同期ずれを補正できるので、十分な精度で移動体の移動軌跡を特定できる。

また、基準フレーム特定部（１０３）は、第１の基準フレーム画像及び第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩ（３１０）を生成及び出力してよい。

この構成によれば、ユーザは基準フレーム確認用ＵＩを通じて、第１の基準フレーム画像及び第２の基準フレーム画像を確認できるので、誤った基準フレーム画像によって同期ずれ情報が生成されることを防止できる。

また、基準フレーム確認用ＵＩ（３１０）を通じてユーザから基準フレームの変更の指示を受信した場合、ユーザが第１の基準フレーム画像及び／又は第２の基準フレーム画像を変更するための基準フレーム変更用ＵＩ（３２０）を生成及び出力する基準フレーム変更部（１０４）、をさらに備えてよい。

この構成によれば、ユーザは基準フレーム変更用ＵＩ（３２０）を通じて、第１の基準フレーム画像及び／又は第２の基準フレーム画像を変更できるので、正しい基準フレーム画像によって同期ずれ情報を生成できる。

また、基準フレーム特定部（１０３）は、第１の動画（２０１Ａ）及び第２の動画（２０１Ｂ）の再撮影を行うか否かの指示を受け付ける基準フレーム確認用ＵＩ（３１０）を生成及び出力してよい。

この構成によれば、ユーザは基準フレーム確認用ＵＩを通じて、基準フレーム画像を特定するための第１の動画及び第２の動画を再撮影できるので、誤った基準フレーム画像によって同期ずれ情報が生成されることを防止できる。

また、第１の動画及び第２の動画は、それぞれ、カメラ及び無線通信装置を備えた第１の携帯端末（２０Ａ）及び第２の携帯端末（２０Ｂ）にて撮影されたものであってよい。

この構成によれば、球技映像解析に特化した専用カメラではなく、第１の携帯端末及び第２の携帯端末を用いて、十分な精度で移動体の移動軌跡を解析できる。

また、球技映像解析装置（１００）は、第１の基準フレーム画像及び第２の基準フレーム画像、並びに、解析部（１０５）による解析の結果を示す情報を、第３の携帯端末（３０）に出力する結果表示部（１０６）をさらに備えてよい。

この構成によれば、解析の結果を示す情報が、第３の携帯端末（３０）に表示されるので、ユーザは、第１の携帯端末（２０Ａ）及び第２の携帯端末（２０Ｂ）を人物のアクションの撮影用に設置し、第１の携帯端末及び第２の携帯端末に触れることなく、第３の携帯端末（３０）から解析の結果を示す情報を確認できる。

また、球技はバレーボールであり、移動体は前記バレーボールのボールであり、アクションはバレーボールのサーブであり、サブアクションはサーブを行った人物の手がボールに当たった瞬間であってよい。

この構成によれば、サーブを行った人物の手がボールに当たった瞬間が撮影されたフレーム画像を、基準フレーム画像として特定できる。よって、第１の動画及び第２の動画を撮影したカメラが、球技映像解析に特化した専用カメラでなかったとしても、バレーボールのボールの移動軌跡を十分な精度で特定できる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示の技術は、移動体を用いたスポーツの解析に利用可能である。

１０ 球技映像解析システム
２０Ａ 第１の携帯端末
２０Ｂ 第２の携帯端末
３０ 表示端末
１００ 球技映像解析装置
１０１ 動画受信部
１０２ 画像変換部
１０３ 基準フレーム特定部
１０４ 基準フレーム変更部
１０５ 解析部
１０６ 結果表示部
２０１Ａ 第１の動画
２０１Ｂ 第２の動画
２０２Ａ 第１のフレーム画像群
２０２Ｂ 第２のフレーム画像群
２０３ 同期ずれ情報
２０４ 解析結果情報
２１０Ａ 第１の画像表示領域
２１０Ｂ 第２の画像表示領域
２１１Ａ、２１１Ｂ ボールの検出領域
３１０ 基準フレーム確認用ＵＩ
３１２ ＯＫボタン
３１３ 変更ボタン
３１４ やり直しボタン
３２０ 基準フレーム変更用ＵＩ
３２２ ＯＫボタン
３２３ 戻るボタン
３２４Ａ、３２４Ｂ １フレーム戻りボタン
３２５Ａ、３２５Ｂ Ｎフレーム戻りボタン
３２６Ａ、３２６Ｂ １フレーム進みボタン
３２７Ａ、３２７Ｂ Ｎフレーム進みボタン
３３０ 解析結果画面
３３１ ボールの移動軌跡
１０００Ａ、１０００Ｂ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＧＰＵ
１００５ ＲＯＭ
１００６ ＲＡＭ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ バス
１０１１ カメラ装置

Claims (7)

1. 球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信する受信部と、
   前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成する基準フレーム特定部と、
   第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する解析部と、を備え、
   前記基準フレーム特定部は、
   前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩを生成及び出力し、
   前記解析部は、
   前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、
   前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第１の基準フレーム画像および前記第２の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける、
   球技映像解析装置。
2. 前記基準フレーム特定部は、前記第１の動画及び前記第２の動画の再撮影を行うか否かの指示を受け付ける前記基準フレーム確認用ＵＩを生成及び出力する、
   請求項１に記載の球技映像解析装置。
3. 前記第１の動画及び前記第２の動画は、それぞれ、カメラ及び無線通信装置を備えた第１の携帯端末及び第２の携帯端末にて撮影されたものである、
   請求項１または２のいずれか１項に記載の球技映像解析装置。
4. 前記第１の基準フレーム画像及び前記第２の基準フレーム画像、並びに、前記解析部による解析の結果を示す情報を、第３の携帯端末に出力する結果表示部、をさらに備えた、
   請求項３に記載の球技映像解析装置。
5. 前記球技はバレーボールであり、
   前記移動体は前記バレーボールのボールであり、
   前記アクションは前記バレーボールのサーブであり、
   前記サブアクションは前記サーブを行った前記人物の手が前記ボールに当たった瞬間である、
   請求項１から４のいずれか１項に記載の球技映像解析装置。
6. 装置が、
   球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、
   前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、
   第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定し、
   前記基準フレーム画像を特定する際、
   前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩを生成及び出力し、
   前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、
   前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第１の基準フレーム画像および前記第２の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける、
   球技映像解析方法。
7. 球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画を受信し、
   前記第１の動画及び前記第２の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第１の動画から特定された前記基準フレーム画像である第１の基準フレーム画像と前記第２の動画から特定された前記基準フレーム画像である第２の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、
   第１の動画と第２の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を解析し、
   前記基準フレーム画像を特定する際、
   前記第１の基準フレーム画像及び前記第２の基準フレーム画像をユーザに提示する基準フレーム確認用ＵＩを生成及び出力し、
   前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、
   前記基準フレーム確認用ＵＩから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第１の基準フレーム画像および前記第２の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける、
   処理をコンピュータに実行させる、コンピュータプログラム。

Images