JP6915701B2 - 抽出プログラム、抽出方法および情報処理装置 - Google Patents
抽出プログラム、抽出方法および情報処理装置 Download PDFInfo
- Publication number
- JP6915701B2 JP6915701B2 JP2019561513A JP2019561513A JP6915701B2 JP 6915701 B2 JP6915701 B2 JP 6915701B2 JP 2019561513 A JP2019561513 A JP 2019561513A JP 2019561513 A JP2019561513 A JP 2019561513A JP 6915701 B2 JP6915701 B2 JP 6915701B2
- Authority
- JP
- Japan
- Prior art keywords
- technique
- video
- posture
- athlete
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0669—Score-keepers or score display devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、抽出プログラム等に関する。
一連の映像から一部分の映像を抽出する従来技術として、ダイジェスト映像を生成する技術がある。この従来技術では、スポーツの試合の映像のうち、得点が入った場面を中心とする一部分の映像を、ダイジェスト映像として生成する。
また、他の従来技術では、映像に付与された各種のインデックス情報を利用して、特定の場面の映像を抽出するものがある。たとえば、各種のインデクス情報は、映像シーンの区切りを示すインデックス、選手の攻撃動作のタイミングを示すインデックス、得点に関連するような動作のタイミングを示すインデックスを含む。従来技術は、各インデックスの組み合わせから、特定の場面の映像を特定し、特定した映像を抽出する。
しかしながら、上述した従来技術では、採点競技に関する一連の映像から、採点を基準とした映像を抽出するものではないという問題がある。
たとえば、従来技術は、一連の映像から一部分の映像を抽出する場合において、特定のプレーの部分映像を抽出するものであり、採点競技において、採点を基準とした映像を抽出するものではない。
1つの側面では、本発明は、採点競技に関する一連の映像から、採点を基準とした映像を抽出することができる抽出プログラム、抽出方法および情報処理装置を提供することを目的とする。
第1の案では、コンピュータに下記の処理を実行させる。コンピュータは、競技者による一連の演技の3Dセンシングデータに基づく、演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を取得する。コンピュータは、成立不成立の判定結果および完成度の判定結果の少なくとも一方に基づいて、複数の技から、成立不成立を判定する第1の基準から所定範囲内となる第1の技、または、完成度を判定する第2の基準から所定範囲内となる第2の技を抽出する。コンピュータは、第1の技、または、第2の技に対応する箇所を、一連の演技の3Dセンシングデータから生成される競技者の3Dモデル動画、または、演技を撮影した映像から抽出する。コンピュータは、抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を出力する。
採点競技に関する一連の映像から、採点を基準とした映像を抽出することができる。
以下に、本願の開示する抽出プログラム、抽出方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例1に係るシステムの一例を示す図である。図1に示すように、このシステムは、3D(3 dimension)レーザセンサ20aと、カメラ20bと、情報処理装置100とを有する。情報処理装置100は、3Dレーザセンサ20aおよびカメラ20bに接続される。
3Dレーザセンサ20aは、競技者10に対して3Dセンシングを行うセンサである。3Dレーザセンサ20aは、センシング結果となるセンサデータを、情報処理装置100に出力する。
たとえば、センサデータには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。センサデータは、3Dセンシングデータの一例である。各フレームには、3Dレーザセンサ20aから、競技者10上の各点までの距離情報が含まれる。センサデータを用いることで、各フレームにおける競技者10の各関節の3次元位置を推定し、競技者10の3Dモデルを生成することができる。
カメラ20bは、競技者10の映像を撮影するカメラである。カメラ20bは、撮影した映像データを、情報処理装置100に出力する。たとえば、映像データには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。各フレームには、各タイミングでカメラ20bに撮影された静止画像の情報が含まれる。
以下の説明では、適宜、センサデータに含まれるフレームを、「センサフレーム」と表記する。映像データに含まれるフレームを、「映像フレーム」と表記する。
競技者10は、3Dレーザセンサ20aおよびカメラ20bの前方で、採点対象となる所定の演技を行う。競技者10は、競技者の一例である。本実施例1では一例として、競技者10が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。
たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィン、一部が採点になっている、スキージャンプ、モーグルのエアー・ターンを含む。また、クラシックバレエ、社交ダンス、野球、バスケットボールの姿勢の判定等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの対戦競技での決まり手の判定に適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。
体操は、連続する運動であるが、連続する運動の中には複数の技が連続して存在する。また、体操の始めや間には、技には該当しない「つなぎ」の動きが存在する場合がある。体操の演技の中で、技や技を構成する基本運動の姿勢、技の切れ目の姿勢を見ることで、審判員は、技の成立、不成立や、技の完成度を判断し、評価を行う。
ここで、「姿勢」とは、頭部、体幹、四肢の相対的位置関係を示すものである。本実施例では一例として、技の切れ目等において静止状態を保持すべき姿勢を「静止姿勢」と表記する。動きのある姿勢を「運動姿勢」と表記する。たとえば、「静止姿勢」の種別と「運動姿勢」の種別との組あわせにより、技が確定する。
図2は、静止姿勢の一例を示す図である。静止姿勢は、技の切れ目に、競技者10が行う姿勢である。たとえば、静止姿勢には、懸垂、支持、逆懸垂、水平支持、倒立、十字倒立等が含まれる。図2に示す静止姿勢は一例であり、他にも静止姿勢は存在する。
図3は、運動姿勢の一例を示す図である。たとえば、つり輪の運動姿勢(一部)1には、振動(前半)1−1、振動(後半)1−2が含まれる。跳馬の運動姿勢2には、第1局面2−1と、第2局面2−2とが含まれる。
図4は、つり輪の演技の一例を示す図である。図4に示すように、つり輪の演技3には、運動姿勢3−1〜3−10が含まれる。
運動姿勢3−1は、技「後ろ振り上がり水平支持(2秒)」に対応する。運動姿勢3−1の技の切れ目には、静止姿勢3−(1)が含まれる。
運動姿勢3−2は、技「ほん転逆上がり中水平支持(2秒)」に対応する。運動姿勢3−2の技の切れ目には、静止姿勢3−(2)が含まれる。
運動姿勢3−3は、技「後ろ振り上がり十字倒立」に対応する。運動姿勢3−3の技の切れ目には、静止姿勢3−(3)が含まれる。
運動姿勢3−4は、技「屈伸ヤマワキ」に対応する。運動姿勢3−4の技の切れ目には、静止姿勢3−(4)が含まれる。
運動姿勢3−5は、技「後ろ振り上がり中水平支持(2秒)」に対応する。運動姿勢3−5の技の切れ目には、静止姿勢3−(5)が含まれる。
運動姿勢3−6は、技「後ろ振り上がり上水平支持(2秒)」に対応する。運動姿勢3−6の技の切れ目には、静止姿勢3−(6)が含まれる。
運動姿勢3−7は、技「アザリアン」に対応する。運動姿勢3−7の技の切れ目には、静止姿勢3−(7)が含まれる。
運動姿勢3−8は、技「ほん転倒立(2秒)」に対応する。運動姿勢3−8の技の切れ目には、静止姿勢3−(8)が含まれる。
運動姿勢3−9は、技「振り上がり倒立(2秒)」に対応する。運動姿勢3−9の技の切れ目には、静止姿勢3−(9)が含まれる。
運動姿勢3−10は、技「後方かかえこみ2回宙返り2回ひねり下り」に対応する。運動姿勢3−10の技の切れ目には、静止姿勢3−(10)が含まれる。
図1の説明に戻る。情報処理装置100は、3Dレーザセンサ20aから取得するセンサデータを基にして、3Dモデルデータを生成し、競技者10が行う演技のD(Difficulty)スコアおよびE(Execution)スコアを採点する。Dスコアは、技の成立不成立に基づいて算出されるスコアである。Eスコアは、技の完成度に応じて、減点法に応じて算出されるスコアである。
ここで、情報処理装置100は、3Dレーザセンサ20aから取得するセンサフレームまたは、カメラ20bから取得する映像フレームを基にして、Dスコアに関連する技の成立不成立を判定するための基準を満たすか否かが曖昧な場面の映像を生成し、出力する。また、情報処理装置100は、Eスコアに関連する技の完成度を判定するための基準を満たすか否かが曖昧な場面の映像を生成し、出力する。
図5は、本実施例1に係る情報処理装置の構成を示す機能ブロック図である。図5に示すように、この情報処理装置100は、インタフェース部110、通信部120、入力部130、表示部140、記憶部150、制御部160を有する。
インタフェース部110は、3Dレーザセンサ20aおよびカメラ20bに接続される。インタフェース部110は、3Dレーザセンサ20aからセンサデータを取得し、取得したセンサデータを、制御部160に出力する。インタフェース部110は、カメラ20bから映像データを取得し、取得した映像データを制御部160に出力する。
通信部120は、ネットワークを介して、他の装置とデータ通信を行う装置である。通信部120は、通信装置に対応する。情報処理装置100は、ネットワークを介して、3Dレーザセンサ20a、カメラ20bに接続されてもよい。この場合には、通信部120は、ネットワークを介して、3Dレーザセンサ20aからセンサデータを取得し、カメラ20bから映像データを取得する。
入力部130は、情報処理装置100に各種の情報を入力するための入力装置である。入力部130は、キーボード、マウス、タッチパネル等に対応する。
表示部140は、制御部160から出力される表示画面の情報を表示する表示装置である。表示部140は、液晶ディスプレイ、タッチパネル等に対応する。
記憶部150は、センシングDB(Data Base)151、映像DB152、関節定義データ153、関節位置DB154、3DモデルDB155、技認識DB156、ダイジェスト映像DB157を有する。記憶部150は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
センシングDB151は、3Dレーザセンサ20aから取得するセンサデータを格納するDBである。図6は、本実施例1に係るセンシングDBのデータ構造の一例を示す図である。このセンシングDB151は、記録IDと、フレーム番号と、センサフレームとを対応づける。記録ID(Identification)は、競技者10が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の記録IDに対応する各フレーム(センサフレーム)を一意に識別する番号である。センサフレームは、3Dレーザセンサ20aにセンシングされたセンサデータに含まれるセンサフレームである。
映像DB152は、カメラ20bから取得する映像データを格納するDBである。図7は、本実施例1に係る映像DBのデータ構造の一例を示す図である。この映像DB152は、記録IDと、フレーム番号と、映像フレームとを対応付ける。記録IDは、競技者10が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の記録IDに対応する各フレーム(映像フレーム)を一意に識別する番号である。映像フレームは、カメラ20bに撮影された映像データに含まれる映像フレームである。
関節定義データ153は、競技者(競技者10)の各関節位置を定義するものである。図8は、本実施例1に係る関節定義データの一例を示す図である。図8に示すように、関節定義データ153は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図8に示すように、右肩関節(SHOULDER_RIGHT)には7番が付与され、左肘関節(ELBOW_LEFT)には5番が付与され、左膝関節(KNEE_LEFT)には11番が付与され、右股関節(HIP_RIGHT)には14番が付与される。ここで、本実施例1では、8番の右肘関節のX座標をX8、Y座標をY8、Z座標をZ8と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。
関節位置DB154は、3Dレーザセンサ20aのセンサデータを基に生成される競技者10の各関節の位置データである。図9は、本実施例1に係る関節位置DBのデータ構造の一例を示す図である。図9に示すように、この関節位置DB154は、記録IDと、フレーム番号と、「X0、Y0、Z0、・・・、X17、Y17、Z17」を対応づける。記録IDに関する説明は、センシングDB151で行った説明と同様である。
図9において、フレーム番号は、同一の記録IDに対応する各センシングフレームを一意に識別する番号である。「X0、Y0、Z0、・・・、X17、Y17、Z17」は、各関節のXYZ座標であり、たとえば「X0、Y0、Z0」は、図8に示す0番号の関節の3次元座標である。
図9は、記録ID「P101」のセンサデータにおける各関節の時系列の変化を示しており、フレーム番号「1」では、各関節の位置が「X0=100、Y0=20、Z0=0、・・・、X17=200、Y17=40、Z17=5」あることを示す。そして、フレーム番号「2」では、各関節の位置が「X0=101、Y0=25、Z0=5、・・・、X17=202、Y17=39、Z17=15」へ移動したことを示す。
3DモデルDB155は、センサデータを基に生成される競技者10の3Dモデルの情報を格納するデータベースである。図10は、本実施例1に係る3DモデルDBのデータ構造の一例を示す図である。図10に示すように、3DモデルDB155は、記録IDと、フレーム番号と、骨格データと、3Dモデルデータとを対応づける。記録ID、フレーム番号に関する説明は、センシングDB151で行った説明と同様である。
骨格データは、各関節位置を接続することで推定される競技者10の骨格を示すデータである。3Dモデルデータは、センサデータから得られる情報と、骨格データとを基にして推定される競技者10の3Dモデルのデータである。
技認識DB156は、競技者10が行う演技に含まれる技(静止姿勢、運動姿勢)を認識する場合に用いられるDBである。図11は、本実施例1に係る技認識DBのデータ構造の一例を示す図である。図11に示すように、技認識DB156は、技認識テーブル156aと、成立条件テーブル156bと、スコアテーブル156cとを有する。
技認識テーブル156aは、技を認識するための各種の情報を保持するテーブルである。図12は、本実施例1に係る技認識テーブルのデータ構造の一例を示す図である。図12に示すように、この技認識テーブル156aは、技名と、グループと、難度と、スコアと、成立条件とを対応付ける。技名は、技を一意に識別する技の名称である。グループは、技名に対応する技が属するグループを示すものである。難度は、技名に対応する技の難度を示すものである。たとえば、難度「A」が最も難度が低く、難度A,B,C,D,Eの順に難度が高くなる。
スコアは、技名に対応する点数であり、Dスコアを算出する場合に用いられる。難度が高い技ほど、スコアは高くなる。たとえば、技名「懸垂からゆっくりと肩転位」は、グループ「G1」に属し、難度は「A」となる。成立条件は、技が成立する静止姿勢名および運動姿勢名を示すものである。静止姿勢および運動姿勢の成立条件は、成立条件テーブル156bにより定義される。また、静止姿勢および運動姿勢が成立する条件は複数の項目毎に設定されており、各項目を適宜「評価項目」と表記する。
図13は、成立条件テーブルのデータ構造の一例を示す図である。成立条件テーブル156bは、テーブル170aおよびテーブル170bを有する。テーブル170aは、静止姿勢名と静止姿勢成立条件とを対応付ける。静止姿勢名は、静止姿勢を一意に特定する名称を示す。静止姿勢成立条件は、静止姿勢が成立する条件を示すものである。以下において、静止姿勢名と、静止姿勢成立条件との関係の一例について説明する。
図14は、静止姿勢名と静止姿勢成立条件との関係の一例を説明するための図である。たとえば、静止姿勢名「十字懸垂」は、静止姿勢成立条件「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」、「ニー間隔アングル」、「ショルダーアングル」と対応づけられる。「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」、「ニー間隔アングル」、「ショルダーアングル」を、図8を用いて説明する。
背骨アングル(Spine_Angle of an incline)は、関節0番および2番を通る線分と、Z軸とのなす角度である。たとえば、背骨アングルが「θA1以下」である場合には、競技者の体の中心が鉛直上方向であることを示す。
ヒップアングル(Hip_Angle between body)は、関節0番および1番を通る線分と、関節10番および関節11番を通る線分とのなす角度である。または、ヒップアングルは、関節0番および1番を通る線分と、関節14番および関節15番を通る線分とのなす角度である。たとえば、ヒップアングルが「θA2以上」である場合には、競技者の腰が伸びていることを示す。
アームアングル(Arm_Angle between body)は、関節1番および関節2番を通る線分と、関節4番および関節5番を通る線分とのなす角度である。また、アームアングルは、関節1番および関節2番を通る線分と、関節7番および関節8番を通る線分とのなす角度である。たとえば、アームアングルが「θA31〜θA32」である場合には、競技者の手が横に伸びていることを示す。
エルボーアングル(Elbow_Angle)は、関節4番および5番を通る線分と、関節5番と6番とを通る線分とのなす角度である。また、エルボーアングルは、関節7番および8番を通る線分と、関節8番と9番とを通る線分とのなす角度である。たとえば、エルボーアングルが「θA4以上」である場合には、競技者の肘が伸びていることを示す。
ニーアングルは(Knee_Angle)は、関節10番および11番を通る線分と、関節11番および関節12番を通る線分とのなす角度である。また、ニーアングルは、関節14番および15番を通る線分と、関節15番および関節16番を通る線分とのなす角度である。たとえば、ニーアングルが「θA5以上」である場合には、競技者の膝が伸びていることを示す。
ニー間隔アングル(Knees_sep. Angle)は、関節10番および11番を通る線分と、関節14番および15番を通る直線とのなす角度である。たとえば、ニー間隔アングルが「θA6」である場合には、競技者の足が開いていないことを示す。
ショルダーアングルは、関節7番および9番を通る線分と水平基準とのなす角θRと、関節4番および6番を通る線分と水平基準となす各θLとのうち、大きい方のアングルを示す。たとえば、ショルダーアングルが0°である場合には、競技者の腕が水平にのびていることを示す。
たとえば、図14に示す例では、背骨アングルが「θA1以下」、ヒップアングルが「θA2以上」、アームアングルが「θA31〜θA32」、エルボーアングルが「θA5以上」、ニーアングルが「θA5以上」、ニー間隔アングルが「θA6以下」、ショルダーアングルが「θA7以下」という各成立条件を全て満たす場合に、静止姿勢名「十字懸垂」の技が成立したことになる。
テーブル170bは、運動姿勢名と、運動姿勢成立条件とを対応付ける。運動姿勢名は、運動姿勢を一意に特定する名称を示す。運動姿勢成立条件は、運動姿勢が成立する条件を示すものである。
図15は、運動姿勢名と運動姿勢成立条件との関係の一例を示す。たとえば、運動姿勢成立条件は、対応する運動姿勢が成立するための各関節位置の推移および各関節位置に基づく角度の推移と、成立条件との関係を定義する。
図16は、運動姿勢成立条件を補足説明するための図である。図16では、一例として、振動から力静止技に至る肩角度を用いて、運動姿勢成立条件を定義した場合について説明する。たとえば、肩角度は、関節4番および関節6番を通る直線と、水平基準(水平面)とのなす角度である。たとえば、技名「後ろ振り上がり中水平支持(2秒)」に含まれる運動姿勢に関する運動姿勢成立条件では、振動が終了したタイミングT1以降において、肩角度の最大値θMaxが、45°以下という条件が設定される。
すなわち、肩角度の最大値θMaxが、45°以下である場合には、技名「後ろ振り上がり中水平支持(2秒)」の運動姿勢成立条件を満たすことを意味する。なお、図16で説明した肩角度の運動姿勢成立条件のみを満たせば、「後ろ振り上がり中水平支持(2秒)」が成立したと判定されるわけではない。「後ろ振り上がり中水平支持(2秒)」に対応付けられた他の静止姿勢成立条件、他の運動姿勢成立条件を満たして場合に、「後ろ振り上がり中水平支持(2秒)」が成立したと判定される。たとえば、運動姿勢成立条件には、肩角度の他にも、水平支持の水平角度、腰角度、膝角度、肘角度等がある。
スコアテーブル156aは、技の完成度に関するEスコアで用いる点数を定義するテーブルである。Eスコアは、所定の点数(たとえば、10点)からの減点方式により採点され、技の完成度が低いほど、減点の数が大きくなる。スコアテーブル156aでは、各静止姿勢の評価項目毎に減点の点数が定義される。また、スコアテーブル156aでは、各運動姿勢の評価項目毎に、減点の点数が定義される。
図17は、静止姿勢の評価項目の減点の点数を説明するための図である。図17では一例として、静止姿勢名「十字懸垂」、評価項目「ショルダーアングル」に関する減点の点数を示す。評価項目「ショルダーアングル」は、図14の静止姿勢成立条件のショルダーアングルに対応するものである。
図17に示すように、ショルダーアングルが「0°≦θ<6°」の場合には、「減点なし」となる。ショルダーアングルが「6°≦θ<16°」の場合には、減点「0.1(小欠点)」となる。ショルダーアングルが「16°≦θ<31°」の場合には、減点「0.3(中欠点)」となる。ショルダーアングルが「31°≦θ<46°」の場合には、減点「0.5(大欠点)」となる。ショルダーアングルが「46°≦θ」の場合には、「技不成立」となる。
図18は、運動姿勢の評価項目の減点の点数を説明するための図である。図18では一例として、運動姿勢名「運動姿勢B1」、評価項目「肩角度」に関する減点の点数を示す。評価項目「肩角度」は、図16の運動姿勢成立条件で説明した肩角度に対応するものである。
図18に示すように、肩角度が「0°≦θ<6°」の場合には、「減点なし」となる。肩角度が「6°≦θ<16°」の場合には、減点「0.1(小欠点)」となる。肩角度が「16°≦θ<31°」の場合には、減点「0.3(中欠点)」となる。肩角度が「31°≦θ<46°」の場合には、減点「0.5(大欠点)」となる。肩角度が「46°≦θ」の場合には、「技不成立」となる。
ダイジェスト映像DB157は、技の成立不成立または技の完成度を判定するための基準を満たすか否かが曖昧な技のダイジェスト映像を保持するテーブルである。
制御部160は、登録部161と、第1抽出部162と、第2抽出部163と、出力部164とを有する。制御部160は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
登録部161は、3Dレーザセンサ20aからセンサデータを取得し、取得したセンサデータを、センシングDB151に登録する。登録部161は、センサデータ(フレーム番号、センサフレーム)をセンシングDB151に登録する際に、記録IDを対応づける。記録IDは、たとえば、センサデータに付加されている。ユーザは、入力部130を操作して、センサデータに対応する記録IDを入力してもよい。
登録部161は、カメラ20bから映像データを取得し、取得した映像データを、映像DB152に登録する。登録部161は、映像データ(フレーム番号、センサフレーム)を映像DB152に登楼する際に、記録IDを対応付ける。記録IDは、たとえば、映像データに付加されている。ユーザは、入力部130を操作して、映像データに対応する記録IDを入力してもよい。
第1抽出部162は、センシングDB151を基にして、技(静止姿勢または運動姿勢)の成立不成立の基準から所定範囲内となる技を抽出する。また、第1抽出部162は、センシングDB151を基にして、技の完成度を決める基準から所定範囲内となる技(静止姿勢または運動姿勢)を抽出する。以下の説明では適宜、成立不成立の基準から所定範囲内となる技を「第1の技」と表記する。完成度を決める基準から所定範囲内となる技を「第2の技」と表記する。
第1抽出部162は、競技者10の各関節の各位置データを時系列に抽出する処理、3Dモデルデータを生成する処理、スコアを評価する処理、第1の技、第2の技を抽出する処理を実行する。
まず、第1抽出部162が、競技者10の各関節の各位置データを時系列に抽出する処理の一例について説明する。第1抽出部162は、センシングDB151のセンシングフレームと、関節定義データ153とを比較して、フレームに含まれる各関節の種別および関節の3次元座標を特定する。第1抽出部162は、記録ID、フレーム番号、各関節の種別の3次元座標を対応付けた情報を、関節位置DB154に登録する。第1抽出部162は、フレーム番号毎に上記の処理を繰り返し実行する。
続いて、第1抽出部162が、3次元モデルDB155を生成する処理の一例について説明する。第1抽出部162は、関節位置DB154を基にして、各フレーム番号に対応する3Dモデルデータを生成する。第1抽出部162は、生成した3Dモデルデータを、記録ID、フレーム番号と対応付けて、3DモデルDB155に格納する。
たとえば、第1抽出部162は、関節位置DB154に格納された各関節の3次元座標を、関節定義データ153に定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。また、第1抽出部162は、推定した骨格データを、競技者10の体格に合わせた骨格モデルに当てはめることで、3Dモデルデータを生成する。第1抽出部162は、各記録IDのフレーム番号毎に上記処理を繰り返し実行し、記録ID、フレーム番号、骨格データ、3Dモデルデータを対応付けて、3DモデルDB155に格納する。
続いて、第1抽出部162が、スコアを評価する処理の一例について説明する。第1抽出部162は、関節位置DB154に格納された一連の関節の動きと、技認識DB156を基にして、競技者10の各姿勢(静止姿勢、運動姿勢)を特定し、DスコアおよびEスコアを評価する。Dスコアは、競技者10の演技中での技の成立不成立に基づくスコアである。Eスコアは、競技者10の演技中での技の完成度に基づくスコアである。
まず、第1抽出部162が、競技者10の各姿勢を特定する処理の一例について説明する。第1抽出部162は、技認識DB156の成立条件テーブル156b(テーブル170a)の静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値が、静止姿勢成立条件を満たす場合に、該当するフレーム番号において、該当する静止姿勢が成立したと判定する。
たとえば、関節位置に基づく値は、図14で説明した背骨アングル、ヒップアングル、アームアングル、エルボーアングル、ニーアングル、ニー間隔アングル等に対応する。
フレーム番号nに関して、背骨アングルが「θA1以下」、ヒップアングルが「θA2以上」であるとする。更に、フレーム番号nに関して、アームアングルが「θA31〜θA32以下」、エルボーアングルが「θA4以上」、ニーアングルが「θA5以上」、ニー間隔アングルが「θA6以下」で有るとする。この場合には、出力部164は、フレーム番号nにおいて、静止姿勢成立条件を満たすため、静止姿勢名「十字懸垂」の静止姿勢が成立したと判定する。
ここでは、静止姿勢名「十字懸垂」について説明したが、これに限定されるものではない。第1抽出部162は、他の静止姿勢についても、技認識DB156の成立条件テーブル156bの静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較することで、静止姿勢名の成立不成立を判定する。
また、第1抽出部162は、技認識DB156の成立条件テーブル156b(テーブル170b)の運動姿勢成立条件と、各フレーム番号の各関節位置の推移とを比較し、関節位置に基づく値が、運動姿勢成立条件を満たす場合に、該当する各フレーム番号において、該当する運動姿勢が成立したと判定する。
たとえば、各関節位置に基づく値は、図16で説明した肩角度の最大値θMaxに対応する。第1抽出部162は、フレーム番号n〜n+mについて、肩角度の最大値θMaxが、45°以下である場合に、技名「後ろ振り上がり中水平支持(2秒)」の運動姿勢成立条件が成立したと判定する。
ここでは、「後ろ振り上がり中水平支持(2秒)」の運動姿勢成立条件について説明したが、これに限定されるものではない。第1抽出部162は、他の運動姿勢についても、技認識DB156の成立条件テーブル156bの運動姿勢成立条件と、各フレーム番号の各関節位置の推移とを比較することで、運動姿勢名の成立不成立を判定する。
第1抽出部162が、Dスコアを評価する処理の一例について説明する。第1抽出部162は、上記の成立条件テーブル156bとの比較により、各フレーム番号において成立した静止姿勢および運動姿勢の組と、技認識テーブル156aの成立条件とを比較することで、成立した技名を特定し、特定した技名に対応するスコアを特定する。第1抽出部162は、各フレーム番号について、上記処理を繰り返し実行し、特定したスコアを合計することで、Dスコアを算出する。
第1抽出部162が、Eスコアを評価する処理の一例について説明する。第1抽出部162は、上記の成立条件テーブル156bとの比較により、成立したと判定した静止姿勢の評価項目について、関節位置に基づく値と、各閾値との比較により、減点の値を特定する。
図17を用いて、評価項目をショルダーアングルとし、Eスコアの減点について説明する。第1抽出部162は、ショルダーアングルが「0°≦θ<6°」の場合には、「減点なし」とする。第1抽出部162は、ショルダーアングルが「6°≦θ<16°」の場合には、減点「0.1(小欠点)」とする。第1抽出部162は、ショルダーアングルが「16°≦θ<31°」の場合には、減点「0.3(中欠点)」とする。第1抽出部162は、ショルダーアングルが「31°≦θ<46°」の場合には、減点「0.5(大欠点)」とする。第1抽出部162は、他の評価項目についても同様に、減点の値を特定する。
また、第1抽出部162は、上記の成立条件テーブル156bとの比較により、成立したと判定した運動姿勢の評価項目について、関節位置に基づく値と、各閾値との比較により、減点の値を特定する。
図18を用いて、評価項目を、肩角度の最大値とし、Eスコアの減点について説明する。第1抽出部162は、一連の関節位置の推移に基づき、肩角度の最大値を算出する。第1抽出部162は、肩角度の最大値が、「0°≦θ<6°」の場合には、「減点なし」とする。第1抽出部162は、肩角度の最大値が「6°≦θ<16°」の場合には、減点「0.1(小欠点)」とする。第1抽出部162は、肩角度の最大値が「16°≦θ<31°」の場合には、減点「0.3(中欠点)」とする。第1抽出部162は、肩角度の最大値が「31°≦θ<46°」の場合には、減点「0.5(大欠点)」とする。
第1抽出部162は、特定した各減点の値を合計した減点合計値を算出し、予め指定された値から、減点合計値を減算することで、Eスコアを算出する。
続いて、第1抽出部162が、「第1の技」を抽出する処理の一例について説明する。第1抽出部162は、技の成立不成立の基準から所定範囲内となる静止姿勢または運動姿勢を、第1の技として抽出する。技の成立不成立の基準は、第1の基準に対応するものである。たとえば、後述するように、静止姿勢成立となるリミットの値が、第1の基準となる。
第1抽出部162は、技認識DB156の成立条件テーブル156b(テーブル170a)の静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値が、静止姿勢成立となるリミットを基準とした所定範囲内に含まれるか否かを判定する。
評価項目をショルダーアングルとし、第1の技を抽出する処理を説明する。図17で説明したように、評価項目を、ショルダーアングルとすると、静止姿勢成立となるリミットは「45°」である。また、誤差範囲を±5°とすると、成立不成立の基準に基づく所定範囲は「40°〜50°」の範囲となる。第1抽出部162は、フレーム番号nの各関節位置に基づくショルダーアングルの値が、40°〜50°の範囲に含まれる場合に、フレーム番号nの静止姿勢(技)を、第1の技として抽出する。
第1抽出部162は、他の評価項目についても、成立不成立を基準とした所定範囲を設け、フレーム番号nの各関節位置に基づく値が、所定範囲に含まれる場合に、フレーム番号nの静止姿勢(技)を、第1の技として抽出する。
図19は、第1の技として抽出される姿勢と抽出されない姿勢との一例を示す図である。図19では、複数の静止姿勢「十字懸垂」40a,40b,40cと、複数の静止姿勢「十字倒立」41a,41bを示す。たとえば、静止姿勢「十字懸垂」の評価項目を「ショルダーアングル」とし、成立不成立の基準に基づく所定範囲を「40°〜50°」とする。また、静止姿勢「十字倒立」の評価項目を「ショルダーアングル」とし、成立不成立の基準に基づく所定範囲を「40°〜50°」とする。
第1抽出部162は、静止姿勢「十字懸垂」40aのショルダーアングルが0°であるため、第1の技として抽出しない。第1抽出162は、静止姿勢「十字懸垂」40b,40cについて、ショルダーアングルθ41bが、「40°〜50°」に含まれる場合には、静止姿勢「十字懸垂」40b,40cを、第1の技として抽出する。
第1抽出部162は、静止姿勢「十字倒立」41aのショルダーアングルが0°であるため、第1の技として抽出しない。第1抽出162は、静止姿勢「十字倒立」41bのショルダーアングルθ41bが、「40°〜50°」に含まれる場合には、静止姿勢「十字倒立」41bを、第1の技として抽出する。
第1抽出部162は、技認識DB156の成立条件テーブル156b(テーブル170b)の運動姿勢成立条件と、フレーム番号n〜n+mの各関節位置とを比較し、関節位置に基づく値が、運動姿勢成立となるリミットを基準とした所定範囲内に含まれるか否かを判定する。
評価項目を肩角度(一連の関節位置の動きから特定される肩角度の最大値)とし、第1の技を抽出する処理を説明する。評価項目を、肩角度とすると、運動姿勢成立となるリミットは、45°である。また、誤差範囲を±5°とすると、成立不成立の基準に基づく所定範囲は「40°〜50°」の範囲となる。第1抽出部162は、フレーム番号n〜n+mの各関節位置に基づく肩角度の最大値が、40°〜50°の範囲に含まれる場合には、フレーム番号n〜n+mの運動姿勢(技)を、第1の技として抽出する。なお、第1抽出部162は、肩角度が、40°〜50°の範囲に含まれるタイミングの姿勢を、第1の技として抽出してもよい。
第1抽出部162は、他の評価項目についても、成立不成立を基準とした所定範囲を設け、フレーム番号n〜n+mの各関節位置に基づく値が、所定範囲に含まれる場合に、フレーム番号n〜n+mの運動姿勢(技)を、第1の技として抽出する。
第1抽出部162は、第1の技を抽出したタイミングのフレーム番号の情報を、第2抽出部163に出力する。また、第1抽出部162は、第1の技と判定した際の成立不成立を基準とした所定範囲に含まれる評価項目の情報を、第2抽出部163に出力する。たとえば、評価項目「ショルダーアングル」の値が所定範囲に含まれることにより、第1の技と判定した場合には、評価項目「ショルダーアングル」を、第1の技を抽出したタイミングのフレーム番号の情報と対応付けて、第2抽出部163に出力する。
続いて、第1抽出部162が、「第2の技」を抽出する処理の一例について説明する。第1抽出部162は、技の完成度を判定する基準から所定範囲内となる静止姿勢または運動姿勢を、第2の技として抽出する。技の完成度を判定する基準は、第2の基準に対応するものである。第2の基準は、体操において複数存在する。たとえば、第2の基準には、減点なしの基準、0.1減点の基準、0.3減点の基準、0.5減点の基準等がある。
たとえば、第1抽出部162は、技認識DB156のスコアテーブル156cと、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値により特定される減点されないリミットを基準とした所定範囲内に含まれるか否かを判定する。
評価項目をショルダーアングルとし、図17を用いて、第2の技を抽出する処理を説明する。評価項目をショルダーアングルとすると、減点されないリミットは「6°」である。また、誤差範囲を±5°とすると、完成度を評価する基準に基づく所定範囲は「1°〜11°」の範囲となる。第1抽出部162は、フレーム番号nの各関節位置に基づくショルダーアングルの値が、「1°〜11°」の範囲に含まれる場合に、フレーム番号nの静止姿勢(技)を、第2の技として抽出する。
評価項目を肩角度(一連の関節位置の動きから特定される肩角度の最大値)とし、図18を用いて、第2の技を抽出する処理を説明する。評価項目を、肩角度とすると、減点されないリミットは「6°」である。また、誤差範囲を±5°とすると、完成度を評価する基準に基づく所定範囲は「1°〜11°」の範囲となる。第1抽出部162は、フレーム番号n〜n+mの各関節位置に基づく肩角度が「1°〜11°」の範囲に含まれる場合に、フレーム番号n〜n+mの運動姿勢(技)を、第2の技として抽出する。
図20は、第2の技として抽出される姿勢と抽出されない姿勢との一例を示す図である。図20の姿勢は、フレーム番号n〜n+mの運動姿勢のうち、あるフレーム番号に対応する姿勢の一例を示すものである。3Dモデルデータで示した各フレーム42a〜42dは、同一の姿勢に関して、異なる評価項目に基づく、減点を説明するものである。
フレーム42aは、評価項目を水平支持の肩角度とした場合の減点を説明するものである。肩角度は、図16で説明した、肩角度に対応する。たとえば、運動姿勢に含まれる中水平支持は、輪の高さで静止が求められ、肩角度0°からの逸脱度に応じて、減点の値が増える。フレーム42aに示す姿勢の肩角度を40°とすると、図18に示すように、フレーム42aの姿勢の減点は「大欠点」となり、完成度を評価する基準に基づく所定範囲には含まれない。
フレーム42bは、評価項目を水平支持の水平角度とした場合の減点を説明するものである。水平角度は、たとえば、関節0番および2番を通る直線と、水平基準とのなす角度である。運動姿勢に含まれる水平支持では、肩位置の高さで身体が水平となることが求められ、水平角度0°からの逸脱度に応じて、減点の値が増える。フレーム42bにおける水平角度を17°とし、係る角度の減点が「中欠点」と定義されているものとする。この場合には、完成度を評価する基準に基づく所定範囲には含まれない。
フレーム42cは、評価項目を水平支持の腰角度とした場合の減点を説明するものである。腰角度は、関節0番、2番、4番、7番、10番、11番、14番、15番等に基づいて算出される競技者10の腰の角度である。運動姿勢に含まれる水平支持は伸身姿勢となることが求められ、腰角度180°からの逸脱度に応じて、減点の値が増える。フレーム42cにおける腰角度を177°とし、係る角度の減点が「減点なし」と定義されているものとする。フレーム42cに示すものは、理想的な腰角度180°からの逸脱度は、3°であり、完成度を評価する基準に基づく所定範囲(175°〜185°)に含まれる。
フレーム42dは、水平支持の膝角度を示す。膝角度は、関節番号10、11、12、14、15、16等に基づいて算出される競技者10の膝の角度である。運動姿勢に含まれる水平支持は伸身姿勢となることが求められ、膝角度180°からの逸脱度に応じて、減点数が増える。フレーム42dにおける膝角度を179°とし、係る角度の減点が「減点なし」と定義されているものとする。フレーム42dに示すものは、理想的な腰角度180°からの逸脱度は、1°であり、完成度を評価する基準に基づく所定範囲(175°〜185°)に含まれる。
第1抽出部162は、フレーム番号n〜n+mの運動姿勢のうち、あるフレーム番号に対応する姿勢を異なる評価項目について、いずれかの評価項目の値が、完成度を評価する基準に基づく所定範囲に含まれる場合には、フレーム番号n〜n+mの運動姿勢を、第2の技として抽出する。図20で説明した例では、評価項目「水平支持の腰角度」、「水平支持の膝角度」の値が、完成度を評価する基準に基づく所定範囲に含まれる。このため、第1抽出部162は、フレーム番号n〜n+mの運動姿勢を、第2の技として抽出する。
第1抽出部162は、第2の技を抽出したタイミングのフレーム番号の情報を、第2抽出部163に出力する。また、第1抽出部162は、第2の技と判定した際の完成度を基準とした所定範囲に含まれる評価項目の情報を、第2抽出部163に出力する。たとえば、評価項目「ショルダーアングル」の値が所定範囲に含まれることにより、第2の技と判定した場合には、評価項目「ショルダーアングル」を、第2の技を抽出したタイミングのフレーム番号の情報と対応付けて、第2抽出部163に出力する。
上述した例では、減点なしの基準を、第2の基準として説明を行ったが、第1抽出部162は、複数の基準のうち、ユーザに選択された基準を、第2の基準として設定し、第2の技を抽出してもよい。たとえば、第1抽出部162は、減点なしの基準、0.1減点の基準、0.3減点の基準、0.5減点の基準のうち、いずれかの基準の選択を受け付け、受け付けた基準を、第2の基準として設定する。たとえば、0.1減点の基準を選択された場合の、第1抽出部162の処理について説明する。
評価項目をショルダーアングルとし、図17を用いて、第2の技を抽出する処理を説明する。評価項目をショルダーアングルとすると、0.1減点されないリミットは「6°」および「16°」である。また、誤差範囲を±5°とすると、完成度を評価する基準に基づく所定範囲は「1°〜11°」および「11°〜21°」の範囲となる。第1抽出部162は、フレーム番号nの各関節位置に基づくショルダーアングルの値が、「1°〜11°」の範囲に含まれる場合に、フレーム番号nの静止姿勢(技)を、第2の技として抽出する。また、第1抽出部162は、フレーム番号nの各関節位置に基づくショルダーアングルの値が、「11°〜21°」の範囲に含まれる場合に、フレーム番号nの静止姿勢(技)を、第2の技として抽出する。
図5の説明に戻る。第2抽出部163は、第1の技、または、第2の技に対応する箇所のダイジェスト映像を抽出する処理部である。第2抽出部163は、抽出したダイジェスト映像の情報を、ダイジェスト映像DB157に登録する。
第2抽出部163は、第1の技(静止姿勢)を抽出したタイミングのフレーム番号nの情報を受け付けた場合には、受け付けたフレーム番号nを基準とする前後N個の映像フレームを、映像DB152から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部163は、受け付けたフレーム番号nを基準とする前後N個の3Dモデルデータを、3DモデルDB155から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部163は、第1の技(運動姿勢)を抽出したタイミングのフレーム番号n〜n+mの情報を受け付けた場合には、受け付けたフレーム番号n〜n+mに対応する映像フレームを、映像DB152から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部163は、受け付けたフレーム番号n+mに対応する3Dモデルデータを、3DモデルDB155から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
または、第2抽出部163は、第1の技(運動姿勢)の開始のタイミングから、この第1の技の切れ目までの各フレーム番号に対応する、映像フレーム、3Dモデルデータを、ダイジェスト映像として生成してもよい。第2抽出部163は、第1の輪亜の開始のタイミングから、一定秒数後までの各フレーム番号に対応する、映像フレーム、3Dモデルデータを、ダイジェスト映像として生成してもよい。
第2抽出部163は、第1の技名と、第1の技名を抽出した根拠となる評価項目と、ダイジェスト映像とを対応付けた情報を、ダイジェスト映像DB157に登録する。
第2抽出部163は、第2の技(静止姿勢)を抽出したタイミングのフレーム番号nの情報を受け付けた場合には、受け付けたフレーム番号nを基準とする前後N個の映像フレームを、映像DB152から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部163は、受け付けたフレーム番号nを基準とする前後N個の3Dモデルデータを、3DモデルDB155から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部163は、第2の技(運動姿勢)を抽出したタイミングのフレーム番号n〜n+mの情報を受け付けた場合には、受け付けたフレーム番号n〜n+mに対応する映像フレームを、映像DB152から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部163は、受け付けたフレーム番号n+mに対応する3Dモデルデータを、3DモデルDB155から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部163は、第2の技名と、第2の技名を抽出した根拠となる評価項目と、ダイジェスト映像とを対応付けた情報を、ダイジェスト映像DB157に登録する。
図21は、本実施例1に係るダイジェスト映像DBのデータ構造の一例を示す図である。図21に示すように、このダイジェスト映像DB157は、技名と、評価項目と、第1ダイジェスト映像と、第2ダイジェスト映像とを対応付ける。技名は、第1の技、第2の技に対応する静止姿勢、運動姿勢の名称を示す。評価項目は、第1の技、第2の技として抽出する際の根拠となる評価項目を示す。第1ダイジェスト映像は、映像DB152の映像フレームから生成されるダイジェスト映像である。第2ダイジェスト映像は、3DモデルDB155の3Dモデルデータから生成されるダイジェスト映像である。
出力部164は、ダイジェスト映像DB157を基にして、第1の技または第2の技に対応する箇所の映像を表示部140に出力して表示させる処理部である。たとえば、出力部164は、ダイジェスト映像DB157を基にして、表示画面の情報を生成し、生成した表示画面の情報を、表示部140に出力する。
図22は、本実施例1に係る表示画面の一例を示す図である。図22に示すように、表示画面45は、表示領域45aと、表示領域45bとを有する。表示領域45aは、映像フレームから生成される第1ダイジェスト映像を表示する領域である。表示領域45bは、第2ダイジェスト映像に含まれる3Dモデルデータに対して、所定の視点(仮想視点)から撮影した映像を表示する領域である。
出力部164は、表示領域45bに第2ダイジェスト映像を表示する場合には、成立不成立を判定する基準、完成度を判定する基準に対応する競技者の3Dモデルの箇所を視聴可能な方向から撮影した映像を生成し、表示領域45bに表示させる。たとえば、出力部164は、ダイジェスト映像DB157に格納された、第1の技、第2の技として抽出する際の根拠となる評価項目と、この評価項目に対応する競技者の3Dモデルの箇所を表示する際の最適な視点および方向を対応付けたテーブルを保持しておくものとする。出力部164は、保持したテーブルと、第2ダイジェスト映像に対応付けられた評価項目とを比較して、視点および方向を特定し、特定した視点および方向により、第2ダイジェスト映像の3Dモデルデータを撮影した映像を、表示領域45bに表示させる。
ここで、情報処理装置100の各処理部161〜164は、3Dレーザセンサ20aから、センサデータを受け付けた際に、リアルタイムで処理を行う。これにより、競技者10が試合会場で演技を行った際に、審判員等は、実際に採点する前に、採点の揺れそうな箇所をリアルタイムで確認することができる。また、採点結果が出る前に、視聴者に採点が揺れそうな箇所を見せたり、実況者側に解説すべき箇所を提案することができる。
次に、本実施例1に係る情報処理装置100の処理手順の一例について説明する。図23は、本実施例1に係る情報処理装置の処理手順を示すフローチャート(1)である。図23に示すように、情報処理装置100の登録部161は、3Dレーザセンサ20aから、センサデータを取得する(ステップS101)。情報処理装置100の第1抽出部162は、センサデータを解析し、競技者10の関節の位置データを抽出する(ステップS102)。
第1抽出部162は、関節の位置データを基にして、骨格データおよび3Dモデルデータを生成する(ステップS103)。第1抽出部162は、各フレームの骨格データ(関節位置)に基づいて、静止姿勢および運動姿勢を認識する(ステップS104)。
第1抽出部162は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の成立不成立を判定する(ステップS105)。第1抽出部162は、技の成立不成立を判定する基準から所定範囲内となる第1の技を抽出する(ステップS106)。
情報処理装置100の第2抽出部163は、第1の技に対応する第1ダイジェスト映像を生成する(ステップS107)。情報処理装置100の出力部164は、第1の技として抽出された根拠となる評価項目の3Dモデル上の箇所を視覚可能な視点、方向から撮影した第2ダイジェスト映像を生成する(ステップS108)。
出力部164は、表示画面の情報を生成し(ステップS109)、表示画面の情報を表示部140に出力する(ステップS110)。
図24は、本実施例1に係る情報処理装置の処理手順を示すフローチャート(2)である。図24に示すように、情報処理装置100の登録部161は、3Dレーザセンサ20aから、センサデータを取得する(ステップS201)。情報処理装置100の第1抽出部162は、センサデータを解析し、競技者10の関節の位置データを抽出する(ステップS202)。
第1抽出部162は、関節の位置データを基にして、骨格データおよび3Dモデルデータを生成する(ステップS203)。第1抽出部162は、各フレームの骨格データ(関節位置)に基づいて、静止姿勢および運動姿勢を認識する(ステップS204)。
第1抽出部162は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の完成度を判定する(ステップS205)。第1抽出部162は、技の完成度を判定する基準から所定範囲内となる第2の技を抽出する(ステップS206)。
情報処理装置100の第2抽出部163は、第2の技に対応する第1ダイジェスト映像を生成する(ステップS207)。情報処理装置100の出力部164は、第2の技として抽出された根拠となる評価項目の3Dモデル上の箇所を視覚可能な視点、方向から撮影した第2ダイジェスト映像を生成する(ステップS208)。
出力部164は、表示画面の情報を生成し(ステップS209)、表示画面の情報を表示部140に出力する(ステップS210)。
図23、図24では一例として、第1の技および第2の技を抽出する処理を別々に説明したがこれに限定されるものではない。情報処理装置100は、第1の技および第2の技を抽出する処理を、平行して実行してもよい。また、情報処理装置100は、第1の技を抽出した後に、第2の技を抽出してもよいし、第2の技を抽出した後に、第1の技を抽出してもよい。
次に、本実施例1に係る情報処理装置100の効果について説明する。情報処理装置100は、競技者10が実行した技が、技の成立不成立または完成度を判定するための基準を満たすか否かが曖昧な場合に、係る技の映像を抽出して出力する処理を実行する。これにより、採点競技に関する一連の演技の映像から、採点を基準とした映像を抽出することができる。
たとえば、採点競技の審判による採点支援において、採点が揺れそうな箇所を抽出して、審判に重点的に判定するように促すことが有効であると考えられる。また、採点競技の練習においては、本番で採点が揺れないように、競技者10ははっきりとした演技に改善する必要があるため、練習時点から採点が揺れそうな箇所を抽出して、練習に役立てることが有効であると考えられる。また、採点競技の視聴者は、採点結果が出るまでのリプレイ映像として、採点が揺れそうな箇所のリプレイ映像を見ながら、解説を聞くことで、より採点競技の資料を楽しむことができる。
これに対して、従来技術は、一連の映像から一部の映像を抽出する際には、特定のプレーを切り出すことはできても、採点競技において、リアルタイム採点の結果を反映して、一連の映像から、採点が揺れそうな部分を抽出することはできていない。
たとえば、テレビ中継における解説時の利用シーンでは、情報処理装置100から出力されるダイジェスト映像を参照することで、解説者は、採点が揺れそうな部分を何度も確認することができ、係る採点が揺れそうな部分を重点的に解説することができる。これにより、採点競技の視聴者は、採点結果が出るまでのリプレイ映像として、採点が揺れそうな箇所のリプレイ映像を見ながら、解説を聞くことで、より採点競技の資料を楽しむことができる。
練習での利用シーンでは、競技者10は、情報処理装置100から出力されるダイジェスト映像を参照することで、現状の演技に関して採点が揺れそうなところを把握できる。これにより、競技者10は、練習時点から採点が揺れそうな箇所を抽出して、練習に役立てることができる。
審判員による補助システムでの利用シーンでは、情報処理装置100は、スコアに密接に関連する(採点が揺れそうな)箇所のダイジェスト映像を審判員に通知でき、審判に重点的に判定するように促したり、上級審判に採点が割れそうな部分だけ判断をあおぐようにすることができる。
また、本実施例1に係る情報処理装置100は、採点が揺れそうな箇所となる部分(評価項目に対応する箇所)をわかりやすい視点、角度から撮影したダイジェスト映像を生成し、表示する。これにより、審判員等は、採点が揺れそうな部分をよく観察することができるので、より適切な採点を行うことができる。
なお、本実施例1に係る情報処理装置100の第1抽出部162は、第2の技を抽出する場合に、技の完成度を判定する基準から所定範囲内となる静止姿勢または運動姿勢を、第2の技として抽出していたが、これに限定されるものではない。
たとえば、情報処理装置100の第1抽出部162は、技の完成度を判定する複数の基準の内、所定の基準以上となる技を、第2の技として抽出しても良い。具体的に、第1抽出部162は、技認識DB156のスコアテーブル156cと、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値により特定される減点の値が、所定の値より大きいか否かを判定する。たとえば、所定の値を、減点「0.5(大欠点)」とする、第1抽出部162は、関節位置に基づく値により特定される減点の値が、減点「0.5」以上となる静止姿勢または運動姿勢を、第2の技として抽出する。
また、第1抽出部162は、減点「0.5(大欠点)」以上となる静止姿勢または運動姿勢の数(第2の技の数)が所定数未満である場合には、減点「0.3(中欠点)」以上となる静止姿勢または運動姿勢を、第2の技として抽出する。これにより、Eスコアを採点する際に参考となるダイジェスト映像を一定数以上、表示することができ、大欠点等に限らず、審判員自身の判断が適切か否かを確認することが可能となる。
次に、本実施例2に係る情報処理装置について説明する。図25は、本実施例2に係る情報処理装置の構成を示す機能ブロック図である。図示を省略するが、情報処理装置200は、実施例1の情報処理装置100と同様にして、3Dレーザセンサ20a、カメラ20bに接続される。3Dレーザセンサ20a、カメラ20bに関する説明は、実施例1で説明したものと同様である。
図25に示すように、情報処理装置200は、インタフェース部210、通信部220、入力部230、表示部240、記憶部250、制御部260を有する。
インタフェース部210、通信部220、入力部230、表示部240に関する説明は、図5で説明したインタフェース部110、通信部120、入力部130、表示部140に関する説明と同様である。
記憶部250は、センシングDB251、映像DB252、関節定義データ253、関節位置DB254、3DモデルDB255、技認識DB256、ダイジェスト映像DB257を有する。記憶部250は、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
センシングDB251は、3Dレーザセンサ20aから取得するセンサデータを格納するDBである。センシングDB251のデータ構造は、図6で説明した、センシングDB151のデータ構造と同様である。
映像DB252は、カメラ20bから取得する映像データを格納するDBである。映像DB252のデータ構造は、図7で説明した、映像DB152のデータ構造と同様である。
関節定義データ253は、競技者(競技者10)の各関節位置を定義するものである。関節位置データ253に関する説明は、図8で説明した、関節位置データ153に関する説明と同様である。
関節位置DB254は、3Dレーザセンサ20aのセンサデータを基に生成される競技者10の各関節の位置データである。関節位置DB254のデータ構造は、図9で説明した、関節位置DB154のデータ構造に関する説明と同様である。
3DモデルDB255は、センサデータを基に生成される競技者10の3Dモデルの情報を格納するデータベースである。3DモデルDB255のデータ構造に関する説明は、図10で説明した、3DモデルDB155のデータ構造に関する説明と同様である。
技認識DB256は、競技者10が行う演技に含まれる技(静止姿勢、運動姿勢)を認識する場合に用いられるデータベースである。図26は、本実施例2に係る技認識DBのデータ構造の一例を示す図である。図26に示すように、技認識DB256は、技認識テーブル256aと、成立条件テーブル256bと、スコアテーブル256cとを有する。
技認識テーブル256aは、技を認識するための各種の情報を保持するテーブルである。技認識テーブル256aのデータ構造に関する説明は、図12で説明した、技認識テーブル156aのデータ構造に関する説明と同様である。
成立条件テーブル256bは、実施例1の図13で説明した成立条件テーブル156bと同様にして、テーブル170aおよびテーブル170bを有する。テーブル170aは、静止姿勢名と静止姿勢成立条件とを対応付ける。静止姿勢名は、静止姿勢を一意に特定する名称を示す。静止姿勢成立条件は、静止姿勢が成立する条件を示すものである。テーブル170bは、運動姿勢名と、運動姿勢成立条件とを対応付ける。運動姿勢名は、運動姿勢を一意に特定する名称を示す。運動姿勢成立条件は、運動姿勢が成立する条件を示すものである。
スコアテーブル256cは、技の完成度に関するEスコアで用いる点数を定義するテーブルである。Eスコアは、所定の点数(たとえば、10点)からの減点方式により採点され、技の完成度が低いほど、減点の数が大きくなる。スコアテーブル256cでは、各静止姿勢の評価項目毎に減点の点数が定義される。また、スコアテーブル256cでは、各運動姿勢の評価項目毎に、減点の点数が定義される。
ダイジェスト映像DB257は、技の成立不成立または技の完成度を判定するための基準を満たすか否かが曖昧な技のダイジェスト映像を保持するテーブルである。
制御部260は、登録部261と、第1抽出部262と、第2抽出部263と、出力部264とを有する。制御部260は、CPUやMPUなどによって実現できる。また、制御部260は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
登録部261は、3Dレーザセンサ20aからセンサデータを取得し、取得したセンサデータを、センシングDB251に登録する。登録部261は、センサデータ(フレーム番号、センサフレーム)をセンシングDB251に登録する際に、記録IDを対応づける。記録IDは、たとえば、センサデータに付加されている。ユーザは、入力部230を操作して、センサデータに対応する記録IDを入力してもよい。
登録部261は、カメラ20bから映像データを取得し、取得した映像データを、映像DB252に登録する。登録部261は、映像データ(フレーム番号、センサフレーム)を映像DB252に登録する際に、記録IDを対応付ける。記録IDは、たとえば、映像データに付加されている。ユーザは、入力部230を操作して、映像データに対応する記録IDを入力してもよい。
第1抽出部262は、センシングDB251を基にして、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、成立不成立の判定結果が成立を示す技(静止姿勢または運動姿勢)を抽出する。以下の説明では、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、成立不成立の判定結果が成立を示す技(静止姿勢または運動姿勢)を「第3の技」と表記する。
第2抽出部263は、センシングDB251を基にして、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、完成度の判定結果において、減点が閾値よりも大きい技(静止姿勢または運動姿勢)を抽出する。以下の説明では、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、完成度の判定結果において、減点が閾値よりも大きい技(静止姿勢または運動姿勢)を「第4の技」と表記する。
第1抽出部262は、競技者10の各関節の各位置データを時系列に抽出する処理、3Dモデルデータを生成する処理、スコアを評価する処理、第3の技、第4の技を抽出する処理を実行する。ここで、第1抽出部262が、競技者10の各関節の各位置データを時系列に抽出する処理、3Dモデルデータを生成する処理、スコアを評価する処理は、実施例1で説明した、第1抽出部162が行う処理と同様である。
第1抽出部262が「第3の技」を抽出する処理の一例について説明する。第1抽出部262は、スコアを評価する処理を実行する。第1抽出部262は、各フレーム番号において成立した静止姿勢および運動姿勢の組と、技認識テーブル256aの成立条件とを比較することで、成立した技名および技の難度を特定する。第1抽出部262は、特定した技の難度が閾値以上である場合に、成立した技に含まれる静止姿勢および運動姿勢を、第3の技として抽出する。
たとえば、難度の閾値を「D」とすると、第1抽出部262は、成立した技の難度が難度「D」以上の場合に、成立した技に含まれる静止姿勢および運動姿勢を、第3の技として抽出する。たとえば、図12を用いて、第1抽出部262の処理を説明する。ここでは一例として、フレーム番号n〜n+mにおいて、技名「懸垂からゆっくりと肩転位」の技が成立したものとする。また、フレーム番号n+m〜n+lにおいて、技名「後ろ上がり中水平支持(2秒)」の技が成立したものとする。
ここで、技名「懸垂からゆっくりと肩転位」の技の難度は「A」であり、閾値「D」より低い。このため、第1抽出部262は、技名「懸垂からゆっくりと肩転位」の技に対応し、フレーム番号n〜n+mに含まれる静止生成および運動姿勢を、第3の技として抽出することを抑止する。
一方、技名「後ろ上がり中水平支持(2秒)」の技の難度は「E」であり、閾値「D」よりも高い。このため、第1抽出部262は、技名「後ろ上がり中水平支持(2秒)」の技に対応し、フレーム番号n〜n+mに含まれる静止生成および運動姿勢を、第3の技として抽出する。
第1抽出部262は、第3の技を抽出したタイミングのフレーム番号の情報を、第2抽出部263に出力する。
続いて、第1抽出部262が「第4の技」を抽出する処理の一例について説明する。第1抽出部262は、実施例1の第1抽出部162と同様にして、スコアを評価する処理を実行する。第1抽出部262は、各フレーム番号において成立した静止姿勢または運動姿勢の組と、技認識テーブル256aの成立条件とを比較することで、成立した技名および技の難度を特定する。第1抽出部262は、特定した技の難度が閾値以上である場合に、成立した技に含まれる静止姿勢および運動姿勢について、技(静止姿勢および運動姿勢)に関する減点が、閾値以上である技を、第4の技として抽出する。
第1抽出部262が、成立した技名および技のうち、難度が閾値以上となる技を特定する処理は、第3の技を抽出する処理で説明したものと同様である。
第1抽出部262が、難度が閾値以上となる技に含まれる、フレーム番号nの静止姿勢の評価項目を「ショルダーアングル」とし、図17を用いて、第4の技を抽出する処理について説明する。たとえば、フレーム番号nの静止姿勢の評価項目「ショルダーアングル」に対して、関節位置に基づく値が「31°〜45°」に含まれる場合には、減点「0.5(大欠点)」となり、閾値以上となる。この場合には、第1抽出部262は、フレーム番号nに含まれる静止姿勢を、第4の技として抽出する。
一方、フレーム番号nの静止姿勢の評価項目「ショルダーアングル」に対して、関節位置に基づく値が「31°」未満である場合には、減点「0.3(中欠点)」が閾値未満となる。この場合には、第1抽出部262は、フレーム番号nに含まれる静止姿勢を、第4の技として抽出することを抑止する。
第1抽出部262が、難度が閾値以上となる技に含まれる、フレーム番号n〜n+mの運動姿勢の評価項目を「肩角度」とし、図18を用いて、第4の技を抽出する処理について説明する。たとえば、フレーム番号n〜n+mの運動姿勢の評価項目「肩角度」に対して、関節位置に基づく値が「31°〜45°」に含まれる場合には、減点「0.5(大欠点)」となり、閾値以上となる。この場合には、第1抽出部262は、フレーム番号n〜n+mに含まれる運動姿勢を、第4の技として抽出する。
一方、フレーム番号n〜n+mの運動姿勢の評価項目「肩角度」について、関節位置に基づく値が「31°」未満である場合には、減点「0.3(中欠点)」が閾値未満となる。この場合には、第1抽出部262は、フレーム番号n〜n+mに含まれる運動姿勢を、第4の技として抽出することを抑止する。
第1抽出部262は、第4の技を抽出したタイミングのフレーム番号の情報を、第2抽出部263に出力する。また、第1抽出部262は、第4の技と判定した際の、減点の値が閾値以上となる評価項目の情報を、第2抽出部263に出力する。たとえば、評価項目「ショルダーアングル」に関する減点が、閾値以上となり、第4の技と判定した場合には、評価項目「ショルダーアングル」を、第4の技を抽出したタイミングのフレーム番号の情報と対応付けて、第2抽出部263に出力する。
図25の説明に戻る。第2抽出部263は、第3の技、または、第4の技に対応する箇所のダイジェスト映像を抽出する処理部である。第2抽出部263は、抽出したダイジェスト映像の情報を、ダイジェスト映像DB257に登録する。
第2抽出部263は、第3の技(静止姿勢)を抽出したタイミングのフレーム番号nの情報を受け付けた場合には、受け付けたフレーム番号nを基準とする前後N個の映像フレームを、映像DB252から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部263は、受け付けたフレーム番号nを基準とする前後N個の3Dモデルデータを、3DモデルDB255から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部263は、第3の技(運動姿勢)を抽出したタイミングのフレーム番号n〜n+mの情報を受け付けた場合には、受け付けたフレーム番号n〜n+mに対応する映像フレームを、映像DB252から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部263は、受け付けたフレーム番号n〜n+mに対応する3Dモデルデータを、3DモデルDB255から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部263は、第4の技(静止姿勢)を抽出したタイミングのフレーム番号nの情報を受け付けた場合には、受け付けたフレーム番号nを基準とする前後N個の映像フレームを、映像DB252から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部263は、受け付けたフレーム番号nを基準とする前後N個の3Dモデルデータを、3DモデルDB255から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部263は、第4の技(運動姿勢)を抽出したタイミングのフレーム番号n〜n+mの情報を受け付けた場合には、受け付けたフレーム番号n〜n+mに対応する映像フレームを、映像DB252から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第2抽出部263は、受け付けたフレーム番号n〜n+mに対応する3Dモデルデータを、3DモデルDB255から取得し、取得した各3Dモデルデータをダイジェスト映像として生成する。
第2抽出部263は、第2の技名と、第2の技名を抽出した根拠となる評価項目と、ダイジェスト映像とを対応付けた情報を、ダイジェスト映像DB257に登録する。
出力部264は、ダイジェスト映像DB257を基にして、第3の技または第4の技に対応する箇所の映像を表示部240に出力して表示させる処理部である。たとえば、出力部264は、ダイジェスト映像DB257を基にして、表示画面の情報を生成し、生成した表示画面の情報を、表示部240に出力する。出力部264が生成する表示画面は、たとえば、実施例1の図22で説明した、表示画面45に対応する。以下の説明では、実施例1と同様にして、映像DB252の映像フレームから生成されるダイジェスト映像を、第1ダイジェスト映像と表記する。3DモデルDB255の3Dモデルデータから生成されるダイジェスト映像を、第2ダイジェスト映像と表記する。
また、出力部264は、表示領域45bに第4の技に対する第2ダイジェスト映像を表示する場合には、次の処理を行う。出力部264は、完成度の判定結果において、減点が閾値よりも大きい評価項目に対応する競技者の3Dモデルの箇所を視聴可能な方向から撮影した映像を生成し、表示領域45bに表示させる。
出力部264は、表示領域45bに第3の技に対応する第2ダイジェスト映像を表示する場合には、静止動作または運動動作の種別に応じて予め定められた方向から3Dモデルを撮影した映像を生成し、表示領域45bに表示させる。
ここで、情報処理装置200の各処理部261〜264は、3Dレーザセンサ20aから、センサデータを受け付けた際に、センサデータをセンシングDB251に格納しておき、所定時間後に処理を実行する。たとえば、競技者10が演技を行い、審判員等が実際に採点した後に、情報処理装置200が、上記処理を実行して、第1、2ダイジェスト映像を生成し、表示することで、ダイジェスト映像と、採点結果と照らし合わせることができる。
また、情報処理装置200の各処理部261〜264は、3Dレーザセンサ20aから、センサデータを受け付けた際に、リアルタイムで処理を行ってもよい。これにより、試合中の採点待ち時間に、大技に成功した箇所や、大欠点となった箇所のダイジェスト映像を参照することができる。
次に、本実施例2に係る情報処理装置200の処理手順の一例について説明する。図27は、本実施例2に係る情報処理装置の処理手順を示すフローチャート(1)である。図27に示すように、情報処理装置200の登録部261は、3Dレーザセンサ20aから、センサデータを取得する(ステップS301)。情報処理装置200の第1抽出部262は、センサデータを解析し、競技者10の関節の位置データを抽出する(ステップS302)。
第1抽出部262は、関節の位置データを基にして、骨格データおよび3Dモデルデータを生成する(ステップS303)。第1抽出部262は、各フレームの骨格データ(関節位置)に基づいて、静止姿勢および運動姿勢を認識する(ステップS304)。
第1抽出部262は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の成立不成立を判定する(ステップS305)。第1抽出部262は、成立した技のうち、所定の難度以上となる技に含まれる静止姿勢、運動姿勢を第3の技として抽出する(ステップS306)。
情報処理装置200の第2抽出部263は、第3の技に対応する第1ダイジェスト映像を生成する(ステップS307)。情報処理装置200の出力部264は、第3の技に対応する視点、方向から撮影した3Dモデルデータを第2ダイジェスト映像として生成する(ステップS308)。
出力部264は、表示画面の情報を生成し(ステップS309)、表示画面の情報を表示部240に出力する(ステップS310)。
図28は、本実施例2に係る情報処理装置の処理手順を示すフローチャート(2)である。図28に示すように、情報処理装置200の登録部261は、3Dレーザセンサ20aから、センサデータを取得する(ステップS401)。情報処理装置200の第1抽出部262は、センサデータを解析し、競技者10の関節の位置データを抽出する(ステップS402)。
第1抽出部262は、関節の位置データを基にして、骨格データおよび3Dモデルデータを生成する(ステップS403)。第1抽出部262は、各フレームの骨格データ(関節位置)に基づいて、静止姿勢および運動姿勢を認識する(ステップS404)。
第1抽出部262は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の成立不成立を判定する(ステップS405)。第1抽出部262は、認識した静止姿勢および運動姿勢に対する評価項目および関節位置の値を基にして、技の完成度を判定する(ステップS406)。
第1抽出部262は、成立した所定の難度以上の技に含まれる、減点が閾値よりも大きい静止姿勢、運動姿勢を第4の技として抽出する(ステップS407)。情報処理装置200の第2抽出部263は、第4の技に対応する第1ダイジェスト映像を生成する(ステップS408)。
第2抽出部263は、第4の技として抽出された根拠となる評価項目の3Dモデル上の箇所を視覚可能な視点、方向から撮影した第2ダイジェスト映像を生成する(ステップS409)。
出力部264は、表示画面の情報を生成し(ステップS410)、表示画面の情報を表示部240に出力する(ステップS411)。
図27、図28では一例として、第3の技および第4の技を抽出する処理を別々に説明したがこれに限定されるものではない。情報処理装置200は、第3の技および第4の技を抽出する処理を、平行して実行してもよい。また、情報処理装置200は、第3の技を抽出した後に、第4の技を抽出してもよいし、第4の技を抽出した後に、第3の技を抽出してもよい。
次に、本実施例2に係る情報処理装置200の効果について説明する。たとえば、採点競技における映像抽出においては、技の難度が高い演技の映像を抽出することが望まれる。さらには、難度が高い技の成功、不成功、または、減点の幅など、種々のファクターを考慮した、映像抽出が好ましい。従来技術では、一連の映像から一部の映像を抽出する際には、特定のプレーを切り出すことはできても、採点競技において、技の難易、および、難度が高い技の成功、不成功、または、減点の幅など、種々のファクターを考慮した、映像を抽出することができていない。
これに対して、情報処理装置200は、競技者10による成立した技のうち、所定難度以上である第3の技を抽出して、第3の技に対応するダイジェスト映像を生成して、表示する。これにより、採点競技に関する一連の演技の映像から、所定難度以上の成功した技の映像を表示することができる。
また、情報処理装置200は、競技者10が行った技の難度が閾値以上である場合に、技に含まれる静止姿勢および運動姿勢について、技(静止姿勢および運動姿勢)に関する減点が、閾値以上である技を、第4の技として抽出する。情報処理装置200は、抽出した第4の技に対応するダイジェスト映像を生成して、表示する。これにより、採点競技に関する一連の演技の映像から、所定の難度以上であり、かつ、減点の大きい技の映像を表示することができる。
たとえば、第3、4の技に対応するダイジェスト映像を、スポーツニュースの視聴者により興味深いダイジェスト映像として提供できるだけでなく、競技者の練習用映像の切り出しや、審判員の教育用データの切り出しにも有効である。
上述した実施例1、2に示した情報処理装置100,200の処理は一例である。ここでは、図5で説明した情報処理装置100の機能ブロック図を用いて、その他の処理(1)、(2)について説明する。
情報処理装置100が行うその他の処理(1)について説明する。競技者10は、同一の大会において、複数の演技を行う場合や、複数の大会で同一の演技を行う場合がある。このため、情報処理装置100は、競技者10が行った各演技のセンサデータをセンシングDB151に格納しておく。ここで、情報処理装置100は、同一の競技者10が行った各演技をそれぞれ識別可能な記録IDと、センサデータとを対応付けて、センシングDB151に格納する。情報処理装置100は、各記録IDに対応付けられたセンサデータを基にして、上記の第1の技、第2の技を抽出する処理を行う。情報処理装置100は、各演技の第1の技、第2の技のダイジェスト映像を生成し、各演技のダイジェスト映像を比較可能にして表示してもよい。たとえば、情報処理装置100は、図29に示す表示画面46を生成して、表示する。
図29は、本実施例3に係る表示画面の一例を示す図(1)である。図29に示す例では、表示画面46は、表示領域46a,46b,46cを有する。表示領域46aは、大会Aで測定された競技者10のセンサデータを基にして生成される第2ダイジェスト映像を表示する領域である。表示領域46bは、大会Bで測定された競技者10のセンサデータを基にして生成される第2ダイジェスト映像を表示する領域である。表示領域46cは、大会Cで測定された競技者10のセンサデータを基にして生成される第2ダイジェスト映像を表示する領域である。
たとえば、競技者10は、表示画面46を参照することで、各大会で演技した結果を、採点を基準として抽出された各ダイジェスト映像で確認することが可能となる。また、図29では一例として、第1の技、第2の技に対応するダイジェスト映像を抽出する場合について説明したがこれに限定されるものではない。情報処理装置100は、実施例2で説明した、第3の技、第4の技に対応するダイジェスト映像を生成して、表示してもよい。
情報処理装置100が行うその他の処理(2)について説明する。上述した実施例1、2では一例として、同一の競技者10のセンサデータを計測し、第1〜4の技を抽出して、第1〜4の技に対応するダイジェスト映像を生成していたがこれに限定されるものではない。情報処理装置100は、複数の異なる競技者(たとえば、競技者10a〜10c;図示略)についても同様にして、各競技者10a〜10cから、第1〜4の技を抽出して、第1〜4の技に対応するダイジェスト映像を生成してもよい。
情報処理装置100は、各競技者10a〜10cが行った演技をそれぞれ識別可能な記録IDと、センサデータと対応付けて、センシングDB151に格納する。情報処理装置100は、各記録IDに対応付けられたセンサデータを基にして、各競技者10a〜10cが行った技のうち、成立した技を判定する。また、情報処理装置100は、各競技者10a〜10cが行った、成立した技のうち、同一のグループに属する技の情報を抽出する。
たとえば、競技者10aが、グループG1の技A1を成立させ、競技者10bが、グループG1の技A2を成立させ、競技者10cが、グループG1の技A3を成立させたものとする。この場合は、競技者10a〜10cが、共通するグループG1の技を成立させているため、情報処理装置100は、競技者10aが成立させた技A1に対するスコアの評価結果、競技者10bが成立させた技A2のスコアの評価結果、競技者10cが成立させたA3のスコアの評価結果を取得する。
たとえば、情報処理装置100は、実施例1で説明したスコアを評価する処理を実行することで、競技者10aの技A1の静止姿勢に対する減点の値、競技者10bの技A2の静止姿勢に対する減点の値、競技者10bの技A3の静止姿勢に対する減点の値を得る。
情報処理装置100は、競技者10aの技A1の静止姿勢に対する減点の値、競技者10bの技A2の静止姿勢に対する減点の値、競技者10bの技A3の静止姿勢に対する減点の値がそれぞれ異なっているか否かを判定する。情報処理装置100は、各減点の値が異なっている場合には、技A1の静止姿勢、技A2の静止姿勢、技A3の静止姿勢が、他の選手と差のついた技であると判定する。たとえば、競技者10aが技A1の静止姿勢を行ったフレーム番号をフレーム番号n1とし、競技者10bが技A2の静止姿勢を行ったフレーム番号をフレーム番号n2とし、競技者10cが技A3の静止姿勢を行ったフレーム番号をフレーム番号n3とする。また、評価項目をボディアングルとする。ボディアングルは、関節0番および関節7番を結ぶ直線と、水平基準とのなす角である。
なお、情報処理装置100は、各競技者について、同一のグループに属する技の減点の差を比較し、減点の差が閾値以上となる技を、他の選手と差のついた技であると判定しても良い。ここで、減点の差とは、各競技者の減点の値の平均値と、各競技者の減点の差の値であってもよいし、各競技者の減点の値の中央値と、各競技者の減点の差の値であってもよい。
情報処理装置100は、他の選手と差のついた技に関する情報を表示するための表示画面を生成し、表示部140に表示させる。図30は、本実施例3に係る表示画面の一例を示す図(2)である。図30に示す表示画面47は、表示領域47a,47b,47c,47dと、表示領域48a,48b,48c,48dと、表示領域49a,49b,49c,49dとを有する。
表示領域47aは、競技者10aの映像データを基にして生成される第1ダイジェスト映像を表示する領域である。たとえば、情報処理装置100は、フレーム番号n1を基準とする前後N個の競技者10aの映像フレームを、第1ダイジェスト映像として生成し、表示領域47aに表示させる。
表示領域47b,47cは、競技者10aの3Dモデルデータを基にして生成される第2ダイジェスト映像を表示する領域である。なお、表示領域47bでは、3Dモデルデータを、前方から撮影した映像を表示し、表示領域47cでは、3Dモデルデータを、横方向から撮影した映像を表示する。たとえば、情報処理装置100は、フレーム番号n1を基準とする前後N個の競技者10aの3Dモデルデータを所定の方向から撮影して映像を、第2ダイジェスト映像として生成し、表示領域47b,47cに表示させる。
表示領域47dは、評価項目(たとえば、競技者10aのボディアングル)に対応する値を表示する領域である。情報処理装置100は、表示領域47dに、評価項目を表示させると共に、競技者10aのボディアングルに関する減点の値を合わせて表示させてもよい。
表示領域48aは、競技者10bの映像データを基にして生成される第1ダイジェスト映像を表示する領域である。たとえば、情報処理装置100は、フレーム番号n2を基準とする前後N個の競技者10bの映像フレームを、第1ダイジェスト映像として生成し、表示領域48aに表示させる。
表示領域48b,48cは、競技者10bの3Dモデルデータを基にして生成される第2ダイジェスト映像を表示する領域である。なお、表示領域48bでは、3Dモデルデータを、前方から撮影した映像を表示し、表示領域48cでは、3Dモデルデータを、横方向から撮影した映像を表示する。たとえば、情報処理装置100は、フレーム番号n2を基準とする前後N個の競技者10bの3Dモデルデータを所定の方向から撮影して映像を、第2ダイジェスト映像として生成し、表示領域48b,48cに表示させる。
表示領域48dは、評価項目(たとえば、競技者10bのボディアングル)に対応する値を表示する領域である。情報処理装置100は、表示領域48dに、評価項目を表示させると共に、競技者10bのボディアングルに関する減点の値を合わせて表示させてもよい。
表示領域49aは、競技者10cの映像データを基にして生成される第1ダイジェスト映像を表示する領域である。たとえば、情報処理装置100は、フレーム番号n3を基準とする前後N個の競技者10cの映像フレームを、第1ダイジェスト映像として生成し、表示領域49aに表示させる。
表示領域49b,49cは、競技者10cの3Dモデルデータを基にして生成される第2ダイジェスト映像を表示する領域である。なお、表示領域49bでは、3Dモデルデータを、前方から撮影した映像を表示し、表示領域49cでは、3Dモデルデータを、横方向から撮影した映像を表示する。たとえば、情報処理装置100は、フレーム番号n3を基準とする前後N個の競技者10cの3Dモデルデータを所定の方向から撮影して映像を、第2ダイジェスト映像として生成し、表示領域49b,49cに表示させる。
表示領域49dは、評価項目(たとえば、競技者10cのボディアングル)に対応する値を表示する領域である。情報処理装置100は、表示領域49dに、評価項目を表示させると共に、競技者10cのボディアングルに関する減点の値を合わせて表示させてもよい。
図30で説明した例では、情報処理装置100が、静止姿勢に対応する第1ダイジェスト映像、第2ダイジェスト映像、評価項目の値を、各表示領域に表示する場合について説明したがこれに限定されるものではない。情報処理装置100は、同じグループに属する技に関して、減点の差が大きいものであれば、運動姿勢についても同様にして、各表示領域に表示されてもよい。
図30で説明したように、情報処理装置100は、同じグループに属する技に関して、各選手の減点の差が大きい場合に、表示画面47を生成して、表示部140に表示させることで、競技者は、他の選手と差のついた技に関する映像の箇所を参照することができる。
次に、本実施例で説明した情報処理装置100(200)と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図31は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図31に示すように、コンピュータ300は、各種演算処理を実行するCPU301と、ユーザからのデータの入力を受け付ける入力装置302と、ディスプレイ303とを有する。また、コンピュータ300は、記憶媒体からプログラム等を読み取る読み取り装置304と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置305とを有する。また、コンピュータ300は、各種情報を一時記憶するRAM306と、ハードディスク装置307とを有する。そして、各装置301〜307は、バス308に接続される。
ハードディスク装置307は、第1抽出プログラム307a、第2抽出プログラム307b、出力プログラム307cを有する。CPU301は、第1抽出プログラム307a、第2抽出プログラム307b、出力プログラム307cを読み出してRAM306に展開する。
第1抽出プログラム307aは、第1抽出プロセス306aとして機能する。第2抽出プログラム307bは、第2抽出プロセス306bとして機能する。出力プログラム307cは、出力プロセス306cとして機能する。
第1抽出プロセス306aの処理は、第1抽出部162,262の処理に対応する。第2抽出プロセス306bの処理は、第2抽出部163,263の処理に対応する。出力プロセス306cの処理は、出力部164,264の処理に対応する。
なお、各プログラム307a〜307cについては、必ずしも最初からハードディスク装置307に記憶させておかなくても良い。例えば、コンピュータ300に挿入されるフレキシブルディスク(FD)、CD−ROM、DVD、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ300が各プログラム307a〜307dを読み出して実行するようにしても良い。
100,200 情報処理装置
110,210 インタフェース部
120,220 通信部
130,230 入力部
140,240 表示部
150,250 記憶部
151,251 センシングDB
152,252 映像DB
153,253 関節定義データ
154,254 関節位置DB
155,255 3DモデルDB
156,256 技認識DB
157,257 ダイジェスト映像DB
160,260 制御部
161,261 登録部
162,262 第1抽出部
163,263 第2抽出部
164,264 出力部
110,210 インタフェース部
120,220 通信部
130,230 入力部
140,240 表示部
150,250 記憶部
151,251 センシングDB
152,252 映像DB
153,253 関節定義データ
154,254 関節位置DB
155,255 3DモデルDB
156,256 技認識DB
157,257 ダイジェスト映像DB
160,260 制御部
161,261 登録部
162,262 第1抽出部
163,263 第2抽出部
164,264 出力部
Claims (11)
- コンピュータに、
競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、
前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方に基づいて、前記複数の技から、前記成立不成立を判定する第1の基準から所定範囲内となる第1の技、または、前記完成度を判定する第2の基準から所定範囲内となる第2の技を抽出し、
前記第1の技、または、前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から抽出し、
抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を出力する
処理を実行させることを特徴とする抽出プログラム。 - 前記出力する処理は、前記3Dモデル動画を出力する場合に、前記第1の基準に対応する前記競技者の3Dモデルの位置または前記第2の基準に対応する前記競技者の3Dモデルの箇所を視覚可能な方向から前記3Dモデルを撮像した3Dモデル動画を出力することを特徴とする請求項1に記載の抽出プログラム。
- 前記第2の技を抽出する処理は、前記完成度に対応する減点の値が、所定の閾値以上となる技を、前記複数の技から抽出することを特徴とする請求項1または2に記載の抽出プログラム。
- 前記取得する処理は、競技者が異なるタイミングで行われた複数の一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、前記抽出する処理は、異なるタイミングで行われた演技に対する前記第1の技および前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から抽出することを特徴とする請求項1または2に記載の抽出プログラム。
- 前記取得する処理は、異なる競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技それぞれについての完成度の判定結果を取得し、前記抽出する処理は、異なる競技者による演技の完成度に対応する減点に差の生じる箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から抽出することを特徴とする請求項1または2に記載の抽出プログラム。
- 前記完成度を判定する前記第2の基準が複数である場合、該複数の第2の基準のうち、指定された第2の基準に応じて、前記指定された第2の基準から所定範囲内となる前記第2の技を抽出することを特徴とする請求項1または2に記載の抽出プログラム。
- コンピュータに、
競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技の認識結果と、前記複数の技それぞれの成立不成立の判定結果および完成度の判定結果の少なくとも一方とを、取得し、
前記認識結果と、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方とに基づき、前記複数の技から、前記認識結果が所定難度以上の技で、かつ、前記成立不成立の判定結果が成立を示す技を示す第1の技、または、前記認識結果が所定難度以上の技で、かつ、前記完成度を判定する基準から所定範囲内となる第2の技を抽出し、
抽出された前記第1の技、または、前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から、抽出し、
抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を、出力する
処理を実行させることを特徴とする抽出プログラム。 - コンピュータが実行する抽出方法であって、
競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、
前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方に基づいて、前記複数の技から、前記成立不成立を判定する第1の基準から所定範囲内となる第1の技、または、前記完成度を判定する第2の基準から所定範囲内となる第2の技を抽出し、
前記第1の技、または、前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から抽出し、
抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を出力する
処理を実行することを特徴とする抽出方法。 - コンピューが実行する抽出方法であって、
競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技の認識結果と、前記複数の技それぞれの成立不成立の判定結果および完成度の判定結果の少なくとも一方とを、取得し、
前記認識結果と、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方とに基づき、前記複数の技から、前記認識結果が所定難度以上の技で、かつ、前記成立不成立の判定結果が成立を示す技を示す第1の技、または、前記認識結果が所定難度以上の技で、かつ、前記完成度を判定する基準から所定範囲内となる第2の技を抽出し、
抽出された前記第1の技、または、前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から、抽出し、
抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を、出力する
処理を実行することを特徴とする抽出方法。 - 競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方に基づいて、前記複数の技から、前記成立不成立を判定する第1の基準から所定範囲内となる第1の技、または、前記完成度を判定する第2の基準から所定範囲内となる第2の技を抽出する第1抽出部と、
前記第1の技、または、前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から抽出する第2抽出部と、
抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を出力する出力部と、
を有することを特徴とする情報処理装置。 - 競技者による一連の演技の3Dセンシングデータに基づく、前記演技を構成する複数の技の認識結果と、前記複数の技それぞれの成立不成立の判定結果および完成度の判定結果の少なくとも一方とを、取得し、前記認識結果と、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方とに基づき、前記複数の技から、前記認識結果が所定難度以上の技で、かつ、前記成立不成立の判定結果が成立を示す技を示す第1の技、または、前記認識結果が所定難度以上の技で、かつ、前記完成度を判定する基準から所定範囲内となる第2の技を抽出する第1抽出部と、
抽出された前記第1の技、または、前記第2の技に対応する箇所を、前記一連の演技の3Dセンシングデータから生成される前記競技者の3Dモデル動画、または、前記演技を撮影した映像から、抽出する第2抽出部と、
抽出した箇所の3Dモデル動画、または、抽出した箇所の映像を、出力する出力部と
を有することを特徴とする情報処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/047142 WO2019130527A1 (ja) | 2017-12-27 | 2017-12-27 | 抽出プログラム、抽出方法および情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019130527A1 JPWO2019130527A1 (ja) | 2020-12-03 |
JP6915701B2 true JP6915701B2 (ja) | 2021-08-04 |
Family
ID=67066879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561513A Active JP6915701B2 (ja) | 2017-12-27 | 2017-12-27 | 抽出プログラム、抽出方法および情報処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11263462B2 (ja) |
EP (1) | EP3734551A4 (ja) |
JP (1) | JP6915701B2 (ja) |
CN (1) | CN111527520A (ja) |
WO (1) | WO2019130527A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD880527S1 (en) * | 2018-09-14 | 2020-04-07 | Fujitsu Limited | Display screen with icons |
USD883328S1 (en) * | 2018-09-14 | 2020-05-05 | Fujitsu Limited | Display screen with icons |
USD884742S1 (en) * | 2018-09-14 | 2020-05-19 | Fujitsu Limited | Display screen with icons |
USD892863S1 (en) * | 2018-09-14 | 2020-08-11 | Fujitsu Limited | Display screen with icons |
USD881237S1 (en) * | 2018-09-14 | 2020-04-14 | Fujitsu Limited | Display screen with icons |
USD879149S1 (en) * | 2018-09-14 | 2020-03-24 | Fujitsu Limited | Display screen with icons |
USD884741S1 (en) * | 2018-09-14 | 2020-05-19 | Fujitsu Limited | Display screen with icons |
US11861944B1 (en) * | 2019-09-25 | 2024-01-02 | Amazon Technologies, Inc. | System for synchronizing video output based on detected behavior |
USD931897S1 (en) * | 2019-09-27 | 2021-09-28 | Fujitsu Limited | Display screen with icons |
WO2022026916A1 (en) * | 2020-07-31 | 2022-02-03 | Qualiaos, Inc. | Detection of kinetic events and mechanical variables from uncalibrated video |
JP1724355S (ja) * | 2021-03-31 | 2022-09-09 | トレーニング支援用画像 | |
JP1724444S (ja) * | 2021-03-31 | 2022-09-09 | トレーニング支援用画像 | |
CN116963808A (zh) * | 2021-04-01 | 2023-10-27 | 富士通株式会社 | 技巧识别方法、技巧识别装置以及体操评分支援*** |
WO2023100246A1 (ja) * | 2021-11-30 | 2023-06-08 | 富士通株式会社 | 技認識プログラム、技認識方法および情報処理装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2044939A1 (en) * | 1991-06-19 | 1992-12-20 | Edward J. Sweeney | Scoring system for athletic events |
JP3566896B2 (ja) | 2000-03-03 | 2004-09-15 | 株式会社リコー | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2005026837A (ja) | 2003-06-30 | 2005-01-27 | Nippon Hoso Kyokai <Nhk> | スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置 |
US8175326B2 (en) * | 2008-02-29 | 2012-05-08 | Fred Siegel | Automated scoring system for athletics |
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
US9981193B2 (en) * | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
CN103282907A (zh) * | 2010-11-05 | 2013-09-04 | 耐克国际有限公司 | 自动个人训练的方法和*** |
US9025824B2 (en) * | 2010-12-07 | 2015-05-05 | Movement Training Systems Llc | Systems and methods for evaluating physical performance |
GB2532644B (en) * | 2011-09-18 | 2016-07-06 | Touchtunes Music Corp | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
CN103310193B (zh) * | 2013-06-06 | 2016-05-25 | 温州聚创电气科技有限公司 | 一种记录体操视频中运动员重要技术动作时刻的方法 |
CN104598867B (zh) * | 2013-10-30 | 2017-12-01 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分*** |
JP2015146980A (ja) * | 2014-02-07 | 2015-08-20 | セイコーエプソン株式会社 | 運動支援システム、運動支援装置及び運動支援方法 |
JP6384549B2 (ja) | 2014-10-10 | 2018-09-05 | 富士通株式会社 | スキル判定プログラム、スキル判定方法およびスキル判定装置 |
KR101576106B1 (ko) * | 2014-10-14 | 2015-12-10 | 순천향대학교 산학협력단 | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 |
US10186041B2 (en) * | 2015-04-09 | 2019-01-22 | Electronics And Telecommunications Research Institute | Apparatus and method for analyzing golf motion |
CN105744313A (zh) * | 2016-01-11 | 2016-07-06 | 深圳易赛天下互联网科技有限公司 | 一种在线比赛方法以及在线比赛*** |
CN109789329B (zh) * | 2016-10-11 | 2020-12-01 | 富士通株式会社 | 评分辅助程序、评分辅助装置以及评分辅助方法 |
EP3677320A4 (en) * | 2017-09-01 | 2020-09-16 | Fujitsu Limited | TRAINING ASSISTANCE PROGRAM, TRAINING ASSISTANCE PROCESS AND TRAINING ASSISTANCE SYSTEM |
JP7067561B2 (ja) * | 2017-09-05 | 2022-05-16 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
-
2017
- 2017-12-27 CN CN201780097980.3A patent/CN111527520A/zh active Pending
- 2017-12-27 WO PCT/JP2017/047142 patent/WO2019130527A1/ja unknown
- 2017-12-27 EP EP17936612.5A patent/EP3734551A4/en active Pending
- 2017-12-27 JP JP2019561513A patent/JP6915701B2/ja active Active
-
2020
- 2020-06-23 US US16/908,756 patent/US11263462B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019130527A1 (ja) | 2019-07-04 |
EP3734551A4 (en) | 2020-12-30 |
EP3734551A1 (en) | 2020-11-04 |
CN111527520A (zh) | 2020-08-11 |
US20200320304A1 (en) | 2020-10-08 |
US11263462B2 (en) | 2022-03-01 |
JPWO2019130527A1 (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6915701B2 (ja) | 抽出プログラム、抽出方法および情報処理装置 | |
JP7067561B2 (ja) | 採点方法、採点プログラムおよび採点装置 | |
US11049258B2 (en) | Stereoscopic image capture with performance outcome prediction in sporting environments | |
EP2973215B1 (en) | Feedback signals from image data of athletic performance | |
CN111265840B (zh) | 显示方法、信息处理设备和计算机可读记录介质 | |
WO2011009302A1 (zh) | 一种基于多跟踪点的人体动作识别方法 | |
JP6943294B2 (ja) | 技認識プログラム、技認識方法および技認識システム | |
JP2020081528A (ja) | 表示方法、表示プログラムおよび情報処理装置 | |
US11837255B2 (en) | Display method, computer-readable recording medium recording display program, and information processing apparatus | |
WO2019146024A1 (ja) | 画面生成プログラム、画面生成方法および情報処理装置 | |
Sasaki et al. | Exemposer: Predicting poses of experts as examples for beginners in climbing using a neural network | |
US20220143485A1 (en) | Display method, non-transitory computer-readable storage medium, and information processing apparatus | |
JP2020054747A (ja) | プレイ分析装置、及び、プレイ分析方法 | |
KR101723011B1 (ko) | 펜싱 선수의 훈련 관리 시스템 및 훈련 관리 방법 | |
JP2020054748A (ja) | プレイ分析装置、及び、プレイ分析方法 | |
WO2020071092A1 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
JP7502957B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム | |
US20240252886A1 (en) | Player monitoring systems and methods for compensating for network delay | |
US20240252917A1 (en) | Player monitoring systems and methods for efficiently processing sensor data | |
WO2020230677A1 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
TW202419135A (zh) | 分析使用者揮擊動作以判斷擊球軌跡之系統及方法 | |
WO2024151965A1 (en) | Systems and methods for monitoring players in dispersed athletic games |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6915701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |