JP7409390B2 - 運動認識方法、運動認識プログラムおよび情報処理装置 - Google Patents

運動認識方法、運動認識プログラムおよび情報処理装置 Download PDF

Info

Publication number
JP7409390B2
JP7409390B2 JP2021550899A JP2021550899A JP7409390B2 JP 7409390 B2 JP7409390 B2 JP 7409390B2 JP 2021550899 A JP2021550899 A JP 2021550899A JP 2021550899 A JP2021550899 A JP 2021550899A JP 7409390 B2 JP7409390 B2 JP 7409390B2
Authority
JP
Japan
Prior art keywords
movement
basic
recognition
recognition method
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021550899A
Other languages
English (en)
Other versions
JPWO2021064960A1 (ja
Inventor
育生 草島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2021064960A1 publication Critical patent/JPWO2021064960A1/ja
Application granted granted Critical
Publication of JP7409390B2 publication Critical patent/JP7409390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/12—Acrobats
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、運動認識方法、運動認識プログラムおよび情報処理装置に関する。
体操や医療などの幅広い分野において、選手や患者などの人物の骨格情報を用いて、人物の動作を自動で認識することが行われている。近年では、人物までの距離をセンシングする３Ｄ（Three Dimensions）レーザセンサ（以下、距離センサや深度センサともいう。）が出力する距離画像に基づいて、人物の３次元骨格座標を認識し、認識結果を用いて人物の動作を自動認識する装置が利用されている。
例えば、体操を例にして説明すると、時系列で取得した演技者の骨格情報の認識結果を用いて一連の動きを分節化し、基本運動単位に分割する。そして、分節化された各区間について、関節の向きなどを用いた特徴量を算出し、基本運動を特定する特徴量を予め定めたルールと比較することで、一連の動きから演技された技を自動で認識する。
国際公開第２０１８／０７０４１４号
ところで、基本運動は、骨格情報を用いて一連の動きを支持状態の変化に基づき分節化された運動であり、多彩な運動が可能であり自由度が高い。このような自由度が高い基本運動の認識の手段としては、各基本運動を認識するのに必要な特徴量を定義し、特徴量毎のルールを基本運動の数だけ定義した上記ルールベースと、機械学習などを用いた学習モデルを利用することが考えられる。
ルールベースの場合、基本運動の自由度が高くなるほど、各基本運動を認識するための特徴量が多くなり、結果として定義しなければならないルールが複雑になる。一方で、学習モデルを用いる場合には、特徴量を定義する必要がない。しかし、学習モデルから基本運動の認識結果が出力されるものの、スポーツなどにおける正確な判定基準と必ずしも合致するとは限らない。例えば、「宙返り」という出力が得られたとしても、学習時に利用するデータによっては、この出力結果が体操競技のルールブック上の宙返りの要件を確実に満たしていない場合がある。
そこで、本願発明では、一つの側面において、運動の性質に適した手法を用いることで、自由度が高い運動の認識精度を向上させることができる運動認識方法、運動認識プログラムおよび情報処理装置を提供することを目的とする。
第１の案では、運動認識方法は、コンピュータが、複数の基本運動を含む一連の運動を実施する被写体の各関節位置を含む骨格情報を時系列で取得する処理を実行する。運動認識方法は、コンピュータが、前記基本運動の種別により、前記基本運動の結果として定まる第一の特徴量を用いた第一の運動認識手法と、前記基本運動の過程の中で遷移する第二の特徴量を用いた第二の運動認識手法とのいずれを採用するかを決定する処理を実行する。運動認識方法は、コンピュータが、決定された前記第一の運動認識手法または前記第二の運動認識手法のいずれかにより、前記骨格情報を用いて前記基本運動の種別を決定し、決定された前記基本運動の種別を出力する処理を実行する。
一つの側面では、自由度が高い運動の認識精度を向上させることができる。
図１は、実施例１にかかる自動採点システムの全体構成例を示す図である。 図２は、実施例１にかかる認識装置を説明する図である。 図３は、実施例１にかかる認識処理の流れを示すフローチャートである。 図４は、実施例１にかかる学習装置の機能構成を示す機能ブロック図である。 図５は、距離画像を説明する図である。 図６は、骨格定義を説明する図である。 図７は、骨格データを説明する図である。 図８は、学習データの生成を説明する図である。 図９は、認識モデルの学習を説明する図である。 図１０は、実施例１にかかる認識装置の機能構成を示す機能ブロック図である。 図１１は、結果的特徴量用ルールを説明する図である。 図１２は、技認識ルールを説明する図である。 図１３は、特徴量を用いた基本運動の認識を説明する図である。 図１４は、過程的特徴量を用いた基本運動の認識を説明する図である。 図１５は、実施例１にかかる採点装置の機能構成を示す機能ブロック図である。 図１６は、学習処理の流れを示すフローチャートである。 図１７は、自動採点処理の流れを示すフローチャートである。 図１８は、過程的認識処理の流れを示すフローチャートである。 図１９は、過程的認識結果に対する結果的特徴量に基づく補正を説明する図である。 図２０は、ハードウェア構成例を説明する図である。
以下に、本発明にかかる運動認識方法、運動認識プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
［全体構成］
図１は、実施例１にかかる自動採点システムの全体構成例を示す図である。図１に示すように、このシステムは、３Ｄ（Three－Dimensional）レーザセンサ５、学習装置１０、認識装置５０、採点装置９０を有し、被写体である演技者１の３次元データを撮像し、骨格等を認識して正確な技の採点を行うシステムである。本実施例では、一例として、体操競技における演技者の骨格情報を認識する例で説明する。
なお、３Ｄレーザセンサ５は、演技者１の距離画像を撮像するセンサの一例であり、学習装置１０は、認識装置５０が利用する学習モデルの学習を実行する装置の一例である。認識装置５０は、距離画像に基づく、演技者１の３次元の骨格位置を示す骨格情報を用いて、演技の技などを自動認識する装置の一例であり、採点装置９０は、認識装置５０の認識結果を用いて演技者１の演技を自動採点する装置の一例である。
一般的に、体操競技における現在の採点方法は、複数の採点者によって目視で行われているが、技の高度化に伴い、採点者の目視では採点が困難な場合が増加している。近年では、３Ｄレーザセンサを使った、採点競技の自動採点システムや採点支援システムが知られている。例えば、これらのシステムにおいては、３Ｄレーザセンサにより選手の３次元データである距離画像を取得し、距離画像から選手の各関節の向きや各関節の角度などである骨格を認識する。そして、採点支援システムにおいては、骨格認識の結果を３Ｄモデルにより表示することで、採点者が演技者の細部の状況を確認するなどにより、より正しい採点を実施することを支援する。また、自動採点システムにおいては、骨格認識の結果から、演技した技などを認識し、採点ルールに照らして採点を行う。
ここで、演技した技の自動認識は、骨格認識の結果で得られる骨格情報を用いて、演技者１の一連の動きを支持状態の変化に基づき分節化された運動である基本運動を特定し、各分節間の基本運動の組み合わせにより、技の特定が行われる。
ところで、基本運動の認識をルールベース手法で行う場合、自由度の高い運動について時間的に遷移する身体部位同士の関係についての記述する必要がありルールが複雑になる。また、機械学習を用いることで複雑なルールを記述することなく認識を行うことができるが、競技の採点規則上の要件を満たすことを保証できないこともあり、演技全体での認識率は低下することがある。
そこで、実施例１では、認識装置５０により、分節化された基本運動を、過程を観測する必要のあるものと無いものに分類し、基本運動の過程の中で遷移する過程的特徴量を用いた認識と、区間内の基本運動の結果として定まる結果的特徴量を用いて認識を行い、それらの組み合わせにより基本運動を認識する。
図２は、実施例１にかかる認識装置５０を説明する図である。図２に示すように、基本運動は、全身の各関節の動きを複合的かつ連続的に評価する必要が高い基本運動Ａ（自由度が高い）と、全身の各関節の動きを複合的かつ連続的に評価する必要が低い基本運動Ｂ（自由度が小さい）とに大別される。基本運動Ａは、例えば、ジャンプ系の運動である。基本運動Ｂは、例えば、宙返り系の運動である。
ジャンプ系の基本運動Ａは、区間内のフレームにジャンプを行っているフレームが複数存在することが多く、１つのフレームからだけではどのような運動（動作）なのか判断することが難しい。このため、区間内の各フレームの過程の中で遷移する特徴量（過程的特徴量）を用いて、ジャンプ系の基本運動の詳細を判断することが好ましい。一方、宙返り系の基本運動Ｂは、区間内のフレームにおいて回転しているフレームが１つでも存在すれば、宙返り系の運動と判断することができる。このため、区間内のフレーム全体の一連の動きから結果的に定まる特徴量（結果的特徴量）を用いて、宙返り系の基本運動の詳細を判断することができる。
このようなことから、認識装置５０は、過程的特徴量を用いて深層学習された認識モデルと、結果的特徴量と基本運動名と対応付けたルールベースとを、運動の性質により切り替えることで、正確な運動認識を実行する。
図３は、実施例１にかかる認識処理の流れを示すフローチャートである。図３に示すように、認識装置５０は、時系列の骨格情報を取得し（Ｓ１）、演技中の種目の運動の性質を判定する（Ｓ２）。そして、認識装置５０は、あん馬などの回転無の種目の場合（Ｓ３：Ｎｏ）、分節区間内の過程的特徴量を抽出し（Ｓ４）、認識モデルによる基本運動認識を実行する（Ｓ５）。一方、認識装置５０は、平均台やゆかなどの回転有の種目の場合（Ｓ３：Ｙｅｓ）、分節区間内の結果的特徴量を抽出し（Ｓ６）、ルールベースによる基本運動認識を実行する（Ｓ７）。その後、認識装置５０は、認識された基本運動を用いて、演技者１が演技する技を認識する（Ｓ８）。
例えば、図２に示すように、認識装置５０は、ジャンプ系の基本運動については、認識モデルを用いた過程的認識により、基本運動名「前へ脚交差した前後開脚とび」と特定する。また、認識装置５０は、宙返り系の基本運動については、ルールベースを用いた結果的認識により、基本運動名「後方屈伸宙返り」と特定する。
このように、認識装置５０は、種々の運動について、運動の性質に適した認識手法を用いることで正確な技認識を実現する。
［機能構成］
次に、図１に示したシステムが有する各装置の機能構成につて説明する。なお、ここでは、学習装置１０、認識装置５０、採点装置９０のそれぞれについて説明する。
（学習装置１０の構成）
図４は、実施例１にかかる学習装置１０の機能構成を示す機能ブロック図である。図４に示すように、学習装置１０は、通信部１１、記憶部１２、制御部２０を有する。
通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、３Ｄレーザセンサ５により撮影された演技者１の距離画像を受信し、管理者端末などから各種データや指示を受信し、認識装置５０に学習済みの認識モデルを送信する。
記憶部１２は、データや制御部２０が実行するプログラムなどを記憶する記憶装置であり、例えばメモリやプロセッサなどである。この記憶部１２は、距離画像１３、骨格定義１４、骨格データ１５、認識モデル１６を記憶する。
距離画像１３は、３Ｄレーザセンサ５により撮像される演技者１の距離画像である。図５は、距離画像１３を説明する図である。図５に示すように、距離画像１３は、３Ｄレーザセンサ５から画素までの距離が含まれるデータであり、３Ｄレーザセンサ５からの距離が近いほど、濃い色で表示される。なお、距離画像１３は、演技者１の演技中に随時撮像される。
骨格定義１４は、骨格モデル上の各関節を特定するための定義情報である。ここで記憶される定義情報は、３Ｄレーザセンサによる３Ｄセンシングによって演技者ごとに測定してもよく、一般的な体系の骨格モデルを用いて定義してもよい。
図６は、骨格定義１４を説明する図である。図６に示すように、骨格定義１４は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を記憶する。例えば、図４に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例では、７番の右肩関節のＸ座標をＸ７、Ｙ座標をＹ７、Ｚ座標をＺ７と記載する場合がある。なお、例えば、Ｚ軸は、３Ｄレーザセンサ５から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向をと定義することができる。
骨格データ１５は、各距離画像を用いて生成される骨格に関する情報を含むデータである。具体的には、骨格データ１５は、距離画像を用いて取得された、骨格定義１４に定義される各関節の位置を含む。図７は、骨格データ１５を説明する図である。図７に示すように、骨格データ１５は、「フレーム、画像情報、骨格情報」が対応付けられる情報である。
ここで、「フレーム」は、３Ｄレーザセンサ５による撮像される各フレームを識別する識別子であり、「画像情報」は、関節などの位置が既知である距離画像のデータである。「骨格情報」は、骨格の３次元の位置情報であり、図６に示した１８個の各関節に対応する関節位置（３次元座標）である。図７の例では、距離画像である「画像データＡ１」には、ＨＥＡＤの座標「Ｘ３，Ｙ３，Ｚ３」などを含む１８個の関節の位置が既知であることを示す。なお、関節位置は、例えば、予め学習された学習モデルであって、距離画像から各関節位置を抽出する学習モデルなどを用いて抽出することもできる。
認識モデル１６は、時系列の骨格情報に基づき、演技者１が演技する基本運動を認識する学習モデルであり、後述する学習部２３によって学習されるニューラルネットワークなどを用いた学習モデルである。例えば、認識モデル１６は、演技者の骨格情報の時系列の変化を特徴量（過程的特徴量）として学習することで、複数ある基本運動のうち演技者１が演技する基本運動を推定する。
制御部２０は、学習装置１０全体を司る処理部であり、例えばプロセッサなどである。制御部２０は、取得部２１、学習データ生成部２２、学習部２３を有し、認識モデル１６の学習を実行する。なお、取得部２１、学習データ生成部２２、学習部２３は、プロセッサなどの電子回路の一例やプロセッサなどが有するプロセスの一例である。
取得部２１は、各種データを取得する処理部である。例えば、取得部２１は、３Ｄレーザセンサ５から距離画像を取得して記憶部１２に格納する。また、取得部２１は、管理者端末などから、骨格データを取得して記憶部１２に格納する。
学習データ生成部２２は、認識モデル１６の学習に利用する学習データを生成する処理部である。具体的には、学習データ生成部２２は、時系列の骨格情報に正解情報である基本運動の名称を対応付けた学習データを生成して、記憶部１２に格納し、学習部２３に出力する。
図８は、学習データの生成を説明する図である。図８に示すように、学習データ生成部２２は、既知である基本運動に該当するフレームにおける骨格データ１５の各骨格情報を参照し、関節間の向きを示す関節間ベクトルを算出する。例えば、学習データ生成部２２は、ｔｉｍｅ＝０のフレームの骨格情報（Ｊ０）からｔｉｍｅ＝ｔのフレームの骨格情報（Ｊｔ）のそれぞれについて、関節情報を式（１）に入力して、各フレームの関節間ベクトルを算出する。なお、式（１）におけるｘ、ｙ、ｚは座標を示し、ｉは関節の数を示し、ｅｉ，ｘはｉ番目の関節間ベクトルのｘ軸方向の大きさを示し、ｅｉ，ｙはｉ番目の関節間ベクトルのｙ軸方向の大きさを示し、ｅｉ，ｚはｉ番目の関節間ベクトルのｚ軸方向の大きさを示す。
Figure 0007409390000001
その後、学習データ生成部２２は、当該基本運動に関連する各フレームの関節間ベクトルを含む一連の関節間ベクトルと、既知である基本運動名（種別）とを対応付けた学習データを生成する。
なお、基本運動に関連するフレームの数は、１０フレームや３０フレームなど任意に設定することができ、回転がないジャンプ系の基本運動の特徴を表すことができるフレーム数が好ましい。また、図８では、説明を簡略化するために、骨格情報をＪ０などと記載したが、実際は、１８関節ごとにｘ、ｙ、ｚ値の座標（合計１８×３＝５４個）が設定されている。また、関節間ベクトルについても同様に、Ｅ０などと記載したが、関節番号０から１への各軸（ｘ、ｙ、ｚ軸）のベクトル、関節番号１から２への各軸のベクトルなどが含まれる。
学習部２３は、学習データ生成部２２により生成された学習データを用いて、認識モデル１６の学習を実行する処理部である。具体的には、学習部２３は、学習データを用いた教師有学習によって認識モデル１６のパラメータを最適化し、学習済みの認識モデル１６を記憶部１２に格納し、認識装置５０に送信する。なお、学習を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や復元誤差が閾値未満となった時点など、任意に設定することができる。
図９は、認識モデル１６の学習を説明する図である。図９に示すように、学習部２３は、ｔｉｍｅ＝３のフレームの骨格情報（Ｊ３）からＬ個の時系列の学習データを特定し、各関節間ベクトルを説明変数として取得し、Ｌ個の学習データを認識モデル１６に入力する。そして、学習部２３は、認識モデル１６の出力結果と目的変数「基本運動名」との誤差に基づく誤差逆伝搬法などにより、出力結果と目的変数とが一致するように認識モデル１６を学習する。
例えば、学習部２３は、フレーム３からフレームＮまでの３０個の各関節間ベクトルを説明変数として取得するとともに、これらのフレーム間に対応付けられる基本運動名「開脚Ａ飛び」を目的変数として取得する。そして、学習部２３は、取得した３０個の各関節間ベクトルを１つの入力データとして認識モデル１６に入力し、認識モデル１６の出力結果として、予め指定する８９個の各基本運動に該当する確率（尤度）を取得する。
その後、学習部２３は、各基本運動に該当する確率のうち目的変数である「開脚Ａ飛び」が最も確率が高くなるように、認識モデル１６を学習する。このようにして、学習部２３は、基本運動を特徴づける関節間ベクトルの変動を特徴量として、認識モデル１６を学習する。
なお、学習部２３は、時系列の骨格情報として例えば３０フレームを１つの入力データとして認識モデル１６に入力することから、パディングなどにより学習データの整形を実行することもできる。例えば、ｔｉｍｅ＝０のフレーム０からｔｉｍｅ＝ｔのフレームｔまでのｔ個の骨格情報が存在するオリジナルデータから、１つずつずらして所定数ずつを学習データとして取得する場合、各学習データの数を合わせるために、先頭フレームのデータのデータをコピーするとともに、最終フレームのデータをコピーして学習データの数を増やす。
（認識装置５０の構成）
図１０は、実施例１にかかる認識装置５０の機能構成を示す機能ブロック図である。図１０に示すように、認識装置５０は、通信部５１、記憶部５２、制御部６０を有する。
通信部５１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部５１は、３Ｄレーザセンサ５により撮影された演技者１の距離画像を受信し、学習装置１０から学習済みの認識モデルを受信し、各種認識結果を採点装置に送信する。
記憶部５２は、データや制御部６０が実行するプログラムなどを記憶する記憶装置であり、例えばメモリやプロセッサなどである。この記憶部５２は、距離画像５３、骨格定義５４、骨格データ５５、結果的特徴量用ルール５６、学習済みの認識モデル５７、技認識ルール５８を記憶する。
距離画像５３は、３Ｄレーザセンサ５により撮像される演技者１の距離画像であり、例えば採点対象の演技者の演技を撮像した距離画像である。骨格定義５４は、骨格モデル上の各関節を特定するための定義情報である。なお、骨格定義５４は、図６と同様なので、詳細な説明は省略する。
骨格データ５５は、後述するデータ生成部６２によりフレームごとに生成される骨格に関する情報を含むデータである。具体的には、骨格データ５５は、図５と同様、「フレーム、画像情報、骨格情報」が対応付けられる情報である。
結果的特徴量用ルール５６は、自由度が高い宙返り系の基本運動を識別するときに参照される情報である。具体的には、結果的特徴量用ルール５６は、結果的特徴量と基本運動名とを対応付けた情報である。ここで、結果的特徴量としては、例えば累積ひねり角度、最大開脚角度、左足と肩の高さの差の組み合わせを用いることができる。
図１１は、結果的特徴量用ルール５６を説明する図である。図１１に示すように、結果的特徴量用ルール５６は、「結果的特徴量、基本運動名」を対応付けた情報である。「結果的特徴量」は、分節区間内の基本運動の結果として定まる特徴量であり、「基本運動名」は、結果的特徴量が取得された基本運動の種別（名称）である。図１１の例では、「累積ひねり角度がＸ度以上、最大開脚角度がＢ度以上、左足と肩の高さの差がＡｃｍ以上」の場合は、基本運動ＡＡと判定されることを示す。
学習済みの認識モデル５７は、学習装置１０により学習された認識モデルである。この学習済みの認識モデル５７は、時系列の骨格情報に基づき、演技者１が演技した基本運動を認識する学習モデルである。
技認識ルール５８は、演技者１が演技した技を認識するときに参照される情報である。具体的には、技認識ルール５８は、技の名称と、技を特定するために予め設定された情報とを対応付けた情報である。図１２は、技認識ルール５８を説明する図である。図１２に示すように、技認識ルール５８は、「基本運動の組み合わせ、技名」を対応付けて記憶する。図１２の例では、「基本運動Ａ、基本運動Ｂ、基本運動Ｃ」が連続して実行された場合は、「技ＸＸ」と認識される例を示している。
制御部６０は、認識装置５０全体を司る処理部であり、例えばプロセッサなどである。制御部６０は、取得部６１、データ生成部６２、推定部６３、技認識部６７を有し、自由度の高い基本運動の認識や基本運動を組み合わせた技の認識を実行する。なお、取得部６１、データ生成部６２、推定部６３、技認識部６７は、プロセッサなどの電子回路の一例やプロセッサなどが有するプロセスの一例である。
取得部６１は、各種データや各種指示を取得する処理部である。例えば、取得部６１は、３Ｄレーザセンサ５による計測結果（３次元点群データ）に基づく距離画像を取得して記憶部５２に格納する。また、取得部６１は、学習装置１０から、学習済みの認識モデル５７を取得して記憶部１２に格納する。
データ生成部６２は、各距離画像から、１８個の関節の位置を含む骨格情報を生成する処理部である。例えば、データ生成部６２は、距離画像から骨格情報を認識する学習済みのモデルを用いて、１８個の関節位置を特定した骨格情報を生成する。そして、データ生成部６２は、距離画像に対応するフレームの番号と、距離画像と、骨格情報とを対応付けた骨格データ５５を記憶部５２に格納する。また、学習装置１０における骨格データ１５における骨格情報も同様の手法により生成することができる。
推定部６３は、判定部６４、結果的認識部６５、過程的認識部６６を有し、過程的特徴量を用いて深層学習された認識モデルと、結果的特徴量と基本運動名と対応付けたルールベースとを、運動の性質により切り替えることで、基本運動の正確な認識を実行する処理部である。図１３は、特徴量を用いた基本運動の認識を説明する図である。ここでは、ｔｉｍｅ＝０のフレームからｔｉｍｅ＝ｔのフレームまでのフレーム間を利用する例を説明する。
図１３に示すように、推定部６３は、過程的認識により基本運動の認識を行う場合、ｔｉｍｅ＝０のフレームからｔｉｍｅ＝ｔのフレームまでの各過程的特徴量を入力データとして、学習済みの認識モデル５７を用いた基本運動の認識を実行する。一方、推定部６３は、結果的認識により基本運動の認識を行う場合、ｔｉｍｅ＝０のフレームからｔｉｍｅ＝ｔのフレームまでの各骨格情報から結果的特徴量を生成し、結果的特徴量用ルール５６にしたがって基本運動の認識を実行する。
判定部６４は、運動の性質に基づき、過程的認識か結果的認識のいずれを実行するかを判定する処理部である。認識対象の種目が平均台またはゆかの場合を例にとると、判定部６４は宙返り方向の回転を伴う運動に対して結果的認識を実行すると判定し、それ以外の運動に対しては過程的認識を実行すると判定する。
また、判定部６４は、分節点の判定を実行する。具体的には、判定部６４は、演技（動作）の区切りとなる姿勢を検出した場合、当該姿勢を分節点と判定し、分節点と分節点との間の分節区間を認識対象として、結果的認識部６５や過程的認識部６６に出力する。例えば、判定部６４は、骨格情報を参照し、両足が所定位置（地面、ゆか、平均台の台面など）に付いている姿勢、予め指定した姿勢、運動器具への支持姿勢（例えば、あん馬の馬背やポメルに手首を支持している姿勢）を検出した場合、当該姿勢を分節点と判定する。
結果的認識部６５は、分節区間内のフレーム全体の一連の動きから結果的に定まる結果的特徴量を用いて、分節区間で演技された基本運動を認識する処理部である。具体的には、結果的認識部６５は、判定部６４により通知された分節点と分節点との間の分節区間に該当するフレームの骨格情報を用いて、結果的特徴量を算出する。そして、結果的認識部６５は、結果的特徴量用ルール５６を参照し、算出した結果的特徴量に対応付けられる基本運動名を取得する。その後、結果的認識部６５は、認識された基本運動名、分節区間、分節間の骨格情報などを技認識部６７に出力する。
例えば、結果的認識部６５は、結果的特徴量として、累積ひねり角度、最大開脚角度、左足と肩の高さの差を算出する。具体的には、結果的認識部６５は、一般的な手法を用いて単位時間のひねり角度（ΔＴｔ）を算出し、ΣｔΔＴｔにより累積ひねり角度を算出する。また、結果的認識部６５は、式（２）を用いて、最大開脚角度を算出する。なお、式（２）におけるｊ１１は、関節番号１１の骨格情報を示し、ｊ１０は、関節番号１０の骨格情報を示し、ｊ１４は、関節番号１４の骨格情報を示し、ｊ１５は、関節番号１５の骨格情報を示す。また、結果的認識部６５は、ｍａｘ（ｚ１３－ｚ４）により、左足と肩の高さの差を算出する。ここで、ｚ１３は、関節番号１３のｚ軸の座標であり、ｚ４は、関節番号４のｚ軸の座標である。なお、関節番号は、図６に示した骨格定義上の番号である。
Figure 0007409390000002
なお、最大開脚角度が１３５度未満である場合は、開脚不足と認識される。また、左足と肩の高さの差が０未満である場合、左足の高さ不足と認識される。これらの場合、基本運動を特定する特徴量としては不十分と判定される。
また、これらの特徴量以外にも、例えばひねり回数や、伸身、屈伸、かかえ込みなどの宙返り姿勢などを用いることもできる。なお、ひねり回数は、「（［累積ひねり角度＋３０）／１８０］／２（［ｘ］はｘ以下の最大の整数）」で算出することができる。
図１０に戻り、過程的認識部６６は、分節区間内の各フレームの過程の中で遷移する過程的結果的特徴量を用いて、分節区間で演技された基本運動を認識する処理部である。具体的には、過程的認識部６６は、判定部６４により通知された分節点と分節点との間の分節区間に該当する各フレームの骨格情報に対して過程的特徴量を算出する。そして、過程的認識部６６は、分節区間内の各過程的特徴量を学習済みの認識モデル５７に入力し、学習済みの認識モデル５７の出力結果に基づいて、基本運動を認識する。そして、過程的認識部６６は、認識された基本運動名、分節区間、分節間の骨格情報などを技認識部６７に出力する。
図１４は、過程的特徴量を用いた基本運動の認識を説明する図である。図１４に示すように、過程的認識部６６は、データ生成部６２により生成された骨格情報から、判定対象の分節区間に該当するｔｉｍｅ＝３のフレームの骨格情報（Ｊ３）から生成された過程的特徴量（Ｅ３）を含む各過程的特徴量を取得して、学習済みの認識モデル５７に入力する。
その後、過程的認識部６６は、学習済みの認識モデル５７の出力結果として、８９個の基本運動名の確率を取得する。そして、過程的認識部６６は、８９個の基本運動名の確率のうち最も確率が高い「開脚Ａ飛び」を取得する。そして、過程的認識部６６は、「開脚Ａ飛び」を基本運動と認識する。
技認識部６７は、推定部６３による基本運動の認識結果を用いて、演技者１が演技した技を認識する処理部である。具体的には、技認識部６７は、種目が平均台やゆかの場合、各分節区間の基本運動の認識結果を結果的認識部６５から取得する。そして、技認識部６７は、認識結果と技認識ルール５８とを比較し、技名を特定して、採点装置９０に出力する。また、技認識部６７は、種目が平均台やゆか以外の場合、各分節区間の基本運動の認識結果を過程的認識部６６から取得する。そして、技認識部６７は、認識結果と技認識ルール５８とを比較し、技名を特定する。例えば、技認識部６７は、各分節区間の基本運動が「基本運動Ａ、基本運動Ｂ、基本運動Ｃ」と認識された場合、「技ＸＸ」と認識する。
（採点装置９０の構成）
図１５は、実施例１にかかる採点装置９０の機能構成を示す機能ブロック図である。図１８に示すように、採点装置９０は、通信部９１、記憶部９２、制御部９４を有する。通信部９１は、認識装置５０から技の認識結果、演技者の骨格情報（３次元の骨格位置情報）などを受信する。
記憶部９２は、データや制御部９４が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部９２は、技情報９３を記憶する。技情報９３は、技の名前、難易度、得点、各関節の位置、関節の角度、採点ルールなどを対応付けた情報である。また、技情報９３には、採点に利用される他の様々な情報が含まれる。
制御部９４は、採点装置９０全体を司る処理部であり、例えばプロセッサなどである。この制御部９４は、採点部９５と出力制御部９６とを有し、認識装置５０から入力された情報にしたがって、演技者の採点などを行う。
採点部９５は、演技者の技の採点や演技者の演技の採点を実行する処理部である。具体的には、採点部９５は、技情報９３を参照し、認識装置５０から随時送信される技の認識結果に基づき、複数の技を組み合わせた演技を特定する。そして、採点部９５は、演技者の骨格情報、特定した演技、入力された技の認識結果などと、技情報９３とを比較して、演技者１が演技した技や演技の採点を実行する。例えば、採点部９５は、ＤスコアやＥスコアを算出する。そして、採点部９５は、採点結果を出力制御部９６に出力する。なお、採点部９５は、広く利用されている採点ルールを用いた採点を実行することもできる。
出力制御部９６は、採点部９５の採点結果などをディスプレイ等に表示する処理部である。例えば、出力制御部９６は、認識装置５０から、各３Ｄレーザセンサによる撮像された距離画像、３次元の骨格情報、演技者１が演技中の各画像データ、採点結果などの各種情報を取得して、所定の画面に表示する。
［学習処理］
図１６は、学習処理の流れを示すフローチャートである。図１６に示すように、学習装置１０の学習データ生成部２２は、各骨格データ１５に含まれる各骨格情報を取得し（Ｓ１０１）、基本運動の正解情報を生成するアノテーションを実行する（Ｓ１０２）。
続いて、学習データ生成部２２は、基本運動が行われる各分節区間のフレームに分割したり、パディングを実行したりする学習データの整形を実行する（Ｓ１０３）。そして、学習データ生成部２２は、学習データを訓練に使用する学習用データ（訓練データ）と評価に利用する評価用データとに分割する（Ｓ１０４）。
その後、学習データ生成部２２は、器具座標軸毎の反転、器具の沿った平行移動、ランダムノイズの追加などを含む学習データの拡張を実行する（Ｓ１０５）。例えば、学習データ生成部２２は、左右の向きが違うデータを同じ向きに変更して学習データを増加させたりする。
そして、学習データ生成部２２は、各分節区間に該当するフレームの骨格情報を用いて、過程的特徴量を抽出する（Ｓ１０６）。続いて、学習データ生成部２２は、正規化や標準化などを含むスケール調整を実行する（Ｓ１０７）。
そして、学習部２３は、認識モデル１６のアルゴリズム、ネットワーク、ハイパーパラメータ等を決定し、学習データを用いて、認識モデル１６の学習を実行する（Ｓ１０８）。このとき、学習部２３は、１エポックごとに、評価用データを用いて、学習中の認識モデル１６の学習精度（評価誤差）を評価する。
その後、学習部２３は、学習回数が閾値を越える、評価誤差が一定値以下になるなどの所定条件を満たすと、学習を終了する（Ｓ１０９）。そして、学習部２３は、評価誤差が最小になったときの認識モデル１６を選択する（Ｓ１１０）。
［自動採点処理］
図１７は、自動採点処理の流れを示すフローチャートである。図１７に示すように、認識装置５０は、管理者等により予め指定された採点対象の種目を読み込み（Ｓ２０１）、処理対象のフレーム数を、フレーム番号に１を加算した値により更新する（Ｓ２０２）。
続いて、認識装置５０の推定部６３は、データ生成部６２により生成された各フレームの骨格データを読み込み（Ｓ２０３）、演技者１の体躯角度や向き、左右足高さなどを含む体躯の位置や姿勢を算出し、分節点を検出する（Ｓ２０４）。
そして、認識装置５０の推定部６３は、分節点が検出されると（Ｓ２０５：Ｙｅｓ）、種目情報に基づき運動性質を判定する（Ｓ２０６）。平均台を例にとると、認識装置５０の推定部６３は、回転無の運動の場合（Ｓ２０６：Ｎｏ）、分節区間のフレームについて過程的認識処理による基本運動の認識を実行する（Ｓ２０７）。一方、推定部６３は、回転ありの運動の場合（Ｓ２０６：Ｙｅｓ）、分節区間のフレームの骨格情報を用いて結果的特徴量を抽出し（Ｓ２０８）、結果的認識処理により基本運動の認識を実行する（Ｓ２０９）。例えば、推定部６３は、Ｓ２０６において、種目が平均台の場合には運動性質判定に、宙返り方向の回転量を使う。推定部６３は、他の種目においては、他の特徴量から運動資質を判定することで、回転を判断する。
その後、技認識部６７による技認識や採点装置９０による技等の難易度判定が実行される（Ｓ２１０）。そして、採点装置９０は、演技実施点を評価してＤスコア等を算出する（Ｓ２１１）。その後、演技が継続している間（Ｓ２１２：Ｎｏ）、Ｓ２０２以降が繰り返される。
一方、演技が終了すると（Ｓ２１２：Ｙｅｓ）、採点装置９０は、採点に利用した各種フラグやカウントのリセットを実行し（Ｓ２１３）、演技全体から技難度の再判定や集計を実行する（Ｓ２１４）。
その後、採点装置９０は、評価結果などを記憶部９２に格納したり、ディスプレイなどの表示装置に表示したりする（Ｓ２１５）。なお、Ｓ２０５において、分節点が検出されない場合（Ｓ２０５：Ｎｏ）、Ｓ２１２以降が実行される。
（過程的認識処理）
図１８は、過程的認識処理の流れを示すフローチャートである。なお、この処理は、図１７のＳ２０７で実行される。
図１８に示すように、認識装置５０のデータ生成部６２は、学習時と同様、取得された全フレームを分節区間ごとに分割（分類）したり、パディングを実行したりする認識対象のデータ整形を実行する（Ｓ３０１）。
続いて、データ生成部６２は、分節区間の各フレームの骨格情報を用いて過程的特徴量を抽出（算出）し（Ｓ３０２）、認識対象のフレームに対して正規化や標準化などを含むスケール調整を実行する（Ｓ３０３）。
そして、認識装置５０の推定部６３は、時系列の骨格情報から生成された過程的特徴量を学習済みの認識モデル５７に入力し（Ｓ３０４）、学習済みの認識モデル５７から認識結果を取得する（Ｓ３０５）。その後、推定部６３は、認識結果に基づき、基本運動の認識を実行する（Ｓ３０６）。
［効果］
上述したように、認識装置５０は、分節化された全身の骨格情報の時系列情報を、例えば回転の有無などの簡便な特徴量を用いた分類を行う。認識装置５０は、分類結果に基づき、回転が無ければ過程的認識、回転があれば結果的認識を行い、それらの認識結果から最終的な基本運動の認識結果を出力することができる。つまり、認識装置５０は、分節化された基本運動の種類を大まかに分類し、大分類ごとに適した認識手法による認識を行うことができる。
したがって、認識装置５０は、自由度が低い運動については、ルールベースの基本運動認識を実行し、自由度が高い運動の場合は、学習モデルによる基本運動認識を実行する。この結果、認識装置５０は、運動の性質に適した手法を用いることで、基本運動の数だけルールを作成することを抑制し、自由度の低い種目に対する機械学習による認識処理を抑制し、自由度が高い運動の認識精度を向上させることができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
［補正］
例えば、実施例１では、体操競技のジャンプ系の種目の場合、過程的認識処理を用いた基本運動の認識が実行される例を説明したが、これに限定されるものではない。例えば、ジャンプ系の種目であっても、「輪とび」などのように、採点規則に認定の基準が明記される特定の技の場合は、結果的特徴量により認識結果を補正することで、認識精度の信頼性を向上させることができる。
図１９は、過程的認識結果に対する結果的特徴量に基づく補正を説明する図である。図１９の数値は、基本運動に対応する技の採点規則上の技番号である。類似の基本運動が行、満たすべき要件を列に対応する。ここでは、過程的認識結果を結果的特徴量による判定結果で補正し、最終的な基本運動認識結果を求める例を説明する。
例えば、過程的認識結果が「２．５０５」となり、基本運動として「前へ脚交差した前後開脚とびから輪」が認識されたとする（Ｓ２０）。このとき、認識装置５０は、認識された基本運動が予め定めた「輪とび」系に該当することから、同じ分節区間内の骨格情報を用いて、結果的特徴量を算出する。そして、認識装置５０は、結果的特徴量に含まれる「左足と肩の高さの差」に基づき、「前へ脚交差した前後開脚とびから輪」の認識材料である「左足の高さ」が不足していることを検出する（Ｓ２１）。
そして、認識装置５０は、結果的特徴量の判定で満たすべき要件を満たさないものについて認識結果を補正する（Ｓ２２）。つまり、認識装置５０は、結果的特徴量用ルール５６を参照し、算出した結果的特徴量を満たす基本運動を「前へ脚交差した前後開脚とび（２．３０５）」と判定する（Ｓ２３）。このようにして、認識装置５０は、過程的認識結果を結果的特徴量により認識結果を補正することで、認識精度の信頼性を向上させることができる。
［適用例］
上記実施例では、体操競技を例にして説明したが、これに限定されるものではなく、選手が一連の技を行って審判が採点する他の競技にも適用することができる。他の競技の一例としては、フィギュアスケート、新体操、チアリーディング、水泳の飛び込み、空手の型、モーグルのエアーなどがある。また、上記実施例では、１８関節のいずれかの関節位置や関節間の位置などの推定にも適用することができる。また、体操に限らず、ジャンプ系と宙返り系（回転系）の両方の技があるフィギュアスケート、新体操、チアリーディングなどは、実施例１と同様、回転動作の有無により認識手法を切り替えることができる。また、リハビリなどの場合は、階段などの昇降動作の有無や歩行途中の屈伸動作の有無などにより認識手法を切り替えることができる。
［骨格情報］
また、上記実施例では、１８個の各関節の位置を用いる学習や認識を行う例を説明したが、これに限定されるものではなく、１個以上の関節を指定して学習等を実行することもできる。また、上記実施例では、骨格情報の一例として各関節の位置を例示して説明したが、これに限定されるものではなく、各関節の角度、手足の向き、顔の向きなどを採用することができる。
［数値等］
上記実施例で用いた数値などがあくまで一例であり、実施例を限定するものではなく、任意に設定変更することができる。また、フレームの数や基本運動の正解情報（ラベル）の数等も一例であり、任意に設定変更することができる。また、モデルには、ニューラルネットワークに限らず、様々な機械学習や深層学習を用いることができる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、各３Ｄレーザセンサは、各装置に内蔵されていてもよく、各装置の外部装置として通信等で接続されていてもよい。
例えば、基本運動の認識と技の認識は、別々の装置で実装することもできる。また、学習装置１０、認識装置５０、採点装置９０は、任意に組み合わせた装置で実現することもできる。なお、取得部６１は、取得部の一例であり、推定部６３は、第一決定部と第二決定部の一例であり、技認識部６７は、出力部の一例である。
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
次に、学習装置１０、認識装置５０、採点装置９０などのコンピュータのハードウェア構成について説明する。なお、各装置は同様の構成を有するので、ここでは、コンピュータ１００として説明し、具体例は認識装置５０を例示する。
図２０は、ハードウェア構成例を説明する図である。図２０に示すように、コンピュータ１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図２０に示した各部は、バス等で相互に接続される。
通信装置１００ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１００ｂは、図１０等に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１００ｄは、図１０に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図１０等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、認識装置５０が有する各処理部と同様の機能を実行する。具体的には、認識装置５０を例にすると、プロセッサ１００ｄは、取得部６１、データ生成部６２、推定部６３、技認識部６７等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、取得部６１、データ生成部６２、推定部６３、技認識部６７等と同様の処理を実行するプロセスを実行する。
このようにコンピュータ１００は、プログラムを読み出して実行することで認識方法を実行する情報処理装置として動作する。また、コンピュータ１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、コンピュータ１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
１０ 学習装置
１１ 通信部
１２ 記憶部
１３ 距離画像
１４ 骨格定義
１５ 骨格データ
１６ 認識モデル
２０ 制御部
２１ 取得部
２２ 学習データ生成部
２３ 学習部
５０ 認識装置
５１ 通信部
５２ 記憶部
５３ 距離画像
５４ 骨格定義
５５ 骨格データ
５６ 結果的特徴量用ルール
５７ 学習済みの認識モデル
５８ 技認識ルール
６０ 制御部
６１ 取得部
６２ データ生成部
６３ 推定部
６４ 判定部
６５ 結果的認識部
６６ 過程的認識部
６７ 技認識部

Claims (9)

  1. コンピュータが、
    複数の基本運動を含む一連の運動を実施する被写体の各関節位置を含む骨格情報を時系列で取得し、
    取得した時系列の骨格情報を基にして、前記被写体により実施される前記基本運動が宙返り方向の回転運動を伴う第１の運動の場合、前記基本運動の結果として定まる第一の特徴量を用いた第一の運動認識手法であって、分節点の間の骨格情報に基づく第一の特徴量と基本運動とを対応付けたルールにしたがって基本運動を認識する前記第一の運動認識手法を採用し、前記被写体により実施される前記基本運動が宙返り方向の回転運動を伴わない第２の運動である場合、前記基本運動の過程の中で遷移する第二の特徴量を用いた第二の運動認識手法であって、分節点の間の骨格情報に基づく前記第二の特徴量と基本運動との関係を用いて事前に訓練された学習モデルを用いて基本運動を認識する前記第二の運動認識手法を採用し、
    採用された前記第一の運動認識手法または前記第二の運動認識手法のいずれかにより、前記骨格情報を用いて前記一連の運動に含まれる前記複数の基本運動それぞれを認識し、
    認識結果を出力する
    処理を実行することを特徴とする運動認識方法。
  2. 前記骨格情報に基づく前記一連の運動を複数の区間に分節化することで、前記複数の基本運動を特定する処理を前記コンピュータにさらに実行させ、
    前記採用する処理は、前記複数の区間それぞれについて、前記第一の運動認識手法と前記第二の運動認識手法とのいずれを採用し、
    前記認識する処理は、採用された前記第一の運動認識手法または前記第二の運動認識手法のいずれかにより、前記複数の区間それぞれの骨格情報を用いて、各区間内の基本運動を認識し、
    前記出力する処理は、前記各区間の認識結果を出力することを特徴とする請求項１に記載の運動認識方法。
  3. 前記認識する処理は、前記基本運動に属する区間内の骨格情報を用いて算出された、前記基本運動の種別に対して一意な前記第一の特徴量と前記基本運動の種別とを対応付けた対応付けルールにしたがって、前記各区間内の基本運動を認識することを特徴とする請求項２に記載の運動認識方法。
  4. 前記認識する処理は、前記基本運動に属する区間内の骨格情報を用いて前記第二の特徴量として算出された各関節の向きを示す関節ベクトルを説明変数、前記基本運動の種別を目的変数とする学習データを用いて学習された学習モデルに、前記各区間に対応する各関節ベクトルを入力して得られる結果に基づき、前記各区間内の基本運動を認識することを特徴とする請求項２に記載の運動認識方法。
  5. 前記認識する処理は、前記第二の運動認識手法により特定の基本運動と認識された場合、前記第一の特徴量を算出し、前記第一の特徴量を用いた前記第一の運動認識手法により、前記第二の運動認識手法の認識結果を補正することを特徴とする請求項２に記載の運動認識方法。
  6. 前記取得する処理は、複数の技を含む体操の演技に関して、演技者の各関節位置を含む骨格情報を時系列で取得し、
    前記分節化する処理は、地面への着地または体操器具の支持の有無により、前記体操の演技を前記複数の区間に分節し、
    前記採用する処理は、前記複数の区間それぞれについて、前記体操の演技が回転を行う技を含む種目か否かにより、前記第一の運動認識手法と前記第二の運動認識手法とのいずれを採用し、
    前記認識する処理は、採用された前記第一の運動認識手法または前記第二の運動認識手法のいずれかにより、各区間内の基本運動を認識することを特徴とする請求項２に記載の運動認識方法。
  7. 前記出力する処理は、前記各区間の基本運動の種別の組み合わせにより、前記一連の運動における技それぞれを識別して出力することを特徴とする請求項６に記載の運動認識方法。
  8. コンピュータに、
    複数の基本運動を含む一連の運動を実施する被写体の各関節位置を含む骨格情報を時系列で取得し、
    取得した時系列の骨格情報を基にして、前記被写体により実施される前記基本運動が宙返り方向の回転運動を伴う第１の運動の場合、前記基本運動の結果として定まる第一の特徴量を用いた第一の運動認識手法であって、分節点の間の骨格情報に基づく第一の特徴量と基本運動とを対応付けたルールにしたがって基本運動を認識する前記第一の運動認識手法を採用し、前記被写体により実施される前記基本運動が宙返り方向の回転運動を伴わない第２の運動である場合、前記基本運動の過程の中で遷移する第二の特徴量を用いた第二の運動認識手法であって、分節点の間の骨格情報に基づく前記第二の特徴量と基本運動との関係を用いて事前に訓練された学習モデルを用いて基本運動を認識する前記第二の運動認識手法を採用し、
    採用された前記第一の運動認識手法または前記第二の運動認識手法のいずれかにより、前記骨格情報を用いて前記一連の運動に含まれる前記複数の基本運動それぞれを認識し、
    認識結果を出力する
    処理を実行させることを特徴とする運動認識プログラム。
  9. 複数の基本運動を含む一連の運動を実施する被写体の各関節位置を含む骨格情報を時系列で取得し、
    取得した時系列の骨格情報を基にして、前記被写体により実施される前記基本運動が宙返り方向の回転運動を伴う第１の運動の場合、前記基本運動の結果として定まる第一の特徴量を用いた第一の運動認識手法であって、分節点の間の骨格情報に基づく第一の特徴量と基本運動とを対応付けたルールにしたがって基本運動を認識する前記第一の運動認識手法を採用し、前記被写体により実施される前記基本運動が宙返り方向の回転運動を伴わない第２の運動である場合、前記基本運動の過程の中で遷移する第二の特徴量を用いた第二の運動認識手法であって、分節点の間の骨格情報に基づく前記第二の特徴量と基本運動との関係を用いて事前に訓練された学習モデルを用いて基本運動を認識する前記第二の運動認識手法を採用し、
    採用された前記第一の運動認識手法または前記第二の運動認識手法のいずれかにより、前記骨格情報を用いて前記一連の運動に含まれる前記複数の基本運動それぞれを認識し、
    認識結果を出力する、
    制御部を有することを特徴とする情報処理装置。
JP2021550899A 2019-10-03 2019-10-03 運動認識方法、運動認識プログラムおよび情報処理装置 Active JP7409390B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039193 WO2021064960A1 (ja) 2019-10-03 2019-10-03 運動認識方法、運動認識プログラムおよび情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2021064960A1 JPWO2021064960A1 (ja) 2021-04-08
JP7409390B2 true JP7409390B2 (ja) 2024-01-09

Family

ID=75337969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021550899A Active JP7409390B2 (ja) 2019-10-03 2019-10-03 運動認識方法、運動認識プログラムおよび情報処理装置

Country Status (5)

Country Link
US (1) US20220222975A1 (ja)
EP (1) EP4040386A4 (ja)
JP (1) JP7409390B2 (ja)
CN (1) CN114467113A (ja)
WO (1) WO2021064960A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934881B (zh) * 2017-12-19 2022-02-18 华为技术有限公司 图像编码方法、动作识别的方法及计算机设备
WO2022244135A1 (ja) * 2021-05-19 2022-11-24 日本電信電話株式会社 学習装置、推定装置、学習モデルデータ生成方法、推定方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116495A1 (ja) 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018069981A1 (ja) 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116495A1 (ja) 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム

Also Published As

Publication number Publication date
JPWO2021064960A1 (ja) 2021-04-08
CN114467113A (zh) 2022-05-10
EP4040386A4 (en) 2022-10-05
WO2021064960A1 (ja) 2021-04-08
US20220222975A1 (en) 2022-07-14
EP4040386A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
JP6733738B2 (ja) 運動認識装置、運動認識プログラムおよび運動認識方法
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US11763603B2 (en) Physical activity quantification and monitoring
JP7367764B2 (ja) 骨格認識方法、骨格認識プログラムおよび情報処理装置
CN110705390A (zh) 基于lstm的形体姿态识别方法、装置及存储介质
JP6943294B2 (ja) 技認識プログラム、技認識方法および技認識システム
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
JP7014304B2 (ja) 認識方法、認識プログラム、認識装置および学習方法
US11995845B2 (en) Evaluation method, storage medium, and information processing apparatus
WO2016021152A1 (ja) 姿勢推定方法および姿勢推定装置
Pai et al. Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine.
JP7272470B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
WO2022208859A1 (ja) 技認識方法、技認識装置および体操採点支援システム
JP2023178888A (ja) 判定装置、判定方法、及びプロググラム
JP2023008679A (ja) 情報提供方法、情報提供プログラム及び採点支援システム
JP2020087483A (ja) データ補正装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7409390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150