JP2024508782A - マーカレス運動解析を改善するための方法 - Google Patents
マーカレス運動解析を改善するための方法 Download PDFInfo
- Publication number
- JP2024508782A JP2024508782A JP2023550167A JP2023550167A JP2024508782A JP 2024508782 A JP2024508782 A JP 2024508782A JP 2023550167 A JP2023550167 A JP 2023550167A JP 2023550167 A JP2023550167 A JP 2023550167A JP 2024508782 A JP2024508782 A JP 2024508782A
- Authority
- JP
- Japan
- Prior art keywords
- data
- axis
- segment
- angular
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000004458 analytical method Methods 0.000 title claims abstract description 50
- 238000005259 measurement Methods 0.000 claims abstract description 46
- 230000037147 athletic performance Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 239000003550 marker Substances 0.000 description 9
- 210000001624 hip Anatomy 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 208000016593 Knee injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
マーカレス運動解析を改善するためのシステム、方法及びコンピュータ可読記憶装置を開示する。一つの方法は、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された3D角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された3D角運動学データを表示用に提供することと、を備える。
Description
本願は、PCT国際特許出願として2022年2月17日に出願されるとともに2021年2月17日に出願された米国仮特許出願第63/150,511号(マーカレス運動解析を改善するための方法(Method for Improving Markerless Motion Analyses))の優先権を主張するものであり、当該出願の主題は、参照により本願に組み込まれる。
本発明は、一般に、マーカレス運動解析を使用して身体動作トレーニング及び指導を提供するための方法、システム及びコンピュータ可読媒体に関する。更に詳しくは、本発明は、運動トレーニング及び指導のための改善されたマーカレス運動解析を提供するためのコンピュータ実行システムに関する。
スポーツ、例えば、ゴルフクラブ又はバットのスイングのための適切な動作力学を教えるために、多くの異なる技術が実施されてきた。現在、例えば、プロゴルファーのようなインストラクターは、ゴルフクラブの適切な振り方を教えるために、画像及び/又はビデオ分析システムを使用する。典型的なビデオ又は画像分析システムを使用すると、ゴルフスイングが、カメラ及び/又はビデオ録画装置のような画像装置によってキャプチャされる。インストラクターは、スイングに関するフィードバックを提供しながらゴルフスイングを説明するために、記録された画像及び/又はビデオ情報を再生する。指導フィードバックは、スイングに関連する問題に関するコメント、スイングの改善に関する賛辞、スイングの修正に関する提案及び/又はスイングに関連する他の任意の口頭による指導コメントであってもよい。このように個人のゴルフスイングを視覚化することは、ゴルフスイング全体を改善するために問題を特定するとともにそれらの問題を修正するための貴重なツールとして認識されている。
画像及び/又はビデオ分析システムがプロゴルファー、野球選手等のようなスポーツ専門家によって広く使用されているが、これらのシステムは、特定の欠点を有する。一つの特定の欠点は、これらのシステムが人間のポーズ及び空間的ランドマークを識別する必要があるという事実に関する。例えば、専門家は、人間のポーズ及び空間的ランドマークを特定するために画像及び/又はビデオ情報を主観的に分析する必要がある。しかしながら、典型的な画像及びビデオだけでは、異なるカメラアングル、少数のカメラ、緩んだ衣服等の場合には十分な情報をキャプチャできないことがある。したがって、専門家は、人間のポーズ及び空間的ランドマーク情報を推測することを強いられることがある。したがって、画像及び/又はビデオからスイングの力学及び計測値を分離することが困難であるので、専門家によって特定された人間のポーズ及び空間的ランドマーク情報は不正確であることがある。
典型的な画像及び/又はビデオ分析システムに関連する欠点を克服するために、運動解析システムは、ユーザがマーカー及び/又はセンサ素子を身体に装着するとともにマーカー及び/又はセンサ素子が孤立した身体部分、例えば、手、腰、肩及び頭部の位置データを送信することを必要とすることがある。身体上の孤立点は、絶対基準系、例えば、中心点が室内の固定点であるデカルト座標系に従ってスイング中に測定される。運動解析を使用することによって、スイング中の問題を更に正確に判断するための正確な測定値を提供することができる。
そのようなマーカーベースの画像及び/又はビデオシステムの欠点は、ユーザがマーカーを着用する必要があること並びにカメラ及び/又はビデオ装置を正確に配置する必要があり得ることである。したがって、マーカーを使用しないモーションキャプチャシステム/方法の開発は、幅広い競技用途及び臨床用途によって動機付けられてきた。
しかしながら、標準的なマーカレスモーションキャプチャ方法によって提供される空間座標のセットが限られているので、3次元/3軸(3D)回転運動(角運動学)を実現するためにマーカレスモーションキャプチャを使用することには限界がある。本願は、これらの考察及び他の考察に関してなされたものである。
特定の実施形態によれば、マーカレス運動解析を改善するためのシステム、方法及びコンピュータ可読媒体を開示する。
特定の実施形態によれば、マーカレス運動解析を改善するためのコンピュータ実行方法を開示する。一つの方法は、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された3D角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された3D角運動学データを表示用に提供することと、を備える。
特定の実施形態によれば、マーカレス運動解析を改善するためのシステムを開示する。一つのシステムは、マーカレス運動解析を改善するための命令を記憶するデータ記憶装置と、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された3D角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された3D角運動学データを表示用に提供することと、を備える方法を実行するために命令を実行するように構成されたプロセッサと、を備える。
特定の実施形態によれば、コンピュータによって実行されるとき、マーカレス運動解析を改善するための方法をコンピュータに実行させる命令を記憶する非一時的なコンピュータ可読記憶装置を開示する。コンピュータ可読媒体の一つの方法は、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された3D角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された3D角運動学データを表示用に提供することと、を備える。
開示した実施形態の他の目的及び利点は、部分的には以下の説明に記載され、部分的には説明から明らかになる又は開示された実施形態の実施によって知ることができる。開示した実施形態の目的及び利点は、添付の特許請求の範囲において特に指摘される要素及び組合せによって実現されるとともに達成される。
上記の一般的な説明及び以下の詳細な説明の両方は、例示的及び説明的なものに過ぎず、特許請求の範囲に記載された開示した実施形態を制限するものではないことを理解されたい。
以下の詳細な説明の過程において、添付図面を参照する。図面は、本開示の異なる態様を示し、適切な場合、異なる図における同様の構造、コンポーネント、材料及び/又は要素を示す参照番号は、同様にラベル付けされる。具体的に示したもの以外の構造、コンポーネント及び/又は要素の様々な組合せが想定されるとともに本開示の範囲内であることが理解される。
さらに、本明細書において説明及び図示する本開示の多くの実施形態が存在する。本開示は、その単一の態様又は実施形態に限定されず、また、そのような態様及び/又は実施形態の組合せ及び/又は順列にも限定されない。さらに、本開示の態様及び/又はその実施形態の各々を、単独で又は本開示の他の態様及び/又はその実施形態の一つ以上と組合せで採用してもよい。簡潔のために、特定の順列及び組合せを、本明細書において別々に議論及び/又は図示しない。
ここでも、本明細書で説明及び図示する多くの実施形態がある。本開示は、任意の単一の態様及び/又はその実施形態に限定されず、また、そのような態様及び/又は実施形態の任意の組合せ及び/又は順列にも限定されない。本開示の態様及び/又はその実施形態の各々を、単独で又は本開示の他の態様及び/又はその実施形態の一つ以上と組み合わせて採用してもよい。簡潔のために、それらの組合せ及び順列の多くを、本明細書では別々に議論しない。
当業者は、本開示の様々な実装及び実施形態を本明細書に従って実施できることを認識する。これらの実施態様及び実施形態の全ては、本開示の範囲内に含まれることが意図される。
本明細書で使用される場合、用語「備える」、「備え」、「有する」、「有し」、「含む」、「含み」又は他の変形は、要素のリストを備えるプロセス、方法、物品又は装置がそれらの要素のみを含むのではなく明示的に列挙されていない又はそのようなプロセス、方法、物品又は装置に固有の他の要素を含んでもよい非排他的な包含をカバーすることを意図する。用語 「例示的」を、「理想的」ではなく「例」の意味で使用する。さらに、「又は」という用語は、排他的な「又は」ではなく包括的な「又は」を意味することを意図する。すなわち、特に指定がない限り又は文脈から明らかでない限り、「XはA又はBを採用する」という表現は、自然な包括的順列のいずれかを意味することを意図する。 例えば、「XはA又はBを採用する」という表現は、「XはAを採用する」、「XはBを採用する」又は「XはAとBの両方を採用する」のいずれかによって満たされる。さらに、本願及び添付の特許請求の範囲で使用される冠詞「a」及び「an」を、特に指定がない限り又は文脈から単数形を意味することが明らかでない限り一般に「一つ以上」を意味すると解釈すべきである。
簡潔のために、方法を実施するために使用されるシステム及びサーバに関する従来技術並びにシステム及びサーバ(及びシステムの個々の動作コンポーネント)の他の機能的な態様を本明細書で詳しく説明しない場合がある。さらに、本明細書に含まれる様々な図に示す接続線は、様々な要素間の例示的な機能的関係及び/又は物理的結合を表すことを意図する。多くの代替的及び/又は追加的な機能的関係又は物理的結合が主題の実施形態において存在し得ることに留意されたい。
次に、本開示の例示的な実施形態を詳細に参照し、その例を添付図面に図示する。可能な限り、同一の参照番号を、図面全体を通して同一の又は同様の部品を参照するために使用する。
本開示は、特に、利用可能な空間基準点データを使用して一つ以上のセグメントが不十分に規定されるときに一つ以上のセグメントの3次元空間セグメント方位を推定する方法に関する。
ここで図面を参照すると、図1は、本開示の実施形態による強化された運動解析を実施するための環境100を示す。図1に示すように、環境100は、一つ以上のカメラ及び/又はビデオ録画機器104によってキャプチャされた物理的な動きプロセス情報を記録するためにカメラ及び/又はビデオ録画機器104を使用する画像及び/又はビデオ分析システム102を含む。画像及び/又はビデオ分析システム102は、位置情報をキャプチャ及び/又は計算してもよい。画像及び/又はビデオ分析システム102は、ゴルフスイングの解析及びトレーニングに使用してもよい解析又はティーチング情報を生成するためにデータを処理する。
環境100を、ゴルフスイング分析を提供するためのシステム及び方法として以下で説明するが、画像及び/又はビデオ分析システム102を、野球、テニス、クリケット、ポロ又は動きがスポーツの要素が実施される尺度である他の任意のスポーツのような他のスポーツにおける運動解析を提供するために使用してもよい。さらに、解析を、ほとんどの形式の身体運動解析を提供するために同様に使用してもよい。さらに、環境100は、二つのカメラ104を描写するが、一つのカメラ又は一つのビデオ記録装置を使用してもよい。
本開示の実施形態において、測定精度が重要な場合があり、正確なモーションキャプチャは、連続するデジタル画像に亘る骨格セグメント及び関節中心の検出、追跡及び空間変換を強化するために解剖学的制約をシミュレートする画像処理アルゴリズム及び身体モデルの開発によって改善された。マーカレスモーションキャプチャシステムの開発は、スポーツ及び臨床に幅広く応用されており、人間のポーズ及び空間ランドマークを特定するために光学システムが採用される。
しかしながら、マーカレスモーションキャプチャ方法によって提供される空間座標のセットが限られているので、3次元/3軸回転運動(角運動学)を実現するためのマーカレスモーションキャプチャの制限が続くことがある。複雑な多体運動学は、(人間の動きで実証されているように)隣接するセグメント間の3D回転を可能にする関節で機械的に拘束される二つ以上のセグメントによって実現されることがある。ヒルベルトの幾何学基礎論の結合公理によれば、同一線上にない三つの点によって、3D空間(ユークリッド)において平面を定義することができる。この条件によって、解析的に定義された座標系が可能となり、セグメント方位計測のための身体固定基準フレームを作成することができる。セグメントごとに同一線上にない三つの身体固定点の空間座標が利用できないとき、3D計測を近似するために代替的なアプローチを使用してもよい。
3D角運動学の部分的なセットを、例えば、スクワット又は歩行のような特定の2D運動面でゆっくりと行われる運動タスクの間に提供してもよい。このようなモーションキャプチャの制限にもかかわらず、マーカーベースの運動解析システムから決定された同時測定値と比較すると、大きな角度偏差が示されることがある。上述したように、マーカーベースの運動解析システムは、動的な活動中の解剖学的ランドマークからの変位を最小にするために、確立されるとともに検証された信頼性を持つ骨***に直接マーカーを貼り付ける。
しかしながら、マーカレスシステムにおけるランドマーク点(キーポイント)の識別は、環境条件(照明、障害物/衣服、ポーズ)に非常に敏感であることのある確率的で非決定論的な特徴検出に依存することがあり、報告されたランドマーク座標が真のランドマーク位置からランダムにずれるランダム位置誤差を生じさせることがある。これらの点を使用して運動計測用の平面(2D)基準フレームを定義するのを試みるとき、キーポイントの各々で発生するランダムな位置誤差の分散により、一連の画像のフレーム間で複合誤差が発生することがある。さらに、キーポイントの位置誤差は、フレームの各々で解析的に定義された基準ジオメトリを介して伝播し、誤った偏差を発生させることがある。キーポイント位置誤差に直接影響する要因に加えて、キーポイント由来の基準フレーム誤差は、セグメントの形状及びマーカレスキーポイントを使用する基準フレームの大きさに影響することのあるセグメントのキーポイント位置によって影響が及ぼされることがあり、複合/拡大されることがある。潜在的な誤差を考慮し、後に説明する様々な方法を、位置誤差への影響を軽減するために使用してもよい。
マーカレスシステムとマーカーベースシステムとの間で比較的よく一致する運動のパターンが生じる三つの非隣接関節中心位置(すなわち、股関節、肩関節、肘関節等)の3次元座標から参照される2D角運動学(2D angular kinematics)を測定するための方法を採用することができる。大きな角度偏差の持続を伴う同様の運動パターンによって、マーカレスモーションキャプチャを使用して有効なパフォーマンス測定を行うための回転運動の代理測定が促されている。さらに、解剖学的制約を課した筋骨格系の身体モデルを組み合わせることによって、角運動学の測定精度が向上した。
しかしながら、これらのアプローチにもかかわらず、カメラの2Dビュー平面から離れるように身体セグメントがねじれる横平面回転運動が抽出されるとともに報告されることはほとんどないことがある。更に多くのカメラセットがあれば、マーカレスモーションキャプチャシステムがねじれ運動タスク中に3D関節中心位置を適切に追跡することは向上するかもしれないが、横平面角度運動を正確かつ確実に抽出することが困難であることがある。
マーカレスモーションキャプチャ技術の制約は、3D角運動学を測定するために利用可能な身体基準空間座標の数であることがある。以下で更に詳しく説明するように、測定は、ローカルな3D座標系を定義するために、身体セグメントに三つの基準点が必要な場合がある。ある身体セグメントの別の身体セグメントに対する3D空間方位は、二つの3D座標系間の相対回転差として物理的に定量化される。身体セグメント(剛体)の3D空間方位の測定は、グローバル3D座標系(基準フレーム)に対する関心のある剛体の3D座標系を定義する必要がある。3D身体固定基準フレームを定義するために、基準フレーム内に固定された同一直線上にない少なくとも三つの独立した空間座標を知る必要がある。この幾何学的要件は、マーカレスモーションキャプチャによって満たされないことがあり、したがって、解析方法が不十分/未決定の身体セグメント座標データで3D空間方位を定量化することを妨げることがある。
マーカレスモーションキャプチャ技術を改善するために、本開示の実施形態は、パフォーマンス(すなわち、ゴルフスイング)及び傷害リスク(すなわち、膝の傷害)のためのねじれ運動を分析する際に有用なツールとなり得る、制約のある身体システムから3D角運動学を測定するための新たな分析方法を実現する。マーカレスモーションキャプチャで使用するカメラの数を増やすと、身体を基準とした座標の精度が向上することがあるが、カメラの数を増やしても、有効で信頼性の高い3D角運動計測値を提供するための計算要件が向上することが低いことがある。したがって、マーカレスモーションキャプチャ技術の実用性を高めるアプローチについて、以下で詳しく説明する。
本開示は、単一のカメラのような少なくとも一つのカメラを有するマーカレスモーションキャプチャ技術を使用して3D運動解析を提供するとともに改善するための方法に関する。本開示の実施形態は、セグメントの各々について三つ未満の身体固定基準点が既知であるときに及び/又は、これらの点が身体に対して剛体的に固定されていないときに、説明できない/ランダムな測定分散のために発生することがある、一つ以上の剛体の3D空間方位を推定する方法を提供する。
本開示の実施形態において、(1) 直接観測可能な身体固定点によって提供される詳細を補完する追加の制約を利用する従属セグメント基準フレームを実現するために少なくとも二つの直接的又は間接的に運動学的に制約されたセグメントの二つ以上の点のようなものであるがそれに限定されない利用可能な空間情報の使用及び(2)一つ以上の身体固定点と一つ以上の系統的な運動学的制約との間の幾何学的関係の確率的マッピングの3D身体固定基準フレームへの適用によって、一つ以上の剛体の3D空間方位の推定を可能にする方法を提供する。プロセスは、多体系の運動学の間接的な表現を実現するために運動学的に制約された身体固定座標系からの直接的な測定値を利用する。測定値が、従属基準フレームを追跡するが、測定値は、制約された多体系運動学の正味の影響を反映する。換言すれば、両セグメントが共有する第3の身体固定点として機能する運動学的制約セントロイドを考察することができる。したがって、二つの測定値セットを関連付ける重み付けされた特徴マッピングを決定するために、運動学的に制約された測定値の代表的なサンプルを、診断的に意味のある動きについての対応する検証された基準測定値と対にしてもよい。このアプローチは、教師あり学習、潜在変数モデル及び制約された運動学及び/又はキーポイントから得られる特徴を含むがそれに限定されない。
以下で更に詳しく説明するように、実施形態によれば、少なくとも二つの運動学的に制約された剛体(セグメント)上で少なくとも二つの身体固定点(キーポイント)が既知であるとともにグローバル基準フレームが定義されているときに、計算方法が適用される。図2A~2Dは、本開示の態様による限定されたセットの身体基準座標から3D角運動学を計算するための身体セグメント座標系を導出するための方法を示す。特に、図2A~2Dは、少なくとも二つの運動学的に制約された剛体上の少なくとも二つの身体固定点が既知であるときに3次元(3D)角運動学の計算を可能にするための身体セグメント座標系を定義する方法を示す。図2Aに示すように、セグメント202A及び202Bの各々は、少なくとも二つの身体固定点(キーポイント)204A及び204Bを有する。キーポイント204A及び204Bの各々は、慣性フレーム(グローバル基準フレーム)に固定された基準座標系206に基づいてもよい。図2A~2Dの各々について、基準軸が定義される。図2Bは、身体セグメント202A及び202Bの各々の二つの身体固定点204A及び204Bの間に定義されるような軸208を示す。身体固定点204A及び204Bは、二つのセグメント202A及び202Bによって共有される関節制約を含まなくてもよい。一時的な軸210を、(間接的に)隣接するセグメント202A及び202Bの軸208の各々の中点から定義してもよい。図2Cは、セグメント固有の軸208及び軸210に直交する軸として軸212を定義してもよいことを示す。図2Dは、最終軸214を軸208及び軸212に直交する軸として定義してもよいことを示す。このアプローチは、一つの軸(軸208)が身体固定であるとともに二つの軸が二つのセグメント間の系統的な制約された関節運動学を表す方向駆動相互作用をキャプチャするようにセグメントの各々に基準フレームを提供する。
身体軸固定基準フレームから取り込まれた測定値は、グローバル基準フレーム206に対するセグメントと各セグメントとの間の(制約された)相対的な空間的方位を含む体系的な表現を提供する。以下で更に詳しく説明するように、3D角運動学を、独立した身体軸固定座標系を仮定して適用してもよい規則に従って直接計算することができる。
例えば、x軸及びz軸を、床/地面に平行であるとともに互いに垂直であると定義してもよく、y軸を、x軸及びz軸に垂直であるとともに床/地面に直交すると定義してもよい。代替的に、座標原点に対する参照を、系のユーザに固有のものとして定義してもよい。軸システムを使用して、角回転値の測定値を決定してもよい。例えば、
は、x軸周りの肩の回転角度を表してもよく、
は、y軸周りの肩の回転角度を表してもよく、
は、z軸周りの肩の回転角度を表してもよく、
は、x軸周りの腰の回転角度を表してもよく、
は、y軸周りの腰の回転角度を表してもよく、
は、z軸周りの腰の回転角度を表してもよい。したがって、
は、肩及び腰の曲げに関するものであり、
は、肩及び腰の回転に関するものであり、
は、肩及び腰の傾きに関するものである。座標系を基準にして測定することによって、肩と腰の両方の曲げ、回転及び傾きに関する位置要素を決定してもよい。
上述したように、本開示の実施形態は、運動学的データを強化するために使用してもよい教師あり学習アプローチ及び/又は機械学習アプローチを提供する。本開示の実施形態のアプローチは、運動学的データを強化するために使用されるモデル式を決定するために、一つ以上の機械学習アプローチをトレーニングすることに基づいてもよい。機械学習を更に一般的に論じるが、機械学習の一例は、畳み込みニューラルネットワーク、ディープニューラルネットワーク、リカレントニューラルネットワーク等を含むがそれに限定されないニューラルネットワークを含んでもよい。
以下で更に詳しく説明するように、運動学的強化手順は、特定の動作タスクのグローバル基準フレームに対する、真の解析的に定義された独立した身体固定基準フレームの方位を近似してもよい。この手順は、相対的な方位の代表的なサンプルの間に代替的な身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立セグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用して決定される確率的マッピングを使用してもよい。次に、新しい動作パフォーマンスの3D角運動学を測定するために、マッピング手順からのモデル方程式を使用してもよい。その結果を、例えば、コンピュータ画面のダッシュボード、スマートデバイス等に表示してもよい。
図3は、本開示の実施形態によるマーカレスモーションキャプチャを使用して正確な3D角度測定を提供するための方法300を示す。図3に示すように、アスリート/ユーザ/パフォーマーは、アスリート/ユーザ/パフォーマーの身体の動作を含む行動302を行うことができる。少なくとも一つのカメラ、例えば、単一のカメラは、304において、運動中の身体の少なくとも二つの画像をキャプチャしてもよい。306において、画素の2次元配列を有する画像が出力するために画像処理を実行してもよい。次に、308において、運動中の身体の2次元座標を生成するために、カメラ較正を行ってもよい。次に、310として、運動中の身体のキーポイントの3次元座標を生成するために、画像の直接線形変換を実行してもよい。例えば、運動中の身体のキーポイントの3次元座標は、3次元関節中心位置312であってもよい。
運動中の身体の3次元関節中心位置を、314で受け取ってもよい。図3の316に示すように、3次元角運動学を、独立した身体固定座標系を仮定して適用される規則に従って直接計算してもよい。318において、グローバル基準フレームに対する真の解析的に定義された独立した身体固定基準フレームの方位を近似する運動学的強化手順を、少なくとも一つのカメラによってキャプチャされた特定の動作タスクに対して実行してもよい。以下で更に詳しく説明するように、この手順は、相対的な方位の代表的なサンプルの間に代替の身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立セグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用して決定される確率的マッピングを使用してもよい。320で新しい動作パフォーマンスの3D角運動学を測定するために、マッピング手順からのモデル方程式を使用してもよく、322において、マッピング手順からのモデル方程式を、コンピュータ画面又はスマートデバイスのダッシュボードに表示される。
図4は、本開示の実施形態によるマーカレスモーションキャプチャを使用して3D角度測定の精度を向上させるための運動学的強化方法を示す。この手順は、データプロセス403によって基準測定値を受信/取得する402から開始してもよい。確率的マッピングを使用してもよく、それは、相対的な方位の代表的なサンプルの間に代替の身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立セグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用して決定される。
例えば、データプロセス403は、一つ以上の機械学習アプローチのトレーニングにおいて使用されるマーカレスモーションキャプチャデータ404を処理してもよい。マーカレスモーションキャプチャ404の代表的な測定例において、アスリート/ユーザ/パフォーマーは、アスリート/ユーザ/パフォーマーの身体の動作を含む行動を行ってもよい。少なくとも一つのカメラ、例えば、単一のカメラは、404Aにおいて、運動中の身体の少なくとも二つの画像をキャプチャしてもよい。 404Bにおいて、画素の2次元配列を有する画像を出力するために、画像処理を実行してもよい。次に、404Cにおいて、運動中の身体の2次元座標を生成するために、カメラの較正を行ってもよい。次に、404Dとして、運動中の身体のキーポイントの3次元座標を生成するために、画像の直接線形変換を実行してもよい。次に、404Eに示すように、3次元角運動学を、独立した身体固定座標系を仮定して適用される規則に従って直接計算してもよい。3次元角運動学は、3次元座標に関する回転データを生成するために適用される。
さらに、データプロセス403は、一つ以上の機械学習アプローチのトレーニングに使用されるマーカーベースのモーションキャプチャデータ406を処理してもよい。例えば、マーカーベースのモーションキャプチャにおいて、一つ以上の赤外線カメラ406Aは、ユーザに配置されたマーカーをキャプチャしてもよい。カメラ較正406Bを使用することによって、x軸座標及びy軸座標を、キャプチャされたマーカーから抽出してもよい。抽出された座標から、x軸、y軸及びz軸の3次元座標を生成するために、直接線形変換406Cを使用してもよい。最後に、3次元座標に関する回転データを生成するために、3次元角運動学406Dを適用してもよい。
本開示の実施形態において、データプロセス403は、運動解析方法を採用してもよく、動作パフォーマンスの連続ビデオ画像から身体基準ランドマーク(キーポイント)のセットを抽出するとともに変換してもよい。キーポイントのセットは、限定的であってもよく、キーポイントの対の間の中点位置のような身体の関節中心位置の一部を提供してもよい。キーポイントを、3次元角運動学を生成するために受信及び/又は入力してもよい。その後、確率的マッピング408を使用してもよい。確率的マッピングの間、相対的な方位の代表的なサンプルの間に代替の体軸固定相互作用基準フレームを使用して計算された測定値に関連して、独立したセグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用してもよい。確率的マッピング変換408は、3D角運動学の計算精度を上げるためのモデル方程式410を提供してもよい。
次に、強化された運動学的データは、ダッシュボードに渡され、関連するタスク固有の指標が抽出されるとともにコンピュータ画面又はスマートデバイスに数値的及び/又はグラフで表示される。(図3の320及び322を参照)。パフォーマンス指標を、運動パフォーマンスを評価するとともに実用的な洞察を提供するために使用してもよい。確率的マッピングは、結合された制約下の基準フレームと解析的に定義された等価基準フレームとの間の関係を確立してもよい。上述したように、これは、相対的な方位の代表的なサンプルの間に代替の身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立したセグメントの方位の対になった検証例を使用することによって達成される。そのようなマッピングは、制約の少ない/定義された身体固定基準位置のセットから3D角運動学を測定する定量的な精度の向上を提供し、正確な3D角運動学を生成するために身体基準ランドマークの小さなセットに限定されない運動解析方法を提供することによってマーカレスモーション技術を進歩させる。
確率的マッピングのトレーニングを、測定された被験者間及び/又は異なる測定セットアップ間のばらつきを考慮するために複数の例示的なデータセットに対して行ってもよい。さらに、様々なスポーツ及び機能的タスクに関する複数の例示的データセットの複数のリポジトリが存在することがある。これらのリポジトリは、以前に作成されたものであってもよく、自由に利用することができてもよい。これらの複数のデータセットの例を使用することにより、マーカレスモーションキャプチャ中に単一のカメラによってキャプチャされるキーポイントの限られたセットを、強化された3D角運動データを生成するために使用してもよい。
確率的マッピングは、複数の例示的データセットで学習することにより、例示的データセットに共通する特徴を学習してもよい。確率的マッピングは、分析的解が利用できないときに相関する現象の間の関係をパラメータ化してもよい。確率的マッピングは、関心のある一部のメカニズムの入力及び出力に関連するペアデータを利用する。確率的マッピングを適用するアプローチは、尤度に基づいて結果を確率的に制約する誤差指標を適用した数値近似又は他の関数近似法を含んでもよい。
教師あり学習は、確率的マッピングの応用の一つである。例えば、教師あり学習は、例示的なデータセットからの複数の要因/データポイントに基づいて位置データを決定するために解析的な解を使用してもよい。パラメータ及び位置を表す一対の入出力データの例を使用して、例データに対する予測値の誤差を最小化することによって、位置データを3次元角運動データにマッピングする関数が近似されてもよい。上述したように、本開示の実施形態を、教師あり学習、機械学習、ニューラルネットワーク等を使用してモデル式を生成するために使用してもよい。
更に一般的には、本開示を、例えば、教師あり学習又はニューラルネットワークのような機械学習の使用を通じて、マーカレスモーションキャプチャの様々な態様を改善するために使用してもよい。本開示の例示的な実施形態において、学習されたニューラルネットワークによって使用される基準測定値は、モデル方程式を生成してもよい。したがって、ニューラルネットワークは、値が供給されてもよい。次いで、ニューラルネットワークを、モデル方程式を直接出力するようにトレーニングしてもよい。ニューラルネットワークをトレーニングするために、ニューラルネットワークは、入力データとして、マーカレスモーションキャプチャデータ404及びマーカーベースモーションキャプチャデータ406を受信してもよい。
図5は、本開示の実施形態によるマーカレス運動解析を改善するための方法500を示す。方法500は、ニューラルネットワークモデルを構築してもよい、ニューラルネットワークを受信してもよい、及び/又は、モデル方程式を直接受信してもよいステップ502で開始してもよい。ニューラルネットワークモデルは、複数のニューロンを有してもよい。ニューラルネットワークモデルは、モデル方程式を出力するように構成されてもよい。複数のニューロンは、少なくとも一つの隠れ層を含む複数の層に配置されてもよく、接続によって接続されてもよい。接続の各々は、重みを有する。ニューラルネットワークモデルは、畳み込みニューラルネットワークモデル、ディープニューラルネットワーク、リカレントニューラルネットワークを備えてもよい。
ニューラルネットワークを受信/構築する又は教師あり学習がモデル方程式を生成するために使用される場合、ステップ504において、トレーニング例データセットを受信してもよい。トレーニング例データセットは、運動中の身体の関節中心の位置データを含んでもよい。トレーニング例データセットでトレーニングすることによって、確率的マッピングは、トレーニング例データセットに共通する特徴を学習してもよい。確率的マッピングは、解析的な解が得られないときに相関する現象の間の関係をパラメータ化してもよい。確率的マッピングは、関心のある一部のメカニズムの入力及び出力に関連するペアデータを利用する。さらに、受信したトレーニングデータセットは、マーカレスモーションキャプチャシステム及び/又はマーカーベースモーションキャプチャシステムによって以前にキャプチャされたデータを含んでもよい。
ステップ506において、ニューラルネットワークモデルをトレーニングしてもよい、又は、トレーニング例データセットを使用してモデル方程式を生成してもよい。次に、ステップ508において、トレーニングされたニューラルネットワークモデル/モデル方程式を出力してもよい。ステップ510において、テストデータセットを受信してもよい。代替的に及び/又は追加的に、テストデータセットを作成してもよい。次に、ステップ512において、トレーニングされたニューラルネットワーク又は出力されたモデル方程式を、テストデータセットを使用して評価のためにテストしてもよい。さらに、所定のしきい値を超えると評価されると、トレーニングされたニューラルネットワーク又は出力されたモデル方程式を利用してもよい。さらに、本開示の特定の実施形態において、方法500のステップを、複数のモデル方程式を生成するために繰り返してもよい。複数のモデル方程式を互いに比較してもよい。代替的に、ステップ510及び512を省略してもよい。
モデル方程式を出力するように構成された出力されたトレーニングニューラルネットワークモデル及び/又はモデル方程式を、ステップ514で受信してもよい。次に、ステップ516において、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信してもよい。例えば、少なくとも一つのカメラは、マーカレスモーションキャプチャを使用して画像をキャプチャする単一のカメラであってもよい。代替的に、位置データを受信する前に、第1の時刻及び第1の時刻とは異なる第2の時刻に運動中の身体の第1の画像及び第2の画像をキャプチャするために単一のカメラを使用してもよい。そして、運動中の身体の関節中心の位置データを画像から生成してもよい。例えば、身体の関節中心の位置データを受信することは、少なくとも二つの別個の時点について、運動中の身体の第1のセグメントの少なくとも二つのキーポイントと、運動中の身体の第2のセグメントの少なくとも二つのキーポイントと、を受信することを有してもよい。キーポイントは、少なくとも一つのカメラによってキャプチャされた運動中の身体の一部の位置に対応する。受信した位置データから、セグメントの各々の少なくとも二つのキーポイントの間に第1の軸を定義してもよく、第1の軸の各々の中点に一時的な軸を定義してもよく、セグメントの各々について、一時的な軸及びセグメントの各々の第1の軸に直交する第2の軸を定義してもよく、セグメントの各々について、前記第1の軸及び前記第2の軸に直交する第3の軸を定義してもよい。次に、少なくとも二つの別個の時点についての第1のセグメントの少なくとも二つのキーポイント及び第2のセグメントの少なくとも二つのキーポイント並びにキーポイントの定義された第1の軸、第2の軸及び第3の軸に基づいて、第1のセグメントの3次元角運動学及び第2のセグメントの3次元角運動学を生成してもよい。
次いで、ステップ518において、身体の関節中心の位置データの3D角運動学的データを強化してもよい。3次元角運動学データを強化することは、モデル方程式を使用して強化することであってもよい。上述したように、モデル方程式を、3D角運動学データを強化するための確率的マッピングに基づいて生成してもよい。強化された3次元角運動学データは、身体の関節中心の位置データの測定精度の向上を含む。最後に、520において、運動性能を評価するために、強化された3D角運動学データを表示用に提供してもよい。
図6は、本開示の実施形態による本明細書に開示したシステム、方法及びコンピュータ可読媒体に従って使用してもよい例示的なコンピューティングデバイス600のハイレベルの図を示す。例えば、コンピューティングデバイス600を、本開示の実施形態による方法を実行するシステムにおいて使用してもよい。コンピューティングデバイス600は、メモリ604に記憶された命令を実行する少なくとも一つのプロセッサ602を有してもよい。命令は、例えば、上述した一つ以上のコンポーネントによって実行されると説明された機能を実施するための命令又は上述した一つ以上の方法を実施するための命令であってよい。プロセッサ602は、システムバス606によってメモリ604にアクセスしてもよい。メモリ604は、実行可能な命令を記憶することに加えて、データ、画像、情報、イベントログ等を記憶してもよい。
コンピューティングデバイス600は、システムバス606によりプロセッサ602によってアクセス可能なデータストア608を更に有してもよい。データストア608は、実行可能命令、データ、画像、情報、イベントログ等を有してもよい。コンピューティングデバイス600は、外部デバイスがコンピューティングデバイス600と通信を行うことを可能にする入力インターフェース610を有してもよい。例えば、入力インターフェース610を、外部コンピュータ装置、ユーザ等から命令を受信するために使用してもよい。コンピューティングデバイス600は、コンピューティングデバイス600を一つ以上の外部デバイスとやり取りを行う出力インターフェース612を有してもよい。例えば、コンピューティングデバイス600は、出力インターフェース612によってテキスト、画像等を表示してもよい。
入力インターフェース610及び出力インターフェース612を介してコンピューティングデバイス600と通信を行う外部デバイスがユーザのやり取り可能なほとんどのタイプのユーザインターフェースを提供する環境に含まれてもよいことが想定される。ユーザインターフェースのタイプの例は、グラフィカルユーザインターフェース、ナチュラルユーザインターフェース等を含む。例えば、グラフィカルユーザインターフェースは、キーボード、マウス、リモートコントロール等のような(一つ以上の)入力デバイスを使用するユーザからの入力を受け付けてもよく、ディスプレイのような出力デバイスに出力を供給してもよい。さらに、自然なユーザインターフェースは、キーボード、マウス、リモートコントロール等のような入力デバイスによって課される制約から解放された方法でユーザがコンピューティングデバイス600とやり取りを行うことを可能にしてもよい。むしろ、自然なユーザインターフェースは、音声認識、タッチ及びスタイラス認識、画面上及び画面に隣接するジェスチャー認識、エアジェスチャー、ヘッドトラッキング及びアイトラッキング、音声及びスピーチ、視覚、タッチ、ジェスチャー、機械知能等に依存してもよい。
さらに、コンピューティングデバイス600を単一のシステムとして図示するが、コンピューティングデバイス600が分散システムであってもよいことを理解されたい。したがって、例えば、複数のデバイスがネットワーク接続によって通信を行ってもよく、コンピューティングデバイス600によって実行されると説明したタスクを集合的に実行してもよい。
図7に目を向けると、図7は、本開示の実施形態による本明細書に開示したシステム、方法及びコンピュータ可読媒体に従って使用してもよい例示的なコンピューティングシステム700のハイレベルの図を示す。例えば、コンピューティングシステム700は、画像及び/又はビデオ分析システム102であってもよい又は画像及び/又はビデオ分析システム102を有してもよい。追加的に及び/又は代替的に、画像及び/又はビデオ解析システム102は、コンピューティングシステム700であってもよい又はコンピューティングシステム700を有してもよい。
コンピューティングシステム700は、サーバコンピューティングデバイス702及びサーバコンピューティングデバイス704(サーバコンピューティングデバイス702~704と総称する)のような複数のサーバコンピューティングデバイスを有してもよい。サーバコンピューティングデバイス702は、少なくとも一つのプロセッサ及びメモリを有してもよく、少なくとも一つのプロセッサは、メモリに記憶される命令を実行する。命令は、例えば、上述した一つ以上のコンポーネントによって実行されると説明した機能を実行するための命令又は上述した一つ以上の方法を実施するための命令であってよい。サーバコンピューティングデバイス702と同様に、サーバコンピューティングデバイス702以外のサーバコンピューティングデバイス702~704の少なくともサブセットはそれぞれ、少なくとも一つのプロセッサ及びメモリを有してもよい。さらに、サーバコンピューティングデバイス702~704の少なくともサブセットは、それぞれのデータストアを有してもよい。
サーバコンピューティングデバイス702~704のうちの一つ以上のサーバコンピューティングデバイスの(一つ以上の)プロセッサは、画像及び/又はビデオ解析システム102のプロセッサであってもよい又は画像及び/又はビデオ解析システム102のプロセッサを有してもよい。さらに、サーバコンピューティングデバイス702~704のうちの一つ以上のサーバコンピューティングデバイスのメモリ(又は複数のメモリ)は、画像及び/又はビデオ解析システム702のメモリであってもよい又は画像及び/又はビデオ解析システム702のメモリを有してもよい。さらに、サーバコンピューティングデバイス702~704のうちの一つ以上のサーバコンピューティングデバイスのデータストア(又は複数のデータストア)は、画像及び/又はビデオ解析システム102のデータストアであってもよい又は画像及び/又はビデオ解析システム102のデータストアを有してもよい。
コンピューティングシステム700は、サーバコンピューティングデバイス702~704の間でデータを伝送する様々なネットワークノード706を更に有してもよい。さらに、ネットワークノード706は、ネットワーク708によって、サーバコンピューティングデバイス702~704から外部ノード(例えば、コンピューティングシステム700の外部)にデータを転送してもよい。ネットワークノード702は、ネットワーク708によって、外部ノードからサーバコンピューティングデバイス702~704にデータを転送してもよい。ネットワーク708は、例えば、インターネット、セルラーネットワーク等であってもよい。ネットワークノード706は、スイッチ、ルータ、ロードバランサ等を有してもよい。
コンピューティングシステム700のファブリックコントローラ710は、サーバコンピューティングデバイス702~704のハードウェアリソース(例えば、サーバコンピューティングデバイス702~704のプロセッサ、メモリ、データストア等)を管理してもよい。さらに、ファブリックコントローラ710は、ネットワークノード706を管理してもよい。さらに、ファブリックコントローラ710は、サーバコンピューティングデバイス702~704でインスタンス化した管理されたランタイム環境の作成、プロビジョニング、デプロビジョニング及び監視を管理してもよい。
本明細書で使用する場合、「コンポーネント」及び「システム」という用語は、プロセッサによって実行されたときに特定の機能を実行させるコンピュータ実行可能命令で構成されるコンピュータ可読データ記憶装置を包含することを意図する。コンピュータ実行可能命令は、ルーチン、関数等を含んでもよい。また、コンポーネント又はシステムが単一のデバイスにローカライズされてもよい又は複数のデバイスに分散されてもよいことを理解されたい。
本明細書で説明する様々な機能を、ハードウェア、ソフトウェア又はその任意の組合せで実装してもよい。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体の一つ以上の命令又はコードとして記憶及び/又は伝送されてもよい。コンピュータ可読媒体は、コンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセスされてもよい任意の利用可能な記憶媒体であってよい。非限定的な例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は、命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができるとともにコンピュータによってアクセスすることができる他の任意の媒体を含むことができる。 本明細書で使用されるディスク(disk and disc)は、コンパクトディスク(CD)、レーザーディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク及びブルーレイ(登録商標)ディスク(BD)を含んでもよく、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、通常、レーザーを使用して光学的にデータを再生する。さらに、伝搬信号は、コンピュータ可読記憶媒体の範囲には含まれない。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体も含む。例えば、接続を、通信媒体とすることができる。例えば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、又は、赤外線、無線、マイクロ波等の無線技術を使用してウェブサイト、サーバ又は他のリモートソースからソフトウェアを送信する場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、又は、赤外線、無線、マイクロ波等の無線技術は、通信媒体の定義に含まれる。上記の組合せもコンピュータ可読媒体の範囲に含んでもよい。
代替的に及び/又は追加的に、本明細書に記載される機能を、一つ以上のハードウェア論理コンポーネントによって少なくとも部分的に実行してもよい。例えば、使用してもよいハードウェア論理コンポーネントの例示的なタイプは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、複合プログラマブル論理デバイス(CPLD)等を含むが、それに限定されない。
上述してきたことは、一つ以上の実施形態の例を含む。当然、上述した態様を説明するために、上記の装置又は方法論の考えられる全ての変更及び変形を説明することは不可能であるが、当業者であれば、様々な態様の多くの更なる変更及び順列が可能であることを認識することができる。したがって、記載された態様が添付の特許請求の範囲の範囲内に入る全てのそのような変更、修正及び変形を含むことを意図する。
Claims (20)
- マーカレス運動解析を改善するためのコンピュータ実行方法であって、
少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、
モデル方程式を使用して、前記身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された前記3D角運動学データは、前記身体の関節中心の位置データの向上した測定精度を含むことと、
運動性能を評価するために、強化された前記3D角運動学データを表示用に提供することと、
を備える方法。 - 前記少なくとも一つのカメラは、単一のカメラであり、
前記単一のカメラを使用して、第1の時間及び前記第1の時間とは異なる第2の時間に運動中の前記身体の第1の画像及び第2の画像をキャプチャすることを更に備える、請求項1に記載の方法。 - 前記第1の画像及び前記第2の画像は、マーカレスモーションキャプチャを使用してキャプチャされる、請求項2に記載の方法。
- 前記身体の関節中心の位置データを受信することは、
少なくとも二つの別個の時点について、運動中の前記身体の第1のセグメントの少なくとも二つのキーポイントと、運動中の前記身体の第2のセグメントの少なくとも二つのキーポイントと、を受信することであって、前記キーポイントは、前記少なくとも一つのカメラによってキャプチャされた運動中の前記身体の一部の位置に対応することを有する、請求項1に記載の方法。 - セグメントの各々の前記少なくとも二つのキーポイントの間に第1の軸を定義することと、
前記第1の軸の各々の中点に一時的な軸を定義することと、
前記セグメントの各々について、前記一時的な軸及び前記セグメントの各々の第1の軸に直交する第2の軸を定義することと、
前記セグメントの各々について、前記第1の軸及び前記第2の軸に直交する第3の軸を定義することと、
を更に備える、請求項4に記載の方法。 - 前記少なくとも二つの別個の時点についての前記第1のセグメントの少なくとも二つのキーポイント及び前記第2のセグメントの少なくとも二つのキーポイント並びに前記キーポイントの定義された前記第1の軸、前記第2の軸及び前記第3の軸に基づいて、前記第1のセグメントの3次元角運動学及び前記第2のセグメントの3次元角運動学を生成することを更に備える、請求項5に記載の方法。
- 前記モデル方程式を使用して、前記3D角運動学データを強化することは、ニューラルネットワークモデルを使用することを有し、
運動中の前記身体の関節中心の複数の位置データを含む複数の例示的なデータセットを受信することと、
前記複数の例示的なデータセットを使用して、前記ニューラルネットワークモデルをトレーニングすることであって、前記ニューラルネットワークモデルは、前記モデル方程式を出力するように構成されたことと、
を更に備える、請求項1に記載の方法。 - 前記モデル方程式を出力するように構成された複数のニューロンを含むニューラルネットワークモデルを構築することであって、前記複数のニューロンは、少なくとも一つの隠れ層を有する複数の層に配置されるとともに複数の接続によって接続されたことを更に備える、請求項7に記載の方法。
- 前記モデル方程式を使用して、前記3D角運動学データを強化することは、前記3D角運動学データを強化するために確率的マッピングを使用することを有する、請求項1に記載の方法。
- マーカレス運動解析を改善するためのシステムであって、
マーカレス運動解析を改善するための命令を記憶するデータ記憶装置と、
少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、
モデル方程式を使用して、前記身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された前記3D角運動学データは、前記身体の関節中心の位置データの向上した測定精度を含むことと、
運動性能を評価するために、強化された前記3D角運動学データを表示用に提供することと、
を備える方法を実行するために前記命令を実行するように構成されたプロセッサと、
を備えるシステム。 - 前記少なくとも一つのカメラは、単一のカメラであり、
前記方法は、
前記単一のカメラを使用して、第1の時間及び前記第1の時間とは異なる第2の時間に運動中の前記身体の第1の画像及び第2の画像をキャプチャすることを更に備える、請求項10に記載のシステム。 - 前記第1の画像及び前記第2の画像は、マーカレスモーションキャプチャを使用してキャプチャされる、請求項11に記載のシステム。
- 前記身体の関節中心の位置データを受信することは、
少なくとも二つの別個の時点について、運動中の前記身体の第1のセグメントの少なくとも二つのキーポイントと、運動中の前記身体の第2のセグメントの少なくとも二つのキーポイントと、を受信することであって、前記キーポイントは、前記少なくとも一つのカメラによってキャプチャされた運動中の前記身体の一部の位置に対応することを有する、請求項10に記載のシステム。 - セグメントの各々の前記少なくとも二つのキーポイントの間に第1の軸を定義することと、
前記第1の軸の各々の中点に一時的な軸を定義することと、
前記セグメントの各々について、前記一時的な軸及び前記セグメントの各々の第1の軸に直交する第2の軸を定義することと、
前記セグメントの各々について、前記第1の軸及び前記第2の軸に直交する第3の軸を定義することと、
を更に備える、請求項13に記載のシステム。 - 前記少なくとも二つの別個の時点についての前記第1のセグメントの少なくとも二つのキーポイント及び第2のセグメントの少なくとも二つのキーポイント並びに前記キーポイントの定義された前記第1の軸、前記第2の軸及び前記第3の軸に基づいて、前記第1のセグメントの3次元角運動学及び前記第2のセグメントの3次元角運動学を生成することを更に備える、請求項14に記載のシステム。
- 前記モデル方程式を使用して、前記3D角運動学データを強化することは、ニューラルネットワークモデルを使用することを有し、
前記方法は、
運動中の前記身体の関節中心の複数の位置データを含む複数の例示的なデータセットを受信することと、
前記複数の例示的なデータセットを使用して、前記ニューラルネットワークモデルをトレーニングすることであって、前記ニューラルネットワークモデルは、前記モデル方程式を出力するように構成されたことと、
を更に備える、請求項10に記載のシステム。 - 前記モデル方程式を出力するように構成された複数のニューロンを含むニューラルネットワークモデルを構築することであって、前記複数のニューロンは、少なくとも一つの隠れ層を有する複数の層に配置されるとともに複数の接続によって接続されたことを更に備える、請求項16に記載のシステム。
- 前記モデル方程式を使用して、前記3D角運動学データを強化することは、前記3D角運動学データを強化するために確率的マッピングを使用することを有する、請求項10に記載のシステム。
- コンピュータによって実行されるとき、マーカレス運動解析を改善するための方法をコンピュータに実行させる命令を記憶する非一時的なコンピュータ可読記憶装置であって、
前記方法は、
少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、
モデル方程式を使用して、前記身体の関節中心の位置データの3次元(3D)角運動学データを強化することであって、強化された前記3D角運動学データは、前記身体の関節中心の位置データの向上した測定精度を含むことと、
運動性能を評価するために、強化された前記3D角運動学データを表示用に提供することと、
を備える、コンピュータ可読記憶装置。 - 前記少なくとも一つのカメラは、単一のカメラであり、
前記方法は、
前記単一のカメラを使用して、第1の時間及び前記第1の時間とは異なる第2の時間に運動中の前記身体の第1の画像及び第2の画像をキャプチャすることを更に備え、
第1の画像及び第2の画像は、マーカレスモーションキャプチャを使用してキャプチャされる、請求項19に記載のコンピュータ可読記憶装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163150511P | 2021-02-17 | 2021-02-17 | |
US63/150,511 | 2021-02-17 | ||
PCT/US2022/016852 WO2022178165A1 (en) | 2021-02-17 | 2022-02-17 | Method for improving markerless motion analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024508782A true JP2024508782A (ja) | 2024-02-28 |
Family
ID=80628679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023550167A Pending JP2024508782A (ja) | 2021-02-17 | 2022-02-17 | マーカレス運動解析を改善するための方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20220262013A1 (ja) |
EP (1) | EP4295309A1 (ja) |
JP (1) | JP2024508782A (ja) |
KR (1) | KR20230147144A (ja) |
CN (1) | CN117015802A (ja) |
AU (1) | AU2022224605A1 (ja) |
CA (1) | CA3208840A1 (ja) |
WO (1) | WO2022178165A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102241414B1 (ko) * | 2020-10-23 | 2021-04-19 | 아이디어링크 주식회사 | 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
WO2021046583A1 (en) * | 2019-09-04 | 2021-03-11 | Gaitiq, Llc | Gait-based assessment of neurodegeneration |
-
2022
- 2022-02-17 EP EP22707988.6A patent/EP4295309A1/en active Pending
- 2022-02-17 WO PCT/US2022/016852 patent/WO2022178165A1/en active Application Filing
- 2022-02-17 CA CA3208840A patent/CA3208840A1/en active Pending
- 2022-02-17 US US17/674,717 patent/US20220262013A1/en active Pending
- 2022-02-17 AU AU2022224605A patent/AU2022224605A1/en active Pending
- 2022-02-17 CN CN202280021555.7A patent/CN117015802A/zh active Pending
- 2022-02-17 JP JP2023550167A patent/JP2024508782A/ja active Pending
- 2022-02-17 KR KR1020237031586A patent/KR20230147144A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
CA3208840A1 (en) | 2022-08-25 |
KR20230147144A (ko) | 2023-10-20 |
US20220262013A1 (en) | 2022-08-18 |
EP4295309A1 (en) | 2023-12-27 |
AU2022224605A1 (en) | 2023-09-07 |
CN117015802A (zh) | 2023-11-07 |
WO2022178165A1 (en) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Colyer et al. | A review of the evolution of vision-based motion analysis and the integration of advanced computer vision methods towards developing a markerless system | |
US11763603B2 (en) | Physical activity quantification and monitoring | |
JP6733738B2 (ja) | 運動認識装置、運動認識プログラムおよび運動認識方法 | |
US20180070864A1 (en) | Methods and devices for assessing a captured motion | |
JP7127650B2 (ja) | 認識プログラム、認識方法および認識装置 | |
Elaoud et al. | Skeleton-based comparison of throwing motion for handball players | |
CN105637531A (zh) | 人体姿势识别 | |
CN113728394A (zh) | 身体活动执行和训练的评分度量 | |
Mortazavi et al. | Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation | |
JP2024508782A (ja) | マーカレス運動解析を改善するための方法 | |
Wang et al. | Arbitrary spatial trajectory reconstruction based on a single inertial sensor | |
Faujdar et al. | Human pose estimation using artificial intelligence with virtual gym tracker | |
Brzostowski et al. | Data fusion in ubiquitous sports training: methodology and application | |
Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
CN116740618A (zh) | 一种运动视频动作评估方法、***、计算机设备及介质 | |
CN113240044B (zh) | 一种基于多Kinect的人体骨骼数据融合评价方法 | |
JPWO2020121500A1 (ja) | 推定方法、推定プログラムおよび推定装置 | |
JP2021099666A (ja) | 学習モデルの生成方法 | |
Bernardino et al. | Bio-measurements estimation and support in knee recovery through machine learning | |
Shentu et al. | MoSS: Monocular Shape Sensing for Continuum Robots | |
JP7388576B2 (ja) | 骨格推定装置、骨格推定方法および体操採点支援システム | |
JP2005245476A (ja) | 関節中心計測方法およびその装置 | |
CN117503120B (zh) | 人体姿态估计方法及*** | |
Sakai et al. | Radio Calisthenics Motion Detection and Diagnosis Using Recurrent Neural Network | |
Lapresa et al. | A marker-based approach to determine the centers of rotation of finger joints |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231016 |