JP2023008679A - 情報提供方法、情報提供プログラム及び採点支援システム - Google Patents
情報提供方法、情報提供プログラム及び採点支援システム Download PDFInfo
- Publication number
- JP2023008679A JP2023008679A JP2021112417A JP2021112417A JP2023008679A JP 2023008679 A JP2023008679 A JP 2023008679A JP 2021112417 A JP2021112417 A JP 2021112417A JP 2021112417 A JP2021112417 A JP 2021112417A JP 2023008679 A JP2023008679 A JP 2023008679A
- Authority
- JP
- Japan
- Prior art keywords
- technique
- feature amount
- skeleton
- difference
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 345
- 238000012549 training Methods 0.000 claims abstract description 126
- 238000010801 machine learning Methods 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims description 74
- 230000006870 function Effects 0.000 description 59
- 238000010586 diagram Methods 0.000 description 20
- 210000002414 leg Anatomy 0.000 description 16
- 210000001364 upper extremity Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000003127 knee Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000002683 foot Anatomy 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】技の認識結果に関する情報提供の品質向上を実現すること。【解決手段】情報提供方法では、技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、算出された特徴量の差分を出力する、処理をコンピュータが実行する。【選択図】図6
Description
本発明は、情報提供技術に関する。
人物の姿勢認識や行動認識が各種の分野で利用されている。例えば、体操競技を例に挙げれば、現状の採点方法は複数の審判による目視で行われているが、器具の進化やトレーニング方法の改善により、動きの複雑化を伴う技の高度化が進み、審判による技の認識が困難となる場面が増加している。この結果、審判ごとに選手の採点結果が異なるなど採点の公平性や正確性の維持に懸念が生じている。
このような背景から、3次元のレーザセンサにより選手の3次元点群データを取得し、選手の骨格情報の検出、選手により実施された技の認識を実行して技の認識結果に関する情報を提供することで、審判の採点を支援する採点支援システムが提案されている。
例えば、採点支援システムでは、技の認識結果に関する情報提供の一環として、技の認識に用いられる機械学習モデルが出力する尤度が提供されている。これにより、1つの側面として、機械学習モデルが不正解の技のラベルを出力している可能性が高い場面、例えば過検知や誤検知などの場面で自動採点のミスに注意を喚起する。
しかしながら、上記の尤度は、以下に説明する通り、技の認識結果に関する情報提供の品質として十分なものであるとは限らない一面がある。
すなわち、上記の尤度は、機械学習モデルの訓練時に訓練データとして用いられる骨格情報と、採点などの場面で入力される骨格情報との差に対応するものに過ぎず、真の確からしさとは一致しない。特に、機械学習モデルが分類するクラスの種類が多いほど、さらには、機械学習モデルによる分類精度に個人差が与える影響が大きいほど、上記の尤度と真の確からしさは一致しづらくなる。例えば、機械学習モデルが出力する尤度が低い場合でもラベルが正解である場合もあれば、機械学習モデルが出力する尤度が高い場合でもラベルが不正解である場合もある。加えて、機械学習モデルによる判断プロセスは、人間と異なるものであってブラックボックスである場合があるので、機械学習モデルが出力する尤度を提供したとしても人への説明に適さない一面もある。
1つの側面では、技の認識結果に関する情報提供の品質向上を実現できる情報提供方法、情報提供プログラム及び採点支援システムを提供することを目的とする。
一態様にかかる情報提供方法では、技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、算出された特徴量の差分を出力する、処理をコンピュータが実行する。
一実施形態によれば、技の認識結果に関する情報提供の品質向上を実現できる。
以下、添付図面を参照して本願に係る情報提供方法、情報提供プログラム及び採点支援システムの実施例について説明する。各実施例には、あくまで1つの例や側面を示すに過ぎず、このような例示により数値や機能の範囲、利用シーンなどは限定されない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
<システム構成>
図1は、採点支援システムの構成例を示す図である。図1に示す採点支援システム1は、被写体である演技者3の3次元データを取得し、骨格認識や技認識などを通じて演技者3により実施される技の採点を支援するものである。
図1は、採点支援システムの構成例を示す図である。図1に示す採点支援システム1は、被写体である演技者3の3次元データを取得し、骨格認識や技認識などを通じて演技者3により実施される技の採点を支援するものである。
このような技の例として、体操競技における演技を挙げるが、フィギュアスケートにおける演技の他、各種のスポーツにおける動作、例えば野球のスイングやサッカーのシュートなども技の範疇に含まれてよい。
図1に示すように、採点支援システム1には、3Dレーザセンサ5と、サーバ装置10と、クライアント端末30とが含まれ得る。
3D(Three-Dimensional)レーザセンサ5は、赤外線レーザ等を用いて対象物までの距離、いわゆる深度を走査点に対応する画素ごとに測定するセンサ装置の一例である。例えば、3Dレーザセンサ5の例として、深度画像カメラやLIDAR(Light Detection and Ranging)技術を用いたレーザセンサ、例えばMEMS(Micro-Electro-Mechanical Systems)ミラー型のレーザセンサであってよい。
サーバ装置10は、各種のサービスを提供するコンピュータの一例である。あくまで一例として、サーバ装置10は、図1に示すように、骨格認識機能7、技認識機能8および採点支援機能9がパッケージ化された採点支援サービスを提供する。例えば、骨格認識機能7は、3Dレーザセンサ5により測定される深度画像を用いて、演技者3の骨格部位、例えば関節の位置などの骨格情報を検出する機能を提供する。技認識機能8は、骨格認識機能7による骨格認識で得られる骨格情報の時系列データを用いて、演技者3により実施される技を認識する機能を提供する。採点支援機能9は、技認識機能8による技認識結果に基づいて採点を支援する機能を提供する。
これら骨格認識機能7、技認識機能8および採点支援機能9を実現するパッケージソフトウェアを任意のコンピュータに実行させることにより、上記の採点支援サービスが提供され得る。例えば、サーバ装置10は、SaaS(Software as a Service)型のアプリケーションとして実装することで、骨格認識機能7、技認識機能8および採点支援機能9をクラウドサービスとして提供することができる。この他、サーバ装置10は、骨格認識機能7、技認識機能8および採点支援機能9をオンプレミスに提供するサーバとして実装することもできる。
クライアント端末30は、上記のサービスの提供を受けるコンピュータの一例である。このようなクライアント端末30は、上記のサービスのユーザのあくまで一例として、体操競技の関係者、例えば審判員や演技者3のトレーナなどにより使用される。例えば、クライアント端末30は、パーソナルコンピュータなどのデスクトップ型のコンピュータなどであってよい。この他、クライアント端末30は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの汎用の情報処理装置に限らず、HMI(Human Machine Interface)などが採点支援用にカスタマイズされたものであってもよい。
なお、図1には、骨格認識機能7、技認識機能8および採点支援機能9がパッケージ化されて提供される例を挙げたが、各機能がモジュール化されて提供されてもよい。この場合、骨格認識機能7、技認識機能8および採点支援機能9の各々は、異なるコンピュータにより実現されてよく、また、同一のベンダまたは異なるベンダにより提供されてよい。
<骨格認識機能>
図2は、骨格認識機能7を示す模式図である。図2に示すように、骨格認識機能7は、あくまで一例として、機械学習モデルを用いる骨格認識とフィッティングとを組みわせたハイブリッド方式により実現できる。
図2は、骨格認識機能7を示す模式図である。図2に示すように、骨格認識機能7は、あくまで一例として、機械学習モデルを用いる骨格認識とフィッティングとを組みわせたハイブリッド方式により実現できる。
例えば、骨格認識には、深度画像を入力として3D骨格座標の推定値を出力する機械学習モデル7m、例えばCNN(Convolutional Neural Network)系のニューラルネットワークを用いることができる。ここで言う「3D骨格座標」とは、頭や肩、背骨、肘、手首、腰、膝、足首などといった関節が3次元空間上で位置する座標を指し、「骨格情報」の一例に対応し得る。
このような機械学習モデル7mの訓練には、深度画像および正解ラベルの3D骨格座標が対応付けられた訓練データを含むデータセット7TRを用いることができる。例えば、訓練データは、体操競技の3D骨格座標からコンピュータグラフィックス等により深度画像を生成することにより用意できる。このようなデータセットの下、学習フェイズでは、深度画像を機械学習モデル7mの説明変数とし、ラベルを機械学習モデル7mの目的変数とし、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがって機械学習モデル7mを訓練できる。例えば、深度画像が入力された機械学習モデル7mが出力する3D骨格座標の推定値と、正解ラベルの3D骨格座標との損失に基づいて機械学習モデル7mのパラメータが更新される。これにより、訓練済みの機械学習モデル7Mが得られる。推論フェイズでは、体操器具や演技者3自身によるオクルージョンを克服するように設置された多視点の3Dレーザセンサ5A~5Nから出力される多視点の深度画像を機械学習モデル7Mへ入力する。このように多視点の深度画像が入力された機械学習モデル7Mは、演技者3の3D骨格座標を出力する。
フィッティングでは、機械学習モデル7Mの3D骨格座標の出力や前フレームにおけるフィッティング結果などを初期値とし、多視点の深度画像が統合された3D点群に人体モデルを当てはめる。例えば、3D点群の座標と人体モデルの表面座標との一致度を示す評価関数(尤度)を定義し、最も尤度が高くなる関節角度を最適化により求めることで、3D骨格座標を決定する。
3Dレーザセンサ5および骨格認識機能7により、マーカレスで演技者3の動きの3次元計測を実行する3Dセンシングが実現される。
<技認識機能>
図3は、技認識機能8を示す模式図である。図3に示すように、技認識機能8は、3D骨格座標の時系列データを入力として体操競技における技名を出力する機械学習モデル8m、例えばCNN系のニューラルネットワークにより実現できる。
図3は、技認識機能8を示す模式図である。図3に示すように、技認識機能8は、3D骨格座標の時系列データを入力として体操競技における技名を出力する機械学習モデル8m、例えばCNN系のニューラルネットワークにより実現できる。
このような機械学習モデル8mの訓練には、3D骨格座標の時系列データおよび正解ラベルの技名が対応付けられた訓練データを含むデータセット8TRを用いることができる。例えば、訓練データには、体操競技で演技が実演された3D骨格座標の時系列データを用いることができる。このようなデータセットの下、学習フェイズでは、3D骨格座標を機械学習モデル8mの説明変数とし、ラベルを機械学習モデル8mの目的変数とし、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがって機械学習モデル8mを訓練できる。例えば、3D骨格座標の時系列データが入力された機械学習モデル8mが出力する技名の推定値と、正解ラベルの技名との損失に基づいて機械学習モデル8mのパラメータが更新される。これにより、訓練済みの機械学習モデル8Mが得られる。推論フェイズでは、骨格認識機能7による骨格認識で得られた3D骨格座標の時系列データを機械学習モデル8Mへ入力する。このように3D骨格座標の時系列データが入力された機械学習モデル8Mは、演技者3により実施された技名を技の認識結果として出力する。この際、技の認識結果に関する情報として、技名とルールや採点規則とを照合することにより識別できる情報、例えば技のグループ名や技の難易度、難易度評価点などを含めて出力することもできる。
<採点支援機能>
採点支援機能9は、骨格認識機能7による3D骨格座標、技認識機能8による技認識結果またはこれらの組合せに基づいて体操競技の関係者に対する情報提供を実行できる。例えば、採点支援機能9は、体操競技の関係者の一例に対応する審判員向けのユーザインタフェイスの例として、図4に示すマルチアングルビューや図5に示す自動採点ビューなどを提供できる。このような採点支援機能9がWebアプリケーションにより実現されることで、クライアント端末30上で動作するブラウザを介して図4に示すマルチアングルビューや図5に示す自動採点ビューなどを提供できる。
採点支援機能9は、骨格認識機能7による3D骨格座標、技認識機能8による技認識結果またはこれらの組合せに基づいて体操競技の関係者に対する情報提供を実行できる。例えば、採点支援機能9は、体操競技の関係者の一例に対応する審判員向けのユーザインタフェイスの例として、図4に示すマルチアングルビューや図5に示す自動採点ビューなどを提供できる。このような採点支援機能9がWebアプリケーションにより実現されることで、クライアント端末30上で動作するブラウザを介して図4に示すマルチアングルビューや図5に示す自動採点ビューなどを提供できる。
図4は、マルチアングルビューの一例を示す図である。図4に示すように、マルチアングルビュー400には、3Dレーザセンサ5が深度画像を取得するフレームごとに当該フレームにおける演技者3の3D骨格座標がモデル化された骨格モデルが正面や側面、平面、自由視点などの複数の視点で表示される。このように複数の視点で骨格モデルを表示するか否かは、タブ410およびタブ420に対する操作で切り替えることができる。例えば、“Multi”のタブ410が選択中である場合、図4に示す通り、演技者3の骨格モデルが複数の視点ごとに表示される。その一方で、“Single”のタブ420が選択中である場合、指定の視点に対応する演技者3の骨格モデルが表示される。さらに、マルチアングルビュー400では、シークバー430上でスライダ430Aをスライドさせることにより、演技者3の骨格モデルを表示させるフレームを指定させることもできる。このようなマルチアングルビュー400によれば、採点基準の1つとなり得る演技者3の関節角度を詳細に確認させることができる。
図5は、自動採点ビューの一例を示す図である。図5に示すように、自動採点ビュー500には、骨格モデルビュー510および自動採点テーブル520が含まれる。例えば、骨格モデルビュー510には、ユーザ指定のアングルにおける演技者3の3D骨格座標がモデル化された骨格モデルが表示される。この骨格モデルビュー510に演技者3の骨格モデルを表示させるフレームは、シークバー530上でスライダ530Aをスライドさせることにより指定させることができる。また、自動採点テーブル520には、技の認識結果が時系列に表示される。同図の例で言えば、自動採点ビュー500のウィンドウの縦方向、すなわち上方向から下方向へ向けて、技名、技のグループ番号、技の難易度および難易度価値点が時系列に表示される。このように各技の情報が個別に表示される他、全演技のDスコアの採点結果がさらに表示される。ここで、図5には、Dスコアのタブ540が選択中である例が示されているが、Eスコアのタブ550が選択された場合、全演技のEスコアの採点結果の表示に切り替えることができる。このような自動採点ビュー500によれば、審判業務の負担を軽減できる。
これらマルチアングルビューや自動採点ビューに加えて、技の認識結果に関する情報提供の一環として、技認識に用いられる機械学習モデル8Mが出力する技の尤度が提供され得る。これにより、機械学習モデル8Mが不正解の技のラベルを出力している可能性が高い場面、例えば過検知や誤検知などの場面で自動採点のミスに注意を喚起する側面がある。
なお、図4や図5では、技の認識結果に関する情報提供の例として、審判向けのコンテンツを例に挙げたが、情報提供の対象は審判員に限定されない。例えば、トレーナ向け、あるいはエンターテイメント向けのコンテンツを提供することとしてもかまわない。
<課題の一側面>
上記の機械学習モデル8Mが出力する尤度は、以下に説明する通り、技の認識結果に関する情報提供の品質として十分なものであるとは限らない一面がある。
上記の機械学習モデル8Mが出力する尤度は、以下に説明する通り、技の認識結果に関する情報提供の品質として十分なものであるとは限らない一面がある。
すなわち、上記の尤度は、機械学習モデル8Mの訓練時に訓練データとして用いられる骨格情報と、採点などの場面で入力される骨格情報との差に対応するものに過ぎず、真の確からしさとは一致しない。特に、機械学習モデル8Mが分類するクラスの種類が多いほど、さらには、機械学習モデル8Mによる分類精度に個人差が与える影響が大きいほど、上記の尤度と真の確からしさは一致しづらくなる。例えば、機械学習モデル8Mが出力する尤度が低い場合でもラベルが正解である場合もあれば、機械学習モデル8Mが出力する尤度が高い場合でもラベルが不正解である場合もある。加えて、機械学習モデル8Mによる判断プロセスは、人間と異なるものであってブラックボックスである場合があるので、機械学習モデル8Mが出力する尤度を提供したとしても人への説明に適さない一面もある。
<サーバ装置10の構成>
そこで、本実施例では、技の認識結果に関する情報提供の品質向上を実現できる情報提供機能を有するサーバ装置10の機能的構成について説明する。図6は、実施例1に係るサーバ装置10の機能構成例を示すブロック図である。図6には、サーバ装置10が有する機能に対応するブロックが模式化されている。
そこで、本実施例では、技の認識結果に関する情報提供の品質向上を実現できる情報提供機能を有するサーバ装置10の機能的構成について説明する。図6は、実施例1に係るサーバ装置10の機能構成例を示すブロック図である。図6には、サーバ装置10が有する機能に対応するブロックが模式化されている。
図6に示すように、サーバ装置10は、通信インタフェイス部11と、記憶部13と、制御部15とを有する。なお、図6には、上記の情報提供機能を含む採点支援サービスに関連する機能部が図示されているが、一部の機能に対応するモジュールが異なるコンピュータ、あるいは仮想マシンで動作することを妨げない。また、図6に示す機能部に限らず、既存のコンピュータがデフォルトまたはオプションで装備する機能がサーバ装置10に備わることとしてもよい。
通信インタフェイス部11は、他の装置、例えば3Dレーザセンサ5やクライアント端末30などとの間で通信制御を行う通信制御部の一例に対応する。あくまで一例として、通信インタフェイス部11は、LAN(Local Area Network)カードなどのネットワークインターフェイスカードにより実現され得る。1つの側面として、通信インタフェイス部11は、3Dレーザセンサ5から深度画像をフレーム単位で受け付けたり、また、技認識結果に関する情報をクライアント端末30へ出力したりする。
記憶部13は、各種のデータを記憶する機能部である。あくまで一例として、記憶部13は、ストレージ、例えば内部、外部または補助のストレージにより実現される。例えば、記憶部13は、機械学習モデル8Mの生成に用いられた訓練データのデータセット8TRを記憶する。このデータセット8TR以外にも、記憶部13は、機械学習モデル7Mの生成に用いられた訓練データのデータセット7TR、3D骨格座標、技認識結果、あるいは自動採点結果などの各種のデータを記憶することができる。
制御部15は、サーバ装置10の全体制御を行う処理部である。例えば、制御部15は、ハードウェアプロセッサにより実現される。図6に示すように、制御部15は、取得部15Aと、骨格認識部15Bと、技認識部15Cと、特徴量算出部15Dと、特徴量差分算出部15Eと、採点支援部15Fとを有する。
取得部15Aは、深度画像を取得する処理部である。あくまで一例として、取得部15Aは、多視点の3Dレーザセンサ5A~5Nから出力される多視点の深度画像をフレーム単位で取得することができる。ここで、取得部15Aが深度画像を取得する情報ソースは、任意の情報ソースであってよく、ネットワークNWを介する通信に限定されない。例えば、取得部15Aは、サーバ装置10が有するストレージ、あるいはサーバ装置10に着脱可能なリムーバブルメディア、例えばメモリカードやUSB(Universal Serial Bus)メモリなどから深度画像を取得することとしてもよい。
骨格認識部15Bは、骨格認識を実行する処理部である。骨格認識部15Bは、図1に示す骨格認識機能7に対応し得る。一実施形態として、骨格認識部15Bは、図2に示された訓練済みの機械学習モデル7Mを演技者3の骨格認識に用いることができる。例えば、骨格認識部15Bは、取得部15Aにより深度画像の新規のフレームが取得された場合、当該新規のフレームに対応する多視点の深度画像を機械学習モデル7Mへ入力する。そして、骨格認識部15Bは、多視点の深度画像が入力された機械学習モデル7Mから出力される演技者3の3D骨格座標の推定値を技認識部15Cへ出力する。
技認識部15Cは、技認識を実行する処理部である。技認識部15Cは、図1に示す技認識機能8に対応し得る。一実施形態として、技認識部15Cは、図3に示された訓練済みの機械学習モデル8Mを演技者3の技認識に用いることができる。例えば、技認識部15Cは、骨格認識部15Bにより新規のフレームに対応する3D骨格座標が出力された場合、当該新規のフレームから遡って特定の数のフレーム分の3D骨格座標の時系列データを機械学習モデル8Mへ入力する。そして、技認識部15Cは、3D骨格座標の時系列データが入力された機械学習モデル8Mから出力される演技者3の技認識結果を特徴量算出部15Dへ出力する。
特徴量算出部15Dは、技に関する特徴量を算出する処理部である。一実施形態として、特徴量算出部15Dは、技認識部15Cにより技が認識された場合、例えば機械学習モデル8Mが出力するラベルが未検出、すなわち技なしでない場合、処理を起動できる。例えば、特徴量算出部15Dは、技認識部15Cにより認識された技の採点項目ごとに当該採点項目に対応する特徴量を算出する。すなわち、技の種類によって採点規則で定められた採点項目の種類や数が異なり得るので、技ごとに異なる種類および異なる数の特徴量が算出される。例えば、「前後開脚とび」を例に挙げれば、前後開脚、前膝角度およびジャンプ高さなどの特徴量が算出される。また、「前後開脚輪とび」を例に挙げれば、前後開脚、前膝角度およびジャンプ高さの特徴量に加えて、後脚の高さや上半身の反り角度などの特徴量がさらに算出される。例えば、特徴量算出部15Dは、技の採点項目に対応する特徴量ごとに、機械学習モデル8Mに入力された3D骨格座標の時系列データのうち、当該特徴量の算出に用いるフレームを特定して当該フレームにおける3D骨格座標から特徴量を算出する。
特徴量差分算出部15Eは、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で特徴量の差分を算出する処理部である。例えば、入力データの特徴量として、特徴量算出部15Dにより算出された特徴量が用いられる。一方、訓練データの特徴量として、機械学習モデル8Mの生成に用いられたデータセット8TRのうち、技認識部15Cにより認識された技と同一技のラベルが付与された訓練データに対応する3D骨格座標の時系列データから算出された特徴量が用いられる。なお、訓練データの特徴量については、オンデマンドで特徴量算出部15Dに算出させることもできるが、事前に算出しておいた特徴量をプリセットとして用いることができる。
より詳細には、特徴量差分算出部15Eは、技認識部15Cにより認識された技と同一技のラベルが付与されたL個の訓練データごと、および、技認識部15Cにより認識された技の採点項目の数に対応するK種類の特徴量ごとに、特徴量の差分を算出する。このように算出される特徴量の差分は、その値がゼロに近いほど入力データおよび訓練データの間で採点項目に対応する特徴量の距離が小さい、あるいは特徴量の類似度が高いことを意味し得る。つまり、特徴量の差分の値が小さいほど、訓練データに付与されたラベルの技に対応する採点項目にしたがって当該技が実施されている可能性が高まる。それ故、体操競技における採点規則にしたがって技が実施されている尤もらしさを数値化できる。この結果、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を提供できる。
さらに、特徴量差分算出部15Eは、上記の特徴量の差分から特徴量の尤度を算出する。以下、特徴量の尤度のことを指して「特徴量尤度」と記載する場合がある。あくまで一例として、特徴量尤度は、特徴量の差分を特定の数値範囲、例えば0~1の範囲へ正規化することにより算出することができる。この際、1に近づくほど特徴量が尤もらしい一方で0に近づくほど特徴量が尤もらしくない特徴量尤度に正規化する側面から、特徴量の差分の逆数をとることもできる。
このようにK種類の特徴量尤度が算出された後、特徴量差分算出部15Eは、K種類の特徴量尤度を代表する1つの代表値、例えば統計値を技の尤度として算出することができる。以下、技の尤度のことを指して「技尤度」と記載する場合がある。あくまで一例として、K種類の特徴量尤度の最小値を技尤度として導出することができる。この他、K種類の特徴量尤度の相加平均や加重平均などの平均値、あるいはK種類の特徴量尤度の中央値などを技尤度として導出することとしてもよい。このような技尤度をL個の訓練データごとに算出することにより、特徴量差分算出部15Eは、L個の技尤度を算出する。
採点支援部15Fは、採点を支援する処理部である。採点支援部15Fは、図1に示す採点支援機能9に対応し得る。1つの側面として、採点支援部15Fは、図4に示されたマルチアングルビュー400や図5に示された自動採点ビュー500をクライアント端末30に表示させることができる。他の側面として、採点支援部15Fは、技認識結果に関する情報提供の一環として、特徴量差分算出部15Eにより算出された特徴量尤度や技尤度をクライアント端末30に提供できる。例えば、採点支援部15Fは、特徴量差分算出部15Eにより算出されたL個の技尤度のうち最小の技尤度を抽出すると共に、最小の技尤度に対応する訓練データから算出されたK種類の特徴量尤度を抽出する。その上で、採点支援部15Fは、最小の技尤度、あるいは最小の技尤度に対応する訓練データから算出されたK種類の特徴量尤度をクライアント端末30に表示させる。
図7は、採点支援ビューの一例を示す図である。図7に示すように、採点支援ビュー700には、演技者3の3D骨格座標がモデル化された骨格モデルを表示する骨格モデルビュー710が含まれる。この骨格モデルビュー710に演技者3の骨格モデルを表示させるフレームは、シークバー720上のスライダ720Aの位置に応じて連動させることができる。図7の例で言えば、シークバー720上のスライダ720Aの位置に対応するフレームで実施中である技「前脚を曲げ伸ばした前後開脚とび」の骨格モデルが骨格モデルビュー710に表示されている。
さらに、シークバー720上のスライダ720Aの位置に応じて、演技者3により実施される演技を時系列に表示するシンボルバー730の表示が連動する。例えば、シークバー720上のスライダ720Aの位置に対応するフレームで実施中である技と、その前後で実施される技とが時系列に並べて表示される。図7の例で言えば、「ロンダート」、「後方伸身宙返り、両足着台」、「片足立ち1回ターン」、「前脚を曲げ伸ばした前後開脚とび」および「シソンヌ」の各技のシンボルが横方向、例えば左方向から右方向へ並べて表示される。
さらに、シンボルバー730に含まれるシンボルには、当該シンボルに対応する技尤度が対応付けて表示される。図7の例で言えば、シンボル「ロンダート」の下部には、技尤度「0.91」が表示され、シンボル「後方伸身宙返り、両足着台」の下部には、技尤度「0.99」が表示され、シンボル「片足立ち1回ターン」の下部には、技尤度「0.87」が表示されている。さらに、シンボル「前脚を曲げ伸ばした前後開脚とび」の下部には、技尤度「0.25」が表示され、シンボル「シソンヌ」の下部には、技尤度「0.85」が表示されている。
ここで、シンボルバー730に表示されるシンボルや技尤度のうち、特定の条件を満たすシンボルまたは技尤度の表示形態と、他のシンボルまたは他の技尤度の表示形態とが区別される。例えば、技尤度が閾値以下である場合、あるいはシンボルバー730内で技尤度が最低である場合のいずれかの条件に該当するシンボルや技尤度を強調表示させることができる。図7の例で言えば、シンボル「前脚を曲げ伸ばした前後開脚とび」がハッチングで表示されると共に、その技尤度のフォントが太字で表示されている。
このようなシンボルバー730によれば、技認識結果のうち過検知や誤検知のおそれが他の技よりも高い「前脚を曲げ伸ばした前後開脚とび」の注目度を高めることができる。この結果、「前脚を曲げ伸ばした前後開脚とび」の自動採点ミスに注意を喚起できる。これにより、例えば、「前脚を曲げ伸ばした前後開脚とび」と動きが類似する「前後開脚とび」と誤検知されていないかなどの推定やその確認などの対処も可能となる。
図8は、トレーニング支援ビューの一例を示す図である。図8に示すように、トレーニング支援ビュー800には、図7に示された骨格モデルビュー710、シークバー720、スライダ720Aおよびシンボルバー730と同様のGUIコンポーネントに加えて、特徴量尤度リスト810がさらに含まれる。
このような特徴量尤度リスト810には、シークバー720上のスライダ720Aの位置に対応するフレームで実施中である技の採点項目に対応する種類の特徴量に関する特徴量尤度がリスト化されて表示される。
図8の例で言えば、実施中の技が「前脚を曲げ伸ばした前後開脚とび」である側面から、特徴量尤度リスト810には、前後開脚「0.88」、前膝角度「0.25」およびジャンプ高さ「0.98」の3つの特徴量尤度1~3が表示される。
さらに、3つの特徴量尤度1~3のうち、前膝角度「0.25」が他の特徴量尤度よりも相対的に低い、あるいは0~1の数値範囲において定め得る閾値、例えば0.4よりも低いという条件を満たすことから強調表示される。
このような特徴量尤度リスト810によれば、技認識結果「前脚を曲げ伸ばした前後開脚とび」と合わせて、前膝角度が「0.25」という相対的および絶対的に低い値であることを演技者3やそのトレーナなどに提示できる。これにより、「前脚を曲げ伸ばした前後開脚とび」の採点規則で定められた通りの前脚の曲げ伸ばしが不十分であるという改善点のサジェスチョンが可能となる。
<処理の流れ>
図9は、実施例1に係る情報提供処理の手順を示すフローチャートである。図9に示す処理は、あくまで一例として、深度画像の新規のフレームが取得された場合に開始できる。図9に示すように、骨格認識部15Bは、取得部15Aにより取得された深度画像を機械学習モデル7Mへ入力することにより、演技者3の3D骨格座標の推定値を機械学習モデル7Mに出力させることで、骨格認識を実行する(ステップS101)。
図9は、実施例1に係る情報提供処理の手順を示すフローチャートである。図9に示す処理は、あくまで一例として、深度画像の新規のフレームが取得された場合に開始できる。図9に示すように、骨格認識部15Bは、取得部15Aにより取得された深度画像を機械学習モデル7Mへ入力することにより、演技者3の3D骨格座標の推定値を機械学習モデル7Mに出力させることで、骨格認識を実行する(ステップS101)。
続いて、技認識部15Cは、新規のフレームから遡って特定数のフレーム分の3D骨格座標の時系列データを機械学習モデル8Mへ入力することにより、演技者3の技認識結果を機械学習モデル8Mに出力させることで、技認識を実行する(ステップS102)。
このとき、ステップS102の技認識で技が認識された場合、例えば機械学習モデル8Mが出力するラベルが未検出、すなわち技なしでない場合(ステップS103Yes)、特徴量算出部15Dは、次のような処理を実行する。すなわち、特徴量算出部15Dは、ステップS102の技認識で認識された技の採点項目に対応するK種類の特徴量を算出する(ステップS104)。
そして、特徴量差分算出部15Eは、ステップS102の技認識で認識された技と同一技のラベルが付与された訓練データの個数Lに対応する回数の分、ステップS105からステップS107までの処理を繰り返すループ処理1を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、訓練データの個数LごとにステップS105からステップS107の処理が並列して行われてもよい。
さらに、特徴量差分算出部15Eは、ステップS102の技認識で認識された技の採点項目の数に対応する特徴量の種類数Kに対応する回数の分、ステップS105およびステップS106の処理を繰り返すループ処理2を開始する。なお、ここでも、特徴量の種類数KごとにステップS105およびステップS106の処理が並列して行われてもよい。
すなわち、特徴量差分算出部15Eは、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で特徴量の差分を算出する(ステップS105)。例えば、入力データの特徴量として、ステップS104で算出された特徴量が用いられる。一方、訓練データの特徴量として、機械学習モデル8Mの生成に用いられたデータセット8TRのうち、ステップS102の技認識で認識された技と同一技のラベルが付与された訓練データに対応する3D骨格座標の時系列データから算出された特徴量が用いられる。
続いて、特徴量差分算出部15Eは、ステップS105で算出された特徴量の差分から特徴量尤度を算出する(ステップS106)。
このようなループ処理2が繰り返されることにより、特徴量の種類数Kごとに特徴量尤度を得ることができる。ループ処理2が終了すると、特徴量差分算出部15Eは、K種類の特徴量尤度を代表する1つの代表値、例えば最小値を技尤度として算出する(ステップS107)。さらに、ループ処理1が繰り返されることにより、訓練データの個数Lごとに技尤度を得ることができる。
ループ処理1が終了すると、採点支援部15Fは、ループ処理1で得られたL個の技尤度のうち最小の技尤度と、最小の技尤度に対応する訓練データから算出されたK種類の特徴量尤度をクライアント端末30に表示させ(ステップS108)、処理を終了する。
<効果の一側面>
上述してきたように、本実施例に係るサーバ装置10は、技認識用の機械学習モデルに入力された骨格情報から求まる特徴量と、技認識用の機械学習モデルが出力する技と同一の技に関する訓練データの骨格情報から求まる特徴量との差分を提供する。このため、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を情報提供できる。したがって、本実施例に係るサーバ装置10によれば、技の認識結果に関する情報提供の品質向上を実現できる。
上述してきたように、本実施例に係るサーバ装置10は、技認識用の機械学習モデルに入力された骨格情報から求まる特徴量と、技認識用の機械学習モデルが出力する技と同一の技に関する訓練データの骨格情報から求まる特徴量との差分を提供する。このため、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を情報提供できる。したがって、本実施例に係るサーバ装置10によれば、技の認識結果に関する情報提供の品質向上を実現できる。
さて、上記の実施例1では、技認識で認識された技と同一技のラベルが付与された訓練データの個数Lごとに特徴量の差分、ひいては特徴量尤度や技尤度を算出する例を挙げたが、必ずしもL個の訓練データごとに特徴量の差分などを算出せずともよい。
すなわち、特徴量の算出時には、技認識で認識される技によって採点項目が異なるので、算出対象とする特徴量の種類を識別したり、特徴量の種類ごとに3D骨格座標の時系列データの中から特徴量の算出に用いるフレームを特定したりといった処理が行われる。
このような処理負荷を軽減する側面から、本実施例では、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で3D骨格座標の差分を算出し、差分が最小である訓練データを特徴量の差分の算出対象として絞り込む応用例を説明する。
図10は、実施例2に係るサーバ装置20の機能構成例を示す図である。図10では、図6に示されたサーバ装置10と同様の機能を有する機能部には同一の符号を付し、その説明を省略することとする。図10に示すように、サーバ装置20は、図6に示すサーバ装置10と比べて、制御部25が骨格差分算出部25Aをさらに有する点で異なる。
骨格差分算出部25Aは、3D骨格座標の差分を算出する処理部である。以下、3D骨格座標の差分のことを指して「骨格差分」と記載する場合がある。
あくまで一例として、骨格差分算出部25Aは、技認識部15Cにより技が認識された場合、例えば機械学習モデル8Mが出力するラベルが未検出、すなわち技なしでない場合、処理を起動できる。
例えば、骨格差分算出部25Aは、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で3D骨格座標の差分を算出する。例えば、入力データとして、骨格認識部15Bによる骨格認識で得られた3D骨格座標の時系列データ、別観点から言えば技認識部15Cによる技認識に用いられた3D骨格座標の時系列データが用いられる。一方、訓練データとして、機械学習モデル8Mの生成に用いられたデータセット8TRのうち、技認識部15Cにより認識された技と同一技のラベルが付与された訓練データに対応する3D骨格座標の時系列データが用いられる。
より詳細には、骨格差分算出部25Aは、技認識部15Cにより認識された技と同一技のラベルが付与されたL個の訓練データごとに、次のような処理を実行する。すなわち、骨格差分算出部25Aは、入力データおよび訓練データの間で3D骨格座標の時系列データのフレーム数が異なる場合、両者のフレーム数を統一する。このように入力データおよび訓練データの間でフレーム数を統一する場合、多い方のフレーム数を少ない方のフレーム数に合わせることもできれば、少ない方のフレーム数を多い方のフレーム数に合わせることもできる。例えば、少ない方のフレーム数を多い方のフレーム数に合わせる場合、不足分のフレームを補間するリサンプリングが必要となる。その一方で、多い方のフレーム数を少ない方のフレーム数に合わせる場合、超過分のフレームを間引くだけでよい。このような側面から、骨格差分算出部25Aは、入力データおよび訓練データのうち、フレーム数が多い方の3D骨格座標の時系列データから超過分のフレーム数に対応する3D骨格座標を間引くことにより、両者のフレーム数を統一する。
フレーム数の統一後、骨格差分算出部25Aは、統一されたM個のフレームごと、および、骨格モデルに定義される関節の数Nごとに、入力データおよび訓練データの間で3D骨格座標の差分、すなわち骨格差分を算出する。ここで求める「差分」は、絶対値であってもよいし、二乗値であってもよい。N個の関節ごとに骨格差分が算出されると、骨格差分算出部25Aは、N個の骨格差分の合計値を算出する。その後、M個のフレームごとにN個の骨格差分の合計値が算出されると、骨格差分算出部25Aは、M個のフレーム分のN個の骨格差分の合計値から平均値を算出する。このようにN個分の骨格差分の平均値を代表値として算出することにより、L個の訓練データごとに訓練データおよび入力データの間で統一されるフレーム数Mが異なる場合でも、L個の訓練データの間でフレーム数の調整を不要化できる。そして、L個の訓練データごとにN個分の骨格差分の平均値が算出されると、骨格差分算出部25Aは、L個の訓練データのうちN個分の骨格差分の平均値が最小である訓練データを選択する。
これにより、L個の訓練データのうち、入力データからの距離が最小であるか、あるいは入力データに対する類似度が最高である訓練データを絞り込むことができる。
図11は、実施例2に係る情報提供処理の手順を示すフローチャートである。図11に示す処理も、あくまで一例として、深度画像の新規のフレームが取得された場合に開始できる。図11に示すように、骨格認識部15Bは、取得部15Aにより取得された深度画像を機械学習モデル7Mへ入力することにより、演技者3の3D骨格座標の推定値を機械学習モデル7Mに出力させることで、骨格認識を実行する(ステップS101)。
続いて、技認識部15Cは、新規のフレームから遡って特定数のフレーム分の3D骨格座標の時系列データを機械学習モデル8Mへ入力することにより、演技者3の技認識結果を機械学習モデル8Mに出力させることで、技認識を実行する(ステップS102)。
このとき、ステップS102の技認識で技が認識された場合、例えば機械学習モデル8Mが出力するラベルが未検出、すなわち技なしでない場合(ステップS103Yes)、骨格差分算出部25Aは、次のような処理を実行する。
すなわち、骨格差分算出部25Aは、ステップS102の技認識で認識された技と同一技のラベルが付与された訓練データの個数Lに対応する回数の分、ステップS201からステップS204までの処理を繰り返すループ処理11を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、訓練データの個数LごとにステップS201からステップS204までの処理が並列して行われてもよい。
骨格差分算出部25Aは、入力データおよび訓練データのうち、フレーム数が多い方の3D骨格座標の時系列データから超過分のフレーム数に対応する3D骨格座標を間引くことにより、両者のフレーム数を統一する(ステップS201)。なお、入力データおよび訓練データの間でフレーム数が同一である場合、ステップS201の処理はスキップできる。
その後、骨格差分算出部25Aは、ステップS201で統一されたフレームの数Mに対応する回数の分、ステップS202およびステップS203の処理を繰り返すループ処理12を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、フレームの数MごとにステップS202およびステップS203の処理が並列して行われてもよい。
さらに、骨格差分算出部25Aは、骨格モデルに定義される関節の数Nに対応する回数の分、ステップS202の処理を繰り返すループ処理13を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、関節の数NごとにステップS202の処理が並列して行われてもよい。
すなわち、骨格差分算出部25Aは、入力データおよび訓練データの間で3D骨格座標の差分、すなわち骨格差分を算出する(ステップS202)。このようなループ処理13が繰り返されることにより、N個の関節ごとに骨格差分を得ることができる。
ループ処理13が終了すると、骨格差分算出部25Aは、N個の骨格差分の合計値を算出する(ステップS203)。このようなループ処理12が繰り返されることにより、M個のフレームごとにN個の骨格差分の合計値を得ることができる。
ループ処理12が終了すると、骨格差分算出部25Aは、M個のフレーム分のN個の骨格差分の合計値から平均値を算出する(ステップS204)。このようなループ処理11が繰り返されることにより、L個の訓練データごとにN個分の骨格差分の平均値を得ることができる。
そして、ループ処理11が終了すると、骨格差分算出部25Aは、L個の訓練データのうちN個分の骨格差分の平均値が最小である訓練データを選択する(ステップS205)。
その後、ステップS102の技認識で認識された技の採点項目に対応する特徴量の種類数Kに対応する回数の分、ステップS206からステップS208までの処理を繰り返すループ処理14を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、特徴量の種類数KごとにステップS206からステップS208までの処理が並列して行われてもよい。
すなわち、特徴量算出部15Dは、ステップS102の技認識で認識された技の採点項目に対応する特徴量を算出する(ステップS206)。
そして、特徴量差分算出部15Eは、技認識に用いられた入力データおよびステップS205で選択された訓練データの間で特徴量の差分を算出する(ステップS207)。例えば、入力データの特徴量として、ステップS206で算出された特徴量が用いられる。一方、訓練データの特徴量として、機械学習モデル8Mの生成に用いられたデータセット8TRのうち、ステップS205で選択された訓練データに対応する3D骨格座標の時系列データから算出された特徴量が用いられる。
続いて、特徴量差分算出部15Eは、ステップS207で算出された特徴量の差分から特徴量尤度を算出する(ステップS208)。
このようなループ処理14が繰り返されることにより、特徴量の種類数Kごとに特徴量尤度を得ることができる。ループ処理14が終了すると、特徴量差分算出部15Eは、K種類の特徴量尤度を代表する1つの代表値、例えば最小値を技尤度として算出する(ステップS209)。
最後に、採点支援部15Fは、ステップS209で算出された技尤度と、ループ処理14で得られたK種類の特徴量尤度をクライアント端末30に表示させ(ステップS210)、処理を終了する。
上述してきたように、本実施例に係るサーバ装置20は、上記の実施例1に係るサーバ装置10と同様、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で当該技の採点項目に対応する特徴量の差分を算出して出力する。このため、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を提供できる。したがって、本実施例に係るサーバ装置20においても、技の認識結果に関する情報提供の品質向上を実現できる。
さらに、本実施例に係るサーバ装置20は、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で3D骨格座標の差分を算出し、差分が最小である訓練データを特徴量の差分の算出対象として絞り込む。このため、本実施例に係るサーバ装置20によれば、算出対象とする特徴量の種類を識別したり、特徴量の種類ごとに3D骨格座標の時系列データの中から特徴量の算出に用いるフレームを特定したりといった処理の負荷を削減できる。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
<訓練データ>
上記の実施例1では、図9に示すステップS102の技認識で認識された技と同一技のラベルが付与されたL個の訓練データごとに特徴量尤度および技尤度を算出する例を挙げた。また、上記の実施例2では、図11に示すステップS102の技認識で認識された技と同一技のラベルが付与されたL個の訓練データごとに骨格差分を算出する例を挙げた。これらの算出対象は、必ずしもL個の訓練データとせずともよい。
上記の実施例1では、図9に示すステップS102の技認識で認識された技と同一技のラベルが付与されたL個の訓練データごとに特徴量尤度および技尤度を算出する例を挙げた。また、上記の実施例2では、図11に示すステップS102の技認識で認識された技と同一技のラベルが付与されたL個の訓練データごとに骨格差分を算出する例を挙げた。これらの算出対象は、必ずしもL個の訓練データとせずともよい。
あくまで一例として、L個の訓練データの間で3D骨格座標の統計値、例えば相加平均や加重平均などを算出することによりL個の訓練データを代表する1つの訓練データを生成し、生成された訓練データを算出対象に用いることができる。他の一例として、L個の訓練データから抽出され得る訓練データのペアごとに3D骨格座標の差分を算出し、全ペアのうち3D骨格座標の差分が最大である訓練データのペアを算出対象に用いることもできる。
<骨格差分>
上記の実施例2では、L個の訓練データから1つの訓練データに絞り込む側面から骨格差分を用いる例を挙げたが、図11に示すステップS205で選択された骨格差分は、ステップS210で出力される技尤度や特徴量尤度と共に出力することができる。
上記の実施例2では、L個の訓練データから1つの訓練データに絞り込む側面から骨格差分を用いる例を挙げたが、図11に示すステップS205で選択された骨格差分は、ステップS210で出力される技尤度や特徴量尤度と共に出力することができる。
このような骨格差分の情報提供により、以下のように、技尤度や特徴量尤度のみでは不十分な状況にも対応できる。例えば、座った姿勢から前方へ回転し倒立してそのままさらに前方へ回転し座った姿勢になる「前転」という技を例に挙げる。この技の特徴量としては、「足が着いた状態で始まる」、「180°回転」、「手をついた倒立姿勢になる」、「180°回転」、「足が着いた状態で終わる」という特徴量になる。これに対して、何かしらの技を失敗して平均台から落下する際に頭から落ちることを避けるためとっさに平均台を掴み、くるりと1回転して落ちる、という状況も発生し得る。この場合、状況によっては、足が着いた状態から落下し、180°回転した付近で平均台を掴み、さらに180°回転して、足を着くというように、技尤度や特徴量尤度を比較すると前転と類似する動きになる場合がある。このような場合でも、上記の骨格差分には、技失敗時と前転時との間で差が現れ易いので、技失敗時と前転時との識別に用いることができる。
<分散および統合>
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部15A、骨格認識部15B、技認識部15C、特徴量算出部15D、特徴量差分算出部15Eまたは採点支援部15Fをサーバ装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部15A、骨格認識部15B、技認識部15C、骨格差分算出部25A、特徴量算出部15D、特徴量差分算出部15Eまたは採点支援部15Fをサーバ装置20の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部15A、骨格認識部15B、技認識部15C、特徴量算出部15D、特徴量差分算出部15Eまたは採点支援部15Fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置10の機能を実現するようにしてもよい。また、取得部15A、骨格認識部15B、技認識部15C、骨格差分算出部25A、特徴量算出部15D、特徴量差分算出部15E又は採点支援部15Fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、サーバ装置20の機能を実現してもよい。
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部15A、骨格認識部15B、技認識部15C、特徴量算出部15D、特徴量差分算出部15Eまたは採点支援部15Fをサーバ装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部15A、骨格認識部15B、技認識部15C、骨格差分算出部25A、特徴量算出部15D、特徴量差分算出部15Eまたは採点支援部15Fをサーバ装置20の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部15A、骨格認識部15B、技認識部15C、特徴量算出部15D、特徴量差分算出部15Eまたは採点支援部15Fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置10の機能を実現するようにしてもよい。また、取得部15A、骨格認識部15B、技認識部15C、骨格差分算出部25A、特徴量算出部15D、特徴量差分算出部15E又は採点支援部15Fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、サーバ装置20の機能を実現してもよい。
<ハードウェア構成>
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図12を用いて、実施例1及び実施例2と同様の機能を有する情報提供プログラムを実行するコンピュータの一例について説明する。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図12を用いて、実施例1及び実施例2と同様の機能を有する情報提供プログラムを実行するコンピュータの一例について説明する。
図12は、ハードウェア構成例を示す図である。図12に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110~180の各部はバス140を介して接続される。
HDD170には、図12に示すように、上記の実施例1で示された取得部15A、骨格認識部15B、技認識部15C、特徴量算出部15D、特徴量差分算出部15E及び採点支援部15Fと同様の機能を発揮する情報提供プログラム170aが記憶され得る。また、HDD170には、上記の実施例2に示す取得部15A、骨格認識部15B、技認識部15C、骨格差分算出部25A、特徴量算出部15D、特徴量差分算出部15E及び採点支援部15Fと同様の機能を発揮する情報提供プログラム170aが記憶され得る。この情報提供プログラム170aは、図6または図10に示す各構成要素と同様、統合又は分離してもよい。すなわち、HDD170には、必ずしも上記の実施例1~2で示した全てのデータが格納されずともよく、処理に用いるデータがHDD170に格納されればよい。
このような環境の下、CPU150は、HDD170から情報提供プログラム170aを読み出した上でRAM180へ展開する。この結果、情報提供プログラム170aは、図12に示すように、情報提供プロセス180aとして機能する。この情報提供プロセス180aは、RAM180が有する記憶領域のうち情報提供プロセス180aに割り当てられた領域にHDD170から読み出した各種データを展開し、展開された各種データを用いて各種の処理を実行する。例えば、情報提供プロセス180aが実行する処理の一例として、図9や図11に示す処理などが含まれ得る。なお、CPU150では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
なお、上記の情報提供プログラム170aは、必ずしも最初からHDD170やROM160に記憶されておらずともかまわない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に情報提供プログラム170aを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から情報提供プログラム170aを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに情報提供プログラム170aを記憶させておく。このように記憶された情報提供プログラム170aをコンピュータ100にダウンロードさせた上で実行させるようにしてもよい。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータが実行することを特徴とする情報提供方法。
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータが実行することを特徴とする情報提供方法。
(付記2)前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する処理を前記コンピュータがさらに実行し、
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする付記1に記載の情報提供方法。
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする付記1に記載の情報提供方法。
(付記3)前記骨格差分を算出する処理は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記2に記載の情報提供方法。
ことを特徴とする付記2に記載の情報提供方法。
(付記4)前記骨格差分を算出する処理は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記2に記載の情報提供方法。
ことを特徴とする付記2に記載の情報提供方法。
(付記5)前記出力する処理は、前記特徴量の差分が正規化された特徴量の尤度を出力する処理を含む、
ことを特徴とする付記1に記載の情報提供方法。
ことを特徴とする付記1に記載の情報提供方法。
(付記6)前記特徴量を算出する処理は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出する処理を含み、
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする付記1に記載の情報提供方法。
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする付記1に記載の情報提供方法。
(付記7)技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータに実行させることを特徴とする情報提供プログラム。
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータに実行させることを特徴とする情報提供プログラム。
(付記8)前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する処理を前記コンピュータにさらに実行させ、
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする付記7に記載の情報提供プログラム。
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする付記7に記載の情報提供プログラム。
(付記9)前記骨格差分を算出する処理は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記8に記載の情報提供プログラム。
ことを特徴とする付記8に記載の情報提供プログラム。
(付記10)前記骨格差分を算出する処理は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記8に記載の情報提供プログラム。
ことを特徴とする付記8に記載の情報提供プログラム。
(付記11)前記出力する処理は、前記特徴量の差分が正規化された特徴量の尤度を出力する処理を含む、
ことを特徴とする付記7に記載の情報提供プログラム。
ことを特徴とする付記7に記載の情報提供プログラム。
(付記12)前記特徴量を算出する処理は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出する処理を含み、
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする付記7に記載の情報提供プログラム。
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする付記7に記載の情報提供プログラム。
(付記13)深度画像を取得するセンサ装置と、
前記深度画像に対する骨格認識を実行する骨格認識部と、前記骨格認識で得られる骨格情報を技認識用の機械学習モデルに入力することにより技を認識する技認識部と、前記技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出する特徴量算出部と、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出する特徴量差分算出部と、算出された特徴量の差分をクライアント端末へ出力する情報出力部と、を有するサーバ装置と、
を有することを特徴とする採点支援システム。
前記深度画像に対する骨格認識を実行する骨格認識部と、前記骨格認識で得られる骨格情報を技認識用の機械学習モデルに入力することにより技を認識する技認識部と、前記技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出する特徴量算出部と、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出する特徴量差分算出部と、算出された特徴量の差分をクライアント端末へ出力する情報出力部と、を有するサーバ装置と、
を有することを特徴とする採点支援システム。
(付記14)前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する骨格差分算出部を前記サーバ装置がさらに有し、
前記特徴量差分算出部は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する、ことを特徴とする付記13に記載の採点支援システム。
前記特徴量差分算出部は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する、ことを特徴とする付記13に記載の採点支援システム。
(付記15)前記骨格差分算出部は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する、ことを特徴とする付記14に記載の採点支援システム。
(付記16)前記骨格差分算出部は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する、ことを特徴とする付記14に記載の採点支援システム。
(付記17)前記情報出力部は、前記特徴量の差分が正規化された特徴量の尤度を出力する、ことを特徴とする付記13に記載の採点支援システム。
(付記18)前記特徴量算出部は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出し、
前記特徴量差分算出部は、前記特徴量の種類ごとに前記特徴量の差分を算出し、
前記情報出力部は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する、ことを特徴とする付記13に記載の採点支援システム。
前記特徴量差分算出部は、前記特徴量の種類ごとに前記特徴量の差分を算出し、
前記情報出力部は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する、ことを特徴とする付記13に記載の採点支援システム。
1 採点支援システム
3 演技者
5 3Dレーザセンサ
10 サーバ装置
11 通信インタフェイス部
13 記憶部
15 制御部
15A 取得部
15B 骨格認識部
15C 技認識部
15D 特徴量算出部
15E 特徴量差分算出部
15F 採点支援部
3 演技者
5 3Dレーザセンサ
10 サーバ装置
11 通信インタフェイス部
13 記憶部
15 制御部
15A 取得部
15B 骨格認識部
15C 技認識部
15D 特徴量算出部
15E 特徴量差分算出部
15F 採点支援部
Claims (8)
- 技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータが実行することを特徴とする情報提供方法。 - 前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する処理を前記コンピュータがさらに実行し、
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする請求項1に記載の情報提供方法。 - 前記骨格差分を算出する処理は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する処理を含む、
ことを特徴とする請求項2に記載の情報提供方法。 - 前記骨格差分を算出する処理は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する処理を含む、
ことを特徴とする請求項2に記載の情報提供方法。 - 前記出力する処理は、前記特徴量の差分が正規化された特徴量の尤度を出力する処理を含む、
ことを特徴とする請求項1~4のいずれか1つに記載の情報提供方法。 - 前記特徴量を算出する処理は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出する処理を含み、
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする請求項1~4のいずれか1つに記載の情報提供方法。 - 技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータに実行させることを特徴とする情報提供プログラム。 - 深度画像を取得するセンサ装置と、
前記深度画像に対する骨格認識を実行する骨格認識部と、前記骨格認識で得られる骨格情報を技認識用の機械学習モデルに入力することにより技を認識する技認識部と、前記技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出する特徴量算出部と、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出する特徴量差分算出部と、算出された特徴量の差分をクライアント端末へ出力する情報出力部と、を有するサーバ装置と、
を有することを特徴とする採点支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021112417A JP2023008679A (ja) | 2021-07-06 | 2021-07-06 | 情報提供方法、情報提供プログラム及び採点支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021112417A JP2023008679A (ja) | 2021-07-06 | 2021-07-06 | 情報提供方法、情報提供プログラム及び採点支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023008679A true JP2023008679A (ja) | 2023-01-19 |
Family
ID=85112380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112417A Pending JP2023008679A (ja) | 2021-07-06 | 2021-07-06 | 情報提供方法、情報提供プログラム及び採点支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023008679A (ja) |
-
2021
- 2021-07-06 JP JP2021112417A patent/JP2023008679A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Andriluka et al. | 2d human pose estimation: New benchmark and state of the art analysis | |
JP6082101B2 (ja) | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 | |
JP5028389B2 (ja) | 鏡上の内容及び動作に関連した情報を用いて鏡の機能を拡張する方法及び装置 | |
US10186041B2 (en) | Apparatus and method for analyzing golf motion | |
CN105229666A (zh) | 3d图像中的运动分析 | |
Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
US20200179759A1 (en) | Display method, information processing apparatus, and computer-readable recording medium | |
CN105228709A (zh) | 用于重复检测和分析的信号分析 | |
JP7235133B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
CN105209136A (zh) | 用于分析3d图像中的用户动作的质心状态矢量 | |
Monir et al. | Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature | |
JP6677319B2 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
WO2020145224A1 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
Haggag et al. | An adaptable system for rgb-d based human body detection and pose estimation: Incorporating attached props | |
JP7409390B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
Shahjalal et al. | An approach to automate the scorecard in cricket with computer vision and machine learning | |
JP2023008679A (ja) | 情報提供方法、情報提供プログラム及び採点支援システム | |
Trejo et al. | Recognition of Yoga poses through an interactive system with Kinect based on confidence value | |
KR101861096B1 (ko) | 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치 | |
JP2018055619A (ja) | 画像表示装置 | |
WO2020153031A1 (ja) | ユーザ属性推定装置およびユーザ属性推定方法 | |
Connolly et al. | Automated identification of trampoline skills using computer vision extracted pose estimation | |
WO2022208859A1 (ja) | 技認識方法、技認識装置および体操採点支援システム | |
Caserman et al. | Recognition of full-body movements in VR-based exergames using hidden Markov models | |
JP7272470B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240404 |