JP2023008679A - 情報提供方法、情報提供プログラム及び採点支援システム - Google Patents

Abstract

【課題】技の認識結果に関する情報提供の品質向上を実現すること。【解決手段】情報提供方法では、技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、算出された特徴量の差分を出力する、処理をコンピュータが実行する。【選択図】図６

Description

本発明は、情報提供技術に関する。

人物の姿勢認識や行動認識が各種の分野で利用されている。例えば、体操競技を例に挙げれば、現状の採点方法は複数の審判による目視で行われているが、器具の進化やトレーニング方法の改善により、動きの複雑化を伴う技の高度化が進み、審判による技の認識が困難となる場面が増加している。この結果、審判ごとに選手の採点結果が異なるなど採点の公平性や正確性の維持に懸念が生じている。

このような背景から、３次元のレーザセンサにより選手の３次元点群データを取得し、選手の骨格情報の検出、選手により実施された技の認識を実行して技の認識結果に関する情報を提供することで、審判の採点を支援する採点支援システムが提案されている。

例えば、採点支援システムでは、技の認識結果に関する情報提供の一環として、技の認識に用いられる機械学習モデルが出力する尤度が提供されている。これにより、１つの側面として、機械学習モデルが不正解の技のラベルを出力している可能性が高い場面、例えば過検知や誤検知などの場面で自動採点のミスに注意を喚起する。

特開２０１７－２２８１００号公報 特表２０１４－５０９０１１号公報 特開２０１９－１６６３１１号公報 米国特許出願公開第２０１２／０２１４５９４号明細書

しかしながら、上記の尤度は、以下に説明する通り、技の認識結果に関する情報提供の品質として十分なものであるとは限らない一面がある。

すなわち、上記の尤度は、機械学習モデルの訓練時に訓練データとして用いられる骨格情報と、採点などの場面で入力される骨格情報との差に対応するものに過ぎず、真の確からしさとは一致しない。特に、機械学習モデルが分類するクラスの種類が多いほど、さらには、機械学習モデルによる分類精度に個人差が与える影響が大きいほど、上記の尤度と真の確からしさは一致しづらくなる。例えば、機械学習モデルが出力する尤度が低い場合でもラベルが正解である場合もあれば、機械学習モデルが出力する尤度が高い場合でもラベルが不正解である場合もある。加えて、機械学習モデルによる判断プロセスは、人間と異なるものであってブラックボックスである場合があるので、機械学習モデルが出力する尤度を提供したとしても人への説明に適さない一面もある。

１つの側面では、技の認識結果に関する情報提供の品質向上を実現できる情報提供方法、情報提供プログラム及び採点支援システムを提供することを目的とする。

一態様にかかる情報提供方法では、技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、算出された特徴量の差分を出力する、処理をコンピュータが実行する。

一実施形態によれば、技の認識結果に関する情報提供の品質向上を実現できる。

図１は、採点支援システムの構成例を示す図である。 図２は、骨格認識機能を示す模式図である。 図３は、技認識機能を示す模式図である。 図４は、マルチアングルビューの一例を示す図である。 図５は、自動採点ビューの一例を示す図である。 図６は、実施例１に係るサーバ装置の機能構成例を示すブロック図である。 図７は、採点支援ビューの一例を示す図である。 図８は、トレーニング支援ビューの一例を示す図である。 図９は、実施例１に係る情報提供処理の手順を示すフローチャートである。 図１０は、実施例２に係るサーバ装置の機能構成例を示すブロック図である。 図１１は、実施例２に係る情報提供処理の手順を示すフローチャートである。 図１２は、ハードウェア構成例を示す図である。

以下、添付図面を参照して本願に係る情報提供方法、情報提供プログラム及び採点支援システムの実施例について説明する。各実施例には、あくまで１つの例や側面を示すに過ぎず、このような例示により数値や機能の範囲、利用シーンなどは限定されない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

＜システム構成＞
図１は、採点支援システムの構成例を示す図である。図１に示す採点支援システム１は、被写体である演技者３の３次元データを取得し、骨格認識や技認識などを通じて演技者３により実施される技の採点を支援するものである。

このような技の例として、体操競技における演技を挙げるが、フィギュアスケートにおける演技の他、各種のスポーツにおける動作、例えば野球のスイングやサッカーのシュートなども技の範疇に含まれてよい。

図１に示すように、採点支援システム１には、３Ｄレーザセンサ５と、サーバ装置１０と、クライアント端末３０とが含まれ得る。

３Ｄ（Three－Dimensional）レーザセンサ５は、赤外線レーザ等を用いて対象物までの距離、いわゆる深度を走査点に対応する画素ごとに測定するセンサ装置の一例である。例えば、３Ｄレーザセンサ５の例として、深度画像カメラやＬＩＤＡＲ（Light Detection and Ranging）技術を用いたレーザセンサ、例えばＭＥＭＳ（Micro-Electro-Mechanical Systems）ミラー型のレーザセンサであってよい。

サーバ装置１０は、各種のサービスを提供するコンピュータの一例である。あくまで一例として、サーバ装置１０は、図１に示すように、骨格認識機能７、技認識機能８および採点支援機能９がパッケージ化された採点支援サービスを提供する。例えば、骨格認識機能７は、３Ｄレーザセンサ５により測定される深度画像を用いて、演技者３の骨格部位、例えば関節の位置などの骨格情報を検出する機能を提供する。技認識機能８は、骨格認識機能７による骨格認識で得られる骨格情報の時系列データを用いて、演技者３により実施される技を認識する機能を提供する。採点支援機能９は、技認識機能８による技認識結果に基づいて採点を支援する機能を提供する。

これら骨格認識機能７、技認識機能８および採点支援機能９を実現するパッケージソフトウェアを任意のコンピュータに実行させることにより、上記の採点支援サービスが提供され得る。例えば、サーバ装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、骨格認識機能７、技認識機能８および採点支援機能９をクラウドサービスとして提供することができる。この他、サーバ装置１０は、骨格認識機能７、技認識機能８および採点支援機能９をオンプレミスに提供するサーバとして実装することもできる。

クライアント端末３０は、上記のサービスの提供を受けるコンピュータの一例である。このようなクライアント端末３０は、上記のサービスのユーザのあくまで一例として、体操競技の関係者、例えば審判員や演技者３のトレーナなどにより使用される。例えば、クライアント端末３０は、パーソナルコンピュータなどのデスクトップ型のコンピュータなどであってよい。この他、クライアント端末３０は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの汎用の情報処理装置に限らず、ＨＭＩ（Human Machine Interface）などが採点支援用にカスタマイズされたものであってもよい。

なお、図１には、骨格認識機能７、技認識機能８および採点支援機能９がパッケージ化されて提供される例を挙げたが、各機能がモジュール化されて提供されてもよい。この場合、骨格認識機能７、技認識機能８および採点支援機能９の各々は、異なるコンピュータにより実現されてよく、また、同一のベンダまたは異なるベンダにより提供されてよい。

＜骨格認識機能＞
図２は、骨格認識機能７を示す模式図である。図２に示すように、骨格認識機能７は、あくまで一例として、機械学習モデルを用いる骨格認識とフィッティングとを組みわせたハイブリッド方式により実現できる。

例えば、骨格認識には、深度画像を入力として３Ｄ骨格座標の推定値を出力する機械学習モデル７ｍ、例えばＣＮＮ（Convolutional Neural Network）系のニューラルネットワークを用いることができる。ここで言う「３Ｄ骨格座標」とは、頭や肩、背骨、肘、手首、腰、膝、足首などといった関節が３次元空間上で位置する座標を指し、「骨格情報」の一例に対応し得る。

このような機械学習モデル７ｍの訓練には、深度画像および正解ラベルの３Ｄ骨格座標が対応付けられた訓練データを含むデータセット７ＴＲを用いることができる。例えば、訓練データは、体操競技の３Ｄ骨格座標からコンピュータグラフィックス等により深度画像を生成することにより用意できる。このようなデータセットの下、学習フェイズでは、深度画像を機械学習モデル７ｍの説明変数とし、ラベルを機械学習モデル７ｍの目的変数とし、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがって機械学習モデル７ｍを訓練できる。例えば、深度画像が入力された機械学習モデル７ｍが出力する３Ｄ骨格座標の推定値と、正解ラベルの３Ｄ骨格座標との損失に基づいて機械学習モデル７ｍのパラメータが更新される。これにより、訓練済みの機械学習モデル７Ｍが得られる。推論フェイズでは、体操器具や演技者３自身によるオクルージョンを克服するように設置された多視点の３Ｄレーザセンサ５Ａ～５Ｎから出力される多視点の深度画像を機械学習モデル７Ｍへ入力する。このように多視点の深度画像が入力された機械学習モデル７Ｍは、演技者３の３Ｄ骨格座標を出力する。

フィッティングでは、機械学習モデル７Ｍの３Ｄ骨格座標の出力や前フレームにおけるフィッティング結果などを初期値とし、多視点の深度画像が統合された３Ｄ点群に人体モデルを当てはめる。例えば、３Ｄ点群の座標と人体モデルの表面座標との一致度を示す評価関数（尤度）を定義し、最も尤度が高くなる関節角度を最適化により求めることで、３Ｄ骨格座標を決定する。

３Ｄレーザセンサ５および骨格認識機能７により、マーカレスで演技者３の動きの３次元計測を実行する３Ｄセンシングが実現される。

＜技認識機能＞
図３は、技認識機能８を示す模式図である。図３に示すように、技認識機能８は、３Ｄ骨格座標の時系列データを入力として体操競技における技名を出力する機械学習モデル８ｍ、例えばＣＮＮ系のニューラルネットワークにより実現できる。

このような機械学習モデル８ｍの訓練には、３Ｄ骨格座標の時系列データおよび正解ラベルの技名が対応付けられた訓練データを含むデータセット８ＴＲを用いることができる。例えば、訓練データには、体操競技で演技が実演された３Ｄ骨格座標の時系列データを用いることができる。このようなデータセットの下、学習フェイズでは、３Ｄ骨格座標を機械学習モデル８ｍの説明変数とし、ラベルを機械学習モデル８ｍの目的変数とし、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがって機械学習モデル８ｍを訓練できる。例えば、３Ｄ骨格座標の時系列データが入力された機械学習モデル８ｍが出力する技名の推定値と、正解ラベルの技名との損失に基づいて機械学習モデル８ｍのパラメータが更新される。これにより、訓練済みの機械学習モデル８Ｍが得られる。推論フェイズでは、骨格認識機能７による骨格認識で得られた３Ｄ骨格座標の時系列データを機械学習モデル８Ｍへ入力する。このように３Ｄ骨格座標の時系列データが入力された機械学習モデル８Ｍは、演技者３により実施された技名を技の認識結果として出力する。この際、技の認識結果に関する情報として、技名とルールや採点規則とを照合することにより識別できる情報、例えば技のグループ名や技の難易度、難易度評価点などを含めて出力することもできる。

＜採点支援機能＞
採点支援機能９は、骨格認識機能７による３Ｄ骨格座標、技認識機能８による技認識結果またはこれらの組合せに基づいて体操競技の関係者に対する情報提供を実行できる。例えば、採点支援機能９は、体操競技の関係者の一例に対応する審判員向けのユーザインタフェイスの例として、図４に示すマルチアングルビューや図５に示す自動採点ビューなどを提供できる。このような採点支援機能９がＷｅｂアプリケーションにより実現されることで、クライアント端末３０上で動作するブラウザを介して図４に示すマルチアングルビューや図５に示す自動採点ビューなどを提供できる。

図４は、マルチアングルビューの一例を示す図である。図４に示すように、マルチアングルビュー４００には、３Ｄレーザセンサ５が深度画像を取得するフレームごとに当該フレームにおける演技者３の３Ｄ骨格座標がモデル化された骨格モデルが正面や側面、平面、自由視点などの複数の視点で表示される。このように複数の視点で骨格モデルを表示するか否かは、タブ４１０およびタブ４２０に対する操作で切り替えることができる。例えば、“Ｍｕｌｔｉ”のタブ４１０が選択中である場合、図４に示す通り、演技者３の骨格モデルが複数の視点ごとに表示される。その一方で、“Ｓｉｎｇｌｅ”のタブ４２０が選択中である場合、指定の視点に対応する演技者３の骨格モデルが表示される。さらに、マルチアングルビュー４００では、シークバー４３０上でスライダ４３０Ａをスライドさせることにより、演技者３の骨格モデルを表示させるフレームを指定させることもできる。このようなマルチアングルビュー４００によれば、採点基準の１つとなり得る演技者３の関節角度を詳細に確認させることができる。

図５は、自動採点ビューの一例を示す図である。図５に示すように、自動採点ビュー５００には、骨格モデルビュー５１０および自動採点テーブル５２０が含まれる。例えば、骨格モデルビュー５１０には、ユーザ指定のアングルにおける演技者３の３Ｄ骨格座標がモデル化された骨格モデルが表示される。この骨格モデルビュー５１０に演技者３の骨格モデルを表示させるフレームは、シークバー５３０上でスライダ５３０Ａをスライドさせることにより指定させることができる。また、自動採点テーブル５２０には、技の認識結果が時系列に表示される。同図の例で言えば、自動採点ビュー５００のウィンドウの縦方向、すなわち上方向から下方向へ向けて、技名、技のグループ番号、技の難易度および難易度価値点が時系列に表示される。このように各技の情報が個別に表示される他、全演技のＤスコアの採点結果がさらに表示される。ここで、図５には、Ｄスコアのタブ５４０が選択中である例が示されているが、Ｅスコアのタブ５５０が選択された場合、全演技のＥスコアの採点結果の表示に切り替えることができる。このような自動採点ビュー５００によれば、審判業務の負担を軽減できる。

これらマルチアングルビューや自動採点ビューに加えて、技の認識結果に関する情報提供の一環として、技認識に用いられる機械学習モデル８Ｍが出力する技の尤度が提供され得る。これにより、機械学習モデル８Ｍが不正解の技のラベルを出力している可能性が高い場面、例えば過検知や誤検知などの場面で自動採点のミスに注意を喚起する側面がある。

なお、図４や図５では、技の認識結果に関する情報提供の例として、審判向けのコンテンツを例に挙げたが、情報提供の対象は審判員に限定されない。例えば、トレーナ向け、あるいはエンターテイメント向けのコンテンツを提供することとしてもかまわない。

＜課題の一側面＞
上記の機械学習モデル８Ｍが出力する尤度は、以下に説明する通り、技の認識結果に関する情報提供の品質として十分なものであるとは限らない一面がある。

すなわち、上記の尤度は、機械学習モデル８Ｍの訓練時に訓練データとして用いられる骨格情報と、採点などの場面で入力される骨格情報との差に対応するものに過ぎず、真の確からしさとは一致しない。特に、機械学習モデル８Ｍが分類するクラスの種類が多いほど、さらには、機械学習モデル８Ｍによる分類精度に個人差が与える影響が大きいほど、上記の尤度と真の確からしさは一致しづらくなる。例えば、機械学習モデル８Ｍが出力する尤度が低い場合でもラベルが正解である場合もあれば、機械学習モデル８Ｍが出力する尤度が高い場合でもラベルが不正解である場合もある。加えて、機械学習モデル８Ｍによる判断プロセスは、人間と異なるものであってブラックボックスである場合があるので、機械学習モデル８Ｍが出力する尤度を提供したとしても人への説明に適さない一面もある。

＜サーバ装置１０の構成＞
そこで、本実施例では、技の認識結果に関する情報提供の品質向上を実現できる情報提供機能を有するサーバ装置１０の機能的構成について説明する。図６は、実施例１に係るサーバ装置１０の機能構成例を示すブロック図である。図６には、サーバ装置１０が有する機能に対応するブロックが模式化されている。

図６に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図６には、上記の情報提供機能を含む採点支援サービスに関連する機能部が図示されているが、一部の機能に対応するモジュールが異なるコンピュータ、あるいは仮想マシンで動作することを妨げない。また、図６に示す機能部に限らず、既存のコンピュータがデフォルトまたはオプションで装備する機能がサーバ装置１０に備わることとしてもよい。

通信インタフェイス部１１は、他の装置、例えば３Ｄレーザセンサ５やクライアント端末３０などとの間で通信制御を行う通信制御部の一例に対応する。あくまで一例として、通信インタフェイス部１１は、ＬＡＮ（Local Area Network）カードなどのネットワークインターフェイスカードにより実現され得る。１つの側面として、通信インタフェイス部１１は、３Ｄレーザセンサ５から深度画像をフレーム単位で受け付けたり、また、技認識結果に関する情報をクライアント端末３０へ出力したりする。

記憶部１３は、各種のデータを記憶する機能部である。あくまで一例として、記憶部１３は、ストレージ、例えば内部、外部または補助のストレージにより実現される。例えば、記憶部１３は、機械学習モデル８Ｍの生成に用いられた訓練データのデータセット８ＴＲを記憶する。このデータセット８ＴＲ以外にも、記憶部１３は、機械学習モデル７Ｍの生成に用いられた訓練データのデータセット７ＴＲ、３Ｄ骨格座標、技認識結果、あるいは自動採点結果などの各種のデータを記憶することができる。

制御部１５は、サーバ装置１０の全体制御を行う処理部である。例えば、制御部１５は、ハードウェアプロセッサにより実現される。図６に示すように、制御部１５は、取得部１５Ａと、骨格認識部１５Ｂと、技認識部１５Ｃと、特徴量算出部１５Ｄと、特徴量差分算出部１５Ｅと、採点支援部１５Ｆとを有する。

取得部１５Ａは、深度画像を取得する処理部である。あくまで一例として、取得部１５Ａは、多視点の３Ｄレーザセンサ５Ａ～５Ｎから出力される多視点の深度画像をフレーム単位で取得することができる。ここで、取得部１５Ａが深度画像を取得する情報ソースは、任意の情報ソースであってよく、ネットワークＮＷを介する通信に限定されない。例えば、取得部１５Ａは、サーバ装置１０が有するストレージ、あるいはサーバ装置１０に着脱可能なリムーバブルメディア、例えばメモリカードやＵＳＢ（Universal Serial Bus）メモリなどから深度画像を取得することとしてもよい。

骨格認識部１５Ｂは、骨格認識を実行する処理部である。骨格認識部１５Ｂは、図１に示す骨格認識機能７に対応し得る。一実施形態として、骨格認識部１５Ｂは、図２に示された訓練済みの機械学習モデル７Ｍを演技者３の骨格認識に用いることができる。例えば、骨格認識部１５Ｂは、取得部１５Ａにより深度画像の新規のフレームが取得された場合、当該新規のフレームに対応する多視点の深度画像を機械学習モデル７Ｍへ入力する。そして、骨格認識部１５Ｂは、多視点の深度画像が入力された機械学習モデル７Ｍから出力される演技者３の３Ｄ骨格座標の推定値を技認識部１５Ｃへ出力する。

技認識部１５Ｃは、技認識を実行する処理部である。技認識部１５Ｃは、図１に示す技認識機能８に対応し得る。一実施形態として、技認識部１５Ｃは、図３に示された訓練済みの機械学習モデル８Ｍを演技者３の技認識に用いることができる。例えば、技認識部１５Ｃは、骨格認識部１５Ｂにより新規のフレームに対応する３Ｄ骨格座標が出力された場合、当該新規のフレームから遡って特定の数のフレーム分の３Ｄ骨格座標の時系列データを機械学習モデル８Ｍへ入力する。そして、技認識部１５Ｃは、３Ｄ骨格座標の時系列データが入力された機械学習モデル８Ｍから出力される演技者３の技認識結果を特徴量算出部１５Ｄへ出力する。

特徴量算出部１５Ｄは、技に関する特徴量を算出する処理部である。一実施形態として、特徴量算出部１５Ｄは、技認識部１５Ｃにより技が認識された場合、例えば機械学習モデル８Ｍが出力するラベルが未検出、すなわち技なしでない場合、処理を起動できる。例えば、特徴量算出部１５Ｄは、技認識部１５Ｃにより認識された技の採点項目ごとに当該採点項目に対応する特徴量を算出する。すなわち、技の種類によって採点規則で定められた採点項目の種類や数が異なり得るので、技ごとに異なる種類および異なる数の特徴量が算出される。例えば、「前後開脚とび」を例に挙げれば、前後開脚、前膝角度およびジャンプ高さなどの特徴量が算出される。また、「前後開脚輪とび」を例に挙げれば、前後開脚、前膝角度およびジャンプ高さの特徴量に加えて、後脚の高さや上半身の反り角度などの特徴量がさらに算出される。例えば、特徴量算出部１５Ｄは、技の採点項目に対応する特徴量ごとに、機械学習モデル８Ｍに入力された３Ｄ骨格座標の時系列データのうち、当該特徴量の算出に用いるフレームを特定して当該フレームにおける３Ｄ骨格座標から特徴量を算出する。

特徴量差分算出部１５Ｅは、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で特徴量の差分を算出する処理部である。例えば、入力データの特徴量として、特徴量算出部１５Ｄにより算出された特徴量が用いられる。一方、訓練データの特徴量として、機械学習モデル８Ｍの生成に用いられたデータセット８ＴＲのうち、技認識部１５Ｃにより認識された技と同一技のラベルが付与された訓練データに対応する３Ｄ骨格座標の時系列データから算出された特徴量が用いられる。なお、訓練データの特徴量については、オンデマンドで特徴量算出部１５Ｄに算出させることもできるが、事前に算出しておいた特徴量をプリセットとして用いることができる。

より詳細には、特徴量差分算出部１５Ｅは、技認識部１５Ｃにより認識された技と同一技のラベルが付与されたＬ個の訓練データごと、および、技認識部１５Ｃにより認識された技の採点項目の数に対応するＫ種類の特徴量ごとに、特徴量の差分を算出する。このように算出される特徴量の差分は、その値がゼロに近いほど入力データおよび訓練データの間で採点項目に対応する特徴量の距離が小さい、あるいは特徴量の類似度が高いことを意味し得る。つまり、特徴量の差分の値が小さいほど、訓練データに付与されたラベルの技に対応する採点項目にしたがって当該技が実施されている可能性が高まる。それ故、体操競技における採点規則にしたがって技が実施されている尤もらしさを数値化できる。この結果、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を提供できる。

さらに、特徴量差分算出部１５Ｅは、上記の特徴量の差分から特徴量の尤度を算出する。以下、特徴量の尤度のことを指して「特徴量尤度」と記載する場合がある。あくまで一例として、特徴量尤度は、特徴量の差分を特定の数値範囲、例えば０～１の範囲へ正規化することにより算出することができる。この際、１に近づくほど特徴量が尤もらしい一方で０に近づくほど特徴量が尤もらしくない特徴量尤度に正規化する側面から、特徴量の差分の逆数をとることもできる。

このようにＫ種類の特徴量尤度が算出された後、特徴量差分算出部１５Ｅは、Ｋ種類の特徴量尤度を代表する１つの代表値、例えば統計値を技の尤度として算出することができる。以下、技の尤度のことを指して「技尤度」と記載する場合がある。あくまで一例として、Ｋ種類の特徴量尤度の最小値を技尤度として導出することができる。この他、Ｋ種類の特徴量尤度の相加平均や加重平均などの平均値、あるいはＫ種類の特徴量尤度の中央値などを技尤度として導出することとしてもよい。このような技尤度をＬ個の訓練データごとに算出することにより、特徴量差分算出部１５Ｅは、Ｌ個の技尤度を算出する。

採点支援部１５Ｆは、採点を支援する処理部である。採点支援部１５Ｆは、図１に示す採点支援機能９に対応し得る。１つの側面として、採点支援部１５Ｆは、図４に示されたマルチアングルビュー４００や図５に示された自動採点ビュー５００をクライアント端末３０に表示させることができる。他の側面として、採点支援部１５Ｆは、技認識結果に関する情報提供の一環として、特徴量差分算出部１５Ｅにより算出された特徴量尤度や技尤度をクライアント端末３０に提供できる。例えば、採点支援部１５Ｆは、特徴量差分算出部１５Ｅにより算出されたＬ個の技尤度のうち最小の技尤度を抽出すると共に、最小の技尤度に対応する訓練データから算出されたＫ種類の特徴量尤度を抽出する。その上で、採点支援部１５Ｆは、最小の技尤度、あるいは最小の技尤度に対応する訓練データから算出されたＫ種類の特徴量尤度をクライアント端末３０に表示させる。

図７は、採点支援ビューの一例を示す図である。図７に示すように、採点支援ビュー７００には、演技者３の３Ｄ骨格座標がモデル化された骨格モデルを表示する骨格モデルビュー７１０が含まれる。この骨格モデルビュー７１０に演技者３の骨格モデルを表示させるフレームは、シークバー７２０上のスライダ７２０Ａの位置に応じて連動させることができる。図７の例で言えば、シークバー７２０上のスライダ７２０Ａの位置に対応するフレームで実施中である技「前脚を曲げ伸ばした前後開脚とび」の骨格モデルが骨格モデルビュー７１０に表示されている。

さらに、シークバー７２０上のスライダ７２０Ａの位置に応じて、演技者３により実施される演技を時系列に表示するシンボルバー７３０の表示が連動する。例えば、シークバー７２０上のスライダ７２０Ａの位置に対応するフレームで実施中である技と、その前後で実施される技とが時系列に並べて表示される。図７の例で言えば、「ロンダート」、「後方伸身宙返り、両足着台」、「片足立ち１回ターン」、「前脚を曲げ伸ばした前後開脚とび」および「シソンヌ」の各技のシンボルが横方向、例えば左方向から右方向へ並べて表示される。

さらに、シンボルバー７３０に含まれるシンボルには、当該シンボルに対応する技尤度が対応付けて表示される。図７の例で言えば、シンボル「ロンダート」の下部には、技尤度「０．９１」が表示され、シンボル「後方伸身宙返り、両足着台」の下部には、技尤度「０．９９」が表示され、シンボル「片足立ち１回ターン」の下部には、技尤度「０．８７」が表示されている。さらに、シンボル「前脚を曲げ伸ばした前後開脚とび」の下部には、技尤度「０．２５」が表示され、シンボル「シソンヌ」の下部には、技尤度「０．８５」が表示されている。

ここで、シンボルバー７３０に表示されるシンボルや技尤度のうち、特定の条件を満たすシンボルまたは技尤度の表示形態と、他のシンボルまたは他の技尤度の表示形態とが区別される。例えば、技尤度が閾値以下である場合、あるいはシンボルバー７３０内で技尤度が最低である場合のいずれかの条件に該当するシンボルや技尤度を強調表示させることができる。図７の例で言えば、シンボル「前脚を曲げ伸ばした前後開脚とび」がハッチングで表示されると共に、その技尤度のフォントが太字で表示されている。

このようなシンボルバー７３０によれば、技認識結果のうち過検知や誤検知のおそれが他の技よりも高い「前脚を曲げ伸ばした前後開脚とび」の注目度を高めることができる。この結果、「前脚を曲げ伸ばした前後開脚とび」の自動採点ミスに注意を喚起できる。これにより、例えば、「前脚を曲げ伸ばした前後開脚とび」と動きが類似する「前後開脚とび」と誤検知されていないかなどの推定やその確認などの対処も可能となる。

図８は、トレーニング支援ビューの一例を示す図である。図８に示すように、トレーニング支援ビュー８００には、図７に示された骨格モデルビュー７１０、シークバー７２０、スライダ７２０Ａおよびシンボルバー７３０と同様のＧＵＩコンポーネントに加えて、特徴量尤度リスト８１０がさらに含まれる。

このような特徴量尤度リスト８１０には、シークバー７２０上のスライダ７２０Ａの位置に対応するフレームで実施中である技の採点項目に対応する種類の特徴量に関する特徴量尤度がリスト化されて表示される。

図８の例で言えば、実施中の技が「前脚を曲げ伸ばした前後開脚とび」である側面から、特徴量尤度リスト８１０には、前後開脚「０．８８」、前膝角度「０．２５」およびジャンプ高さ「０．９８」の３つの特徴量尤度１～３が表示される。

さらに、３つの特徴量尤度１～３のうち、前膝角度「０．２５」が他の特徴量尤度よりも相対的に低い、あるいは０～１の数値範囲において定め得る閾値、例えば０．４よりも低いという条件を満たすことから強調表示される。

このような特徴量尤度リスト８１０によれば、技認識結果「前脚を曲げ伸ばした前後開脚とび」と合わせて、前膝角度が「０．２５」という相対的および絶対的に低い値であることを演技者３やそのトレーナなどに提示できる。これにより、「前脚を曲げ伸ばした前後開脚とび」の採点規則で定められた通りの前脚の曲げ伸ばしが不十分であるという改善点のサジェスチョンが可能となる。

＜処理の流れ＞
図９は、実施例１に係る情報提供処理の手順を示すフローチャートである。図９に示す処理は、あくまで一例として、深度画像の新規のフレームが取得された場合に開始できる。図９に示すように、骨格認識部１５Ｂは、取得部１５Ａにより取得された深度画像を機械学習モデル７Ｍへ入力することにより、演技者３の３Ｄ骨格座標の推定値を機械学習モデル７Ｍに出力させることで、骨格認識を実行する（ステップＳ１０１）。

続いて、技認識部１５Ｃは、新規のフレームから遡って特定数のフレーム分の３Ｄ骨格座標の時系列データを機械学習モデル８Ｍへ入力することにより、演技者３の技認識結果を機械学習モデル８Ｍに出力させることで、技認識を実行する（ステップＳ１０２）。

このとき、ステップＳ１０２の技認識で技が認識された場合、例えば機械学習モデル８Ｍが出力するラベルが未検出、すなわち技なしでない場合（ステップＳ１０３Ｙｅｓ）、特徴量算出部１５Ｄは、次のような処理を実行する。すなわち、特徴量算出部１５Ｄは、ステップＳ１０２の技認識で認識された技の採点項目に対応するＫ種類の特徴量を算出する（ステップＳ１０４）。

そして、特徴量差分算出部１５Ｅは、ステップＳ１０２の技認識で認識された技と同一技のラベルが付与された訓練データの個数Ｌに対応する回数の分、ステップＳ１０５からステップＳ１０７までの処理を繰り返すループ処理１を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、訓練データの個数ＬごとにステップＳ１０５からステップＳ１０７の処理が並列して行われてもよい。

さらに、特徴量差分算出部１５Ｅは、ステップＳ１０２の技認識で認識された技の採点項目の数に対応する特徴量の種類数Ｋに対応する回数の分、ステップＳ１０５およびステップＳ１０６の処理を繰り返すループ処理２を開始する。なお、ここでも、特徴量の種類数ＫごとにステップＳ１０５およびステップＳ１０６の処理が並列して行われてもよい。

すなわち、特徴量差分算出部１５Ｅは、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で特徴量の差分を算出する（ステップＳ１０５）。例えば、入力データの特徴量として、ステップＳ１０４で算出された特徴量が用いられる。一方、訓練データの特徴量として、機械学習モデル８Ｍの生成に用いられたデータセット８ＴＲのうち、ステップＳ１０２の技認識で認識された技と同一技のラベルが付与された訓練データに対応する３Ｄ骨格座標の時系列データから算出された特徴量が用いられる。

続いて、特徴量差分算出部１５Ｅは、ステップＳ１０５で算出された特徴量の差分から特徴量尤度を算出する（ステップＳ１０６）。

このようなループ処理２が繰り返されることにより、特徴量の種類数Ｋごとに特徴量尤度を得ることができる。ループ処理２が終了すると、特徴量差分算出部１５Ｅは、Ｋ種類の特徴量尤度を代表する１つの代表値、例えば最小値を技尤度として算出する（ステップＳ１０７）。さらに、ループ処理１が繰り返されることにより、訓練データの個数Ｌごとに技尤度を得ることができる。

ループ処理１が終了すると、採点支援部１５Ｆは、ループ処理１で得られたＬ個の技尤度のうち最小の技尤度と、最小の技尤度に対応する訓練データから算出されたＫ種類の特徴量尤度をクライアント端末３０に表示させ（ステップＳ１０８）、処理を終了する。

＜効果の一側面＞
上述してきたように、本実施例に係るサーバ装置１０は、技認識用の機械学習モデルに入力された骨格情報から求まる特徴量と、技認識用の機械学習モデルが出力する技と同一の技に関する訓練データの骨格情報から求まる特徴量との差分を提供する。このため、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を情報提供できる。したがって、本実施例に係るサーバ装置１０によれば、技の認識結果に関する情報提供の品質向上を実現できる。

さて、上記の実施例１では、技認識で認識された技と同一技のラベルが付与された訓練データの個数Ｌごとに特徴量の差分、ひいては特徴量尤度や技尤度を算出する例を挙げたが、必ずしもＬ個の訓練データごとに特徴量の差分などを算出せずともよい。

すなわち、特徴量の算出時には、技認識で認識される技によって採点項目が異なるので、算出対象とする特徴量の種類を識別したり、特徴量の種類ごとに３Ｄ骨格座標の時系列データの中から特徴量の算出に用いるフレームを特定したりといった処理が行われる。

このような処理負荷を軽減する側面から、本実施例では、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で３Ｄ骨格座標の差分を算出し、差分が最小である訓練データを特徴量の差分の算出対象として絞り込む応用例を説明する。

図１０は、実施例２に係るサーバ装置２０の機能構成例を示す図である。図１０では、図６に示されたサーバ装置１０と同様の機能を有する機能部には同一の符号を付し、その説明を省略することとする。図１０に示すように、サーバ装置２０は、図６に示すサーバ装置１０と比べて、制御部２５が骨格差分算出部２５Ａをさらに有する点で異なる。

骨格差分算出部２５Ａは、３Ｄ骨格座標の差分を算出する処理部である。以下、３Ｄ骨格座標の差分のことを指して「骨格差分」と記載する場合がある。

あくまで一例として、骨格差分算出部２５Ａは、技認識部１５Ｃにより技が認識された場合、例えば機械学習モデル８Ｍが出力するラベルが未検出、すなわち技なしでない場合、処理を起動できる。

例えば、骨格差分算出部２５Ａは、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で３Ｄ骨格座標の差分を算出する。例えば、入力データとして、骨格認識部１５Ｂによる骨格認識で得られた３Ｄ骨格座標の時系列データ、別観点から言えば技認識部１５Ｃによる技認識に用いられた３Ｄ骨格座標の時系列データが用いられる。一方、訓練データとして、機械学習モデル８Ｍの生成に用いられたデータセット８ＴＲのうち、技認識部１５Ｃにより認識された技と同一技のラベルが付与された訓練データに対応する３Ｄ骨格座標の時系列データが用いられる。

より詳細には、骨格差分算出部２５Ａは、技認識部１５Ｃにより認識された技と同一技のラベルが付与されたＬ個の訓練データごとに、次のような処理を実行する。すなわち、骨格差分算出部２５Ａは、入力データおよび訓練データの間で３Ｄ骨格座標の時系列データのフレーム数が異なる場合、両者のフレーム数を統一する。このように入力データおよび訓練データの間でフレーム数を統一する場合、多い方のフレーム数を少ない方のフレーム数に合わせることもできれば、少ない方のフレーム数を多い方のフレーム数に合わせることもできる。例えば、少ない方のフレーム数を多い方のフレーム数に合わせる場合、不足分のフレームを補間するリサンプリングが必要となる。その一方で、多い方のフレーム数を少ない方のフレーム数に合わせる場合、超過分のフレームを間引くだけでよい。このような側面から、骨格差分算出部２５Ａは、入力データおよび訓練データのうち、フレーム数が多い方の３Ｄ骨格座標の時系列データから超過分のフレーム数に対応する３Ｄ骨格座標を間引くことにより、両者のフレーム数を統一する。

フレーム数の統一後、骨格差分算出部２５Ａは、統一されたＭ個のフレームごと、および、骨格モデルに定義される関節の数Ｎごとに、入力データおよび訓練データの間で３Ｄ骨格座標の差分、すなわち骨格差分を算出する。ここで求める「差分」は、絶対値であってもよいし、二乗値であってもよい。Ｎ個の関節ごとに骨格差分が算出されると、骨格差分算出部２５Ａは、Ｎ個の骨格差分の合計値を算出する。その後、Ｍ個のフレームごとにＮ個の骨格差分の合計値が算出されると、骨格差分算出部２５Ａは、Ｍ個のフレーム分のＮ個の骨格差分の合計値から平均値を算出する。このようにＮ個分の骨格差分の平均値を代表値として算出することにより、Ｌ個の訓練データごとに訓練データおよび入力データの間で統一されるフレーム数Ｍが異なる場合でも、Ｌ個の訓練データの間でフレーム数の調整を不要化できる。そして、Ｌ個の訓練データごとにＮ個分の骨格差分の平均値が算出されると、骨格差分算出部２５Ａは、Ｌ個の訓練データのうちＮ個分の骨格差分の平均値が最小である訓練データを選択する。

これにより、Ｌ個の訓練データのうち、入力データからの距離が最小であるか、あるいは入力データに対する類似度が最高である訓練データを絞り込むことができる。

図１１は、実施例２に係る情報提供処理の手順を示すフローチャートである。図１１に示す処理も、あくまで一例として、深度画像の新規のフレームが取得された場合に開始できる。図１１に示すように、骨格認識部１５Ｂは、取得部１５Ａにより取得された深度画像を機械学習モデル７Ｍへ入力することにより、演技者３の３Ｄ骨格座標の推定値を機械学習モデル７Ｍに出力させることで、骨格認識を実行する（ステップＳ１０１）。

続いて、技認識部１５Ｃは、新規のフレームから遡って特定数のフレーム分の３Ｄ骨格座標の時系列データを機械学習モデル８Ｍへ入力することにより、演技者３の技認識結果を機械学習モデル８Ｍに出力させることで、技認識を実行する（ステップＳ１０２）。

このとき、ステップＳ１０２の技認識で技が認識された場合、例えば機械学習モデル８Ｍが出力するラベルが未検出、すなわち技なしでない場合（ステップＳ１０３Ｙｅｓ）、骨格差分算出部２５Ａは、次のような処理を実行する。

すなわち、骨格差分算出部２５Ａは、ステップＳ１０２の技認識で認識された技と同一技のラベルが付与された訓練データの個数Ｌに対応する回数の分、ステップＳ２０１からステップＳ２０４までの処理を繰り返すループ処理１１を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、訓練データの個数ＬごとにステップＳ２０１からステップＳ２０４までの処理が並列して行われてもよい。

骨格差分算出部２５Ａは、入力データおよび訓練データのうち、フレーム数が多い方の３Ｄ骨格座標の時系列データから超過分のフレーム数に対応する３Ｄ骨格座標を間引くことにより、両者のフレーム数を統一する（ステップＳ２０１）。なお、入力データおよび訓練データの間でフレーム数が同一である場合、ステップＳ２０１の処理はスキップできる。

その後、骨格差分算出部２５Ａは、ステップＳ２０１で統一されたフレームの数Ｍに対応する回数の分、ステップＳ２０２およびステップＳ２０３の処理を繰り返すループ処理１２を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、フレームの数ＭごとにステップＳ２０２およびステップＳ２０３の処理が並列して行われてもよい。

さらに、骨格差分算出部２５Ａは、骨格モデルに定義される関節の数Ｎに対応する回数の分、ステップＳ２０２の処理を繰り返すループ処理１３を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、関節の数ＮごとにステップＳ２０２の処理が並列して行われてもよい。

すなわち、骨格差分算出部２５Ａは、入力データおよび訓練データの間で３Ｄ骨格座標の差分、すなわち骨格差分を算出する（ステップＳ２０２）。このようなループ処理１３が繰り返されることにより、Ｎ個の関節ごとに骨格差分を得ることができる。

ループ処理１３が終了すると、骨格差分算出部２５Ａは、Ｎ個の骨格差分の合計値を算出する（ステップＳ２０３）。このようなループ処理１２が繰り返されることにより、Ｍ個のフレームごとにＮ個の骨格差分の合計値を得ることができる。

ループ処理１２が終了すると、骨格差分算出部２５Ａは、Ｍ個のフレーム分のＮ個の骨格差分の合計値から平均値を算出する（ステップＳ２０４）。このようなループ処理１１が繰り返されることにより、Ｌ個の訓練データごとにＮ個分の骨格差分の平均値を得ることができる。

そして、ループ処理１１が終了すると、骨格差分算出部２５Ａは、Ｌ個の訓練データのうちＮ個分の骨格差分の平均値が最小である訓練データを選択する（ステップＳ２０５）。

その後、ステップＳ１０２の技認識で認識された技の採点項目に対応する特徴量の種類数Ｋに対応する回数の分、ステップＳ２０６からステップＳ２０８までの処理を繰り返すループ処理１４を開始する。なお、ここでは、ループ処理が行われる例を挙げるが、特徴量の種類数ＫごとにステップＳ２０６からステップＳ２０８までの処理が並列して行われてもよい。

すなわち、特徴量算出部１５Ｄは、ステップＳ１０２の技認識で認識された技の採点項目に対応する特徴量を算出する（ステップＳ２０６）。

そして、特徴量差分算出部１５Ｅは、技認識に用いられた入力データおよびステップＳ２０５で選択された訓練データの間で特徴量の差分を算出する（ステップＳ２０７）。例えば、入力データの特徴量として、ステップＳ２０６で算出された特徴量が用いられる。一方、訓練データの特徴量として、機械学習モデル８Ｍの生成に用いられたデータセット８ＴＲのうち、ステップＳ２０５で選択された訓練データに対応する３Ｄ骨格座標の時系列データから算出された特徴量が用いられる。

続いて、特徴量差分算出部１５Ｅは、ステップＳ２０７で算出された特徴量の差分から特徴量尤度を算出する（ステップＳ２０８）。

このようなループ処理１４が繰り返されることにより、特徴量の種類数Ｋごとに特徴量尤度を得ることができる。ループ処理１４が終了すると、特徴量差分算出部１５Ｅは、Ｋ種類の特徴量尤度を代表する１つの代表値、例えば最小値を技尤度として算出する（ステップＳ２０９）。

最後に、採点支援部１５Ｆは、ステップＳ２０９で算出された技尤度と、ループ処理１４で得られたＫ種類の特徴量尤度をクライアント端末３０に表示させ（ステップＳ２１０）、処理を終了する。

上述してきたように、本実施例に係るサーバ装置２０は、上記の実施例１に係るサーバ装置１０と同様、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で当該技の採点項目に対応する特徴量の差分を算出して出力する。このため、技が実施されている真の確からしさを表現すると共に人の判断プロセスに適合する指標を提供できる。したがって、本実施例に係るサーバ装置２０においても、技の認識結果に関する情報提供の品質向上を実現できる。

さらに、本実施例に係るサーバ装置２０は、技認識に用いられた入力データおよび技の認識結果に対応する訓練データの間で３Ｄ骨格座標の差分を算出し、差分が最小である訓練データを特徴量の差分の算出対象として絞り込む。このため、本実施例に係るサーバ装置２０によれば、算出対象とする特徴量の種類を識別したり、特徴量の種類ごとに３Ｄ骨格座標の時系列データの中から特徴量の算出に用いるフレームを特定したりといった処理の負荷を削減できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

＜訓練データ＞
上記の実施例１では、図９に示すステップＳ１０２の技認識で認識された技と同一技のラベルが付与されたＬ個の訓練データごとに特徴量尤度および技尤度を算出する例を挙げた。また、上記の実施例２では、図１１に示すステップＳ１０２の技認識で認識された技と同一技のラベルが付与されたＬ個の訓練データごとに骨格差分を算出する例を挙げた。これらの算出対象は、必ずしもＬ個の訓練データとせずともよい。

あくまで一例として、Ｌ個の訓練データの間で３Ｄ骨格座標の統計値、例えば相加平均や加重平均などを算出することによりＬ個の訓練データを代表する１つの訓練データを生成し、生成された訓練データを算出対象に用いることができる。他の一例として、Ｌ個の訓練データから抽出され得る訓練データのペアごとに３Ｄ骨格座標の差分を算出し、全ペアのうち３Ｄ骨格座標の差分が最大である訓練データのペアを算出対象に用いることもできる。

＜骨格差分＞
上記の実施例２では、Ｌ個の訓練データから１つの訓練データに絞り込む側面から骨格差分を用いる例を挙げたが、図１１に示すステップＳ２０５で選択された骨格差分は、ステップＳ２１０で出力される技尤度や特徴量尤度と共に出力することができる。

このような骨格差分の情報提供により、以下のように、技尤度や特徴量尤度のみでは不十分な状況にも対応できる。例えば、座った姿勢から前方へ回転し倒立してそのままさらに前方へ回転し座った姿勢になる「前転」という技を例に挙げる。この技の特徴量としては、「足が着いた状態で始まる」、「１８０°回転」、「手をついた倒立姿勢になる」、「１８０°回転」、「足が着いた状態で終わる」という特徴量になる。これに対して、何かしらの技を失敗して平均台から落下する際に頭から落ちることを避けるためとっさに平均台を掴み、くるりと１回転して落ちる、という状況も発生し得る。この場合、状況によっては、足が着いた状態から落下し、１８０°回転した付近で平均台を掴み、さらに１８０°回転して、足を着くというように、技尤度や特徴量尤度を比較すると前転と類似する動きになる場合がある。このような場合でも、上記の骨格差分には、技失敗時と前転時との間で差が現れ易いので、技失敗時と前転時との識別に用いることができる。

＜分散および統合＞
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１５Ａ、骨格認識部１５Ｂ、技認識部１５Ｃ、特徴量算出部１５Ｄ、特徴量差分算出部１５Ｅまたは採点支援部１５Ｆをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１５Ａ、骨格認識部１５Ｂ、技認識部１５Ｃ、骨格差分算出部２５Ａ、特徴量算出部１５Ｄ、特徴量差分算出部１５Ｅまたは採点支援部１５Ｆをサーバ装置２０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１５Ａ、骨格認識部１５Ｂ、技認識部１５Ｃ、特徴量算出部１５Ｄ、特徴量差分算出部１５Ｅまたは採点支援部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。また、取得部１５Ａ、骨格認識部１５Ｂ、技認識部１５Ｃ、骨格差分算出部２５Ａ、特徴量算出部１５Ｄ、特徴量差分算出部１５Ｅ又は採点支援部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、サーバ装置２０の機能を実現してもよい。

＜ハードウェア構成＞
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、実施例１及び実施例２と同様の機能を有する情報提供プログラムを実行するコンピュータの一例について説明する。

図１２は、ハードウェア構成例を示す図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示された取得部１５Ａ、骨格認識部１５Ｂ、技認識部１５Ｃ、特徴量算出部１５Ｄ、特徴量差分算出部１５Ｅ及び採点支援部１５Ｆと同様の機能を発揮する情報提供プログラム１７０ａが記憶され得る。また、ＨＤＤ１７０には、上記の実施例２に示す取得部１５Ａ、骨格認識部１５Ｂ、技認識部１５Ｃ、骨格差分算出部２５Ａ、特徴量算出部１５Ｄ、特徴量差分算出部１５Ｅ及び採点支援部１５Ｆと同様の機能を発揮する情報提供プログラム１７０ａが記憶され得る。この情報提供プログラム１７０ａは、図６または図１０に示す各構成要素と同様、統合又は分離してもよい。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１～２で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から情報提供プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、情報提供プログラム１７０ａは、図１２に示すように、情報提供プロセス１８０ａとして機能する。この情報提供プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち情報提供プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、展開された各種データを用いて各種の処理を実行する。例えば、情報提供プロセス１８０ａが実行する処理の一例として、図９や図１１に示す処理などが含まれ得る。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の情報提供プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に情報提供プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から情報提供プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに情報提供プログラム１７０ａを記憶させておく。このように記憶された情報提供プログラム１７０ａをコンピュータ１００にダウンロードさせた上で実行させるようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータが実行することを特徴とする情報提供方法。

（付記２）前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する処理を前記コンピュータがさらに実行し、
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする付記１に記載の情報提供方法。

（付記３）前記骨格差分を算出する処理は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記２に記載の情報提供方法。

（付記４）前記骨格差分を算出する処理は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記２に記載の情報提供方法。

（付記５）前記出力する処理は、前記特徴量の差分が正規化された特徴量の尤度を出力する処理を含む、
ことを特徴とする付記１に記載の情報提供方法。

（付記６）前記特徴量を算出する処理は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出する処理を含み、
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする付記１に記載の情報提供方法。

（付記７）技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
算出された特徴量の差分を出力する、
処理をコンピュータに実行させることを特徴とする情報提供プログラム。

（付記８）前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する処理を前記コンピュータにさらに実行させ、
前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
ことを特徴とする付記７に記載の情報提供プログラム。

（付記９）前記骨格差分を算出する処理は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記８に記載の情報提供プログラム。

（付記１０）前記骨格差分を算出する処理は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する処理を含む、
ことを特徴とする付記８に記載の情報提供プログラム。

（付記１１）前記出力する処理は、前記特徴量の差分が正規化された特徴量の尤度を出力する処理を含む、
ことを特徴とする付記７に記載の情報提供プログラム。

（付記１２）前記特徴量を算出する処理は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出する処理を含み、
前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
ことを特徴とする付記７に記載の情報提供プログラム。

（付記１３）深度画像を取得するセンサ装置と、
前記深度画像に対する骨格認識を実行する骨格認識部と、前記骨格認識で得られる骨格情報を技認識用の機械学習モデルに入力することにより技を認識する技認識部と、前記技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出する特徴量算出部と、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出する特徴量差分算出部と、算出された特徴量の差分をクライアント端末へ出力する情報出力部と、を有するサーバ装置と、
を有することを特徴とする採点支援システム。

（付記１４）前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する骨格差分算出部を前記サーバ装置がさらに有し、
前記特徴量差分算出部は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する、ことを特徴とする付記１３に記載の採点支援システム。

（付記１５）前記骨格差分算出部は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する、ことを特徴とする付記１４に記載の採点支援システム。

（付記１６）前記骨格差分算出部は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する、ことを特徴とする付記１４に記載の採点支援システム。

（付記１７）前記情報出力部は、前記特徴量の差分が正規化された特徴量の尤度を出力する、ことを特徴とする付記１３に記載の採点支援システム。

（付記１８）前記特徴量算出部は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出し、
前記特徴量差分算出部は、前記特徴量の種類ごとに前記特徴量の差分を算出し、
前記情報出力部は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する、ことを特徴とする付記１３に記載の採点支援システム。

１ 採点支援システム
３ 演技者
５ ３Ｄレーザセンサ
１０ サーバ装置
１１ 通信インタフェイス部
１３ 記憶部
１５ 制御部
１５Ａ 取得部
１５Ｂ 骨格認識部
１５Ｃ 技認識部
１５Ｄ 特徴量算出部
１５Ｅ 特徴量差分算出部
１５Ｆ 採点支援部

Claims (8)

1. 技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
   算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
   算出された特徴量の差分を出力する、
   処理をコンピュータが実行することを特徴とする情報提供方法。
2. 前記技認識用の機械学習モデルに入力された骨格情報と、前記技認識用の機械学習モデルが出力する技と同一の技のラベルが付与された複数の訓練データとの間で骨格差分を算出する処理を前記コンピュータがさらに実行し、
   前記特徴量の差分を算出する処理は、前記複数の訓練データのうち前記骨格差分が最小である一の訓練データから求まる特徴量と、前記特徴量を算出する処理で算出された特徴量との差分を算出する処理を含む、
   ことを特徴とする請求項１に記載の情報提供方法。
3. 前記骨格差分を算出する処理は、前記技認識用の機械学習モデルに入力された骨格情報と、前記複数の訓練データから算出される骨格情報の統計値との間で前記骨格差分を算出する処理を含む、
   ことを特徴とする請求項２に記載の情報提供方法。
4. 前記骨格差分を算出する処理は、前記複数の訓練データから抽出される訓練データのペアごとに骨格差分を算出し、各ペアのうち前記骨格差分が最大であるペアの訓練データと、前記技認識用の機械学習モデルに入力された骨格情報との間で前記骨格差分を算出する処理を含む、
   ことを特徴とする請求項２に記載の情報提供方法。
5. 前記出力する処理は、前記特徴量の差分が正規化された特徴量の尤度を出力する処理を含む、
   ことを特徴とする請求項１～４のいずれか１つに記載の情報提供方法。
6. 前記特徴量を算出する処理は、前記技認識用の機械学習モデルが出力する技に対応する特徴量の種類ごとに前記特徴量を算出する処理を含み、
   前記特徴量の差分を算出する処理は、前記特徴量の種類ごとに前記特徴量の差分を算出する処理を含み、
   前記出力する処理は、前記特徴量の種類ごとに前記特徴量の差分が正規化された複数の特徴量の尤度を代表する統計値を出力する処理を含む、
   ことを特徴とする請求項１～４のいずれか１つに記載の情報提供方法。
7. 技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出し、
   算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出し、
   算出された特徴量の差分を出力する、
   処理をコンピュータに実行させることを特徴とする情報提供プログラム。
8. 深度画像を取得するセンサ装置と、
   前記深度画像に対する骨格認識を実行する骨格認識部と、前記骨格認識で得られる骨格情報を技認識用の機械学習モデルに入力することにより技を認識する技認識部と、前記技認識用の機械学習モデルに入力された骨格情報から前記技認識用の機械学習モデルが出力する技に対応する特徴量を算出する特徴量算出部と、算出された特徴量と、前記技認識用の機械学習モデルの訓練に用いられた骨格情報の訓練データのうち前記技と同一の技のラベルが付与された訓練データから求まる特徴量との差分を算出する特徴量差分算出部と、算出された特徴量の差分をクライアント端末へ出力する情報出力部と、を有するサーバ装置と、
   を有することを特徴とする採点支援システム。

Images