JP7060549B2 - コーチングアプリケーションの構築装置、方法およびプログラム - Google Patents

Description

本発明は、コーチングアプリケーションの構築装置、方法およびプログラムに係り、特に、コーチやトレーナなどの専門家のトレーニング映像に基づいてコーチングアプリケーションを構築するコーチングアプリケーションの構築装置、方法およびプログラムに関する。

健康の維持あるいは促進を目的として、自宅やトレーニングジムなどの施設でトレーニングを実施することがある。安全かつ有効なトレーニングには専門家の指導が不可欠となるが、自宅でのトレーニングでは専門家の指導を受けることが難しく、自己流のトレーニングになることになる。

トレーニングジムにはトレーニング機器が揃い、専門の指導員が常駐する。しかしながら、トレーニングジムまで出向かなければならないので手軽さに欠ける。また、マンツーマンで指導を受けるためには相応のコスト負担を強いられ、時間的な拘束も増すことになる。

このような技術課題に対して、特許文献１には、所定動作の複数のタイミングの動作状態を示した手本静止画像を表示し、プレーヤが所定動作を実演しているところを撮影した撮影動画像から抜き出した複数の撮影静止画像を表示し、操作者により撮影静止画像から、手本静止画像に対応する対応静止画像として選択された画像を、手本静止画像と並べて表示する技術が開示されている。

特許文献２には、所定回数の反復運動を含むトレーニング動画の再生指示をユーザから受け付け、再生指示に基づいてトレーニング動画を再生可能とすると共に、トレーニング動画から反復運動の部分を抽出し、ユーザのトレーニング動画の視聴状況に基づいて反復運動の部分の再生を制御する技術が開示されている。

特許第6180011号公報 特開2018-114228号公報

Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

トレーニング映像をアプリケーションで解析してトレーニングを自動的に評価しようとすれば、評価のポイントとなる部位の動きをトレーニング映像から抽出し、さらに各部位の動きを定量化して個別に評価する必要がある。しかしながら、コーチやトレーナなどの専門家は経験的、感覚的に各部位の動きを把握している場合があり、このような主観的、潜在的な評価基準をコーチングアプリケーションに実装して評価に用いることは容易ではなかった。

また、各部位の動きに関する評価基準を定量的に把握できたとしても、これをアプリケーションに組み込んでコーチングアプリケーションを構築するためには高度な専門知識が必要であり、アプリケーション構築を専門としないコーチやトレーナにとって極めて大きな負担となる。

本発明の目的は、上記の技術課題を解決し、コーチやトレーナなどの専門家のトレーニングシーンを撮影するだけでコーチングアプリケーションを構築できるコーチングアプリケーションの構築装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、トレーニング映像から抽出した評価部位の動き量を評価閾値と比較してトレーニングを評価するコーチングアプリケーションの構築装置において、以下の構成を具備した点に特徴がある。

(1) トレーニング映像から骨格情報を抽出する手段と、骨格情報に基づいて評価部位を決定する手段と、評価部位の動き量を計算する手段と、評価部位をその動き量に基づいて評価するための評価閾値を設定する手段とを具備した。

(2) 評価部位を決定する手段は、動き量が所定の基準値を超える部位を評価部位に決定するようにした。

(3) 設定された評価閾値に対する補正操作を受け付けるインタフェースを具備し、補正操作に応じて評価閾値を補正できるようにした。

(4) 動き量および評価閾値をグラフィック表示する手段を更に具備した。

本発明によれば、以下のような効果が達成される。

(1) お手本となるコーチ等のトレーニング映像に基づいて、評価対象者のトレーニングを評価する際の評価閾値を設定できるので、コーチ等が経験的、感覚的に把握している評価閾値をコーチングアプリケーションに簡単かつ定量的に設定できるようになる。

(2) 評価対象となる評価部位を、お手本となるトレーニング映像から抽出した骨格情報に基づく各部位の動き量に基づいて設定するので、評価部位を適正に設定できるようになる。

(3) 評価閾値が自動設定されるように構成する一方、手動補正も可能な構成としたので、コーチ等の経験や直感に基づいて評価閾値を適正化できるようになる。

(4) 動き量および評価閾値をグラフィック表示するようにしたので、動き量に基づいて自動設定された評価閾値を視覚的に認識できるようになる。

本発明の一実施形態に係るコーチングアプリ構築装置１の主要部の構成を示した図である。 骨格情報の抽出例を示した図である。 動き量Pに基づいてトレーニングの評価閾値を設定する例を示した図である。 本発明が適用されるネットワークの構成例を示した図である。 コーチングアプリケーション構築画面の一例を示した図である。 コーチングアプリケーションの構築およびその適用方法を示したシーケンスフローである。 評価閾値Prefの変更方法を示した図（その１）である。 評価閾値Prefの変更方法を示した図（その２）である。 メッセージの表示例を示した図である。 コーチングアプリケーションの構築および他の適用方法を示したシーケンスフローである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るコーチングアプリ構築装置１の主要部の構成を示した図であり、トレーニング映像取得部１０１、人物領域推定部１０２，骨格情報抽出部１０３、評価部位決定部１０４、評価閾値設定部１０５、コーチングアプリ構築部１０６、ディスプレイ１０８および入力インタフェース１０９を含み、ユーザの利用に供されるコーチングアプリケーション１０７を構築する。

このようなコーチングアプリ構築装置１は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

トレーニング映像取得部１０１は、コーチやトレーナといったトレーニングの専門家が実演するトレーニングを撮影したカメラ映像を、お手本のトレーニング映像としてフレーム単位で取得する。人物領域推定部１０２は、各フレーム画像から人物領域を抽出する。人物領域の抽出には、例えばSSD (Single Shot Multibox Detector) を用いることができる。

骨格情報抽出部１０３は、図２に示したように、各フレーム画像から人物オブジェクトの骨格を抽出し、その位置情報や他の骨格との連結状態を骨格情報として登録する。骨格情報の抽出には、既存の骨格抽出技術 (Cascaded Pyramid Network) を用いることができる。

なお、骨格の抽出手法は、上記のように予め抽出した人物領域を対象とする方法に限定されない。例えば、非特許文献１に開示されるように、フレーム画像から抽出した特徴マップに対して、身体パーツの位置をエンコードするConfidence Mapおよび身体パーツ間の連結性をエンコードするPart Affinity Fields（PAFs）を用いた二つの逐次予測プロセスを順次に適用し、フレーム画像から抽出した人物オブジェクト（ユーザ）の身体パーツの位置および連結性をボトムアップ的アプローチにより一回の推論で推定することでスケルトンモデルを構築してもよい。

このとき、異なる部分領域から抽出した身体パーツの連結性を推定対象外とする処理を実装することで、身体パーツの位置および連結性を部分領域ごとに、すなわちユーザごとにオブジェクトのスケルトンモデルを推定できるようになる。

評価部位決定部１０４は動き量算出部１０４ａを含み、抽出した骨格情報に基づいて、手、足、頭、膝関節、肘関節など各部位の動き量Pを計算し、動き量Pが所定の基準値を超える部位、あるいは動き量Pが上位Nベストに入る部位を、コーチングの際に評価対象とする部位（評価部位）に設定する。例えば、スクワットのトレーニング映像であれば膝関節の動き量Pが基準値を超えるので、膝関節が評価部位に設定される。

評価閾値設定部１０５は、第１ないし第４閾値設定部１０５ａ～１０５ｄを含む複数の閾値設定部を含み、設定された評価部位の動き量Pを分析し、コーチングの際に当該評価部位の動きを評価するための評価閾値Prefを設定する。

本実施形態では、コーチングアプリの構築に用いる映像が専門家のトレーニング映像であり、算出される動き量Pは一般ユーザがトレーニング効果を得るうえで十分な動き量と考えられる。そのため、本実施形態ではコーチングの際にユーザが当該動き量Pの何割かを達成できれば十分な効果が得られるものとみなす。

例えば、スクワットのトレーニング映像では、膝関節の屈折と伸長とが繰り返されるので、図３に示したように、反復動作する膝関節が評価部位に設定され、一方側への動き量Pの極大値の最小値、平均値あるいは所定のパーセンタイル値などが一方側への動き量Pの評価閾値Pref_1に設定される。

同様に、他方側への動き量Pの極小値の最大値、平均値あるいは所定のパーセンタイル値などが他方側への動き量の評価閾値Pref_2に設定される。図示の例では、動き量Pの極大値に基づいて評価閾値Pref_1が165°に設定され、極小値に基づいて評価閾値Pref_2が110°に設定されている。加えて、反復動作の周期Tが取得されていれば、当該周期T±Δtを周期Tの閾値範囲に設定することもできる。

本実施形態では、前記動き量Pおよび当該動き量Pに基づく評価閾値Prefの設定値が、図３に示したようなフォーマットでディスプレイ１０８上に表示されるので、コーチ等は動き量Pと評価閾値Prefとの関係をグラフィック表示で確認することができる。

第１閾値設定部１０５ａは、図３を参照して説明したように、骨格が反復動作する際の動き量Pが基準値を超えた（あるいは上位Nベストに入った、以下同様）ことで決定された評価部位について、反復動作の一方側および他方側への動き量Pに基づいて、それぞれ一方側への動き量Pの閾値Pref_1および他方側への動き量Pの閾値Pref_2を上記のようにして設定する。

第２閾値設定部１０５ｂは、骨格が反復動作する際の周期Tが基準値を超えた評価部位に関して、反復動作の周期Tの算出結果に基づいて当該周期Tの評価閾値Trefを、例えばTref=T±ΔT（以下、評価閾値はPrefで代表する）を設定する。第３閾値設定部１０５ｃは、骨格の変位量が基準値を超えた評価部位に関して、当該変位量の算出結果に基づいて当該変位量の評価閾値Prefを設定する。第４閾値設定部１０５ｄは、骨格の回動角度が基準値を超えた評価部位に関して、当該回動角度の算出結果に基づいて当該回動角度の評価閾値Prefを設定する。

閾値調整部１０５ｅは、上記のように動き量Pに基づいて自動設定された評価閾値Pref等を、コーチによる入力インタフェース１０９からのグラフィック操作や数値入力操作により微調整するマン／マシンインタフェースを提供する。このような微調整機能は、自動設定された評価閾値Pref等が一般的な適正値やコーチの主観的な適正値から乖離している場合に、それを補正するために用いることができる。

コーチングアプリ構築部１０６は、ユーザのトレーニング映像を解析し、各評価部位の動き量Pが前記評価閾値設定部１０５により設定された評価閾値Prefを超えているか否かに基づいて当該トレーニングを評価するコーチングアプケーション１０７を構築する。

前記コーチングアプケーション１０７は、トレーニング映像取得機能１０７ａ、人物領域推定機能１０７ｂ、骨格情報抽出機能１０７ｃ、動き量取得機能１０７ｄおよび評価機能１０７ｅを含み、図４に示したネットワーク構成においてサーバ３に実装され、ユーザ端末２からネットワーク経由で取得したユーザのトレーニング映像を評価する。前記ユーザ端末２は、カメラ機能、ディスプレイおよび無線通信機能を備えたスマートフォンやタブレット端末で代替できる。

前記コーチングアプリケーション１０７において、トレーニング映像取得機能１０７ａは、ユーザが実演するトレーニングを撮影したカメラ映像を、評価対象者のトレーニング映像としてフレーム単位で取得する。人物領域推定部１０７ｂは、各フレーム画像からユーザの人物領域を抽出する。骨格情報抽出機能１０７ｃは、各フレーム画像からユーザの骨格を抽出し、その位置情報や他の骨格との連結状態を骨格情報として登録する。

動き量取得機能１０７ｄは、ユーザの骨格情報に基づいて評価部位ごとに動き量Pを計測する。評価機能１０７ｅは、前記動き量Pの計測結果を前記評価閾値設定部１０５が設定した評価閾値Prefと比較し、動き量Pが評価閾値Prefを下回る評価部位があると、当該評価部位に関して動き量Pが不足している旨のメッセージ等をユーザ端末２へ返してユーザに注意を促す。

図５は、前記ディスプレイ１０８に表示されるコーチングアプリケーション構築画面の表示例を示した図であり、トレーニング映像を再生するトレーニング映像再生エリアA1、トレーニング映像の再生、停止等の操作を入力するトレーニング映像操作エリアA2、トレーニング条件を設定する条件設定エリアA3、トレーニング映像における評価部位の動き量を視覚化する動き量視覚化エリアA4およびトレーニング回数のカウント条件を登録するカウント条件登録エリアA5を備える。

図６は、コーチングアプリの構築方法および当該コーチングアプリを用いたコーチング方法を示したシーケンスフローである。

時刻t1では、コーチやトレーナといった専門家がトレーニングする姿を撮影したトレーニング映像がアップロードされる。時刻t2では、トレーニング映像が前記トレーニング映像取得部１０１によりコーチングアプリ構築装置１に取り込まれる。時刻t3では、前記人物領域推定部１０２により人物領域が推定、抽出されて、図５に示したように、ディスプレイ１０８のトレーニング映像再生エリアA1に表示される。時刻t4では、前記骨格情報抽出部１０３により、人物領域から骨格情報が抽出され、図５に示したように、前記トレーニング映像再生エリアA1のトレーニング映像上に重畳表示される。

時刻t5では、前記評価部位決定部１０４により、骨格情報に基づいて各部位の動き量Pが計算され、動き量Pが所定の基準値を超える部位が評価部位に決定される。このとき、ディスプレイ１０８の動き量視覚化エリアA4には、決定された評価部位の動き量Pがグラフィカルに表示される。例えば、トレーニングがスクワット運動であれば膝が評価部位に決定されるので、膝角度の変化が時系列で表示される。

時刻t6では、前記評価閾値設定部１０５により、前記決定された評価部位に関して、コーチングの際に各評価部位の動きを評価するための評価閾値Prefが自動設定され、前記動き量Pのグラフィカル表示に重畳される。

時刻t7において、コーチ等が入力インタフェース１０９から閾値調整部１０５ｅを操作し、図７，８に示したように、動き量Pの閾値Pref1またはPref2を指定し、さらに上下方向へ移動させると、時刻t8では、前記自動設定された閾値Pref1，Pref2が、当該操作に応答して微調整される。

時刻t9では、前記評価部位およびその評価閾値Prefに基づいてコーチングアプリケーションが構築される。本実施形態では、前記自動設定された評価部位および評価閾値Pref1，Pref_2がカウント条件として登録され、その登録結果がカウント条件登録エリアA5に表示される。図５の例では、評価部位の「膝」のカウント条件として、その角度が「右腰-右膝⇔右膝-右足首」として定義され、Pref1，Pref2が、それぞれ「165°」，「110°」に設定されたことが可視化されている。

その後、時刻t10において、ユーザが自身のトレーニング映像をアップロードすると、時刻t11では、当該トレーニング映像がコーチングアプリケーションにより取得される。時刻t12では、各フレーム画像から人物領域が推定される。時刻t13では、人物領域から各評価部位の骨格情報が抽出される。時刻t14では、骨格情報に基づいて、各評価部位の動き量Pが算出される。

時刻t15では、各評価部位の動き量Pが前記評価閾値Prefと比較され、その大小関係に基づいて各評価部位のトレーニングが評価される。時刻t16では、トレーニングの評価結果に関するメッセージとして、例えば「腕を上げてください。」がユーザ端末２へ配信される。時刻t17では、図９に一例を示したように、前記メッセージがユーザ端末２のディスプレイやスピーカから出力される。

なお、上記の実施形態では、構築されたコーチングアプリケーションをネットワーク上のサーバ３に実装し、ユーザ端末２からユーザのトレーニング映像を取得してサーバ３上で評価することで、ユーザ端末２の能力に関わらずアプリケーションによるコーチングを実現できるようにした。

しかしながら、本発明はこれのみに限定されるものではなく、ユーザ端末２の処理能力が十分に高ければ、図１０に示したように、コーチングアプリケーションをユーザ端末２に実装し、ユーザ端末２がトレーニングを単独で評価できるようにしても良い。このようにすれば、トレーニング評価に係る負荷が各ユーザ端末２に分散されるので、多数のユーザのトレーニングを同時に評価する場合でもサーバ３の負荷を低く抑えられるようになる。

１...コーチングアプリ構築装置，２...ユーザ端末，３...サーバ，１０１...トレーニング映像取得部，１０２...人物領域推定部，１０３...骨格情報抽出部，１０４...評価部位決定部，１０４ａ...動き量算出部，１０５...評価閾値設定部，１０６...コーチングアプリ構築部，１０７...コーチングアプリケーション

Claims (13)

1. トレーニング映像から抽出した評価部位の動き量を評価閾値と比較してトレーニングを評価するコーチングアプリケーションの構築装置において、
   トレーニング映像から骨格情報を抽出する手段と、
   骨格情報に基づいて評価部位を決定する手段と、
   評価部位の動き量を計算する手段と、
   評価部位をその動き量に基づいて評価するための評価閾値を設定する手段とを具備し、
   前記評価部位を決定する手段は、動き量が所定の基準値を超える部位を評価部位に決定することを特徴とするコーチングアプリケーションの構築装置。
2. トレーニング映像から抽出した評価部位の動き量を評価閾値と比較してトレーニングを評価するコーチングアプリケーションの構築装置において、
   トレーニング映像から骨格情報を抽出する手段と、
   骨格情報に基づいて評価部位を決定する手段と、
   評価部位の動き量を計算する手段と、
   評価部位をその動き量に基づいて評価するための評価閾値を設定する手段とを具備し、
   前記評価部位の動き量を計算する手段は、反復動作する評価部位について、反復動作の一方側への動き量および他方側への動き量を算出し、
   前記評価閾値を設定する手段は、前記一方側および他方側への各動き量に基づいて、それぞれ一方側への動き量の評価閾値および他方側への動き量の評価閾値を設定することを特徴とするコーチングアプリケーションの構築装置。
3. トレーニング映像から抽出した評価部位の動き量を評価閾値と比較してトレーニングを評価するコーチングアプリケーションの構築装置において、
   トレーニング映像から骨格情報を抽出する手段と、
   骨格情報に基づいて評価部位を決定する手段と、
   評価部位の動き量を計算する手段と、
   評価部位をその動き量に基づいて評価するための評価閾値を設定する手段とを具備し、
   前記評価部位の動き量を計算する手段は、反復動作する評価部位について、反復動作の周期を動き量として算出し、
   前記評価閾値を設定する手段は、周期の評価閾値を設定することを特徴とするコーチングアプリケーションの構築装置。
4. 前記評価部位の動き量を計算する手段は、反復動作する評価部位について、反復動作の一方側への動き量および他方側への動き量を算出し、
   前記評価閾値を設定する手段は、前記一方側および他方側への各動き量に基づいて、それぞれ一方側への動き量の評価閾値および他方側への動き量の評価閾値を設定することを特徴とする請求項１に記載のコーチングアプリケーションの構築装置。
5. 前記評価部位の動き量を計算する手段は、反復動作する評価部位について、反復動作の周期を動き量として算出し、
   前記評価閾値を設定する手段は、周期の評価閾値を設定することを特徴とする請求項１に記載のコーチングアプリケーションの構築装置。
6. 前記評価部位の動き量を算出する手段は、変位する評価部位について変位量を動き量として算出し、
   前記評価閾値を設定する手段は、変位量の評価閾値を設定することを特徴とする請求項１に記載のコーチングアプリケーションの構築装置。
7. 前記評価部位の動き量を算出する手段は、回動する評価部位について回動角度を動き量として算出し、
   前記評価閾値を設定する手段は、回動角度の評価閾値を設定することを特徴とする請求項１に記載のコーチングアプリケーションの構築装置。
8. 前記設定された評価閾値に対する補正操作を受け付けるインタフェースと、
   前記補正操作に応じて評価閾値を補正する手段とを更に具備したことを特徴とする請求項１ないし７のいずれかに記載のコーチングアプリケーションの構築装置。
9. 前記動き量および評価閾値をグラフィック表示する手段を更に具備したことを特徴とする請求項８に記載のコーチングアプリケーションの構築装置。
10. コンピュータが、トレーニング映像から抽出した評価部位の動き量を評価閾値と比較してトレーニングを評価するコーチングアプリケーションの構築方法において、
    お手本のトレーニング映像から骨格情報を抽出する手順と、
    骨格情報に基づいて評価部位を決定する手順と、
    評価部位の動き量を計算する手順と、
    評価部位をその動き量に基づいて評価するための評価閾値を設定する手順とを含み、
    前記評価部位を決定するでは、動き量が所定の基準値を超える部位を評価部位に決定することを特徴とするコーチングアプリケーションの構築方法。
11. 前記設定された評価閾値に対する補正操作を受け付ける手順を含み、
    前記補正操作に応じて評価閾値を補正することを特徴とする請求項１０に記載のコーチングアプリケーションの構築方法。
12. トレーニング映像から抽出した評価部位の動き量を評価閾値と比較してトレーニングを評価するコーチングアプリケーションの構築プログラムにおいて、
    お手本のトレーニング映像から骨格情報を抽出する手順と、
    骨格情報に基づいて評価部位を決定する手順と、
    評価部位の動き量を計算する手順と、
    評価部位をその動き量に基づいて評価するための評価閾値を設定する手順とを、コンピュータに実行させ、
    前記評価部位を決定するでは、動き量が所定の基準値を超える部位を評価部位に決定することを特徴とするコーチングアプリケーションの構築プログラム。
13. 前記設定された評価閾値に対する補正操作を受け付ける手順を含み、
    前記補正操作に応じて評価閾値を補正することを特徴とする請求項１２に記載のコーチングアプリケーションの構築プログラム。

Images