JP2023127639A - 情報処理方法、装置及びプログラム - Google Patents

Abstract

【課題】 動画から立位体前屈の良し悪しを評価する。【解決手段】一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出処理と、前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。【選択図】図１３

Description

本発明は、情報処理方法、装置及びプログラムに関する。

従来、動画から抽出した骨格情報を利用して、運動を評価する技術が知られている。例えば、引用文献１には、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システムが開示されている。このシステムによれば、動画からピッチング等の運動を評価することができる。

特開２０２１－４９２０８号公報

動画から立位体前屈の良し悪しを評価する技術が求められている。

本発明は、上記の課題を鑑みてなされたものであり、動画から立位体前屈の良し悪しを評価することを目的とする。

一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出処理と、前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。

一実施形態によれば、動画から立位体前屈の良し悪しを評価することができる。

立位体前屈を説明する模式図である。 本実施形態に係る情報処理システムの構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 評価装置の機能構成の一例を示す図である。 上体長Ｌを説明する図である。 前屈距離Ｄを説明する図である。 評価装置１が実行する処理の一例を示すフローチャートである。 前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）の一例を示す図である。 前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）の一例を示す図である。 立位体前屈を説明する模式図である。 ユーザ端末に表示される評価結果の表示画面の一例を示す図である。 評価装置の機能構成の一例を示す図である。 首屈曲度Ｈを説明する模式図である。 膝屈曲度Ｋを説明する模式図である。 膝屈曲度Ｋを説明する模式図である。 膝屈曲度Ｋを説明する模式図である。 評価装置１が実行する処理の一例を示すフローチャートである。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜＜第１実施形態＞＞
＜システム概要＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、ユーザ動画１２１に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画１２１は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザは、立位体前屈を実施する人である。立位体前屈は、上半身を前屈させることにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。

図１は、立位体前屈を説明する模式図である。図１に示すように、立位体前屈は、ユーザが直立した状態から、前屈動作（ロールダウン）を実施し、前屈した状態で停止し、起き上り動作（ロールアップ）を実施し、再び直立した状態に移行するまでの一連の動作である。

＜システム構成＞
図２は、本実施形態に係る情報処理システムの構成の一例を示す図である。図２に示すように、本実施形態に係る情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、評価装置１と、ユーザ端末２と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図２の例では、情報処理システムは、評価装置１及びユーザ端末２をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。

評価装置１は、ユーザ動画１２１に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知する情報処理装置である。評価装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。評価装置１について、詳しくは後述する。

ユーザ端末２は、ユーザ動画１２１を評価装置１に送信し、立位体前屈の評価結果を表示する情報処理装置である。ユーザ端末２は、例えば、ＰＣ、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末２は、外部装置からユーザ動画１２１を取得し、取得したユーザ動画１２１を評価装置１に送信してもよい。また、ユーザ端末２は、カメラを備え、そのカメラで撮影したユーザ動画１２１を評価装置１に送信してもよい。この場合、ユーザは、自分で自分のユーザ動画１２１を撮影してもよいし、ユーザ以外の撮影者に自分のユーザ動画１２１を撮影してもらってもよい。また、ユーザ動画１２１を送信するユーザ端末２と、評価結果を表示するユーザ端末２と、は異なる情報処理装置であってもよい。

＜ハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図３は、情報処理装置１００のハードウェア構成の一例を示す図である。図３に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。

プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。

ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。

入出力Ｉ／Ｆ１０５は、評価装置１に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。

ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。

なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。

＜機能構成＞
次に、評価装置１の機能構成について説明する。図４は、評価装置１の機能構成の一例を示す図である。図４に示すように、評価装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。通信部１１は、ユーザ端末２からユーザ動画１２１を受信する。また、通信部１１は、ユーザ端末２に評価結果情報１２４を送信する。

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２には、ユーザ動画１２１、骨格情報１２２、距離情報１２３及び評価結果情報１２４が記憶される。

ユーザ動画１２１は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザ動画１２１は、ユーザの前屈動作及び起き上がり動作の少なくとも一方の動作を撮影した動画であればよい。また、ユーザ動画１２１は、複数回の立位体前屈を撮影した動画であってもよい。

骨格情報１２２は、ユーザ動画１２１に写ったユーザの体（骨格）における複数の特徴点の座標を示す情報である。特徴点は、例えば、頭、目、鼻、口、耳、肩、喉、肘、手首、指、腰、尻、膝、くるぶし、踵、又は爪先であるが、これに限られない。骨格情報１２２は、ユーザ動画１２１の各フレームと対応した時系列情報として記憶される。

距離情報１２３は、後述する第１算出部１３３及び第２算出部１３４により算出された上体長Ｌ及び前屈距離Ｄを示す情報である。上体長Ｌ及び前屈距離Ｄは、ユーザ動画１２１の各フレームと対応した時系列情報として記憶される。上体長Ｌ及び前屈距離Ｄについて、詳しくは後述する。

評価結果情報１２４は、ユーザの立位体前屈の良し悪しを評価した評価結果を示す情報である。評価結果は、評価項目ごとの評価値であってもよいし、評価項目ごとのコメント又はアドバイスであってもよい。評価項目は、例えば、背中の伸び具合、速度、及び前屈の深さの少なくとも１つを含む。

制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、評価装置１の動作全体を制御する。制御部１３は、取得部１３１と、抽出部１３２と、第１算出部１３３と、第２算出部１３４と、判別部１３５と、評価部１３６と、通知部１３７と、を備える。

取得部１３１は、通信部１１がユーザ端末２から受信したユーザ動画１２１を取得し、記憶部１２に保存する。

抽出部１３２は、骨格抽出（姿勢推定）処理により、記憶部１２に保存されたユーザ動画１２１から、ユーザ動画１２１に写ったユーザの骨格情報１２２を抽出し、記憶部１２に保存する。抽出部１３２は、任意の骨格抽出方法を利用できる。

第１算出部１３３は、ユーザ動画１２１の各フレームに対応する骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応するユーザの上体長Ｌを算出する。上体長Ｌは、ユーザの上半身の２点間の距離であり、第１距離に相当する。より詳細には、上体長Ｌは、ユーザの上半身における、下方の特徴点から上方の特徴点までの距離である。例えば、下方の特徴点は腰又は尻であり、上方の特徴点は肩、喉、目、鼻、口、耳又は頭であるが、これに限られない。第１算出部１３３は、ユーザ動画１２１の各フレームに対応する上体長Ｌを示す距離情報を時系列情報として記憶部１２に保存する。

図５は、上体長Ｌを説明する図である。図５に示すように、上体長Ｌは、ユーザの上半身における下方の特徴点から上方の特徴点までの、画像（フレーム）上での直線距離となる。図５の例では、上体長Ｌは、腰から肩までの距離であるが、これに限られない。

第２算出部１３４は、ユーザ動画１２１の各フレームに対応する骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応するユーザの前屈距離Ｄを算出する。前屈距離Ｄは、基準線Ｒからユーザの上半身までの距離であり、第２距離に相当する。より詳細には、前屈距離Ｄは、基準線Ｒからユーザの上半身における特徴点までの距離である。例えば、ユーザの上半身における特徴点は、肩、喉、目、鼻、口、耳又は頭であるが、これに限られない。基準線Ｒは、ユーザの前屈の程度に応じてユーザの上半身までの距離が変化する任意の直線であり得る。基準線Ｒは、例えば、ユーザ動画１２１の画像（フレーム）上における任意の垂線である。また、基準線Ｒは、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線であってもよい。第２算出部１３４は、ユーザ動画１２１の各フレームに対応する前屈距離Ｄを示す距離情報を時系列情報として記憶部１２に保存する。

図６は、前屈距離Ｄを説明する図である。図６に示すように、前屈距離Ｄは、ユーザの上半身における特徴点から基準線Ｒまでの、画像（フレーム）上での直線距離となる。図６の例では、前屈距離Ｄは、ユーザの肩から、前屈動作の開始前におけるユーザの腰と肩を通る直線までの距離であるが、これに限られない。

判別部１３５は、前屈距離Ｄに基づいて、ユーザ動画１２１におけるユーザの各動作部分を判別する。より詳細には、判別部１３５は、ユーザ動画１２１に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する。前屈動作部分は、ユーザ動画１２１において、ユーザが前屈動作を実施しているところを撮影した部分のことである。起き上がり動作部分は、ユーザ動画１２１において、ユーザが起き上がり動作を実施しているところを撮影した部分のことである。判別方法については後述する。

評価部１３６は、上体長Ｌに基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報１２４を記憶部１２に保存する。評価方法については後述する。

通知部１３７は、記憶部１２に保存された評価結果情報１２４をユーザ端末２に送信し、ユーザに評価結果を通知する。

＜評価装置が実行する処理＞
次に、評価装置１が実行する処理について説明する。図７は、評価装置１が実行する処理の一例を示すフローチャートである。

（ステップＳ１０１）
取得部１３１は、通信部１１がユーザ端末２から受信したユーザ動画１２１を取得し、記憶部１２に保存する。

（ステップＳ１０２）
抽出部１３２は、骨格抽出処理により、記憶部１２に保存されたユーザ動画１２１から、ユーザ動画１２１に写ったユーザの骨格情報１２２を抽出し、記憶部１２に保存する。

（ステップＳ１０３）
第１算出部１３３は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応する上体長Ｌを算出する。第１算出部１３３は、算出部した上体長Ｌを距離情報１２３として記憶部１２に保存する。

（ステップＳ１０４）
第２算出部１３４は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１における基準線Ｒを設定する。第２算出部１３４は、ユーザ動画１２１の最初のフレームにおける、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線を基準線Ｒとして設定してもよい。また、第２算出部１３４は、何らかの方法で前屈動作の開始タイミングを検出し、検出した開始タイミングの直前のフレームにおけるユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線を基準線Ｒとして設定してもよい。いずれの方法でも、第２算出部１３４は、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線を基準線Ｒに設定することができる。

（ステップＳ１０５）
第２算出部１３４は、ステップＳ１０４で設定した基準線Ｒと、ユーザ動画１２１の各フレームに対応する骨格情報１２２と、に基づいて、ユーザ動画１２１の各フレームに対応するユーザの前屈距離Ｄを算出する。第２算出部１３４は、算出部した前屈距離Ｄを距離情報１２３として記憶部１２に保存する。

（ステップＳ１０６）
判別部１３５は、ステップＳ１０５で算出した前屈距離Ｄに基づいて、ユーザ動画１２１におけるユーザの各動作部分を判別する。

ここで、図８及び図９は、前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）の一例を示す図である。図８は、ユーザが良い立位体前屈を実施した場合の前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）を示す図である。図９は、ユーザが悪い立位体前屈を実施した場合の前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）を示す図である。図８及び図９の例では、ユーザが立位体前屈を３回実行した場合の前屈距離Ｄ及び上体長Ｌが時系列で示されている。

図８及び図９に示すように、前屈距離Ｄは、直立している間は小さく、前屈動作中に急激に大きくなり、停止中はほぼ一定となり、起き上がり動作中に急激に小さくなる。このため、判別部１３５は、例えば、前屈距離Ｄが閾値以下で安定した値からピークまで所定の勢いで上昇する部分を前屈動作部分と判別し、前屈距離Ｄがピークから閾値以下の値まで所定の勢いで下降する部分を起き上がり部分と判別し、前屈動作部分と起き上がり動作部分との間を停止部分と判別し、残りの部分を直立部分と判別することにより、ユーザ動画１２１を図８及び図９のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。

（ステップＳ１０７）
第１算出部１３３は、記憶部１２に保存された上体長Ｌと、判別部１３５による各動作部分の判別結果と、に基づいて、基準長Ｌｒを設定する。基準長Ｌｒは、上体長Ｌの基準となる長さであって、直立状態のユーザの上体長Ｌに相当する。第１算出部１３３は、ユーザ動画１２１における最初の直立部分の上体長Ｌに基づいて基準長Ｌｒを設定すればよい。基準長Ｌｒは、例えば、最初の直立部分の最後のフレームの上体長Ｌ、最初の直立部分の最初のフレームの上体長Ｌ、又は最初の直立部分の上体長Ｌの平均値であるが、これに限られない。

（ステップＳ１０８）
第１算出部１３３は、記憶部１２に保存された上体長Ｌと、ステップＳ１０７で算出した基準長Ｌｒと、に基づいて、ユーザ動画１２１の各フレームに対応する、上体長Ｌと基準長Ｌｒの比率Ｌ／Ｌｒを算出する。第１算出部１３３は、算出した比率Ｌ／Ｌｒを距離情報１２３として記憶部１２に保存する。

（ステップＳ１０９）
評価部１３６は、記憶部１２に保存された比率Ｌ／Ｌｒと、判別部１３５による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、背中の伸び具合、速度、及び前屈の深さが挙げられる。

ここで、立位体前屈の評価方法について説明する。図１０は、立位体前屈を説明する模式図である。図１は、良い立位体前屈を説明する模式図である。図１０は、悪い立位体前屈を説明する模式図である。

（１）背中の伸び具合について
図１に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒより、前屈動作中の上体長Ｌは短くなる。すなわち、図８に示すように、前屈動作中の比率Ｌ／Ｌｒが１より小さくなる。

同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒより、起き上がり動作中の上体長Ｌは短くなる。すなわち、図８に示すように、起き上がり動作中の比率Ｌ／Ｌｒが１より小さくなる。

一方、図１０に示すように、立位体前屈は、首及び背中を真っ直ぐにした状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。このため、ユーザが適切に前屈動作を実施しなかった場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒと、起き上がり動作中の上体長Ｌと、は略等しくなる。すなわち、図９に示すように、起き上がり動作中の比率Ｌ／Ｌｒが略１となる。

同様に、立位体前屈は、首及び背中を真っ直ぐにした状態で起き上がり動作を実施した場合、十分な効果を得られない。このため、ユーザが適切に起き上がり動作を実施しなかった場合、起き上がり動作の開始前の上体長Ｌである基準長Ｌｒと、起き上がり動作中の上体長Ｌと、は略等しくなる。すなわち、図９に示すように、起き上がり動作中の比率Ｌ／Ｌｒが略１となる。

そこで、評価部１３６は、前屈動作中の比率Ｌ／Ｌｒが１より小さい場合、ユーザの立位体前屈（前屈動作）における背中の伸び具合を高く評価する。評価部１３６は、前屈動作中の比率Ｌ／Ｌｒの平均値が１より小さいほど評価を高くしてもよいし、前屈動作中に比率Ｌ／Ｌｒが１より小さい期間が長いほど評価を高くしてもよい。これにより、図８の例では、３回の前屈動作がいずれも高く評価される。一方、図９の例では、１回目の前屈動作のみ高く評価され、残り２回の前屈動作は低く評価される。

同様に、評価部１３６は、起き上がり動作中の比率Ｌ／Ｌｒが１より小さい場合、ユーザの立位体前屈（起き上がり動作）における背中の伸び具合を高く評価する。評価部１３６は、起き上がり動作中の比率Ｌ／Ｌｒの平均値が１より小さいほど評価を高くしてもよいし、起き上がり動作中に比率Ｌ／Ｌｒが１より小さい期間が長いほど評価を高くしてもよい。これにより、図８の例では、３回の起き上がり動作がいずれも高く評価される。一方、図９の例では、３回の起き上がり動作がいずれも低く評価される。

（２）速度について
立位体前屈では、勢いをつけて前屈動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで前屈動作を実施するのが好ましい。そこで、例えば、評価部１３６は、前屈動作の時間が長いほど、ユーザの立位体前屈（前屈動作）における速度を高く評価する。また、評価部１３６は、前屈動作の速度（前屈距離Ｄの傾き）が一定であるほど、ユーザの立位体前屈（前屈動作）における速度を高く評価してもよい。

同様に、立位体前屈では、勢いをつけて起き上がり動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで起き上がり動作を実施するのが好ましい。そこで、例えば、評価部１３６は、起き上がり動作の時間が長いほど、ユーザの立位体前屈（起き上がり動作）における速度を高く評価する。また、評価部１３６は、起き上がり動作の速度（前屈距離Ｄの傾き）が一定であるほど、ユーザの立位体前屈（起き上がり動作）における速度を高く評価してもよい。

（３）前屈の深さについて
立位体前屈は、背中の筋肉を伸ばすため、深く前屈するほど好ましい。そこで、例えば、評価部１３６は、停止中における上半身の傾きが垂直（鉛直）に近いほど、ユーザの立位体前屈における前屈の深さを高く評価する。上半身の傾きは、例えば、前屈距離Ｄを算出するために利用するユーザの上半身の２点間を結ぶ直線の傾きであるが、これに限られない。

評価部１３６は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報１２４を記憶部１２に保存する。なお、評価部１３６による評価方法は、上記の例に限られない。

（ステップＳ１１０）
通知部１３７は、記憶部１２に保存された評価結果情報１２４をユーザ端末２に送信することにより、ユーザに評価結果を通知する。ユーザ端末２は、評価結果情報１２４を受信すると、評価結果情報１２４が示す評価結果をディスプレイに表示する。

図１１は、ユーザ端末２に表示される評価結果の表示画面の一例を示す図である。図１１の表示画面は、ユーザ動画１２１の再生領域Ｉｍ１と、評価値領域Ｉｍ２と、評価コメント領域Ｉｍ３と、を有する。再生領域Ｉｍ１は、ユーザ動画１２１を再生する。評価値領域Ｉｍ２は、立位体前屈の総合及び各評価項目の評価値（評価結果）を表示する。評価コメント領域Ｉｍ３は、ユーザの立位体前屈に対するコメント（評価結果）を表示する。なお、ユーザ端末２の表示画面に表示される評価結果は、図１１の例に限られない。

＜まとめ＞
以上説明した通り、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて上体長Ｌを算出し、上体長Ｌに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における背中の伸び具合を評価することができる。

また、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて前屈距離Ｄを算出し、前屈距離Ｄに基づいてユーザ動画１２１における各動作部分を判別する。これにより、評価装置１は、ユーザ動画１２１の各動作部分を自動的に判別することができる。

また、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて前屈距離Ｄを算出し、前屈距離Ｄに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における速度及び深さを評価することができる。

＜＜第２実施形態＞＞
第２実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、ユーザの首屈曲度及び膝屈曲度の少なくとも一方に基づいて、ユーザの立位体前屈の良し悪しを評価する。以下では、第１実施形態との相違点を中心に説明し、第１実施形態と共通する構成については説明を省略する。

＜機能構成＞
図１２は、評価装置１の機能構成の一例を示す図である。図１２に示すように、評価装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。

記憶部１２は、首屈曲度情報１２と、膝屈曲度情報１２６と、を記憶する。

首屈曲度情報１２５は、後述する第３算出部１３８により算出された首屈曲度Ｈを示す情報である。首屈曲度Ｈは、ユーザ動画１２１の各フレームと対応した時系列情報として記憶される。首屈曲度Ｈについて、詳しくは後述する。

膝屈曲度情報１２６は、後述する第４算出部１３９により算出された膝屈曲度Ｋを示す情報である。膝屈曲度Ｋは、ユーザ動画１２１の各フレームと対応した時系列情報として記憶される。膝屈曲度Ｋについて、詳しくは後述する。

なお、本実施形態において、評価結果情報１２４の評価項目は、首の曲げ具合及び膝の曲げ具合の少なくとも１つを含む。

制御部１３は、第３算出部１３８と、第４算出部１３９と、を備える。

第３算出部１３８は、ユーザ動画１２１の各フレームに対応する骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応するユーザの首屈曲度Ｈを算出する。首屈曲度Ｈは、ユーザの前方への首の曲げ具合を示す指標であって、ユーザの肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の傾き（角度）である。頭部の一点は、肩、喉、目、鼻、口、耳又は頭であるが、これに限られない。第３算出部１３８は、ユーザ動画１２１の各フレームに対応する首屈曲度Ｈを示す情報を時系列情報として記憶部１２に保存する。

図１３は、首屈曲度Ｈを説明する図である。図１３に示すように、首屈曲度Ｈは、ユーザの肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の画像（フレーム）上での傾き（角度）となる。図１３の例では、首屈曲度Ｈは、肩と腰を結ぶ直線ｈ１と、肩と目を結ぶ直線ｈ２と、の傾き（直立時に鋭角となる側）であるが、これに限られない。図１３の首屈曲度Ｈの場合、ユーザが首を前方に曲げるほど、首屈曲度Ｈは大きくなる。

第４算出部１３９は、ユーザ動画１２１の各フレームに対応する骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応するユーザの膝屈曲度Ｋを算出する。膝屈曲度Ｋは、ユーザの膝の曲げ具合を示す指標である。膝屈曲度Ｋは、例えば、ユーザの膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の傾き（角度）である。また、膝屈曲度Ｋは、水平面と、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の傾き（角度）であってもよい。また、膝屈曲度Ｋは、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さであってもよい。第４算出部１３９は、ユーザ動画１２１の各フレームに対応する膝屈曲度Ｋを示す情報を時系列情報として記憶部１２に保存する。

図１４は、膝屈曲度Ｋ１を説明する図である。図１４に示すように、膝屈曲度Ｋ１は、ユーザの膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の画像（フレーム）上での傾き（角度）となる。図１４の例では、膝屈曲度Ｋ１は、膝と踵とを結ぶ直線ｋ１と、膝と腰とを結ぶ直線ｋ２と、の傾き（直立時に鋭角となる側）であるが、これに限られない。図１４の膝屈曲度Ｋ１の場合、ユーザが膝を曲げるほど、膝屈曲度Ｋ１は大きくなる。

図１５は、膝屈曲度Ｋ２を説明する図である。図１５に示すように、膝屈曲度Ｋ２は、水平面と、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の画像（フレーム）上での傾き（角度）となる。図１５の例では、膝屈曲度Ｋ２は、水平線ｋ３と、ユーザの膝と腰とを結ぶ直線ｋ４と、の傾き（直立時に鋭角となる側）であるが、これに限られない。図１５の膝屈曲度Ｋ２の場合、ユーザが膝を曲げるほど、ユーザの腰が後ろ側に移動するため、膝屈曲度Ｋ２は大きくなる。

図１６は、膝屈曲度Ｋ３を説明する図である。図１６に示すように、膝屈曲度Ｋ３は、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さとなる。図１６の例では、膝屈曲度Ｋ３は、ユーザの踵と腰を結ぶ直線の長さであるが、これに限られない。図１６の膝屈曲度Ｋ３の場合、ユーザが膝を曲げるほど、腰が低くなって踵に近づくため、膝屈曲度Ｋ３は小さくなる。

なお、本実施形態において、評価部１３６は、首屈曲度Ｈ及び膝屈曲度Ｋの少なくとも一方に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報１２４を記憶部１２に保存する。評価方法については後述する。

＜評価装置が実行する処理＞
次に、評価装置１が実行する処理について説明する。図１７は、評価装置１が実行する処理の一例を示すフローチャートである。図１７のステップＳ２０１～Ｓ２０８は、図７のステップＳ１０１～Ｓ１０８と同様であるため、説明を省略する。

（ステップＳ２０９）
第３算出部１３８は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応する首屈曲度Ｈを算出する。第３算出部１３８は、算出部した首屈曲度Ｈを首屈曲度情報１２５として記憶部１２に保存する。

（ステップＳ２１０）
第４算出部１３９は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応する膝屈曲度Ｋを算出する。第４算出部１３９は、算出部した膝屈曲度Ｋを膝屈曲度情報１２６として記憶部１２に保存する。

（ステップＳ２１１）
評価部１３６は、記憶部１２に保存された首屈曲度Ｈ及び膝屈曲度Ｋと、判別部１３５による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、首の曲げ具合及び膝の曲げ具合が挙げられる。

ここで、立位体前屈の評価方法について説明する。図１０は、立位体前屈を説明する模式図である。図１は、良い立位体前屈を説明する模式図である。図１０は、悪い立位体前屈を説明する模式図である。

（１）首の曲げ具合について
図１に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。前屈動作時における適切な首屈曲度Ｈは、例えば、３０度以上８０度以下である。

同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。起き上がり動作時における適切な首屈曲度Ｈは、例えば、３０度以上８０度以下である。

一方、図１０に示すように、立位体前屈は、首を過度に曲げた状態で前屈動作を実施した場合、首を痛める恐れがある。同様に、立位体前屈は、首を過度に曲げた状態で起き上がり動作を実施した場合、首を痛める恐れがある。

そこで、評価部１３６は、前屈動作中の首屈曲度Ｈが所定の範囲に含まれる場合、ユーザの立位体前屈（前屈動作）における首の曲げ具合を高く評価する。所定の範囲は、例えば、３０度以上８０度以下であるが、これに限られない。評価部１３６は、前屈動作中の首屈曲度Ｈが所定値に近いほど評価を高くしてもよいし、前屈動作中に首屈曲度Ｈが所定の範囲に含まれる期間が長いほど評価を高くしてもよい。

同様に、評価部１３６は、起き上がり動作中の首屈曲度Ｈが所定の範囲に含まれる場合、ユーザの立位体前屈（起き上がり動作）における首の曲げ具合を高く評価する。所定の範囲は、例えば、３０度以上８０度以下であるが、これに限られない。評価部１３６は、起き上がり動作中の首屈曲度Ｈが所定値に近いほど評価を高くしてもよいし、起き上がり動作中に首屈曲度Ｈが所定の範囲に含まれる期間が長いほど評価を高くしてもよい。

（２）膝の曲げ具合について
図１に示すように、立位体前屈は、背中の筋肉を伸ばすために、膝を伸ばした状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作中の膝屈曲度Ｋは、直立時の膝屈曲度Ｋと一致する。

同様に、立位体前屈は、背中の筋肉を伸ばすために、膝を伸ばした状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、起き上がり動作中の膝屈曲度Ｋは、直立時の膝屈曲度Ｋと略一致する。

一方、図１０に示すように、立位体前屈は、膝を曲げた状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。ユーザが膝を曲げた状態で前屈動作を実施した場合、前屈動作中の膝屈曲度Ｋは、直立時の膝屈曲度Ｋと離れた値となる。

同様に、図１０に示すように、立位体前屈は、膝を曲げた状態で起き上がり動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。ユーザが膝を曲げた状態で起き上がり動作を実施した場合、起き上がり動作中の膝屈曲度Ｋは、直立時の膝屈曲度Ｋと離れた値となる。

そこで、評価部１３６は、前屈動作中の膝屈曲度Ｋが直立時の膝屈曲度Ｋに近いほど、ユーザの立位体前屈（前屈動作）における膝の曲げ具合を高く評価する。同様に、評価部１３６は、起き上がり動作中の膝屈曲度Ｋが直立時の膝屈曲度Ｋに近いほど、ユーザの立位体前屈（起き上がり動作）における首の曲げ具合を高く評価する。

評価部１３６は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報１２４を記憶部１２に保存する。なお、評価部１３６による評価方法は、上記の例に限られない。

（ステップＳ２１２）
通知部１３７は、記憶部１２に保存された評価結果情報１２４をユーザ端末２に送信することにより、ユーザに評価結果を通知する。ユーザ端末２は、評価結果情報１２４を受信すると、評価結果情報１２４が示す評価結果をディスプレイに表示する。

＜まとめ＞
以上説明した通り、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて首屈曲度Ｈを算出し、首屈曲度Ｈに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における首の曲げ具合を評価することができる。

また、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて膝屈曲度Ｋを算出し、膝屈曲度Ｋに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における膝の曲げ具合を評価することができる。

なお、本実施形態では、首の曲げ具合及び膝の曲げ具合の両方を評価する場合について説明したが、いずれか一方だけ評価してもよいし、首の曲げ具合及び膝の曲げ具合の少なくとも一方と共に、背中の曲げ具合、速度及び前屈の深さの少なくとも１つを評価してもよい。

＜付記＞
本実施形態は、以下の開示を含む。

（付記１）
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出処理と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。

（付記２）
前記評価処理は、前記前屈動作中の前記首屈曲度が所定の範囲に含まれる場合、前記前屈動作を高く評価する
付記１に記載の情報処理方法。

（付記３）
前記首屈曲度は、肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の傾きである
付記１又は付記２に記載の情報処理方法。

（付記４）
前記骨格情報に基づいて、前記ユーザの膝屈曲度を算出する第４算出処理と、
前記膝屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を更に含む付記１から付記３までのいずれかに記載の情報処理方法。

（付記５）
前記評価処理は、前記前屈動作中の前記膝屈曲度が、直立時の前記膝屈曲度に近いほど、前記前屈動作を高く評価する
付記４に記載の情報処理方法。

（付記６）
前記膝屈曲度は、膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の傾きである
付記４又は付記５に記載の情報処理方法。

（付記７）
前記膝屈曲度は、水平面と、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の傾きである
付記４から付記６までのいずれかに記載の情報処理方法。

（付記８）
前記膝屈曲度は、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さである
付記４から付記６までのいずれかに記載の情報処理方法。

（付記９）
前記動画は、前記ユーザを側方から撮影した動画である
付記１から付記８までのいずれかに記載の情報処理方法。

（付記１０）
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出部と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。

（付記１１）
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出処理と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１：評価装置
２：ユーザ端末
１１：通信部
１２：記憶部
１３：制御部
１０１：プロセッサ
１０２：メモリ
１０３：ストレージ
１０４：通信Ｉ／Ｆ
１０５：入出力Ｉ／Ｆ
１０６：ドライブ装置
１０７：入力装置
１０８：出力装置
１０９：ディスクメディア
１２１：ユーザ動画
１２２：骨格情報
１２３：距離情報
１２４：評価結果情報
１２５：屈曲度情報
１３１：取得部
１３２：抽出部
１３３：第１算出部
１３４：第２算出部
１３５：判別部
１３６：評価部
１３７：通知部
１３８：第３算出部
１３９：第４算出部

Claims (11)

1. 情報処理装置が実行する情報処理方法であって、
   ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
   前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
   前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出処理と、
   前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
   を含む情報処理方法。
2. 前記評価処理は、前記前屈動作中の前記首屈曲度が所定の範囲に含まれる場合、前記前屈動作を高く評価する
   請求項１に記載の情報処理方法。
3. 前記首屈曲度は、肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の傾きである
   請求項１又は請求項２に記載の情報処理方法。
4. 前記骨格情報に基づいて、前記ユーザの膝屈曲度を算出する第４算出処理と、
   前記膝屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
   を更に含む請求項１から請求項３までのいずれかに記載の情報処理方法。
5. 前記評価処理は、前記前屈動作中の前記膝屈曲度が、直立時の前記膝屈曲度に近いほど、前記前屈動作を高く評価する
   請求項４に記載の情報処理方法。
6. 前記膝屈曲度は、膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の傾きである
   請求項４又は請求項５に記載の情報処理方法。
7. 前記膝屈曲度は、水平面と、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の傾きである
   請求項４から請求項６までのいずれかに記載の情報処理方法。
8. 前記膝屈曲度は、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さである
   請求項４から請求項６までのいずれかに記載の情報処理方法。
9. 前記動画は、前記ユーザを側方から撮影した動画である
   請求項１から請求項８までのいずれかに記載の情報処理方法。
10. ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
    前記動画から前記ユーザの骨格情報を抽出する抽出部と、
    前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出部と、
    前記首屈曲度に基づいて、前記ユーザの動作を評価する評価部と、
    を備える情報処理装置。
11. 情報処理装置が実行する情報処理方法であって、
    ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
    前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
    前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第３算出処理と、
    前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
    を含む情報処理方法をコンピュータに実行させるためのプログラム。