JP6733738B2 - 運動認識装置、運動認識プログラムおよび運動認識方法 - Google Patents

Description

本発明は、運動認識装置等に関する。

各種のスポーツの分野では、公平かつ正確に選手の演技を評価するため、長年にわたり多くの努力や改革が行われてきた。しかし、最近の競技の技術進歩はめざましく、審判員の目視だけでは正確な評価を行うことが困難な場合もある。このため、自動的に選手の演技を評価する技術が望まれている。以下において、自動的に選手の演技を評価する従来技術の一例について説明する。

従来技術１は、鉄棒を行う選手を評価する技術である。従来技術１は、２次元シルエット画像からキーボーズを検出し、キーボーズの組み合わせから技を認識し、自動採点を行う。しかし、従来技術１では、２次元シルエット画像を用いて技を認識するため、２次元シルエットのみで判別可能な一部の競技の技しか認識することができない。

従来技術１を解消するものとして、従来技術２がある。従来技術２は、技毎の選手の骨格の動きのプロトタイプを予め生成しておき、生成しておいた各プロトタイプと、演技を行う選手の骨格情報を比較して、技を判定する技術である。

国際公開第２０１２／１１２４０２号

吉村拓哉 橋本剛"機械学習を用いたジェスチャー認識精度向上方法の研究"ゲームプログラミングワークショップ 2012 論文集 2012.6(2012) 167-170. J.Shin and Ozawa,"A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing" IEEE International Conference on Systems Man and Cybernetics, pp. 1037-1040,2008

しかしながら、上述した従来技術では、対象者の演技を効率的に評価することができないという問題がある。

例えば、従来技術２では、技毎に用意した各プロトタイプを用いて、技を識別する。このため、多種多様な技を判別するためには、比較対象となるプロトタイプの数が多くなり、該当する技を認識するまでに時間を要する。

１つの側面では、本発明は、対象者の演技を効率的に評価することができる運動認識装置、運動認識プログラムおよび運動認識方法を提供することを目的とする。

第１の案では、運動認識装置は、分節部と、識別部と、第１評価部とを有する。分節部は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第１評価部は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。

対象者の演技を効率的に評価することができる。

図１は、本実施例に係るシステムの構成を示す図である。 図２は、骨格の特徴点の一例を説明するための図である。 図３は、骨格データのデータ構造の一例を示す図である。 図４は、運動認識装置の構成を示す機能ブロック図である。 図５は、算出結果データのデータ構造の一例を示す図である。 図６は、体躯ベクトルの一例を説明するための図である。 図７は、鞍馬と体躯との角度を説明するための図である。 図８は、技認定規則データのデータ構造の一例を示す図である。 図９は、角度領域の一例を示す図である。 図１０は、支持位置の一例を示す図である。 図１１は、格上げ規則データのデータ構造の一例を示す図である。 図１２は、評価結果データのデータ構造の一例を示す図である。 図１３は、分節部の処理の一例を説明するための図である。 図１４は、評価関数Ｆ（ｋ）を説明するための図である。 図１５は、表示画面の一例を示す図である。 図１６は、運動認識装置の処理手順を示すフローチャート（１）である。 図１７は、運動認識装置の処理手順を示すフローチャート（２）である。 図１８は、技名と難度と判定する処理手順を示すフローチャートである。 図１９は、難度を格上げする処理手順を示すフローチャートである。 図２０は、運動認識装置の処理の一例を示す図である。 図２１は、その他の体躯ベクトルの一例を説明するための図である。 図２２は、運動認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する運動認識装置、運動認識プログラムおよび運動認識方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係るシステムの構成を示す図である。図１に示すように、このシステムは、３Ｄ（dimension）センサ１０と、骨格認識装置２０と、運動認識装置１００とを有する。例えば、対象者５は、３Ｄセンサ１０の撮影範囲で、所定の体操を行う。本実施例では一例として、対象者５が鞍馬を演技する場合について説明するが、これに限定されるものではなく、その他の体操競技であっても良い。

３Ｄセンサ１０は、３Ｄセンサ１０の設置位置から、３Ｄセンサ１０の撮影範囲に含まれる対象者５上の各観測点までの距離情報を計測するセンサである。例えば、３Ｄセンサ１０は、フレーム毎に、各観測点の３次元座標を示す３次元データを生成し、生成した３次元データを骨格認識装置２０に出力する。フレームは、あるタイミングにおいて、３Ｄセンサ１０が計測した各観測点の３次元座標の情報を示すものであり、３次元データは、複数のフレームから構成される。

骨格認識装置２０は、３次元データを基にして、対象者５の骨格を構成する複数の特徴点を認識する装置である。図２は、骨格の特徴点の一例を説明するための図である。図２に示すように、骨格の特徴点は、特徴点５ａ〜５ｐが含まれる。

特徴点５ａは、頭部の位置に対応する点である。特徴点５ｂ，５ｅは、肩関節（右肩関節、左肩関節）の位置に対応する点である。特徴点５ｃ，５ｆは、肘関節（右肘関節、左肘関節）の位置に対応する点である。特徴点５ｄ，５ｇは、手首（右手首、左手首）の位置に対応する点である。特徴点５ｈは、首の位置に対応する点である。特徴点５ｉは、背中（背中の中心）に対応する点である。特徴点５ｊは、腰（腰の中心）に対応する点である。特徴点５ｋ，５ｎは、股関節（右股関節、左股関節）の位置に対応する点である。特徴点５ｌ，５ｏは、膝関節（右膝関節、左膝関節）の位置に対応する点である。特徴点５ｍ，５ｐは、足首（右足首、左足首）の位置に対応する点である。

骨格認識装置２０は、フレーム毎の３次元データを基にして、フレーム毎の骨格の特徴点を認識し、骨格データを生成する。図３は、骨格データのデータ構造の一例を示す図である。図３に示すように、骨格データは、フレーム毎に、各特徴点５ａ〜５ｐの３次元座標を有する。各フレームは、フレームを一意に識別するフレーム番号が付与される。

運動認識装置１００は、骨格データを基にして、対象者５が演技した体操の技および難度を評価する装置である。図４は、運動認識装置の構成を示す機能ブロック図である。図４に示すように、この運動認識装置１００は、インタフェース部１１０と、入力部１２０と、記憶部１４０と、制御部１５０とを有する。

インタフェース部１１０は、骨格認識装置２０やその他の外部装置とデータを送受信するインタフェースである。後述する制御部１５０は、インタフェース１１０を介して、骨格識別装置２０とデータをやり取りする。

入力部１２０は、運動認識装置１００に各種の情報を入力するための入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１４０は、骨格データ１４１、算出結果データ１４２、技認定規則データ１４３、格上げ規則データ１４４、評価結果データ１４５を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

骨格データ１４１は、骨格認識装置２０により生成される骨格データである。骨格データ１４１のデータ構造は、図３で説明した骨格データのデータ構造と同様である。

算出結果データ１４２は、対象者５の手足先、体躯の位置・姿勢に関する情報を有するデータである。算出結果データ１４２は、後述する算出部１５２により算出される。図５は、算出結果データのデータ構造の一例を示す図である。図５に示すように、この算出結果データ１４２は、フレーム番号と、手・足の位置データと、体躯ベクトルデータと、分節番号とを対応付ける。

フレーム番号は、フレームを一意に識別する情報である。手・足の位置データは、両手、両足の３次元座標を示すデータである。例えば、手の位置データは、手首の特徴点５ｄ，５ｇの３次元座標に対応する。足の位置データは、足首の特徴点５ｍ，５ｐの３次元座標に対応する。体躯ベクトルデータは、体躯ベクトルの方向および大きさを示すデータである。

図６は、体躯ベクトルの一例を説明するための図である。図６に示すように、体躯ベクトル７は、右肩関節の特徴点５ｂと、左肩関節の特徴点５ｅと、背中の特徴点５ｉとを通る平面６の法線ベクトルに対応する。例えば、体躯ベクトル７の大きさを「１」とする。例えば、体躯ベクトルは、Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標系で定義される。Ｘ軸の方向を、鞍馬８の長手方向とする。Ｙ軸の方向を、Ｘ軸と直交する方向とする。Ｚ軸の方向を、ＸＹ平面の鉛直上方向とする。なお、体躯ベクトル７が求まると、鞍馬と体躯との角度を定義することができる。

鞍馬と体躯との角度について説明する。図７は、鞍馬と体躯との角度を説明するための図である。図７に示すように、鞍馬と体躯との角度θは、線分１ａと線分１ｂとのなす角である。線分１ｂは、体躯ベクトル７をＸＹ平面に投影したものを対象者５の前方に延長した線分である。線分１ａはＹ軸に対応する線分である。

分節番号は、フレームがいずれのグループに属するかを示す番号である。グループは、ある１つの基本運動を対象者が行った場合において、基本運動の始点となるフレームから基本運動の終点となるフレームまでの各フレームを集合として扱うものである。

同一のグループに属するフレームには、同一の分節番号が割り当てられる。分節番号は、後述する分節部１５３によって設定される。例えば、時系列に連続する複数のフレームにおいて、分節点となるフレームから、次の分節点となるフレームまでに含まれる複数のフレームが、同一のグループに含まれるフレームとなる。以下の説明では適宜、同一のグループに属する複数のフレームを、「部分データ」と表記する。後述する識別部１５４は、部分データ毎に、部分データに対応する基本運動の種別を特定する。

図４の説明に戻る。技認定規則データ１４３は、後述する第１評価部１５５が、技の名称と、難度とを判定する場合に用いるデータである。図８は、技認定規則データのデータ構造の一例を示す図である。図８に示すように、この技認定規則データ１４３は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別、技名、グループ、難度を対応付ける。

基本運動種別は、基本運動の種別を示すものである。始点体躯角度領域は、部分データに含まれる始点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。終点体躯角度領域は、部分データに含まれる終点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。図８の始点体躯角度領域および終点体躯角度領域において、Ａ（Ｂ）は、（）外または（）内の組み合わせにおいて、角度領域がＡ領域であっても良いし、Ｂ領域であっても良いことを示す。

図９は、角度領域の一例を示す図である。図９に示すように、角度領域は、０°領域、９０°領域、１８０°領域、２７０°領域を含む。線分１ｂは、対象者５の体躯ベクトル７をＸＹ平面に投影したものを対象者５の前方に延長した線分である。図９に示す例では、体躯ベクトル７の方向は、０°領域となる。

始点左手支持位置は、部分データに含まれる始点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。始点右手支持位置は、部分データに含まれる始点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図８の始点左手支持位置および始点右手支持位置において、Ａ（Ｂ）は、（）外または（）内の組み合わせにおいて、支持位置が支持位置Ａであっても良いし、支持位置Ｂであっても良いことを示す。

終点左手支持位置は、部分データに含まれる終点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。終点右手支持位置は、部分データに含まれる終点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図８の終点左手支持位置および終点右手支持位置において、Ａ（Ｂ）は、（）外または（）内の組み合わせにおいて、支持位置が支持位置Ａであっても良いし、支持位置Ｂであっても良いことを示す。

図１０は、支持位置の一例を示す図である。対象者５の手（左手または右手）が領域８ａに存在する場合には、手の位置は、支持位置「１」に対応する。対象者５の手が領域８ｂに存在する場合には、手の位置は、支持位置「２」に対応する。対象者５の手が領域８ｃに存在する場合には、手の位置は、支持位置「３」に対応する。対象者５の手が領域８ｄに存在する場合には、手の位置は、支持位置「４」に対応する。対象者５の手が領域８ｅに存在する場合には、手の位置は、支持位置「５」に対応する。

前基本運動種別は、着目する部分データよりも時系列で一つ前の部分データに対応する基本運動の種別を示すものである。前基本運動種別「ａｎｙ」は、前の基本運動の種別が何であっても良いことを示す。以下の説明では、着目する部分データよりも時系列で一つ前の部分データを、「前部分データ」と表記する。

技名は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別の組み合わせにより特定される技の名称である。

グループは、技名により特定される技が分類されるグループを示すものである。難度は、技の難度を示すものである。技の難度は、Ａ，Ｂ，Ｃ，Ｄ，Ｅの順に難度が高くなる。難度Ａが最も難度が低い。

図４の説明に戻る。格上げ規則データ１４４は、後述する格上げ部１５６が、技の難度を格上げするか否かを判定する場合に用いるデータである。図１１は、格上げ規則データのデータ構造の一例を示す図である。図１１に示すように、この格上げ規則データ１４４は、技名と、前運動における体躯回転角度、前運動における始点左手支持位置、前運動における始点右手支持位置、前運動における終点左手支持位置、前運動における終点右手支持位置とを有する。また、格上げ規則データ１４４は、前基本運動種別と、難度格上げ数とを有する。

図１１において、技名は、着目する部分データについて、第１評価部１５５により特定された技名に対応し、難度の格上げを行うか否かの対象となるものである。前運動における体躯回転角度は、前部分データに含まれる始点のフレームから終点のフレームまでの体躯ベクトルの回転角度の総和を示す。例えば、回転角度は、図９で説明したように、体躯ベクトルをＸＹ平面に投影した場合の、回転角度とする。前部分データの始点となるフレームの体躯ベクトルをＸＹ平面に投影した位置を０°として、回転角度の合計が算出される。

前運動における始点左手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における始点右手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。

前運動における終点左手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における終点右手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。

前基本運動種別は、前部分データに対応する基本運動の種別を示すものである。

難度格上げ数は、該当する条件にヒットする場合に、第１評価部１５５によって特定された技の難度を何段階格上げするのかを示す情報である。例えば、第１評価部１５５によって特定された技名が「正交差」であり、体躯回転角度が「３６０°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「３」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ１４４の１列目のレコードにヒットし、難度格上げ数は「１」となる。例えば、現在の難度が「Ａ」である場合には、１段階難度を格上げすると、補正後の難度は「Ｂ」となる。

評価結果データ１４５は、対象者５の演技の評価結果に関する情報を保持するデータである。図１２は、評価結果データのデータ構造の一例を示す図である。図１２に示すように、この評価結果データ１４５は、フレーム番号、右手位置、左手位置、体躯角度、足の高さ、体躯向き、分節フラグ、基本運動種別、技名、難度、Ｅスコアを対応付ける。

フレーム番号は、フレームを一意に識別する情報である。右手位置は、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。左手位置は、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。

体躯角度は、対象者５の体躯角度を示すものである。例えば、該当するフレームから求められる体躯ベクトルをＸＹ平面に投影した場合の線分と、Ｙ軸とのなす角を、体躯角度とする。足の高さは、対象者５の右足（右足首）の位置および対象者の左足（左足首）位置のうち、高い方の位置を示すものである。

体躯向きは、体躯ベクトルのＺ軸の向きが正の方向であるか負の方向であるかを示すものである。体躯向きが「下」とは、体躯ベクトルのＺ軸の向きが負であることを示す。体躯向きが「上」とは、体躯ベクトルのＺ軸の向きが正であることを示す。

分節フラグは、該当するフレームが分節点に対応するか否かを示す情報である。該当するフレームが分節点であるか否かは、後述する分節部１５３によって判定される。該当するフレームが分節点である場合には、分節フラグが「１」となる。該当するフレームが分節点でない場合には、分節フラグが「０」となる。

基本運動種別、技名、難度に関する説明は、図８で説明した基本運動種別、技名、難度に関する説明と同様である。

Ｅスコア（Execution score）は、部分データに対応する基本運動種別のＥスコアを示すものである。Ｅスコアは、後述する第２評価部１５７により算出される。

図４の説明に戻る。制御部１５０は、取得部１５１、算出部１５２、分節部１５３、識別部１５４、第１評価部１５５、格上げ部１５６、第２評価部１５７、表示制御部１５８を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

取得部１５１は、骨格認識装置２０から骨格データ１４１を取得する処理部である。取得部１５１は、取得した骨格データ１４１を記憶部１４０に登録する。骨格データ１４１のデータ構造は、図３で説明したものである。

算出部１５２は、骨格データ１４１を基にして、算出結果データ１４２を算出する処理部である。算出結果データ１４２のデータ構造は、図５で説明したものである。算出結果データ１４２のうち、フレーム番号に対応する手・足の位置データ、体躯ベクトルデータは、算出部１５２により登録され、分節番号は、分節部１５３により登録される。

算出部１５２は、フレーム毎に、手・足の位置データ、体躯ベクトルデータを算出する。例えば、算出部１５２は、骨格データ１４１の特徴点５ｄ，５ｇの３次元座標を、手の位置として算出する。算出部１５２は、骨格データ１４１の特徴点５ｍ，５ｐの３次元座標を、足の位置として算出する。算出部１５２は、該当するフレームのフレーム番号と対応付けて、手・足の位置データを、算出結果データ１４２に登録する。

算出部１５２は、右肩関節の特徴点５ｂと、左肩関節の特徴点５ｅと、背中の特徴点５ｉとを通る平面６の法線ベクトルを、体躯ベクトルとして算出する。算出部１５２は、該当するフレームのフレーム番号と対応付けて、体躯ベクトルデータを、算出結果データ１４２に登録する。

算出部１５２は、骨格データ１４１の各フレームについて、上記処理を繰り返し実行することで、算出結果データ１４２を生成する。

分節部１５３は、算出結果データ１４２を基にして、分節点となるフレームを特定し、特定した分節点に基づいて、複数のフレームを複数のグループに分類する処理部である。分節部１５３は、算出結果データ１４２にアクセスし、同一のグループに属するフレームの分節番号を、同一に設定する。

分節部１５３は、算出結果データ１４２において、あるフレーム番号に対応する手・足の位置データを参照する。分節部１５３は、下記の条件Ａ１、Ａ２、Ａ３を全て満たす場合に、あるフレーム番号に対応するフレームが、分節点であると判定する。条件Ａ１〜Ａ３を全て満たす場合には、対象者５は両手を鞍馬８につき、体躯ベクトルの方向が下向きになっていることを意味する。
条件Ａ１：対象者５の左手の位置が、図１０に示した領域８ａ〜８ｅのいずれかに位置する。
条件Ａ２：対象者５の右手の位置が、図１０に示した領域８ａ〜８ｅのいずれかに位置する。
条件Ａ３：体躯ベクトルのＺ軸成分が負である。

分節部１５３は、評価結果データにアクセスし、分節点であると判定したフレーム番号に対応する分節フラグを「１」に設定する。分節フラグの初期値を「０」とする。

図１３は、分節部の処理の一例を説明するための図である。図１３に示す複数のフレームは、時系列に並んでいる。一例として、フレーム３０ａ、３１ａ，３２ａが、上記の条件Ａ１〜Ａ３を満たし、分節点のフレームであるとする。この場合には、分節部１５３は、範囲３０に含まれる各フレームを同一のグループに分類する。分節部１５３は、範囲３１に含まれる各フレームを同一のグループに分類する。分節部１５３は、範囲３２に含まれる各フレームを同一のグループに分類する。

範囲３０に含まれる各フレームの分節番号は「ｎ」、範囲３１に含まれる各フレームの分節番号は「ｎ＋１」、範囲３２に含まれる各フレームの分節番号は「ｎ＋２」となる。ｎは１以上の自然数とする。

例えば、範囲３０に含まれる各フレームにおいて、先頭のフレーム３０ａが、始点のフレームとなり、末尾のフレーム３０ｂが、終点のフレームとなる。範囲３１に含まれる各フレームにおいて、先頭のフレーム３１ａが、始点のフレームとなり、末尾のフレーム３１ｂが、終点のフレームとなる。範囲３２に含まれる各フレームにおいて、先頭のフレーム３２ａが、始点のフレームとなり、末尾のフレーム３２ｂが、終点のフレームとなる。

ここで、「部分データ」、「前部分データ」について再度説明する。範囲３０，３１，３２に含まれる各フレームをまとめたデータが、それぞれ、部分データとなる。着目する部分データを、範囲３１に含まれる各フレームであるとすると、前部分データは、範囲３１に含まれる各フレームとなる。

識別部１５４は、部分データ毎に、部分データに含まれるフレームの特徴点の動きを基にして、部分データに対応する基本運動種別を識別する処理部である。識別部１５４は、部分データに含まれるフレームの特徴点の情報を、算出結果データ１４２から取得する。識別部１５４は、部分データに対応する基本運動種別を識別すると、識別結果を、フレーム番号と対応付けて、評価結果データ１４５に登録する。

例えば、識別部１５４は、ＨＭＭ（Hidden Markov Model）を利用する。ＨＭＭは、時系列データを入力とし、その時系列データがどのカテゴリ（基本運動種別）に属するのかを決定する確率モデルである。識別部１５４には、学習フェーズと、認識フェーズとがある。

ＨＭＭは、学習フェーズにおいて、基本運動種別毎に４組のパラメータセットλを求めておく。パラメータセットλは、式（１）によって定義される。
λ＝｛Ｑ、Ａ、Ｂ、Π｝・・・（１）

式（１）において、Ｑは、状態の集合を示し、式（２）によって定義される。
Ｑ＝｛ａ_１、ｑ_２、・・・、ｑ_ｎ｝・・・（２）

式（１）において、Ａは、状態ｑ_ｉから状態ｑ_ｊへの遷移確率ａ_ｉｊの集合である状態遷移確率行列を示し、式（３）によって定義される。
Ａ＝｛ａ_ｉｊ｝・・・（３）

式（１）において、Ｂは、状態ｑ_ｊでのベクトルｘを出力する確率分布の集合を示す。式（１）において、Πは、初期状態の集合を示し、式（４）によって定義される。
Π＝｛π_ｉ｝・・・（４）

ここで、状態ｑｉでの確率密度関数は、式（５）で定義される。式（５）において、ｕ_ｉは、確率密度関数の平均ベクトルを示す。Σ_ｉは、確率密度関数の共分散行列を示す。

識別部１５４の学習フェーズの処理の一例について説明する。識別部１５４は、ある基本運動種別のパラメータセットλを求める場合に、初期状態としてＨＭＭのパラメータをランダムに設定する。識別部１５４は、ある基本運動識別に対応する部分データを複数用意し、部分データO_segmentに対してＨＭＭの尤度Ｐ（O_segment｜Λ_ｋ）を算出する処理を行う。

識別部１５４は、尤度Ｐが最大となる部分データを、ＨＭＭに関するΛ_ｋの教師信号とし、Λ_ｋのパラメータセットを最適化する処理を繰り返し実行する。識別部１５４は、係る処理により、ある基本運動種別のパラメータセットλを特定する。識別部１５４は、他の基本運動種別についても同様の処理を行うことで、基本運動種別毎のパラメータセットλを学習する。

識別部１５４の認識フェーズの処理の一例について説明する。識別部１５４は、基本運動種別の認識対象となる部分データを取得すると、式（６）に基づき、学習フェーズで学習したパラメータセットを変えつつ、パラメータセットλ毎のΛ_ｋのうち、最大となるΛ_ｋ０を特定する。識別部１５４は、Λ_ｋ０を算出した際に用いたパラメータセットλに対応する基本運動種別を、認識対象となる部分データの基本運動種別として判定する。

第１評価部１５５は、時系列に連続する部分データに対応する基本運動種別の順序を基にして、対象者５が行った運動の技および難度を評価する処理部である。以下において、第１評価部１５５の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。

第１評価部１５５は、部分データに含まれるフレーム番号と、評価結果データ１４５とを基にして、部分データの基本運動種別を特定する。第１評価部１５５は、前部分データに含まれるフレーム番号と、評価結果データ１４５とを基にして、前部分データの前基本運動種別を特定する。

第１評価部１５５は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する。第１評価部１５５は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する。

例えば、第１評価部１５５は、図９で説明した各角度領域の定義と、体躯ベクトルとを比較して、始点体躯角度領域、終点体躯角度領域を特定する。第１評価部１５５は、図１０で説明した各領域８ａ〜８ｅと、手の位置データとを比較することで、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置を特定する。

第１評価部１５５は、特定した各情報と、技認定規則データ１４３とを比較して、部分データに対応する技名と難度とグループとを特定する。ここで、特定した各情報は、基本運動種別、前運動種別を含む。また、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置を含む。

第１評価部１５５は、特定した技名と難度とグループとを、部分データに含まれるフレームのフレーム番号と対応付けて、評価結果データ１４５に登録する。また、第１評価部１５５は、フレーム番号と対応付けて、右手位置、左手位置、体躯角度、足の高さ、体躯向きを登録する。第１評価部１５５は、他の部分データについても上記処理を繰り返し実行することで、技名、難度、グループを特定し、評価結果データ１４５に登録する。

格上げ部１５６は、第１評価部１５５が評価した難度を格上げするか否かを判定し、判定結果を基にして、難度を格上げする処理部である。以下において、格上げ部１５６の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。

格上げ部１５６は、部分データに含まれるフレームのフレーム番号をキーにして、評価結果データ１４５を参照し、第１評価部１５５により評価された、部分データに対応する技名を特定する。

格上げ部１５６は、部分データに含まれる各フレームの体躯ベクトルを基にして、体躯回転角度を算出する。体躯回転角度は、始点のフレームから終点のフレームまでの体躯角度の変化の総和である。格上げ部１５６は、各フレームの体躯ベクトルのデータを、算出結果データ１４２から取得する。

格上げ部１５６は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、始点左手支持位置、始点右手支持位置を特定する。格上げ部１５６は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、終点左手支持位置、終点右手支持位置を特定する。格上げ部１５６は、前部分データに含まれるフレーム番号と、評価結果データ１４５とを基にして、前部分データの前基本運動種別を特定する。

格上げ部１５６は、特定した各情報と、格上げ規則データ１４４とを比較して、部分データに対応する難度を格上げするか否かを判定する。ここで、特定した各情報は、技名、体躯回転角度、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別を含む。

格上げ部１５６は、特定した各情報にヒットする列レコードが、格上げ規則データ１４４に存在する場合には、難度を格上げすると判定する。格上げ部１５６は、特定した各情報にヒットする列レコードが、格上げ規則データ１４４に存在しない場合には、難度を格上げしないと判定する。何段階格上げするのかは、ヒットした列レコードの難度格上げ数を参照する。

例えば、部分データの技名が「正交差」であり、体躯回転角度が「３６０°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「３」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ１４４の１列目のレコードにヒットし、難度格上げ数は「１」となる。そして、部分データの現在の難度が「Ａ」である場合には、格上げ部１５６は、難度を「Ｂ」に補正する。

格上げ部１５６は、他の部分データについても上記処理を繰り返し実行することで、評価結果データ１４５の難度を更新する。

第２評価部１５７は、各部分データについて、基本運動のＥスコアを評価する処理部である。第２評価部１５７には、予め基本運動種別毎に、Ｅスコアを算出するためのポリシーが設定されているものとする。ここでは一例として、第２評価部１５７が、基本運動種別「下り」のＥスコアを算出する例について説明する。ここでの「下り」は、鞍馬から対象者５が下りる際の基本運動を示す。

第２評価部１５７は、式（７）に示す評価関数Ｆ（ｋ）を用いる。評価関数Ｆ（ｋ）は、評価対象となる部分データに含まれる複数のフレームのうち、ｋ番目のフレームを評価する関数である。
Ｆ（ｋ）＝ａｒｃｓｉｎ（Ｔｚ／Ｔｘ）・・・（７）

図１４は、評価関数Ｆ（ｋ）を説明するための図である。図１４において、Ｔｘは、ｋ番目のフレームにおける対象者５の肩関節から足先（足首）までのＸ成分の長さに対応する。Ｔｚは、ｋ番目のフレームにおける対象者５の肩関節から足先までのＺ成分の長さに対応する。例えば、肩関節の位置は、特徴点５ｂまたは５ｅの位置に対応する。足先は、特徴点５ｍまたは５ｐの位置に対応する。

第２評価部１５７は、「下り」を評価する場合には、対象となる部分データに含まれる各フレームについて、上記処理を繰り返し実行し、各フレームに対するＦ（ｋ）の値を算出する。第２評価部１５７は、各フレームにおいて、Ｆ（ｋ）の値が３０°未満となるフレームが出現した場合には、欠点「０．３」を決定する。

第２評価部１５７は、式（８）に基づいて、基本運動に対する最終的なＥスコアを算出する。式（８）に示すΣは、全ての部分データにおける評価関数の結果で決定された欠点の総和を示すものである。なお、上記では一例として「下り」の評価関数について説明したが、その他の基本運動についても、該当する基本運動に対応した評価関数により欠点が決定される。例えば、「旋回」の部分データの評価関数は、左右足先の揃い方を評価する評価関数となり、左右両足が揃わないほど、欠点が大きくなる。

Ｅスコア＝１０−Σ・・・（８）

第２評価部１５７は、算出したＥスコアの情報を、フレーム番号に対応付けて、評価結果データ１４５に登録する。第２評価部１５７は、同一の部分データに含まれる各フレームのレコードに、Ｅスコアを登録しても良いし、同一の部分データに含まれる各フレームのうち、始点のフレームのレコードに、Ｅスコアを登録して良い。第２評価部１５７は、他の部分データについても同様にＥスコアを算出し、評価結果データ１４５に登録する。

なお、上記の第１評価部１５５は、評価結果データ１４５と、規則を示す論理式により、技の難度を再判定しても良い。規則を表す論理式は、各基本運動の技名の順序と、Ｄスコア（Difficulty score）とを対応付ける論理式である。

表示制御部１５８は、評価結果データ１４５を基にして、表示画面を生成し、表示部１３０に表示させる処理部である。図１５は、表示画面の一例を示す図である。図１５に示すように、この表示画面５０には、領域５０ａ〜５０ｇが含まれる。なお、表示制御部１５８は、評価結果データ１４５をそのまま、表示部１３０に表示しても良い。

領域５０ａは、現在の対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｂは、対象者５の演技開始時の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｃは、現在のフレームよりも１つ前のフレームにより特定される対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｄは、現在のフレームよりも２つ前のフレームにより特定される対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｅは、現在のフレームよりも３つ前のフレームにより特定される対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｆは、現在のフレームを含む部分データにより特定される基本運動の技名を表示する領域である。領域５０ｇは、３Ｄセンサ１０の情報を可視化した画像を表示する領域である。

次に、本実施例に係る運動認識装置１００の処理手順について説明する。図１６および図１７は、運動認識装置の処理手順を示すフローチャートである。図１６に示すように、運動認識装置１００は、処理対象のフレーム番号を、フレーム番号に１を加算した値によって更新する（ステップＳ１０１）。運動認識装置１００の算出部１５２は、骨格データ１４１を読み込む（ステップＳ１０２）。

算出部１５２は、骨格データ１４１を基にして、手・足の位置データ、体躯ベクトルデータを算出する（ステップＳ１０３）。運動認識装置１００の分節部１５３は、正面支持フラグの設定を行う（ステップＳ１０４）。ステップＳ１０４において、分節部１５３は、上述した条件Ａ１，Ａ２，Ａ３を全て満たす場合に、正面支持フラグを「１」に設定する。分節部１５３は、条件Ａ１，Ａ２，Ａ３の全てを満たさない場合には、正面支持フラグを「０」に設定する。正面支持フラグは、処理対象のフレーム番号と対応付けられる。

分節部１５３は、着地フラグを設定する（ステップＳ１０５）。ステップＳ１０５において、分節部１５３は、対象者５の左足先（左足首）の位置または右足（右足首）の位置が所定の閾値未満である場合に、着地フラグを「１」に設定する。分節部１５３は、対象者５の左足先（左足首）の位置または右足（右足首）の位置が所定の閾値以上である場合に、着地フラグを「０」に設定する。着地フラグは、処理対象のフレーム番号と対応付けられる。

分節部１５３は、分節点判定処理を行う（ステップＳ１０６）。ステップＳ１０６において、分節部１５３は、前回のフレーム番号に対応する正面支持フラグが「０」で、かつ、処理対象のフレーム番号に対応する正面支持フラグが「１」である場合に、処理対象のフレーム番号に対応するフレームが、分節点であると判定する。分節部１５３は、前回のフレーム番号に対応する正面支持フラグが「１」であるか、または、処理対象のフレーム番号に対応する正面支持フラグが「０」である場合に、処理対象のフレーム番号に対応するフレームが、分節点でないと判定する。

分節部１５３は、分節点でないと判定した場合には（ステップＳ１０７，Ｎｏ）、フレーム番号に対応付けて、手・足の位置データ、体躯ベクトルデータ、現在の分節番号を、算出結果データ１４２に登録し（ステップＳ１０８）、ステップＳ１０１に移行する。

分節部１５３は、分節点であると判定した場合には（ステップＳ１０７，Ｙｅｓ）、現在の分節番号を更新し（ステップＳ１０９）、図１７のステップＳ１１０に移行する。

運動認識装置１００の識別部１５４は、分節番号ｎのフレームを基にして、基本運動種別を判定する（ステップＳ１１０）。運動認識装置１００の第１評価部１５５は、技認定規則データ１４３を基にして、技名と難度とを判定する（ステップＳ１１１ａ）。運動認識装置１００の格上げ部１５６は、格上げ規則データ１４４を基にして、難度を格上げし（ステップＳ１１２）、ステップＳ１１３に移行する。

運動認識装置１００の第２評価部１５７は、基本運動に関するＥスコアを算出し（ステップＳ１１１ｂ）、ステップＳ１１３に移行する。

運動認識装置１００は、フレーム番号に対応付けて、技と難度とＥスコアとを評価結果テーブル１４５に登録する（ステップＳ１１３）。

運動認識装置１００は、演技終了判定処理を行う（ステップＳ１１４）。ステップＳ１１４において、運動認識装置１００は、技の属するグループが所定のグループである場合に、演技が終了であると判定する。運動認識装置１００は、着地フラグを集計した落下カウントの値が所定数以上である場合に、演技が終了であると判定する。

運動認識装置１００は、演技が終了でない場合には（ステップＳ１１５，Ｎｏ）、図１６のステップＳ１０１に移行する。運動認識装置１００は、演技が終了である場合には（ステップＳ１１５，Ｙｅｓ）、着地フラグ、落下カウント、分節番号を初期値に設定する（ステップＳ１１６）。

運動認識装置１００の第１評価部１５５は、評価結果データ１４５と、規則を示す論理式により、技の難度を再判定し、Ｄスコアを算出する（ステップＳ１１７）。運動認識装置１００の表示制御部１５８は、評価結果を表示する（ステップＳ１１８）。

次に、図１７のステップＳ１１１ａで説明した技認定規則データを基にして技名と難度とを判定する処理の一例について説明する。図１８は、技名と難度と判定する処理手順を示すフローチャートである。図１８に示すように、運動認識装置１００の第１評価部１５５は、分節番号ｎに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ１４２から取得する（ステップＳ２０１）。

第１評価部１５５は、始点のフレームに対応する手・足の位置データを基にして、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する（ステップＳ２０２）。第１評価部１５５は、終点のフレームに対応する手・足の位置データを基にして、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する（ステップＳ２０３）。

第１評価部１５５は、分節番号ｎに対応する基本運動種別および前運動種別を特定する（ステップＳ２０４）。

第１評価部１５５は、特定した各情報と、技認定規則データ１４３とを比較して、ヒットする列レコードが存在するか否かを判定する（ステップＳ２０５）。ここで、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置、基本運動種別、前基本運動種別を含む。

第１評価部１５５は、ヒットした場合には（ステップＳ２０６，Ｙｅｓ）、ヒットした列レコードに含まれる技名、グループ、難度を、分節番号ｎに対応する技名、グループ、難度として特定する（ステップＳ２０７）。

第１評価部１５５は、ヒットしない場合には（ステップＳ２０６，Ｎｏ）、分節番号ｎに対応する技名を不明とし、グループおよび難度を０とする（ステップＳ２０８）。

次に、図１７のステップＳ１１２で説明した格上げ規則データを基にして難度を格上げする処理の一例について説明する。図１９は、難度を格上げする処理手順を示すフローチャートである。図１９に示すように、運動認識装置１００の格上げ部１５６は、分節番号ｎに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ１４２から取得する（ステップＳ３０１）。

格上げ部１５６は、始点のフレームから終点のフレームの体躯ベクトルを基にして、体躯回転角度を算出する（ステップＳ３０２）。

格上げ部１５６は、始点のフレームに対応する手・足の位置データを基にして、始点左手支持位置、始点右手支持位置を特定する（ステップＳ３０３）。終点のフレームに対応する手・足の位置データを基にして、終点左手支持位置、終点右手支持位置を特定する（ステップＳ３０４）。

格上げ部１５６は、分節番号ｎに対応する技名および前基本運動種別を特定する（ステップＳ３０５）。

格上げ部１５６は、特定した各情報と、格上げ規則データ１４４とを比較して、ヒットする列レコードが存在するか否かを判定する（ステップＳ３０６）。格上げ部１５６は、ヒットした場合には（ステップＳ３０７，Ｙｅｓ）、難度格上げ数に応じて、難度を格上げする（ステップＳ３０８）。格上げ部１５６は、ヒットしない場合には（ステップＳ３０７，Ｎｏ）、処理を終了する。

図２０は、運動認識装置の処理の一例を示す図である。図２０に示す例では、分節部１５３は、算出結果データ１４２を基にして、分節点６０ａ〜６０ｇを設定する。例えば、分節点６０ａ，６０ｂ，６０ｃのフレームでは、対象者５の左手支持位置が「２」、右手支持位置が「４」となっている。分節点６０ｄのフレームでは、対象者５の左手支持位置が「４」、右手支持位置が「４」となっている。分節点６０ｅのフレームでは、対象者５の左手支持位置が「４」、右手支持位置が「２」となっている。分節点６０ｆ，６０ｇのフレームでは、対象者５の左手支持位置が「２」、右手支持位置が「２」となっている。なお、分節点６０ａ〜６０ｇのフレームでは、図示を省略するが、体躯ベクトルが下を向いているものとする。

一例として、分節点６０ａ，６０ｂ，６０ｃのフレームの体躯角度は１８０°である。分節点６０ｄのフレームの体躯角度は９０°である。分節点６０ｅのフレームの体躯角度は０°である。分節点６０ｆ，６０ｇのフレームの体躯角度は２７０°である。

一例として、識別部１５４は、分節点６０ａから６０ｂに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ旋回」と判定する。識別部１５４は、分節点６０ｂから６０ｃに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ旋回」と判定する。識別部１５４は、分節点６０ｃから６０ｄに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ下向き逆１／４転向」と判定する。識別部１５４は、分節点６０ｄから６０ｅに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ上向き逆１／４旋回」と判定する。識別部１５４は、分節点６０ｅから６０ｆに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ下向き逆１／４旋回」と判定する。識別部１５４は、分節点６０ｆから６０ｇに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ旋回」と判定する。

一例として、第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ａから６０ｂに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「Ａ」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｂから６０ｃに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「Ａ」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｃから６０ｅに含まれる各フレーム間に対象者が行った技名を「把手上下向き転向」、難度「Ｂ」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｅから６０ｆに含まれる各フレーム間に対象者が行った技名、難度はヒットせず、技名「不明」、難度「−」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｆから６０ｇに含まれる各フレーム間に対象者が行った技名を「一把手上縦向き旋回」、難度「Ｂ」と判定する。

一例として、第２評価部１５７は、分節点６０ａから６０ｂに含まれる各フレーム間に対象者が行った演技のＥスコアを「８」と判定する。第２評価部１５７は、分節点６０ｂから６０ｃに含まれる各フレーム間に対象者が行った演技のＥスコアを「８．５」と判定する。第２評価部１５７は、分節点６０ｃから６０ｅに含まれる各フレーム間に対象者が行った演技のＥスコアを「７．８」と判定する。第２評価部１５７は、分節点６０ｅから６０ｆに含まれる各フレーム間に対象者が行った演技のＥスコアを「１」と判定する。第２評価部１５７は、分節点６０ｆから６０ｇに含まれる各フレーム間に対象者が行った演技のＥスコアを「８．３」と判定する。

次に、本実施例に係る運動認識装置１００の効果について説明する。運動認識装置１００は、対象者５の骨格データ１４１を基にして、分節点となるフレームを特定し、複数の部分データに分類する。運動認識装置１００は、各部分データの基本運動種別を特定し、時系列に連続する部分データの基本運動種別の順序を基にして、対象者が行った運動の技名および難度を評価する。このように、基本運動種別の順序に基づき、技名および難度を評価するため、運動認識装置１００によれば、対象者５の演技を効率的に評価することができる。

運動認識装置１００は、時系列に連続する部分データの基本運動種別の順序および体躯回転角度を基にして、運動の難度を格上げする。このため、競技の複雑な評価基準に対応した正確な難度を特定することができる。

運動認識装置１００は、部分データに含まれる各フレームの特徴点の特徴と点数とを対応付けた評価基準に基づいて、部分データに対応するＥスコアを算出する。このため、技や難度に加えて、Ｅスコアも適切に算出することができる。

運動認識装置１００は、体躯ベクトルが下方向を向き、かつ、対象者５の両手が、予め定められた領域に位置するフレームを、分節点として特定する。このため、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。

ところで、本実施例に係る運動認識装置１００の算出部１５２は、右肩関節の特徴点５ｂと、左肩関節の特徴点５ｅと、背中の特徴点５ｉとを通る平面６の法線ベクトル７を、体躯ベクトルとして算出していたが、これに限定されるものではない。

図２１は、その他の体躯ベクトルの一例を説明するための図である。算出部１５２は、各股関節（右股関節、左股関節）の特徴点５ｋ，５ｎと、背中の特徴点５ｉとを通る平面６ａの法線ベクトル７ａを、体躯ベクトルとして算出してもよい。なお、法線ベクトル７ａの方向は、対象者５の腹側とし、法線ベクトル７ａの大きさを「１」とする。以下の説明では、法線ベクトル７ａを、体躯ベクトル７ａと表記する。体躯ベクトル７ａの始点は、平面（三角形）６ａ上に固定されていればどこでもよいが、特徴点５ｋ，５ｎの中点であっても良いし、平面６ａの重心であってもよい。分節部１５３は、体躯ベクトル７の代わりに、体躯ベクトル７ａを用いた場合でも、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。さらに、体躯ベクトル７ａは、体躯ベクトル７と比較して、胴体下部の向きを評価することに適している。

なお、計算部１５２は、対象者５の実際の運動と整合するように、特徴点５ｂ，５ｅ，５ｉ，５ｋ，５ｎの位置座標を全体の特徴点位置座標を用いて逆運動学計算で調整または推定し、体躯ベクトル７および体躯ベクトル７ａを算出してもよい。計算部１５２は、調整または推定した特徴点５ｂ，５ｅ，５ｉの平面６あるいは５ｉ，５ｋ，５ｎの平面６ａの単位法線ベクトルを、体躯ベクトルとして採用してもよい。このように、各特徴点５ｂ，５ｅ，５ｉ，５ｋ，５ｎの位置座標を実際の運動と整合するように調整または推定して算出した体躯ベクトル７，７ａを採用することで、オクルージョン等の理由により、対象者５の特徴点を直接検出出来ない場合や、特徴点の位置の誤差が大きくなる場合に対応でき、技の判定精度を向上させることができる。

次に、上記実施例に示した運動認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、運動認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図２２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。コンピュータ２００は、インタフェース装置２０５を介して、骨格認識装置２０から骨格データを取得する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、算出プログラム２０７ｂ、分節プログラム２０７ｃ、識別プログラム２０７ｄ、第１評価プログラム２０７ｅ、格上げプログラム２０７ｆ、第２評価プログラム２０７ｇ、表示プログラム２０７ｈを有する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｈを読み出して、ＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。算出プログラム２０７ｂは、算出プロセス２０６ｂとして機能する。分節プログラム２０７ｃは、分節プロセス２０６ｃとして機能する。識別プログラム２０７ｄは、識別プロセス２０６ｄとして機能する。第１評価プログラム２０７ｅは、第１評価プロセス２０６ｅとして機能する。格上げプログラム２０７ｆは、格上げプロセス２０６ｆとして機能する。第２評価プログラム２０７ｇは、第２評価プロセス２０６ｇとして機能する。表示プログラム２０７ｈは、表示プロセス２０６ｈとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。算出プロセス２０６ｂの処理は、算出部１５２の処理に対応する。分節プロセス２０６ｃの処理は、分節部１５３の処理に対応する。識別プロセス２０６ｄの処理は、識別部１５４の処理に対応する。第１評価プロセス２０６ｅの処理は、第１評価部１５５の処理に対応する。格上げプロセス２０６ｆの処理は、格上げ部１５６の処理に対応する。第２評価プロセス２０６ｇの処理は、第２評価部１５７の処理に対応する。表示プロセス２０６ｈの処理は、表示制御部１５８の処理に対応する。

なお、各プログラム２０７ａ〜２０７ｈについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｈを読み出して実行するようにしても良い。

１０ ３Ｄセンサ
２０ 骨格認識装置
１００ 運動認識装置

Claims (15)

1. 対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類する分節部と、
   グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する識別部と、
   時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する第１評価部と
   を有することを特徴とする運動認識装置。
2. 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記第１評価部に評価された前記対象者が行った運動の難度を格上げする格上げ部を更に有することを特徴とする請求項１に記載の運動認識装置。
3. フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する第２評価部を更に有することを特徴とする請求項１または２に記載の運動認識装置。
4. 前記分節部は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１に記載の運動認識装置。
5. 前記分節部は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１に記載の運動認識装置。
6. コンピュータに、
   対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
   グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
   時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
   処理を実行させることを特徴とする運動認識プログラム。
7. 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更にコンピュータに実行させることを特徴とする請求項６に記載の運動認識プログラム。
8. フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更にコンピュータに実行させることを特徴とする請求項６または７に記載の運動認識プログラム。
9. 前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項６に記載の運動認識プログラム。
10. 前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項６に記載の運動認識プログラム。
11. コンピュータが実行する運動認識方法であって、
    対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
    グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
    時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
    処理を実行することを特徴とする運動認識方法。
12. 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更に実行することを特徴とする請求項１１に記載の運動認識方法。
13. フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更に実行することを特徴とする請求項１１または１２に記載の運動認識方法。
14. 前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１１に記載の運動認識方法。
15. 前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１１に記載の運動認識方法。

Images