JP6868673B1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】未習熟者が、自分の動作と習熟者の動作との差分を手軽に解析し、自分の動作の修正方法を得ることを支援する情報処理装置、情報処理方法及び情報処理プログラムを提供する。【解決手段】情報処理装置は、習熟者の動作と未習熟者の動作との差分を抽出するため、習熟者の動作を撮影した第１の動画から抽出された、習熟者の身体の各部位の第１の位置座標を取得し、未習熟者の動作を撮影した第２の動画から抽出された、未習熟者の身体の各部位の第２の位置座標を取得する。情報処理装置は、第１の位置座標に基づいて、習熟者の骨格を推定し、第２の位置座標に基づいて、未習熟者の骨格を推定する。【選択図】図１２

Description

本開示は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

スポーツや伝統芸能、作業手順などの技能を習得しようとする未習熟者は、参考文書や動画、習熟者の実際の動作などを見て、未習熟者の理解の範囲で、自分と習熟者との動作の差分を確認し、差分確認および修正を繰り返すことで習熟度を高めようと試みる。

しかしながら、人の体型（骨格や筋力など）は様々で、習熟者との動作の差分を確認することは容易でない。また、習得しようとする所定技能の種類や内容によっては、習熟者の動作を見ても、自分の動作との差分や修正方法を見出すことは困難な場合がある。また、例えば、習熟者の動作を複数台のカメラで撮影し、動作解析を行う技術もあるが、大掛かりで高価な設備が必要となり、手軽さに欠ける。

本願は、上記に鑑みてなされたものであって、未習熟者が、自分の動作と習熟者の動作との差分を手軽に解析し、自分の動作の修正方法を得ることを支援できる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置の一態様は、習熟者の動作を撮影した動画から、前記習熟者の骨格を推定する推定部と、前記習熟者の骨格推定結果から、前記習熟者の動作と未習熟者の動作との差分を解析するための、前記習熟者の身体の各部位の位置座標を取得する取得部とを備えたことを特徴とする。

また、本願に係る情報処理装置の別の態様は、複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、１人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定する決定部と、前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置座標および第１の回転方向と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分を抽出する抽出部とを備えたことを特徴とする。

また、本願に係る情報処理装置のさらに別の態様は、習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者の動作に対する修正指示を生成する生成部と、前記修正指示を未習熟者端末に送信する送信部とを備えたことを特徴とする。

実施形態の一態様によれば、未習熟者が、自分の動作と習熟者の動作との差分を手軽に解析し、自分の動作の修正方法を得ることを支援できる。

図１は、実施形態に係る情報処理システムの構成例を示す図である。 図２は、実施形態に係る情報処理装置１００の機能構成例を示す図である。 図３は、実施形態に係る習熟者情報記憶部に記憶される情報の例を示す図である。 図４は、実施形態に係る未習熟者情報記憶部に記憶される情報の例を示す図である。 図５は、実施形態に係る修正指示記憶部に記憶される情報の例を示す図である。 図６は、実施形態に係る評価結果記憶部に記憶される情報の例を示す図である。 図７は、実施形態に係る骨格推定の一例を示す図である。 図８は、実施形態に係る修正指示の一例を示す図である。 図９は、実施形態に係る修正指示の別の一例を示す図である。 図１０は、実施形態に係る評価結果の一例を示す図である。 図１１は、実施形態に係る未習熟者端末２００の機能構成例を示す図である。 図１２は、実施形態に係る習熟者の動作と未習熟者の動作との差分解析処理の流れを示すフローチャートである。 図１３は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。以下に、未習熟者が、自分の動作と習熟者の動作との差分を手軽に解析し、自分の動作の修正指示を受けることができる本実施形態について説明する。

〔１．情報処理システムの構成〕
図１を用いて情報処理システムの構成について説明する。図１は、実施形態に係る情報処理システムの構成例を示す図である。図１に示すように、情報処理システムは、情報処理装置１００、未習熟者端末２００、および習熟者端末３００を含む。図１に示すように、情報処理装置１００と、未習熟者Ｐによって使用される未習熟者端末２００と、習熟者Ｍ−１〜Ｍ−ｎによって使用される習熟者端末３００−１〜３００−ｎ（ｎは任意の整数。以下、まとめて「習熟者端末３００」という）とがネットワークＮを介して相互に通信可能に接続される。なお、ネットワークＮは、有線、無線を問わず、インターネットなどの各種通信網を採用することができる。

未習熟者端末２００は、技能を習得しようとする未習熟者によって使用される端末である。未習熟者端末２００は、スマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、据え置き端末であってもよい。未習熟者端末２００は、未習熟者の動作を撮影するためのカメラ機能を備え、またはカメラ装置（図示せず）と接続され、未習熟者の動作の撮影を行う。なお、動画の撮影対象は、未習熟者の全身に限定されず、上半身、手のみ、などと部分的であってもよい。さらに、未習熟者の同一の動作を、複数台の未習熟者端末２００により角度を変えて撮影することにより、より細かい動作の差分解析および修正指示を行うことができる。また、未習熟者端末２００には、技能習得アプリケーション（技能習得アプリ）がインストールされており、ユーザは技能習得アプリを介して、自分の動作に対する修正指示を受けたり、評価結果を確認したりすることができる。なお、未習熟者端末２００は、未習熟者が所有する端末である必要はなく、例えば、技能習得サービスを提供するサービス提供者によって所有される端末であってもよい。

習熟者端末３００は、未習熟者の手本となる各技能の習熟者によって使用される端末である。習熟者端末３００も、モバイル端末であっても、据え置き端末であってもよい。また、習熟者端末３００も、習熟者の動作を撮影するためのカメラ機能を備え、またはカメラ装置と接続され、習熟者の動作の撮影を行う。また、習熟者の動画の撮影も、習熟者の身体の一部の撮影であってよいし、複数台の習熟者端末３００による撮影であってよい。なお、実施形態に係る習熟者端末３００は、図１に示すように各習熟者分ある必要はなく、例えば、技能習得サービスを提供するサービス提供者によって所有される端末であってもよいし、未習熟者端末２００と同一の端末であってもよい。

情報処理装置１００は、例えば、技能習得サービスを提供するサービス提供者によって管理されるサーバ装置である。情報処理装置１００は、様々な習熟者の動作情報を習熟者端末３００から取得し、蓄積しておく。そして、情報処理装置１００は、未習熟者の動作情報を未習熟者端末２００から取得すると、蓄積された習熟者の動作情報から、基準となる習熟者の動作情報を決定し、未習熟者の動作情報との差分解析を行う。また、情報処理装置１００は、未習熟者の動作に対する修正指示や評価結果を未習熟者端末２００に送信する。なお、情報処理装置１００は、クラウドサービスを提供する他のサービス提供者によって管理されるクラウドサーバ装置であってよい。また、図１では、情報処理装置１００を１台のコンピュータとして示しているが、複数のコンピュータで構成される分散型コンピューティングシステムであってもよい。

〔２．情報処理装置１００の構成〕
次に、図２を用いて、実施形態に係る情報処理装置１００の機能構成について説明する。図２は、実施形態に係る情報処理装置１００の機能構成例を示す図である。図２に示すように、情報処理装置１００は、通信部１１０、記憶部１２０、制御部１３０を備える。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）などによって実現される。通信部１１０は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、未習熟者端末２００や習熟者端末３００との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。図２に示すように、記憶部１２０は、習熟者動作情報記憶部１２１、未習熟者動作情報記憶部１２２、習熟者情報記憶部１２３、未習熟者情報記憶部１２４、修正指示記憶部１２５、評価結果記憶部１２６を有する。以下、記憶部１２０に含まれる各記憶部について順に説明する。

（習熟者動作情報記憶部１２１）
習熟者動作情報記憶部１２１は、習熟者の動作に関する情報を記憶する。習熟者動作情報記憶部１２１に記憶される習熟者動作情報は、例えば、習熟者の動作を撮影した動画データである。しかしながら、当該動画データは、習熟者端末３００によって撮影され、情報処理装置１００に送信（アップロード）されることになるため、および情報処理装置１００に多数の習熟者分のデータが蓄積されるため、データサイズの大きさが問題になる可能性がある。そのため、習熟者動作情報は、習熟者の動作を撮影した動画データから習熟者の骨格推定により取得された、習熟者の身体の各部位の位置座標（二次元）および回転方向（三次元）の時系列データであってよい。これにより、動画データと比較して取り扱うデータのサイズが小さくて済み、各種リソースの消費を軽減させることができる。なお、習熟者の動画データからの骨格推定ならびに位置座標および回転方向の取得は、習熟者端末３００で行ってもよいし、情報処理装置１００で行ってもよい。

（未習熟者動作情報記憶部１２２）
未習熟者動作情報記憶部１２２は、未習熟者の動作に関する情報を記憶する。未習熟者動作情報記憶部１２２に記憶される未習熟者動作情報は、例えば、未習熟者の動作を撮影した動画データである。しかしながら、未習熟者動作情報も、未習熟者の動作を撮影した動画データから習熟者の骨格推定のより取得された、未習熟者の身体の各部位の位置座標および回転方向の時系列データであってよい。また、未習熟者の動画データからの骨格推定ならびに位置座標および回転方向の抽出は、未習熟者端末２００で行ってもよいし、情報処理装置１００で行ってもよい。

（習熟者情報記憶部１２３）
習熟者情報記憶部１２３は、習熟者に関する属性情報を記憶する。図３は、実施形態に係る習熟者情報記憶部に記憶される情報の例を示す図である。図３に示す例では、習熟者情報記憶部１２３は、「習熟者ＩＤ、習熟者名、習得技能、動作分類、性別、年代、身長、体重、利き腕、ポジション、流派」などを対応付けて記憶する。

「習熟者ＩＤ」は、習熟者を一意に示す識別子である。「習得技能」は、習熟者が習得済みの技能である。未習熟者が習得を希望する技能と同一の習得技能に関して、習熟者の動作情報は正の動作情報であり、未習熟者の基準となり得る。

「動作分類」は、人間の動作に関する運動分類、例えば、人間を身体の使い方で４つタイプに分類する４スタンス理論による分類を示す。人間の身体の使い方は、このような動作分類によって異なり、例えば、同一の動作をする場合であっても動作分類によって身体の部位の動かし方が異なってくる。そこで、未習熟者により適した動作の修正指示や評価を行うためには、未習熟者と同一の動作分類に属する習熟者の動作と、未習熟者の動作との差分解析を行うことが望ましい。その他、「性別」以降の各データ項目は、動作に影響し得る習熟者の分類であり、これらの分類も「動作分類」同様、未習熟者の動作と差分解析を行う習熟者を決定するために用いることができる。また、図３に示す以外のデータ項目であっても、動作に影響し得る分類を習熟者情報に追加することができる。なお、図３の例では、「習得技能」などのデータを文字列で示しているが、文字列の代わりにそれらのデータを一意に示す数値などであってもよい。また、「年代」は、習熟者の実年齢を示す「年齢」であってもよい。

（未習熟者情報記憶部１２４）
未習熟者情報記憶部１２４は、未習熟者に関する属性情報を記憶する。図４は、実施形態に係る未習熟者情報記憶部に記憶される情報の例を示す図である。図４に示す例では、未習熟者情報記憶部１２４は、「未習熟者ＩＤ、未習熟者名、習得希望技能、動作分類、性別、年代、身長、体重、利き腕、ポジション、流派」などを対応付けて記憶する。

「未習熟者ＩＤ」は、未習熟者を一意に示す識別子である。「習得希望技能」は、未習熟者が習得を希望する技能である。その他、「動作分類」以降の各データ項目は、習熟者情報記憶部１２３に記憶される習熟者情報（図３）における同名のデータ項目と同様である。

（修正指示記憶部１２５）
修正指示記憶部１２５は、未習熟者の動作に対する修正指示に関する情報を記憶する。図５は、実施形態に係る修正指示記憶部に記憶される情報の例を示す図である。図５に示す例では、修正指示記憶部１２５は、「未習熟者ＩＤ、動画経過時間、指示部位、指示内容」などを対応付けて記憶する。

「未習熟者ＩＤ」は、修正指示を受ける未習熟者を示す識別子であり、未習熟者情報記憶部１２４に記憶される「未習熟者ＩＤ」と関連付けられる。「動画経過時間」は、未習熟者の動作を撮影した動画中の修正指示を行うべき経過時間を示す。例えば、図５におけるデータレコードは、動画の撮影開始から１分４５秒経過したところで、未習熟者の左足に対し“左足のつま先を外側に向けてください”という修正指示がされることを示している。「指示部位」および「指示内容」は、習熟者の身体の部位の位置座標および回転方向と、未習熟者の身体の部位の位置座標および回転方向との差分解析により生成することができる。例えば、当該差分解析により差分がある部位は、修正指示を行うべき部位、すなわち「指示部位」である。また、「指示内容」は、「指示部位」と、位置座標や回転方向の差分およびその度合いとから、自然言語で生成することができる。自然言語で修正指示を生成し、未習熟者の動作を撮影した動画と合成して文字表示したり、音声による読み上げを行ったりすることにより、未習熟者は修正指示をより理解し易くなる。

自然言語による「指示内容」は、例えば、“つま先を内側に向ける”、“つま先を外側に向ける”、“肘を曲げる”、“肘を伸ばす”、“膝を曲げる”、“膝を伸ばす”、“腰を内側に入れる”、“腰を外側に出す”、“腕を曲げる”、“腕を伸ばす”、“背筋を伸ばす”、“背筋を曲げる”、“顔を上げる”、“顔を下げる”、“指先を内側に向ける”、“指先を外側に向ける”などであり、修正指示の対象となる部位と、正しい動作との組合せである。さらに、「速く、もっと速く、遅く、もっと遅く、動かさない」などといった動作の速さに関する指示を組み合わせることができる（例えば、右肘をもっと速く外側に向ける）。また、「指示内容」は、未習熟者の動作に対する正しい方向や速度に限られず、距離や軌跡などに関する指示を含んでもよい。

（評価結果記憶部１２６）
評価結果記憶部１２６は、未習熟者の動作に対する評価結果に関する情報を記憶する。図６は、実施形態に係る評価結果記憶部に記憶される情報の例を示す図である。図６に示す例では、評価結果記憶部１２６は、「未習熟者ＩＤ、評価日、評価部位１、部位１評価、部位１指示、評価部位２、部位２評価、部位２指示、評価部位３、部位３評価、部位３指示、評価部位４、部位４評価、部位４指示」などを対応付けて記憶する。

「未習熟者ＩＤ」は、評価対象の未習熟者を示す識別子であり、未習熟者情報記憶部１２４に記憶される「未習熟者ＩＤ」と関連付けられる。「評価部位１」および「部位１指示」はそれぞれ、修正指示記憶部１２５に記憶される「指示部位」および「指示内容」に基づいて生成することができる。「部位１評価」は、「評価部位１」に示される部位の動作に関する評価値であり、例えば、５点を最高点とする５段階評価による点数である。「部位１評価」は、例えば、「評価部位１」に示される部位の位置座標や回転方向に対する、未習熟者と習熟者との差分およびその度合いから決定することができる。なお、図６はあくまでも一例であって、評価の粒度や、各評価の決定方法、各評価に対する重み付けなど（まとめて「評価方法」という）は、未習熟者の習得希望技能などによって自由に変更することができる。図６に示すように、評価結果の履歴を評価結果記憶部１２６に蓄積しておくことで、未習熟者に対し、後述するように、習得希望技能の習熟具合（進捗）を提示することができる。

（制御部１３０）
制御部１３０は、情報処理装置１００全体を司る処理部であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など（いわゆる、プロセッサ）である。制御部１３０は、記憶部１２０に記憶されている各種プログラム（例えば、本願に係る情報処理プログラム）を、作業領域となるＲＡＭに展開して実行する。また、制御部１３０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路により実現される。

図２に示すように、制御部１３０は、取得部１３１、推定部１３２、決定部１３３、抽出部１３４、生成部１３５、送信部１３６を有し、以下に説明する各機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する習熟者の動作と未習熟者の動作との差分解析処理を実行する構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

（取得部１３１）
取得部１３１は、未習熟者や習熟者の動作を撮影した動画データを、未習熟者端末２００や習熟者端末３００から取得する。また、取得部１３１は、当該動画データから取得された、未習熟者や習熟者の身体の各部位の位置座標および回転方向の時系列データを、未習熟者端末２００や習熟者端末３００から取得する。なお、当該時系列データを未習熟者端末２００や習熟者端末３００から取得する場合は、未習熟者や習熟者の動作を撮影した動画データを取得しなくてもよい。この場合、当該動画データは情報処理装置１００にアップロードされない。また、取得部１３１は、当該時系列データを、未習熟者端末２００や習熟者端末３００から取得せず、後述する未習熟者や習熟者の骨格推定結果に基づいて動画データから取得してもよい。取得された各種情報は、取得部１３１によって記憶部１２０に記憶される。

（推定部１３２）
推定部１３２は、未習熟者や習熟者の動作を撮影した動画から、画像認識および画像処理により、未習熟者や習熟者の身体の各部位を特定し、骨格を推定する。図７は、実施形態に係る骨格推定の一例を示す図である。図７に示すように、身体の各部位の位置（点）を結ぶことにより、骨格（線）を推定することが可能である。これにより、身体の各部位の位置座標と、各部位間の比率とがわかり（位置座標の遷移によって各部位の回転方向もわかる）、未習熟者および習熟者の動作情報の相対的な差分解析を行うことができ、未習熟者と習熟者との間に体格差があっても、適切な修正指示および評価を行うことができる。

（決定部１３３）
決定部１３３は、未習熟者や習熟者の動作パターンにより、未習熟者や習熟者の動作分類を決定する。当該動作分類とは、例えば、４スタンス理論に基づく分類である。４スタンス理論に基づく分類は、人間の動作パターンにより、人間を４種類のタイプに分類することができる。このような動作分類は、例えば、アンケート形式でいくつかの質問をユーザにし、動作パターンを回答させることにより決定可能である。動作パターンの回答（ユーザ入力）は、技能習得アプリまたはその他のツールを用いて行うことができる。また、決定部１３３は、未習熟者および習熟者の動作分類に基づいて、複数人の習熟者の中から、未習熟者と同一の分類に属する習熟者を決定する。なお、未習熟者と同一の分類に属する習熟者が複数人いる場合は、未習熟者と同一の分類に属する習熟者のリストを未習熟者端末２００に送信し、未習熟者に１人の習熟者を選択させることもできる。また、この習熟者のリストは、図３および図４の習熟者情報および未習熟者情報に示すような、性別や年代、利き腕など、動作に影響し得る分類を用いて、未習熟者に近い習熟者を、例えば、リスト上部に優先して表示するように生成することができる。

（抽出部１３４）
抽出部１３４は、習熟者の身体の部位の位置座標および回転方向と、未習熟者の身体の部位の位置座標および回転方向との差分を抽出する。なお、未習熟者と習熟者との体格差の影響を受けないように、相対的な差分を抽出する。具体的には、推定部１３２による骨格推定により、身体の各部位間の比率がわかるため、未習熟者および習熟者それぞれの相対位置の差分を抽出する。また、抽出対象となる、習熟者や未習熟者の身体の部位は、技能ごとに予め指定された部位であってもよい。技能によっては、特に動作に関係のない部位があり、無駄な処理の実行を避けるため、予め指定された部位のみを抽出対象としてもよい。

（生成部１３５）
生成部１３５は、習熟者の身体の部位の位置座標および回転方向と、未習熟者の身体の部位の位置座標および回転方向との差分に基づいて、未習熟者の動作に対する修正指示を生成する。具体的には、生成部１３５は、習熟者の動作情報（位置座標および回転方向）を正の動作情報として、相対的に差分のある未習熟者の動作情報を正の動作情報に近づくための修正指示を生成する。なお、修正指示は、習熟者と未習熟者との位置座標や回転方向の差分およびその度合いにより、「右肘をもっと速く外側に向ける」などのように各部位に対し、正しい動作の方向や速度を組み合わせて自然言語で生成する。

また、修正指示は、視覚的な指示であってもよい。具体的には、未習熟者の動作を撮影した動画と合成して表示させる矢印や、習熟者のシルエットである。矢印は、例えば、未習熟者の身体の部位を起点として、習熟者の動作に対する正しい方向や速度を視覚的に示すように生成される。例えば、矢印の向きが正しい動作の向きであり、矢印の長さが正しい動作までの距離、矢印の色や模様などで正しい動作の速度を示すことができる。また、矢印の軌跡そのものを、正しい動作の軌跡として示すこともできる。習熟者のシルエットは、骨格推定により習熟者および未習熟者の各部位の相対的な位置関係がわかるため、未習熟者に合わせて習熟者の各部位の位置関係を補正することにより、未習熟者の体型に合わせた習熟者のシルエットを生成することができる。このような矢印や、習熟者のシルエットを、未習熟者の動作を撮影した動画とフレーム単位で合成して表示することにより、未習熟者は修正指示をより理解し易くなる。

図８は、実施形態に係る修正指示の一例を示す図である。図８に示すように、未習熟者端末２００によって撮影中の未習熟者の動作に合わせて、音声や表示による修正指示を出力することができる。なお、修正指示の出力は、リアルタイムに行うだけでなく、例えば、撮影済みの動画に対して行うこともできる。

また、図９は、実施形態に係る修正指示の別の一例を示す図である。図８に示すように、未習熟者の動作に合わせて、習熟者のシルエットを表示することができる。なお、習熟者のシルエットは、図９に示すような習熟者のシルエットそのものでなくてよく、図７のような点と線とで表現された各部位と骨格などであってもよい。また、図９は、修正指示の別の一例として説明したが、図８に示すような修正指示と合わせて出力することもできる。

なお、未習熟者は、習熟者の動作よりも速度を落として練習する場合がある。そのため、動作の差分解析や修正指示の生成は、未習熟者および習熟者の動作の速度が合うように調整された上で行われる。また、修正指示に対するフィードバックにより機械学習を行い、修正指示を改善することができる。ここでいうフィードバックとは、例えば、修正指示に対する未習熟者の「修正指示を理解できた」、「よくわからない」などといった技能習得アプリを介したユーザ入力である。または、修正指示に対して実際に未習熟者の動作が改善されたかを、さらなる動作の差分解析により得られる動作の改善度合い（例えば、生成部１３５により生成される評価結果（図６）であってもよい）である。

また、生成部１３５は、習熟者の身体の部位の位置座標および回転方向と、未習熟者の身体の部位の位置座標および回転方向との差分に基づいて、未習熟者の身体の部位ごとの評価結果を生成する。また、評価結果として、身体の各部位の位置座標や回転方向に対する、未習熟者と習熟者との差分およびその度合いから、各部位を得点付け（例えば、５点を最高点とする５段階評価）することができる。また、評価結果を都度、蓄積しておくことにより、履歴データとして未習熟者に提示することもできる。

図１０は、実施形態に係る評価結果の一例を示す図である。生成部１３５は、このような評価結果を、評価結果記憶部１２６に記憶された評価結果（図６）に基づいて生成することができる。図１０の例では、左上に、未習熟者（ユーザ）の各部位の動作に対する得点（評価値）の合計である総合得点を縦軸とし、時間（日付）を横軸とするグラフを表示している。例えば、このグラフ上のデータ値（折れ線）部分をタップなどで選択すると、その日付に対応した評価結果が表示される（図１０の例は、２０１９年１０月１４日の評価結果を示している）。図１０の左下には、２０１９年１０月１４日に示された修正指示が一覧表示されている。また、図１０に示した「比較した先生」が、未習熟者の動作と差分解析された習熟者である。なお、図示はしていないが、「比較した先生」を他の習熟者に変更し、変更された習熟者との評価結果を表示させることもできる。また、図１０の右下には、２０１９年１０月１４日の各部位の動作に対する得点を一覧表示している。なお、この一覧の最下部に示される「評価速度」とは、例えば、未習熟者の動作が、習熟者の動作と同じ速度の場合は最高点である５点、習熟者の動作よりも速度を落とした場合は、その度合いによって４点以下の得点を付けることができる。

（送信部１３６）
送信部１３６は、生成部１３５によって生成された修正指示や評価結果を未習熟者端末２００に送信する。また、送信部１３６は、決定部１３３によって決定された、未習熟者と同一の分類に属する習熟者が複数人いる場合、未習熟者と同一の分類に属する習熟者のリストを未習熟者端末２００に送信することができる。

〔３．未習熟者端末２００の構成〕
次に、図１１を用いて、実施形態に係る未習熟者端末２００の機能構成について説明する。図１１は、実施形態に係る未習熟者端末２００の機能構成例を示す図である。図１１に示すように、未習熟者端末２００は、通信部２１０、記憶部２２０、制御部２３０を備える。なお、未習熟者端末２００は、未習熟者端末２００を利用する未習熟者などから各種操作を受け付ける入力装置（例えば、キーボードやマウス、タッチパネル）や、各種情報を表示するための出力装置（例えば、液晶ディスプレイやタッチパネル）を有してもよい。

（通信部２１０）
通信部２１０は、情報処理装置１００の通信部１１０同様、ネットワークＮを介して、情報処理装置１００との間で情報の送受信を行う。

（記憶部２２０）
記憶部２２０は、情報処理装置１００の記憶部１２０同様、ＲＡＭなどによって実現される。図１１に示すように、記憶部２２０は、技能習得アプリ記憶部２２１、未習熟者動作情報記憶部２２２、修正指示記憶部２２３、評価結果記憶部２２４を有する。以下、記憶部２２０に含まれる各記憶部について順に説明する。

（技能習得アプリ記憶部２２１）
技能習得アプリ記憶部２２１は、未習熟者が自分の動作に対する修正指示や評価結果を受けるための技能習得アプリを記憶する。技能習得アプリは、情報処理装置１００などから予めダウンロードされ、未習熟者端末２００にインストールされることにより、技能習得アプリ記憶部２２１に記憶される。

（未習熟者動作情報記憶部２２２）
未習熟者動作情報記憶部２２２は、未習熟者の動作に関する情報を記憶する。未習熟者動作情報記憶部２２２に記憶される情報は、情報処理装置１００の未習熟者動作情報記憶部１２２のものと同様、未習熟者の動作を撮影した動画データや、当該動画データから抽出された、未習熟者の身体の各部位の位置座標および回転方向の時系列データである。当該時系列データを記憶するか否かは、当該時系列データの抽出を未習熟者端末２００で行うか、情報処理装置１００で行うかによる。

（修正指示記憶部２２３）
修正指示記憶部２２３は、未習熟者の動作に対する修正指示に関する情報を記憶する。修正指示記憶部２２３に記憶される情報は、情報処理装置１００の修正指示記憶部１２５のものと同様である。

（評価結果記憶部２２４）
評価結果記憶部２２４は、未習熟者の動作に対する評価結果に関する情報を記憶する。評価結果記憶部２２４に記憶される情報は、情報処理装置１００の評価結果記憶部１２６のものと同様である。

（制御部２３０）
制御部２３０は、情報処理装置１００の制御部１３０同様、未習熟者端末２００全体を司る処理部である。図１１に示すように、制御部２３０は、撮影部２３１、推定部２３２、取得部２３３、送信部２３４、出力部２３５、入力部２３６を有する。なお、制御部２３０の内部構成も、図１１に示した構成や接続関係に限られない。

（撮影部２３１）
撮影部２３１は、未習熟者の動作を撮影し、撮影した動画データを未習熟者動作情報記憶部２２２に記憶する。撮影部２３１は未習熟者端末２００に内蔵されたカメラ機能であるが、外部接続されたカメラ装置（図示せず）で撮影を行ってもよい。この場合、制御部２３０は、撮影部２３１を有さなくてよい。

（推定部２３２）
推定部２３２は、情報処理装置１００の推定部１３２同様、未習熟者の動作を撮影した動画から、画像認識および画像処理により、未習熟者の身体の各部位を特定し、未習熟者の骨格を推定する。なお、未習熟者の骨格推定を情報処理装置１００にて行う場合、制御部２３０は、推定部２３２を有さなくてよい。

（取得部２３３）
取得部２３３は、未習熟者の骨格推定結果に基づいて、未習熟者の動作を撮影した動画データから、未習熟者の身体の各部位の位置座標および回転方向の時系列データを取得する。なお、当該時系列データの抽出を情報処理装置１００にて行う場合、制御部２３０は、取得部２３３を有さなくてよい。また、取得部２３３は、情報処理装置１００から、未習熟者の動作に対する修正指示や評価結果を取得する。取得された各種情報は、取得部２３３によって記憶部２２０に記憶される。

（送信部２３４）
送信部２３４は、撮影部２３１によって撮影された動画データを情報処理装置１００に送信する。未習熟者の身体の各部位の位置座標および回転方向の時系列データが取得部２３３によって動画データから抽出される場合は、動画データの代わりに当該時系列データを情報処理装置１００に送信する。

（出力部２３５）
出力部２３５は、技能習得アプリのユーザインタフェースを表示する。これにより、ユーザは、技能習得アプリを介して、動作情報を情報処理装置１００にアップロードして、自分の動作に対する修正指示を受けたり、評価結果を確認したりすることができる。なお、出力部２３５によって出力される修正指示は、自然言語による文字表示や音声出力、上述したような矢印や習熟者のシルエットなど表示である。なお、これらの修正指示は、未習熟者の動作を撮影した動画とフレーム単位で合成して出力されてもよい。また、出力部２３５は、未習熟者端末２００と接続された外部機器（例えば、デジタルサイネージやプロジェクタ）を介して、修正指示や評価結果を出力することもできる。

（入力部２３６）
入力部２３６は、例えば、技能習得アプリを介して、４スタンス理論に基づく分類など、未習熟者の動作分類を決定するためのアンケートに対する動作パターンの回答（ユーザ入力）などを受け付ける。

〔４．習熟者端末３００の構成〕
習熟者端末３００も未習熟者端末２００と同じモバイル端末などであるので、習熟者端末３００の構成は、未習熟者端末２００の構成と同様である。習熟者端末３００では、動作に対する修正指示や評価結果の確認は行わないが、技能習得アプリを介して、情報処理装置１００に対する習熟者の動作情報のアップロードや、習熟者の動作分類を決定するための動作パターンのユーザ入力などを行うための構成を有する。

〔５．処理手順〕
次に、図１２を用いて、実施形態に係る習熟者の動作と未習熟者の動作との差分解析処理の手順について説明する。図１２は、実施形態に係る習熟者の動作と未習熟者の動作との差分解析処理の流れを示すフローチャートである。本処理は、未習熟者の動作情報と、未習熟者と同一の分類に属する習熟者の動作情報との差分を解析し、未習熟者に対し動作の修正指示を行う処理である。

図１２に示すように、習熟者は習熟者端末３００を介して、習熟者の動作を撮影する（ステップＳ１０１）。動作の撮影は動画にて行われる。動画データを情報処理装置１００に送信せずに、習熟者の身体の各部位の位置座標のみを送信する場合は、ステップＳ１０１の後に、習熟者端末３００は、動画データから習熟者の身体の骨格を推定し、位置座標および回転方向の時系列データを取得する。

次に、習熟者端末３００は、動作情報を情報処理装置１００に送信する（ステップＳ１０２）。ここでいう動作情報とは、習熟者の動作を撮影した動画データ、または習熟者の身体の各部位の位置座標および回転方向の時系列データである。

次に、情報処理装置１００の取得部１３１は、動作情報を習熟者端末３００から受信したか否かを判定する（ステップＳ１０３）。動作情報を受信していないと判定した場合（ステップＳ１０３：Ｎｏ）、取得部１３１は、動作情報の受信を待つ。動作情報を受信したと判定した場合（ステップＳ１０３：Ｙｅｓ）、取得部１３１は、通信部１１０を介して動作情報を取得する。

次に、推定部１３２は、習熟者の動作情報から、習熟者の身体の骨格を推定し、習熟者の身体の各部位の位置座標および回転方向の時系列データを取得する（ステップＳ１０４）。なお、ステップＳ１０３で、習熟者の身体の各部位の位置座標および回転方向の時系列データを動作情報として情報処理装置１００から取得している場合、ステップＳ１０４は実行する必要はない。ステップＳ１０１〜Ｓ１０４までが、習熟者の動作情報の蓄積に関する処理になるが、これを習熟者の人数分、予め行っておく。

次に、技能の習得を希望する未習熟者は未習熟者端末２００の撮影部２３１を介して、未習熟者の動作を撮影する（ステップＳ１０５）。ステップＳ１０１同様、未習熟者端末２００において未習熟者の身体の各部位の位置座標および回転方向の時系列データを取得する場合、ステップＳ１０５の後に、未習熟者端末２００の取得部２３３は、動画データから未習熟者の身体の骨格を推定し、位置座標および回転方向の時系列データを取得する。

次に、未習熟者端末２００の送信部２３４は、動作情報を情報処理装置１００に送信する（ステップＳ１０６）。ここでいう動作情報とは、未習熟者の動作を撮影した動画データ、または未習熟者の身体の各部位の位置座標および回転方向の時系列データである。

次に、情報処理装置１００の取得部１３１は、動作情報を未習熟者端末２００から受信したか否かを判定する（ステップＳ１０７）。動作情報を受信していないと判定した場合（ステップＳ１０７：Ｎｏ）、取得部１３１は、動作情報の受信を待つ。動作情報を受信したと判定した場合（ステップＳ１０７：Ｙｅｓ）、取得部１３１は、通信部１１０を介して動作情報を取得する。

次に、推定部１３２は、未習熟者の動作情報から、未習熟者の身体の骨格を推定し、未習熟者の身体の各部位の位置座標および回転方向の時系列データを取得する（ステップＳ１０８）。なお、ステップＳ１０７で、未習熟者の身体の各部位の位置座標および回転方向の時系列データを動作情報として情報処理装置１００から取得している場合、ステップＳ１０８は実行する必要はない。

次に、情報処理装置１００の決定部１３３は、未習熟者および習熟者の動作分類に基づいて、複数人の習熟者の中から、未習熟者と同一の分類に属する、基準となる習熟者を決定する（ステップＳ１０９）。なお、未習熟者と同一の分類に属する習熟者が複数人いる場合、情報処理装置１００の送信部１３６は、未習熟者と同一の分類に属する習熟者のリストを未習熟者端末２００に送信し、未習熟者に１人の習熟者を選択させてもよい。決定部１３３は、この選択された習熟者を基準となる習熟者として決定する。または、決定部１３３は、図３および図４の習熟者情報および未習熟者情報に示すような、性別や年代、利き腕など、動作に影響し得る分類が、未習熟者に近い習熟者を、基準となる習熟者として決定することもできる。

次に、情報処理装置１００の抽出部１３４は、ステップＳ１０９で決定した習熟者の身体の部位の位置座標および回転方向と、未習熟者の身体の部位の位置座標および回転方向との相対的な差分を抽出する（ステップＳ１１０）。

次に、情報処理装置１００の生成部１３５は、ステップＳ１１０で抽出した相対的な差分に基づいて、未習熟者の動作に対する修正指示を生成する（ステップＳ１１１）。

次に、情報処理装置１００の送信部１３６は、ステップＳ１１１で生成した修正指示を未習熟者端末２００に送信する（ステップＳ１１２）。

次に、未習熟者端末２００の取得部２３３は、修正指示を情報処理装置１００から受信したか否かを判定する（ステップＳ１１３）。修正指示を受信していないと判定した場合（ステップＳ１１３：Ｎｏ）、取得部２３３は、修正指示の受信を待つ。修正指示を受信したと判定した場合（ステップＳ１１３：Ｙｅｓ）、取得部２３３は、通信部２１０を介して修正指示を取得する。

次に、未習熟者端末２００の出力部２３５は、ステップＳ１１３で取得した修正指示を出力する（ステップＳ１１４）。ステップＳ１１４の後、図１２に示す習熟者の動作と未習熟者の動作との差分解析処理は終了する。

〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、推定部１３２とを有する。推定部１３２は、習熟者の動作を撮影した動画から、習熟者の骨格を推定する。取得部１３１は、習熟者の骨格推定結果から、習熟者の動作と未習熟者の動作との差分を解析するための、習熟者の身体の各部位の位置座標を取得する。

このように、実施形態に係る情報処理装置１００は、習熟者の身体の骨格を推定して、習熟者の身体の各部位の位置座標を取得することにより、未習熟者が、自分の動作と未習熟者の動作との差分を手軽に解析し、自分の動作の修正方法を得ることを支援できる。

また、実施形態に係る情報処理装置１００は、決定部１３３と、抽出部１３４とを有する。決定部１３３は、複数人の習熟者の動作パターンにより、複数人の習熟者のそれぞれに対する第１の動作分類を決定する。また、決定部１３３は、１人の未習熟者の動作パターンにより、未習熟者に対する第２の動作分類を決定する。さらに、決定部１３３は、第１の動作分類および第２の動作分類に少なくとも基づいて、複数人の習熟者の中から、未習熟者と同一の分類に属する第１の習熟者を決定する。抽出部１３４は、第１の習熟者の動作を撮影した第１の動画から取得された、第１の習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分を抽出する。

このように、実施形態に係る情報処理装置１００は、未習熟者と同一の分類に属する習熟者の動作と、未習熟者の動作との差分を解析することにより、未習熟者により適した動作の修正指示や評価を手軽に行うことができる。

また、実施形態に係る情報処理装置１００の抽出部１３４による差分の抽出は、第１の位置座標および第１の回転方向と、第２の位置座標および第２の回転方向との相対的な差分を抽出することを含む。

このように、実施形態に係る情報処理装置１００は、習熟者の身体の部位の位置座標および回転方向と、未習熟者の身体の部位の位置座標および回転方向との相対的な差分を抽出することにより、未習熟者と習熟者との間に体格差があっても、習熟者の動作と未習熟者の動作との差分を解析することができる。

また、実施形態に係る情報処理装置１００の抽出部１３４により差分を抽出される、第１の習熟者の身体の部位、および未習熟者の身体の部位は、予め指定された部位である。

このように、実施形態に係る情報処理装置１００は、予め指定された、習熟者や未習熟者の身体の部位に対して、動作の差分解析を行うことにより、技能によって特に動作に関係のない部位に対する無駄な処理の実行を避けることができる。

また、実施形態に係る情報処理装置１００の決定部１３３により決定される第１の動作分類および第２の動作分類は、４スタンス理論に基づく分類である。

このように、実施形態に係る情報処理装置１００は、未習熟者と同一の４スタンス理論に基づく分類に属する習熟者の動作と、未習熟者の動作との差分を解析することにより、未習熟者により適した動作の修正指示や評価を行うことができる。

また、実施形態に係る情報処理装置１００の決定部１３３による第１の習熟者の決定は、複数人の習熟者および未習熟者の性別、年齢または年代、利き腕、体型、差分を抽出する動作に係るスポーツ、伝統芸能、または作業の種類、ならびにスポーツのポジションまたはスポーツもしくは伝統芸能の流派の少なくとも１つにさらに基づいて決定される。

このように、実施形態に係る情報処理装置１００は、動作に影響し得る分類が、未習熟者に近い習熟者の動作と、未習熟者の動作との差分を解析することにより、未習熟者により適した動作の修正指示や評価を行うことができる。

また、実施形態に係る情報処理装置１００は、送信部１３６をさらに備える。送信部１３６は、未習熟者と同一の分類に属する第１の習熟者が複数人いる場合、未習熟者と同一の分類に属する第１の習熟者のリストを、未習熟者端末に送信する。また、情報処理装置１００の取得部１３１は、リストから選択された１人の第１の習熟者を未習熟者端末から取得する。

このように、実施形態に係る情報処理装置１００は、未習熟者と同一の分類に属する習熟者が複数人いる場合、未習熟者に１人の習熟者を選択させることにより、未習熟者により適した動作の修正指示や評価を行うことができる。

また、実施形態に係る情報処理装置１００は、生成部１３５をさらに備える。生成部１３５は、習熟者の動作を撮影した第１の動画から取得された、習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、未習熟者の動作に対する修正指示を生成する。また、情報処理装置１００の送信部１３６は、修正指示を未習熟者端末に送信する。

このように、実施形態に係る情報処理装置１００は、習熟者の動作と未習熟者の動作との差分に基づいて修正指示を生成し、未習熟者端末に送信することにより、未習熟者に手軽に自分の動作の修正指示を提供することができる。

また、実施形態に係る情報処理装置１００の生成部１３５により生成される修正指示は、未習熟者の動作に対する正しい方向、速度、距離、および軌跡の少なくとも１つに関する指示を含む。

このように、実施形態に係る情報処理装置１００は、未習熟者の動作に対する正しい方向、速度、距離、および軌跡によって修正指示を生成することにより、未習熟者は修正指示をより理解し易くなる。

また、実施形態に係る情報処理装置１００の生成部１３５により生成される修正指示は、未習熟者の身体の部位ごとに生成される。

このように、実施形態に係る情報処理装置１００は、未習熟者の身体の部位ごとに修正指示を生成することにより、未習熟者は修正指示をより理解し易くなる。

また、実施形態に係る情報処理装置１００の生成部１３５はさらに、修正指示と第２の動画とを、第２の動画のフレーム単位で合成して第３の動画を生成する。

このように、実施形態に係る情報処理装置１００は、未習熟者の動作を撮影した動画にフレーム単位で修正指示を合成することにより、未習熟者は修正指示をより理解し易くなる。

また、実施形態に係る情報処理装置１００の生成部１３５により生成される修正指示は、自然言語による指示である。

このように、実施形態に係る情報処理装置１００は、自然言語による修正指示を生成することにより、未習熟者は修正指示をより理解し易くなる。

また、実施形態に係る情報処理装置１００の生成部１３５により生成される修正指示は、視覚的な指示である。

このように、実施形態に係る情報処理装置１００は、視覚的な修正指示を生成することにより、未習熟者は修正指示をより理解し易くなる。

また、実施形態に係る情報処理装置１００の生成部１３５はさらに、第１の位置座標および第１の回転方向と、第２の位置座標および第２の回転方向との差分に基づいて、未習熟者の身体の部位ごとの評価結果を生成する。また、情報処理装置１００の送信部１３６はさらに、評価結果を前記未習熟者端末に送信する。

このように、実施形態に係る情報処理装置１００は、習熟者の動作と未習熟者の動作との差分に基づいて評価結果を生成し、未習熟者端末に送信することにより、未習熟者に手軽に自分の動作の評価結果を提供することができる。

〔７．ハードウェア構成〕
上述してきた情報処理装置１００、未習熟者端末２００、および習熟者端末３００は、例えば、図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、各装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、プログラムによって使用されるデータなどを格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が収集したデータを、ネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタなどの出力装置、および、キーボードやマウスなどの入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、収集したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、プログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。

例えば、コンピュータ１０００が情報処理装置１００や未習熟者端末２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０や２３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔８．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（ｓｅｃｔｉｏｎ、ｍｏｄｕｌｅ、ｕｎｉｔ）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 習熟者動作情報記憶部
１２２ 未習熟者動作情報記憶部
１２３ 習熟者情報記憶部
１２４ 未習熟者情報記憶部
１２５ 修正指示記憶部
１２６ 評価結果記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 決定部
１３４ 抽出部
１３５ 生成部
１３６ 送信部
２００ 未習熟者端末
２１０ 通信部
２２０ 記憶部
２２１ 技能習得アプリ記憶部
２２２ 未習熟者動作情報記憶部
２２３ 修正指示記憶部
２２４ 評価結果記憶部
２３０ 制御部
２３１ 撮影部
２３２ 推定部
２３３ 取得部
２３４ 送信部
２３５ 出力部
２３６ 入力部
３００ 習熟者端末
Ｎ ネットワーク

Claims (26)

1. 習熟者の動作を撮影した動画から、前記習熟者の骨格を推定する推定部と、
   前記習熟者の骨格推定結果から、前記習熟者の動作と未習熟者の動作との相対的な差分を解析するための、前記習熟者の身体の各部位の位置座標、および前記各部位間の比率を取得する取得部と
   を備えたことを特徴とする情報処理装置。
2. 複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、
   １人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、
   前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定する決定部と、
   前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置座標および第１の回転方向と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分を抽出する抽出部と
   を備えたことを特徴とする情報処理装置。
3. 前記抽出部による前記差分の抽出は、前記第１の位置座標および前記第１の回転方向と、前記第２の位置座標および前記第２の回転方向との相対的な差分を抽出することを含むことを特徴とする請求項２に記載の情報処理装置。
4. 前記抽出部により前記差分を抽出される、前記第１の習熟者の身体の部位、および前記未習熟者の身体の部位は、予め指定された部位であることを特徴とする請求項３に記載の情報処理装置。
5. 前記決定部により決定される前記第１の動作分類および前記第２の動作分類は、運動理論に基づく分類であることを特徴とする請求項２乃至４のいずれか一項に記載の情報処理装置。
6. 前記決定部による前記第１の習熟者の決定は、前記複数人の習熟者の属性情報および前記未習熟者の属性情報にさらに基づいて決定されることを特徴とする請求項２乃至５のいずれか一項に記載の情報処理装置。
7. 前記未習熟者と同一の分類に属する前記第１の習熟者が複数人いる場合、前記未習熟者と同一の分類に属する前記第１の習熟者のリストを、未習熟者端末に送信する送信部と、
   前記リストから選択された１人の前記第１の習熟者を前記未習熟者端末から取得する取得部と
   をさらに備え、前記抽出部による前記差分の抽出は、前記選択された第１の習熟者の身体の部位の第１の位置座標および第１の回転方向と、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分を抽出することを含むことを特徴とする請求項２乃至６のいずれか一項に記載の情報処理装置。
8. 習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者および前記習熟者の動作の速度が合うように調整し、前記未習熟者の動作に対する修正指示を生成する生成部と、
   前記修正指示を未習熟者端末に送信する送信部と
   を備えたことを特徴とする情報処理装置。
9. 前記生成部により生成される前記修正指示は、前記未習熟者の動作に対する正しい方向、速度、距離、および軌跡の少なくとも１つに関する指示を含むことを特徴とする請求項８に記載の情報処理装置。
10. 前記生成部により生成される前記修正指示は、前記未習熟者の身体の部位ごとに生成されることを特徴とする請求項８または９に記載の情報処理装置。
11. 前記生成部はさらに、前記修正指示と前記第２の動画とを、前記第２の動画のフレーム単位で合成して第３の動画を生成することを特徴とする請求項８乃至１０のいずれか一項に記載の情報処理装置。
12. 前記生成部により生成される前記修正指示は、自然言語による指示であることを特徴とする請求項８乃至１１のいずれか一項に記載の情報処理装置。
13. 前記生成部により生成される前記修正指示は、視覚的な指示であることを特徴とする請求項８乃至１２のいずれか一項に記載の情報処理装置。
14. 前記生成部はさらに、前記第１の位置座標および前記第１の回転方向と、前記第２の位置座標および前記第２の回転方向との差分に基づいて、前記未習熟者の身体の部位ごとの評価結果を生成し、
    前記送信部はさらに、前記評価結果を前記未習熟者端末に送信することを特徴とする請求項８乃至１３のいずれか一項に記載の情報処理装置。
15. 習熟者の動作を撮影した動画から、前記習熟者の骨格を推定し、
    前記習熟者の骨格推定結果から、前記習熟者の動作と未習熟者の動作との相対的な差分を解析するための、前記習熟者の身体の各部位の位置座標、および前記各部位間の比率を取得する
    処理を実行することを特徴とする情報処理方法。
16. 情報処理装置が、
    複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、
    １人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、
    前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定し、
    前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置座標および第１の回転方向と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分を抽出する
    処理を実行することを特徴とする情報処理方法。
17. 情報処理装置が、
    習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者および前記習熟者の動作の速度が合うように調整し、前記未習熟者の動作に対する修正指示を生成し、
    前記修正指示を未習熟者端末に送信する
    処理を実行することを特徴とする情報処理方法。
18. 情報処理装置に、
    習熟者の動作を撮影した動画から、前記習熟者の骨格を推定し、
    前記習熟者の骨格推定結果から、前記習熟者の動作と未習熟者の動作との相対的な差分を解析するための、前記習熟者の身体の各部位の位置座標、および前記各部位間の比率を取得する
    処理を実行させることを特徴とする情報処理プログラム。
19. 情報処理装置に、
    複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、
    １人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、
    前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定し、
    前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置座標および第１の回転方向と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分を抽出する
    処理を実行させることを特徴とする情報処理プログラム。
20. 情報処理装置に、
    習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者および前記習熟者の動作の速度が合うように調整し、前記未習熟者の動作に対する修正指示を生成し、
    前記修正指示を未習熟者端末に送信する
    処理を実行させることを特徴とする情報処理プログラム。
21. 複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、
    １人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、
    前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定する決定部と、
    前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置情報と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置情報との差分を抽出する抽出部と
    を備えたことを特徴とする情報処理装置。
22. 情報処理装置が、
    複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、
    １人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、
    前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定し、
    前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置情報と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置情報との差分を抽出する
    処理を実行することを特徴とする情報処理方法。
23. 情報処理装置に、
    複数人の習熟者の動作パターンにより、前記複数人の習熟者のそれぞれに対する第１の動作分類を決定し、
    １人の未習熟者の動作パターンにより、前記未習熟者に対する第２の動作分類を決定し、
    前記第１の動作分類および前記第２の動作分類に少なくとも基づいて、前記複数人の習熟者の中から、前記未習熟者と同一の分類に属する第１の習熟者を決定し、
    前記第１の習熟者の動作を撮影した第１の動画から取得された、前記第１の習熟者の身体の部位の第１の位置情報と、前記未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置情報との差分を抽出する
    処理を実行させることを特徴とする情報処理プログラム。
24. 習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者の動作に対する修正指示を生成する生成部と、
    前記修正指示を音声および表示によって未習熟者端末に出力させる出力部と
    を備えたことを特徴とする情報処理装置。
25. 情報処理装置が、
    習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者の動作に対する修正指示を生成し、
    前記修正指示を音声および表示によって未習熟者端末に出力させる
    処理を実行することを特徴とする情報処理方法。
26. 情報処理装置に、
    習熟者の動作を撮影した第１の動画から取得された、前記習熟者の身体の部位の第１の位置座標および第１の回転方向と、未習熟者の動作を撮影した第２の動画から取得された、前記未習熟者の身体の部位の第２の位置座標および第２の回転方向との差分に基づいて、前記未習熟者の動作に対する修正指示を生成し、
    前記修正指示を音声および表示によって未習熟者端末に出力させる
    処理を実行させることを特徴とする情報処理プログラム。

Images