JP2006181014A

JP2006181014A - 画像解析装置および動作修正システム

Info

Publication number: JP2006181014A
Application number: JP2004376163A
Authority: JP
Inventors: Masayuki Kuramoto; 昌之蔵本
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-12-27
Filing date: 2004-12-27
Publication date: 2006-07-13

Abstract

【課題】身体の動作および相違点に応じたアドバイスデータを作成することが容易にできる画像解析装置および動作修正システムを提供する。
【解決手段】本発明の画像解析装置は、身体の動作の３次元画像データが各種記憶されている教師データベースと、教師データベースに記憶された各種の動作毎に動作の要点が記憶されているアドバイスデータベースと、身体の動作の撮影画像データが入力されたら、撮影画像データを解析することにより、被写体の身体の動作種および撮影条件を推定し、推定された動作種および撮影条件に基づいて、教師データベースから３次元画像データを選択して撮影画像データの動作種に対応する２次元教師データを作成し、撮影画像データと２次元教師データとの相違点を抽出し、相違点を認識させる表示データを作成し、かつ動作種および相違点に基づいてアドバイスデータベースからアドバイスデータを作成する解析部とを有する。
【選択図】図１

Description

本発明は、ユーザが適当に撮影した被写体の身体の動作の撮影画像データであっても、この撮影画像データに基づいて、相違点を認識させる表示データ、ならびに撮影画像データに記録された身体の動作種および相違点に応じたアドバイスデータを作成する画像解析装置および動作修正システムに関する。

従来、スポーツなどの身体の動作が適切か否かについては、指導者などに実際に見てもらって判断され、適切か否かが判断されている。このような指導者などによるアドバイスは、口頭またはジェスチャーなどによるものであり、アドバイスされる人が、その指摘事項について、身体の動作を客観的に捉えることが難しく、必ずしも十分に理解できるものではない。

そこで、アドバイスされる競技者などの身体の動作を客観的に見るために、ビデオカメラなどを用いて、競技者などの動作が撮影される。この撮影されたビデオを、競技者が指導者と一緒に見ながらアドバイスを受ける。これにより、競技者は、自分の姿を客観的に捉えることができ、指導者などの指摘事項を理解しやすくなる。
また、自分の姿を客観的に捉えるため、アドバイスを受ける人の身体の動作の映像と、指導者などの動作の映像とを比較してアドバイスを受けることもある。

例えば、ゴルフにおいて、競技力を向上させるためには、すなわち、スコアを上げるためには、スイング動作が重要であることが知られている。現在、ビデオカメラで撮影した撮影画像を用いて指導者により、スイング動作の改善すべき点がアドバイスされている。

また、身体の動作は３次元的である。このため、身体の動作を３次元データとして入力するために、複数台のカメラが用いられている。例えば、ゴルフにおけるスイング動作を正確に捉えるために、複数台のカメラにより多方向から記録されている。
また、身体の動作を３次元データとして入力するために、モーションキャプチャーを用いる方法もある。
これ以外にも、平面画像に人物などの被写体の情報を与えることにより、３次元データに変換することが行われている。

しかしながら、競技者などが、自身の動作が適切か否かを指導者などに見てもうらためには、指導者のところに行くか、または来てもらう必要があり、容易にアドバイスを受けることができないという問題点がある。また、趣味でゴルフなどのスポーツをしている人に、指導者をつけることが難しい。また、指導者に頼むと費用がかかるという問題点もある。

また、身体の動作をより正確に捉えるため、身体の動作を３次元データとして入力するには、複数台のカメラを用いて撮影する必要がある。この場合、各カメラの位置は決定されており、被写体の撮影場所は決まった位置になってしまうとともに、装置が大型化かつ複雑になり、コストが嵩むという問題点がある。
また、モーションキャプチャーによる方法においても、特別な装置が必要であるとともに、装置が大型化および複雑化してしまい、コストも嵩む。

このような装置の大型化および複雑化により、撮影する場所が限定されてしまい、スポーツなどの身体の動作を行う環境と同じ環境における動作を記録することができないという問題点も生じる。さらに、平面画像データを３次元データにするには、身長、および体の各部位の情報など必要とする情報が多く、煩雑であり汎用的ではないという問題点がある。
また、指導者などの動作と、競技者の動作とを比較する場合には、同じ撮影条件で撮影しなければならず煩雑である。

本発明の目的は、前記従来技術の問題点を解決することにあり、ユーザが適当に撮影した身体の動作の撮影画像データであっても、この撮影画像データに基づいて、相違点を認識させる表示データを作成するとともに、撮影画像データに記録された身体の動作および相違点に応じたアドバイスデータを作成することが容易にできる画像解析装置および動作修正システムを提供することにある。

上記目的を達成するために、本発明の第１の態様は、身体の動作の３次元画像データが各種記憶されている教師データベースと、前記教師データベースに記憶された前記各種の動作毎に動作の要点が記憶されているアドバイスデータベースと、前記身体の動作の撮影画像データが入力されたら、前記撮影画像データを解析することにより、被写体の身体の動作種および撮影条件を推定し、前記推定された動作種および撮影条件に基づいて、前記教師データベースから３次元画像データを選択して前記撮影画像データの動作種に対応する２次元教師データを作成し、前記撮影画像データと前記２次元教師データとの相違点を抽出し、前記相違点を認識させる表示データを作成し、かつ前記動作種および前記相違点に基づいて前記アドバイスデータベースからアドバイスデータを作成する解析部とを有することを特徴とする画像解析装置を提供するものである。

本発明においては、さらに、前記撮影画像データを受信するとともに、前記解析部により作成された前記表示データおよび前記アドバイスデータを送信する送受信部を有し、前記送受信部で受信された前記撮影画像データは、前記解析部に入力されることが好ましい。

また、本発明においては、前記動作種および前記相違点に基づいて作成されるアドバイスデータは、前記動作の要点に応じた重み付けがされていることが好ましい。
さらに、本発明においては、前記解析部は、前記身体の動作種より、被写体が実行している競技を推定する機能を有することが好ましい。

さらにまた、本発明においては、さらに、前記競技の競技種を入力する入力手段を有することが好ましい。
また、本発明においては、前記解析部は、推定した競技種に応じて、または入力された競技種に応じて２次元教師データの作成およびアドバイスデータの作成を行うことが好ましい。

また、本発明の第２の態様は、撮影部と、前記撮影画像データを表示する表示部とを備える撮影装置と、身体の動作の３次元画像データが各種記憶されている教師データベースと、前記教師データベースに記憶された前記各種の動作毎に動作の要点が記憶されているアドバイスデータベースと、前記身体の動作の撮影画像データが入力されたら、前記撮影画像データを解析することにより、被写体の身体の動作種および撮影条件を推定し、前記推定された動作種および撮影条件に基づいて、前記教師データベースから３次元画像データを選択して前記撮影画像データの動作種に対応する２次元教師データを作成し、前記撮影画像データと前記２次元教師データとの相違点を抽出し、前記相違点を認識させる表示データを作成し、かつ前記動作種および前記相違点に基づいて前記アドバイスデータベースからアドバイスデータを作成する解析部と、前記撮影画像データを受信するとともに、前記解析部により作成された前記表示データおよび前記アドバイスデータを前記撮影装置に送信する第１の送受信部とを備える画像解析装置とを有し、前記撮影装置は、さらに、前記撮影画像データを送信するとともに、前記第１の送受信部から送信されて前記表示データおよび前記アドバイスデータを受信する第２の送受信部を備えるとともに、前記表示部は、前記表示データおよび前記アドバイスデータに基づく画像または文字を表示させるものであることを特徴とする動作修正システムを提供するものである。

本発明においては、前記動作種および前記相違点に基づいて作成されるアドバイスデータは、前記動作の要点に応じた重み付けがされていることが好ましい。

本発明の第１の態様の画像解析装置によれば、ユーザなどの被写体の身体の動作の撮影画像データと２次元教師データとの相違点を認識させる表示データを作成し、かつ身体の動作の動作種および相違点に基づいてアドバイスデータベースからアドバイスデータを作成する解析部を設けることにより、適当に撮影した撮影画像データであっても、この撮影画像データに基づいて、相違点を認識させる表示データを作成するとともに、被写体の身体の動作種および相違点に応じたアドバイスデータを作成することができる。これにより、直接指導者に見てもらわなくとも、さらに大掛かり、かつ複雑な構成の装置を用いることなく簡単に、ユーザは表示データにより相違点が認識できるとともに、この相違点に基づく的確なアドバイスが得られる。

また、本発明の第２の態様の動作修正システムによれば、ユーザなどの被写体の身体の動作を撮影し、撮影画像データを得る撮影部と、前記撮影画像データを表示する表示部とを備える撮影装置と、撮影画像データと２次元教師データとの相違点を認識させる表示データを作成し、かつ身体の動作の動作種および相違点に基づいてアドバイスデータベースからアドバイスデータを作成する解析部とを設けることにより、撮影装置を用いて、適当に撮影した撮影画像データであっても、この撮影画像データに基づいて、相違点を認識させる表示データを作成するとともに、被写体の身体の動作種および相違点に応じたアドバイスデータを作成することができる。撮影装置により、表示データに基づく画像、およびアドバイスデータに基づくアドバイスを見ることができ、直接指導者に見てもらわなくても、さらに大掛かり、かつ複雑な構成の装置を用いることなく簡単に、ユーザは表示データにより相違点が認識できるとともに、この相違点に基づく的確なアドバイスが得られる。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像解析装置および動作修正システムを詳細に説明する。
図１は、本発明の実施例に係る動作修正システムを示す模式図である。図２は、本実施例の動作修正システムの画像解析装置を示すブロック図である。
なお、本実施例においては、身体の動作としてゴルフのスイング動作を例に説明する。

図１に示すように、動作修正システム１０は、例えば、撮影装置１２と、画像解析装置２０とを有する。
撮影装置１２は、撮影部１４と、表示部１６と、送受信部（第２の送受信部）１８と、撮影部１４、表示部１６および送受信部１８を制御する制御部（図示せず）とを有する。

撮影部１４は、被写体の身体の動作を撮影し、２次元動画データ（撮影画像データ）として得ることができるものである。この撮影部１４は、例えば、ＣＣＤ、またはＣＭＯＳなど撮像素子と、記録部（図示せず）とを有するものである。

表示部１６は、撮影部１４により撮影された画像もしくは動画、または文字を表示するとともに、後述するように、画像解析装置２０により作成された表示データに基づく画像（静止画、または動画）、およびアドバイスデータに基づく文字または記号などを表示するものである。表示部１６としては、例えば、ＬＣＤ、ＰＤＰ、または有機ＥＬなどを用いることができる。

送受信部１８は、撮像部１４により撮影された２次元動画データ（撮影画像データ）を画像解析装置２０に送信するものであり、また、画像解析装置２０により作成された表示データ、およびアドバイスデータを受信するものである。送受信部１８で受信した表示データに基づく画像、およびアドバイスデータに基づく文字などにより示されるアドバイスが表示部１６で表示される。なお、撮影装置１２の具体的な形態については、後で詳細に説明する。

図１に示すように、画像解析装置２０は、送受信部（第１の送受信部）２２と、解析部２４と、データベース２６とを有する。

また、画像解析装置２０は、メモリカード、ＤＶＤ、ＣＤ、ＭＯ、ＦＤまたはビデオテープなどの各種メディアに記録された２次元動画データを読み出すことができ、さらには、表示データおよびアドバイスデータをメディアに書き込むことができるメディアドライブを備えていても良い。この場合には、２次元画像データは、上述の各種のメディアにより提供されてもよい。さらに、表示データおよびアドバイスデータもメモリカード、ＤＶＤ、ＣＤ、ＭＯ、ＦＤまたはビデオテープなどの各種のメディアに記録して提供してもよい。

送受信部２２は、撮影装置１２から入力された２次元動画データを受信し、かつ表示データおよびアドバイスデータを撮影装置１２に送信するものである。

解析部２４は、撮影装置１２から入力された被写体の身体の動作の撮影画像データ（２次元動画データ）を解析することにより、被写体の身体の動作種および撮影条件を推定し、推定された動作種および撮影条件に基づいて、３次元教師データベース（教師データベース）４２から３次元画像データを選択して撮影画像データの動作種に対応する２次元教師データを作成し、撮影画像データと２次元教師データとの相違点を抽出し、ユーザに相違点を認識させる表示データを作成し、かつ推定された動作種および相違点に応じて、アドバイスデータベース４４から動作の要点を選択して、動作種における相違点に基づくアドバイスデータを作成するものである。なお、解析部２４については、後に詳細に説明する。

データベース２６は、図２に示すように、身体の動作の３次元画像データが３次元教師データとして各種記憶されている３次元教師データベース４２と、３次元教師データベース４２に記憶された各種の動作毎に動作の要点が記憶されているアドバイスデータベース４４とを有するものである。この動作の要点とは、動作を上手に行うためには、欠くことができない必要な箇所のことである。また、動作を行う際に、間違い易い箇所でもある。この要点は、適宜変更、更新、または追加されるものである。

３次元教師データベース４２には、蓄積された３次元画像データは、複数台のカメラ、またはモーションキャプチャーにより詳細に記録されたものである。３次元教師データベース４２には、３次元画像データで動画で記録されているため、２次元のいずれの方向にも投影した２次元画像を得ることができる。

また、アドバイスデータベース４４においては、各種の動作毎に記録された動作の要点は重み付けがされており、各動作毎に動作の要点の優先順位が設定されて記憶されている。これにより、特に重要な要点からアドバイスすることができる。すなわち、動作の要点（以下、単に「アドバイスすべき点」ともいう）の優先順位に応じたアドバイスをすることができる。単なる修正すべき相違点（アドバイスすべき点）の列挙では、ユーザが指摘事項を把握できず、理解が困難になる虞があるが、それを防止することができる。

本実施例においては、例えば、ゴルフのスイング動作の場合、アドバイスすべき点の優先順位が決定されている。例えば、１位は体の芯がぶれないこと、２位はスイングの軌跡、３位はゴルフクラブのヘッドの傾き、４位は足の重心のかかり具合、および５位は肘の位置である。同様に、ランニングのフォーム、野球のバットスイング動作、野球のピッチング動作、および水泳の泳ぎのフォームなど、他の動作種についても、修正すべき動作の要点の優先順位が決定されている。これらの身体の動作の要点、すなわち、アドバイスの要点が、スポーツ種（競技種）などの身体の動作の種類毎にアドバイスデータベース４４に記憶されている。このため、スポーツ種などの身体の動作種を推定できれば、動作種毎に応じたアドバイスの項目を優先順位がついた状態で抽出することができる。

さらに、撮影画像データが、身体の動作の一部だけが記録されたものである場合、例えば、画像解析により、上半身だけであることが検出されている場合には、上半身に関する動作の要点（アドバイスすべき点）について重み付けをして、アドバイスすべき点の優先順位を変更してもよい。

図２に示すように、解析部２４は、画像解析部３０と、画像推定部３２と、２次元画像生成部３４と、画像比較部３６と、アドバイス作成部３８と、制御部４０とを有する。

画像解析部３０は、撮影装置１２により撮影された２次元動画データについて、公知の画像処理方法を用いて、身体おおび道具などの被写体の抽出を行い、背景分離をし、抽出された身体を頭部、胴体および四肢などの各要素に分割して抽出してパーツ化する画像解析をするものである。また、抽出された道具についても、各要素に分割してパーツ化する画像解析をするものである。

本実施例においては、動作種を解析するために、図１に示すように、ゴルファＧおよびゴルフクラブ８０を、例えば、頭部５０、目５２、耳５４、腕６０、胴体６６、脚７０、ならびにゴルフクラブ８０およびボールｂの各要素にパーツ化する。また、腕６０は、肩６０ａ、上腕６０ｂ、肘６２、前腕６０ｃおよび手６４の各要素にパーツ化する。また、脚７０は、大腿７２ａ、７２ｂ、膝７４ａ、７４ｂ、下腿７６ａ、７６ｂおよび足７８ａ、７８ｂの各要素にパーツ化する。ゴルフクラブ８０は、シャフト８２とヘッド８４の各要素にパーツ化する。

画像推定部３２は、撮影された２次元画像データ（撮影画像データ）における被写体のスポーツ種などの動作の種類、および撮影条件を推定するものである。この画像推定部３２は、画像解析部３０に接続されており、画像解析部３０でパーツ化された被写体の身体および道具などの被写体の画像特徴量を算出するものである。画像推定部３２においては、この画像特徴量に基づいて、身体の動作の種類および撮影条件を推定する。なお、画像特徴量は、画像解析部３０でパーツ化された身体の各部位の移動軌跡、道具の軌跡、顔（目線）または体の向きなどである。

また、画像推定部３２による撮影条件の推定は、例えば、ゴルフのスイング動作の場合、ゴルフクラブの軌跡、すなわち、スイングの軌跡により撮影方向を推定することができる。また、例えば、頭部の向き、両耳が抽出されているか否かによっても撮影方向を推定できる。

また、３次元教師データベース４２に記録されている各３次元画像（動画）データについて、例えば、１０°毎に、画像特徴量を算出しておき、撮影画像データの画像特徴量と比較し、撮影方向の推定を行う。また、例えば、撮影間距離も撮影画像の被写体の大きさに基づいて推定することができる。
なお、画像推定部３２においては、撮影画像データに基づく動作種を推定しているが、この動作種は、例えば、スポーツなどの競技、踊り、またはダンスなどの具体的な競技種を含むものである。

２次元画像生成部３４は、画像推定部３２に接続されており、画像推定部３２により特定された動作種に基づいて、３次元教師データベース４２から、推定された動作種に対応する３次元画像（３次元教師）データを抽出する。そして、撮影画像データの動作種に応じて抽出された３次元教師データから撮影画像データの撮影条件と同じ条件の２次元教師データを作成するものである。すなわち、２次元画像生成部３４は、撮影画像データの動作種に対応する２次元画像データを作成するものである。また、２次元画像生成部３４は、後述するように、例えば、撮影装置１２の表示部１６で表示するための表示データを作成する。

画像比較部３６は、画像推定部３２および２次元画像生成部３４に接続されており、撮影画像データと、２次元教師データとを比較し、撮影画像データの相違点を抽出するものである。この相違点は、撮影画像データの画像特徴量と、２次元教師データの画像特徴量との比較により得られるものである。

アドバイス作成部３８は、動作種、および画像比較部３６による撮影画像データと２次元教師データとの相違点に基づいて、アドバイスデータを作成するものである。このアドバイス作成部３８は、画像推定部３２および画像比較部３６に接続されており、動作種および相違点に基づいてアドバイスデータベース４４から動作の要点を抽出し、アドバイスデータを作成する。このとき、アドバイスデータベース４４においては、動作の要点に重み付けがされているため、相違点に基づいて、適切なアドバイスデータが作成される。また、相違点は、２次元画像生成部３４にも出力される。

本実施例においては、表示データは、相違点をユーザに認識させるものである。この表示データは、ユーザに相違点を認識させることができるものであれば、特に限定されるものではない。表示データは、例えば、撮影画像データだけを表示し、相違点にマークをつけるもの、撮影画像データと２次元教師データとを並べて表示する形式のもの、または撮影画像データと２次元教師データとを重ねて表示するものなどが例示される。

さらに、表示データとしては、ワイヤーフレーム画像でもよいし、撮影画像データの被写体と２次元教師データのモデルとをそれぞれワイヤーフレーム画像にして並べて表示するものでもよい。これらのワイヤーフレーム画像の色を変えて、合成して表示するものでもよい。

図２に示すように、２次元画像生成部３４で作成された表示データおよびアドバイス作成部３８で作成されたアドバイスデータは、送受信部２２に出力される。この送受信部２２により撮影装置１２に表示データおよびアドバイスデータが出力される。撮影装置１２が受信して、撮影装置１２の表示部１６に表示データに基づく画像、およびアドバイスデータに基づくアドバイスが表示される。
なお、本実施例においては、表示データは、２次元動画データであるため、３次元動画データに比してデータ量を少なくできる。このため、通信速度が遅い場合であっても、また、撮影装置１２の記録容量が少ない場合であっても、データ量が比較的少ないため、撮影装置１２への負担が少ない。

制御部４０は、画像解析部３０と、画像推定部３２と、２次元画像生成部３４と、画像比較部３６と、アドバイス作成部３８とを制御し、さらには、データベース２６（３次元教師データベース４２およびアドバイスデータベース４４）からのデータの入出力も制御するものである。

また、本実施例の画像解析装置２０においては、動作種（競技種）は、画像推定部３２で撮影画像データを解析することに推定されているが、これに限定されるものではなく、動作種を入力する入力手段を備えてもよい。これにより、動作種が正確なものとなり、２次元教師データおよびアドバイスデータの作成精度をより一層高めることができる。さらには動作種を推定する処理が不要になり、２次元教師データおよびアドバイスデータの作成時間をより一層短縮することができる。

さらに、本実施例の画像解析装置２０においては、撮影条件は、画像推定部３２で撮影画像データを解析することに推定されているが、これに限定されるものではなく、撮影条件を入力する撮影条件入力手段を備えてもよい。これにより、撮影条件が正確なものとなり、２次元教師データおよびアドバイスデータの作成精度をより一層高めることができる。さらには撮影条件を推定する処理が不要になり、２次元教師データおよびアドバイスデータの作成時間をより一層短縮することができる。

さらにまた、本実施例の画像解析装置２０においては、入力手段および撮影条件入力手段を備えていてもよい。これにより、動作種および撮影条件が正確なものとなり、２次元教師データおよびアドバイスデータの作成精度を更に一層高めることができる。さらには動作種および撮影条件を推定する処理が不要になり、２次元教師データおよびアドバイスデータの作成時間を更に一層短縮することができる。

本実施例の動作修正システム１０においては、撮影装置１２から撮影画像データが画像解析装置２０に入力された後、撮影画像データが解析されて、被写体の各要素または道具を自動的に抽出して、被写体の身体の動作の種および撮影条件が推定されるため、被写体の身体の動作を撮影して、撮影画像データが得られれば良い。このため、ゴルフなどの動作種、および側面などの撮影条件を入力しなくとも、表示データおよびアドバイスデータを作成することができる。また、撮影条件が推定されるため、ユーザは撮影方向についても制約を受けることなく、ユーザが任意の方向から撮影することができる。

このように、本実施例の動作修正システム１０によれば、撮影装置１２により、適当に撮影し、２次元動画データ（撮影画像データ）を画像解析装置２０に出力することにより、撮影画像データが解析され、被写体の身体の動作種および撮影条件が推定され、これらの動作種および撮影条件に基づいて、教師データベースから３次元画像データが選択され、撮影画像データの動作種に対応する２次元教師データを作成し、撮影画像データと２次元画像データとの相違点を抽出し、相違点を認識させる表示データを作成し、動作種および相違点に基づいてアドバイスデータが作成される。撮影装置１２に、表示データおよびアドバイスデータが出力されて撮影装置１２の表示部１６には、表示データに基づく画像、およびアドバイスデータに基づくアドバイスが表示される。これにより、直接指導者などに見てもらわなくても、さらに大掛かり、かつ複雑な構成の装置を用いることなく簡単に、動作の相違点が認識できるとともに、この相違点に基づく的確なアドバイスが得られる。このアドバイスに基づいて身体の動作を修正することができる。

また、本実施例の動作修正システム１０においては、撮影装置１２により、適当に撮影すれば良いため、実際に動作を行っている状態におけるアドバイスを受けることができる。このため、受けるアドバイスも実際に即したものとなり、競技力または技能の向上を図ることができる。
例えば、ゴルフの練習中、またはラウンド中に、例えば、カメラ付き携帯電話でスイング動作を撮影し、それを撮影画像データとして画像解析装置２０に出力することにより、表示データおよびアドバイスデータを自動的に、かつ容易に得ることができる。これにより、実際にゴルフの練習中、またはゴルフをラウンドしている状況でのスイング動作（フォーム）のアドバイスを受けながら、練習またはラウンドすることができる。このため、ゴルフの競技力を向上させることができる。

なお、本実施例の動作修正システム１０においては、撮影装置１２は、少なくとも２次元動画を記録することができるものであれば、特に限定されるものではない。このため、特定の機器を用いる必要がなく、身近にある安価な機器を用いることができる。本実施例の撮影装置１２としては、例えば、カメラ付き携帯電話、またはＰＤＡ（Personal Digital Assistant）などの撮影機能付き通信端末を用いることができる。

本実施例においては、撮影装置１２として、図３に示すカメラ付き携帯電話９０を用いることができる。このカメラ付き携帯電話９０は、例えば、電話番号、文字および記号などを入力する入力部９２と、入力部９２による入力、およびカメラにより撮影された画像を表示する表示部９４とを有するものである。この表示部９４は表示データに基づく画像が表示されるものである。また、表示部９４には、アドバイスデータに基づくアドバイスが表示される表示領域９６が設けられている。

カメラ付き携帯電話９０においては、表示部９４が３インチ程度と小さく、かつ縦長であるため、表示データに基づく撮影画像と教師画像とを並べて表示した場合、相違点の認識が困難になる。このため、例えば、撮影画像または教師画像を表示するか、撮影画像と教師画像とを交互に繰り返して表示するか、または撮影画像と教師画像とを重ねて表示するなどの表示形態とする。
本実施例においては、このように、カメラ付き携帯電話９０のような身近なものを用いて、適当に撮影した撮影画像であっても、動作の相違点が認識できるとともに、適切なアドバイスを受けることができる。

また、本実施例においては、表示データおよびアドバイスデータを撮影装置１２ではなく、ＰＣに直接または各種のメディアの形態で提供することもできる。ＰＣを用いるため、表示データのデータ量が多くても処理することができる。このため、例えば、撮影画像データに基づく撮影画像と２次元教師データに基づく教師画像とを並べて表示させることができる。この場合、例えば、図４に示すように、モニタの画面１００の表示領域を、第１の画像領域１００ａおよび第２の画像領域１００ｂに二分割する。
この第１の画像領域１００ａに、撮影画像データに基づく撮影画像１０４ａを表示する第１の表示領域１０２ａと、２次元教師データに基づく教師画像１０４ｂを表示する第の表示領域１０２ｂと、アドバイス表示領域１１４とが設けられている。また、第２の画像領域１００ｂに、操作部表示領域１１６が設けられている。

第１の表示領域１０２ａは、動画の進行度を示すバー１０６と、動画の再生、動画の停止、動画の早送り、および動画の巻き戻しをさせる操作ボタン１０８と、静止画作成ボタン１１０と、例えば、カロリー消費量の表示、または静止画像もしくは連続写真の写真注文、移動軌跡の表示などを実行させるボタンが表示されたウインドウ１１２とが設けられている。この第１の表示領域１０２ａには、例えば、撮影画像データに基づくゴルファＧのスイング動作が表示される。

また、第２の表示領域１０２ｂについては、２次元画像データに基づく教師画像１０４ｂが表示される以外は、第１の表示領域１０２ａと同様であるため、その詳細な説明は省略する。また、第２の表示領域１０２ｂには、例えば、２次元画像データに基づく教師ゴルファＴのスイング動作が表示される。

また、アドバイス表示領域１１４は、アドバイスデータに基づいて修正すべき動作の要点が文字などで表示されるものである。このアドバイスは、２次元教師データとの相違点に基づいて優先順位が付けられたアドバイスであることは言うまでもない。

第２の画像領域１０２ｂの操作部表示領域１１６には、部位マーク１１６ａ、同時再生１１６ｂ、同時停止１１６ｃ、同時早送り１１６ｄ、同時巻戻し１１６ｅ、写真注文１１６ｆ、および拡大／縮小１１６ｇの表示部が設けられている。この部位マーク１１６ａとは、ゴルファＧにおける教師ゴルファＴとの相違点の部位、例えば、肘、または膝にマークをつけるものである。

図４に示すように、撮影画像１０４ａと、教師画像１０４ｂとは同時、または個別に動画再生ができる。これにより、撮影画像１０４ａと教師画像１０４ｂ（撮影画像データと２次元教師データ）とを自由自在に比較することができる。
本実施例の動作修正システム１０においては、例えば、教師画との身体の動作自体の差、および動作の速度の差が分かる。
また、撮影画像の動作の速度と教師画像の動作の速度とを一致させることもできる。この場合、動画であるため、フレーム間における各部位の移動量から速度を算出することができる。この算出された速度を一致させるように再生する。これにより、撮影画像の動作の速度と教師画像の動作とにおける身体の動作の速度についても測定することができる。

例えば、ゴルファＧと、教師ゴルファＴとのスイング動作の違い、スイング速度の違い、およびスイング速度の値を知ることができる。また、スイング速度を一致させて、スイング動作の違いを見ることもできる。これ以外にも、スイング動作における体の各部位の使い方の違いについても知ることができる。

また、ユーザが動作で上手くいかない部分について、例えば、拡大することにより、その部分をだけに注目して見ることができる。また、身体の動作の速度を２次元教師データと、撮影画像データとで合わせることもできる。さらに、身体の各部位の移動軌跡を２次元教師データと、撮影画像データとでそれぞれ表示させることもできる。また、身体の動作による消費カロリーを表示することもできる。

なお、本実施例の動作修正システムの画像解析装置を単体で使用した場合にも、本実施例の動作修正システムと同様の効果を得ることができる。

また、画像解析装置２０単体で用いた場合には、送受信機能は、必ずしも必要ではなく、例えば、撮影装置などの機器を直接接続させればよい。このとき、撮影装置１２は、２次元動画データを得ることができるものであれば良く、例えば、デジタルカメラ、またはビデオカメラが挙げられる。また、撮影画像データを各種のメディアに記録し、画像処理装置に直接入力してもよい。さらに、作成された表示データおよびアドバイスデータはメディアに記録されて、メディアに形態で出力される。

さらに、本実施例の動作修正システム１０においては、３次元教師データベース４２に記憶される３次元画像（３次元教師）データは、例えば、プロスポーツ選手のものとしてもよい。この場合、選択したプロスポーツ選手の３次元画像データから２次元教師データを作成し、相違点を抽出し、表示データを作成することができる。これにより、ユーザの好みのプロスポーツ選手との相違点に基づく表示データおよびアドバイスデータが作成され、好みのプロスポーツ選手との相違点に基づくアドバイスを受けることができる。なお、ユーザの好みのプロスポーツ選手を選択するには、予め動作種毎に登録しておくか、または撮影画像データを出力する際に、選択するプロスポーツ選手の情報を付与しておく。

以下、本実施例の動作修正システム１０による動作修正方法について説明する。
図５は、本発明の実施例に係る動作修正システムによる動作修正方法を示すフローチャートである。本実施例においては、ゴルフのスイング動作の修正方法を例に説明する。
先ず、図１に示すように、撮影装置１２を用いて、ゴルファＧのスイング動作を側面方向から撮影する。

次に、撮影装置１２から画像解析装置２０に撮影画像データが入力される（ステップＳ１）。
次に、撮影画像データを解析して、被写体を抽出する（ステップＳ２）。本実施例においては、ゴルファＧ、ゴルフクラブ８０およびボールｂの被写体が抽出される。

次に、被写体を各要素に分割し、パーツ化する（ステップＳ３）。本実施例においては、ゴルファＧおよびゴルフクラブ８０を、例えば、頭部５０、目５２、耳５４、腕６０、胴体６６、脚７０、ならびにゴルフクラブ８０およびボールｂの各要素にパーツ化する。また、腕６０は、肩６０ａ、上腕６０ｂ、肘６２、前腕６０ｃおよび手６４の各要素にパーツ化する。また、脚７０は、大腿７２ａ、７２ｂ、膝７４ａ、７４ｂ、下腿７６ａ、７６ｂおよび足７８ａ、７８ｂの各要素にパーツ化する。ゴルフクラブ８０は、シャフト８２とヘッド８４の各要素にパーツ化する。

次に、パーツ化された各要素について、モーションベクトルなどを求め、画像特徴量を算出する（ステップＳ４）。本実施例においては、例えば、ゴルファＧの頭部５０の動き、腕６０の動き、胴体６６の動き、脚７０の動き、およびゴルフクラブ８０の動きなどの各モーションベクトルを画像特徴量として算出する。

次に、撮影画像データに動作種が入力されているかが判定される（ステップＳ５）。
本実施例においては、動作種が入力されていないため、ステップＳ４で求めた画像特徴量に基づいて、動作種を推定する（ステップＳ６）。
例えば、ゴルフのスイング動作の場合、ゴルフクラブ８０が抽出されるとともに、ゴルフクラブ８０の移動軌跡、すなわち、スイングの軌跡により、動作種はゴルフと推定される。

次に、モーションベクトルなどの画像特徴量、およびパーツ化された各要素の見え方に基づいて、撮影条件を推定する（ステップＳ７）。
本実施例においては、例えば、スイングの軌跡から、撮影方向を推定することができる。この場合、スイングの軌跡が円弧状であれば、撮影方向は側面である。また、頭部５０の向き、耳５４が両方抽出されているか否かによっても撮影方向を推定できる。さらに、ゴルフクラブ８０とボールｂとの配置関係によっても撮影方向を推定することができる。

次に、動作種および撮影条件に基づいて、３次元教師データベースを参照して（ステップＳ８）、動作種に対応する３次元教師データを抽出する。そして、抽出された３次元教師データを、撮影画像データと撮影方向および大きさが一致するように、回転、拡大または縮小などの種々の処理を施して、２次元画像データに変換し、２次元教師データを作成する（ステップＳ９）。本実施例においては、撮影画像データの動作に対応する２次元教師データを作成する。

本実施例においては、動作種は、ゴルフであり、３次元教師データベースから、ゴルフの３次元教師データが抽出される。そして、ゴルフの３次元教師データから、撮影画像データと撮影方向および大きさを一致させた２次元教師データを作成する。
なお、撮影方向を一致させるために、ゴルフの３次元教師データを所定の撮影方向から撮影された２次元画像データに変換して、撮影画像データとマッチングさせることにより、撮影方向を推定してもよい。

次に、撮影画像データと、２次元教師データとを比較する（ステップＳ１０）。そして、撮影画像データと、２次元教師データとの相違点を抽出する（ステップＳ１１）。
本実施例においては、撮影画像データの画像特徴量と、２次元教師データの画像特徴量とを比較して相違点を抽出する。画像特徴量としては、例えば、各要素のモーションベクトルを用いる。各要素におけるモーションベクトルが違うものが相違点として挙げられる。

次に、相違点に基づいて、相違点を認識させる表示データを作成する（ステップＳ１２）。本実施例のゴルファＧは、スイングの軌跡および肘の位置が相違点として抽出されたものの、体の芯はぶれていない。このため、表示データとしては、スイングの軌跡の色を変え、肘の位置にマークをつけるなどして、ゴルファＧに相違点を認識させる。

本実施例においては、撮影装置１２として、カメラ付き携帯電話９０を用いた場合、表示データとしては、撮影画像データまたは２次元教師データを表示するか、撮影画像データと２次元教師データとを交互に繰り返して表示するか、または撮影画像データと２次元教師データとを重ねて表示するなどの表示形態とするものを作成する。撮影装置１２は、例えば、撮影画像データの中に、撮影装置の情報を付与することによりなされる。また、撮影画素サイズ、または撮影画像データのビットレートに基づいて画像表示能力を判断してもよい。

また、例えば、撮影装置ではなく、メディアとして、またはＰＣに表示データを出力する場合、表示データとしては、図４に示すように、撮影画像と、教師画像とを並べて表示するものを作成する。さらに、並べて表示するものに、表示されるゴルファＧの相違点にマークを付与したものでもよい。

一方、ステップＳ６により推定された動作種、およびステップＳ１１により抽出された相違点に基づいて、アドバイスデータベースを参照（ステップＳ１３）し、アドバイスすべき点を抽出してアドバイスデータを作成する（ステップＳ１４）。本実施例のゴルファＧのスイング動作における相違点は、スイングの軌跡および肘の位置であり、体の芯はぶれていない。
ここで、スイング動作におけるアドバイスすべき点の優先順位は、上述の如く、１位は体の芯がぶれないこと、２位はスイングの軌跡、３位はゴルフクラブのヘッドの傾き、４位は足の重心のかかり具合、５位は肘の位置である。このため、アドバイスデータとしては、２位のスイングの軌跡、および５位の肘の位置に関するアドバイスを示すものが作成される。

次に、表示データおよびアドバイスデータを撮影装置１２に出力する（ステップＳ１５）。これにより、ユーザは撮影装置１２により、表示データに基づく表示画像およびアドバイスデータに基づいたアドバイス情報を得ることができる。ユーザは、教師画像とのスイング動作との違いを見ることができ、アドバイスも受けることができる。これにより、自分のスイング動作の良くない点について十分に理解することができる。このアドバイスに基づいてスイング動作を修正することにより、スコアを向上させることができる。なお、スイング修正後のスイング動作を撮影して、再度アドバイスを受けることもできる。

なお、本実施例においては、画像解析装置２０が、動作種を入力する入力手段を有し、ステップＳ５において、動作種が予め特定されている場合には、撮影条件が推定（ステップＳ７）され、３次元教師データを参照（ステップＳ８）して、３次元画像データを選択し、撮影画像データに対応する２次元教師データが作成（ステップＳ９）される。さらに、ステップＳ５による動作種およびステップＳ１１により抽出された相違点に基づいて、被写体の身体の動作種および相違点に基づいてアドバイスデータベースを参照して、アドバイスすべき点が抽出されてアドバイスデータベースを参照（ステップＳ１３）し、アドバイスデータを作成する（ステップＳ１４）。

また、本実施例においては、画像解析装置２０が、撮影条件を入力する撮影条件入力手段を有する場合には、撮影条件を入力することもできる。このとき、撮影条件の推定の工程が省略され、撮影条件がより正確なものとなるため、２次元教師データおよびアドバイスデータの作成精度を高めることができ、また、２次元教師データ、およびアドバイスデータの作成時間を短縮することができる。

さらに、本実施例においては、画像解析装置２０が、入力手段および撮影条件入力手段を有する場合、ゴルフなどの動作種および撮影条件を入力することができる。このとき、動作種および撮影条件の推定の工程が省略されるとともに、動作種および撮影条件がより正確なものとなるため、２次元教師データおよびアドバイスデータの作成精度をより一層高めることができ、２次元教師データおよびアドバイスデータの作成時間をより一層短縮することができる。

このように、本実施例においては、動作種および撮影条件の少なくとも一方を撮影画像データに付与することにより、更に精度が高い２次元教師データを作成することができる。これにより、ユーザは、自分のスイング動作と教師ゴルファＴ（図４参照）のスイング動作との違いを更に正確に認識することができ、更に的確なアドバイスを受けることができる。

また、本実施例の動作修正システム１０においては、撮影装置１２に、動作種の推定、および撮影条件の推定の処理を行う処理部を設けてもよい。この場合、画像解析装置２０は、画像解析部３０および画像推定部３２が不要になり、撮影装置１２から解析部２４の２次元画像生成部３４に撮影画像データが入力され、また、撮影装置１２から画像比較部３６に動作種および撮影条件の推定結果が入力される。
このように、撮影装置１２に、動作種の推定、および撮影条件の推定の処理を行う処理部を設けた場合、図５に示すステップＳ１〜ステップＳ７までの工程Ｐが撮影装置１２で実行される。

さらに、処理部を設けた撮影装置１２に機能を付加して、撮影装置１２から３次元教師データベース４２およびアドバイスデータベース４４に直接アクセスして、表示データおよびアドバイスデータを作成してもよい。また、処理部となる機能を発現するソフトウエアをＰＣに組み込んで、表示データおよびアドバイスデータを作成してもよい。

また、本実施例においては、ゴルフを例に説明したが、本発明は、これに限定されるものではない。ゴルフ以外にも、スポーツ全般に適用することができ、スポーツ以外にも身体の動作に関するものであれば、踊りまたはダンスなどにも適用できることは言うまでもない。

以上、本発明の画像解析装置および動作修正システムについて説明したが、本発明は上述の実施形態に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良または変更を行ってもよいのは、もちろんである。

本発明の実施例に係る動作修正システムを示す模式図である。本実施例の動作修正システムの画像解析装置を示すブロック図である。本実施例の動作修正システムの撮影装置の一例を示す模式図である。本実施例の動作修正システムにおける撮影画像データに基づく撮影画像および２次元教師データに基づく教師画像の表示方法を示す模式図である。本発明の実施例に係る動作修正システムによる動作修正方法を示すフローチャートである。

符号の説明

１０動作修正システム
１２撮影装置
１４撮影部
１６表示部
１８、２２送受信部
２０画像解析装置
２４解析部
２６データベース
３０画像解析部
３２特定部
３４２次元画像生成部
３６比較部
３８アドバイス作成部
４０制御部
４２３次元教師データベース
４４アドバイスデータベース

Claims

身体の動作の３次元画像データが各種記憶されている教師データベースと、
前記教師データベースに記憶された前記各種の動作毎に動作の要点が記憶されているアドバイスデータベースと、
前記身体の動作の撮影画像データが入力されたら、前記撮影画像データを解析することにより、被写体の身体の動作種および撮影条件を推定し、前記推定された動作種および撮影条件に基づいて、前記教師データベースから３次元画像データを選択して前記撮影画像データの動作種に対応する２次元教師データを作成し、前記撮影画像データと前記２次元教師データとの相違点を抽出し、前記相違点を認識させる表示データを作成し、かつ前記動作種および前記相違点に基づいて前記アドバイスデータベースからアドバイスデータを作成する解析部とを有することを特徴とする画像解析装置。
さらに、前記撮影画像データを受信するとともに、前記解析部により作成された前記表示データおよび前記アドバイスデータを送信する送受信部を有し、
前記送受信部で受信された前記撮影画像データは、前記解析部に入力される請求項１に記載の画像解析装置。
前記動作種および前記相違点に基づいて作成されるアドバイスデータは、前記動作の要点に応じた重み付けがされている請求項１または２に記載の画像解析装置。
前記解析部は、前記身体の動作種より、被写体が実行している競技を推定する機能を有する請求項１〜３のいずれか１項に記載の画像解析装置。
さらに、前記競技の競技種を入力する入力手段を有する請求項１〜４のいずれか１項に記載の画像解析装置。
前記解析部は、推定した競技種に応じて、または入力された競技種に応じて２次元教師データの作成およびアドバイスデータの作成を行う請求項４または５に記載の画像解析装置。
撮影部と、前記撮影画像データを表示する表示部とを備える撮影装置と、
身体の動作の３次元画像データが各種記憶されている教師データベースと、
前記教師データベースに記憶された前記各種の動作毎に動作の要点が記憶されているアドバイスデータベースと、
前記身体の動作の撮影画像データが入力されたら、前記撮影画像データを解析することにより、被写体の身体の動作種および撮影条件を推定し、前記推定された動作種および撮影条件に基づいて、前記教師データベースから３次元画像データを選択して前記撮影画像データの動作種に対応する２次元教師データを作成し、前記撮影画像データと前記２次元教師データとの相違点を抽出し、前記相違点を認識させる表示データを作成し、かつ前記動作種および前記相違点に基づいて前記アドバイスデータベースからアドバイスデータを作成する解析部と、前記撮影画像データを受信するとともに、前記解析部により作成された前記表示データおよび前記アドバイスデータを前記撮影装置に送信する第１の送受信部とを備える画像解析装置とを有し、
前記撮影装置は、さらに、前記撮影画像データを送信するとともに、前記第１の送受信部から送信されて前記表示データおよび前記アドバイスデータを受信する第２の送受信部を備えるとともに、前記表示部は、前記表示データおよび前記アドバイスデータに基づく画像または文字を表示させるものであることを特徴とする動作修正システム。
前記動作種および前記相違点に基づいて作成されるアドバイスデータは、前記動作の要点に応じた重み付けがされている請求項７に記載の動作修正システム。