JP4646209B2

JP4646209B2 - 実技分析システム及びプログラム

Info

Publication number: JP4646209B2
Application number: JP2005048089A
Authority: JP
Inventors: 洋一藤井; 修西川; 通良阿江
Original assignee: 日本ナレッジ株式会社; 通良阿江
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2011-03-09
Anticipated expiration: 2025-02-23
Also published as: JP2006230630A

Description

本発明は、スポーツ、運動、踊り等におけるフォームを学習するのに好適な実技分析システム、及び、そのためのプログラムに関する。

手本のゴルフスイングフォームに近い矯正を行えるようにすることを目的としたスイングフォーム学習装置が提案されている。この学習装置は次のように構成されている。カメラによって被写体の動きを撮像しそれを記録する。記録結果を読み出し所望の箇所で読み出しを停止させる。同様の処理をメモリから読出した手本の画像について行う。そして、両者の内一方の画像を処理器で処理し、人物像が身長、横幅について同じになるようにし、両者画像を重ね合わせモニタに表示させる（特許文献１参照）。

コーチ役の人がいなくてもスポーツのフォームに問題が無いかどうか判断できるようにすることを目的とした運動姿勢の分析装置が提案されている。この分析装置は、ビデオカメラで分析対象のフォームの映像を撮影し、コンピュータに入力して一定時間毎の間隔で静止画像として抜き出して記憶装置に記憶し、手本となるフォームの映像を一定時間毎の間隔で静止画像として抜き出して記憶装置に記憶し、分析対象と手本のフォームの両方を表示し、両者を比較することにより分析対象と手本のフォームの違いを指摘する（特許文献２参照）。
特開平５−３３７２３２号公報特開平１０−２６３１２６号公報

学習者の画像と手本の画像とを重ね合わせて表示させた場合、下側になった画像が表示されなくなり、その部分のフォームのずれが分からなくなることがある。また、従来の学習装置や分析装置は静止画像での比較であり、学習者の動画像に手本となる動画像を重ねて表示することができない。

本発明はこのような課題を解決するためなされたもので、学習者の動画像に手本となるフォームを重ねて表示することのできる実技分析システム、及び、そのためのプログラムを提供することを目的とする。

前記課題を解決するため本発明に係る実技分析システムは、学習者の動きを撮像した動画像を記憶する動画像記憶手段と、内側が半透明又は透明のワイヤーフレーム画像からなる３次元スケルトンモデルを記憶するスケルトンモデル記憶手段と、前記動画像記憶手段から読み出した動画像に前記スケルトンモデル記憶手段から読み出した３次元スケルトンモデルを重ねて再生表示し、前記３次元スケルトンモデルの大きさ及び角度を調整可能であり、前記動画像に前記３次元スケルトンモデルを重ねて表示している状態で、１）マウスホイールをスクロールすると前記動画像と前記３次元スケルトンモデルとが同時にコマ送りされる第１表示モードと、２）マウスホイールをスクロールすると前記動画像又は前記３次元スケルトンモデルの一方のみがコマ送りされる第２表示モードの２つの表示モードをマウスカーソルの存在するエリアに応じて選択可能である表示手段とを備える。

また、本発明の実技分析システムは、学習者の動きを撮像した動画像を記憶する動画像記憶手段と、の各部位を棒状の複数の線図で表示する３次元スティック画像からなるスティックモデルを記憶するスティックモデル記憶手段と、前記動画像記憶手段から読み出した動画像に前記スティックモデル記憶手段から読み出した３次元スティックモデルを重ねて再生表示し、前記３次元スティックモデルの大きさ及び角度を調整可能であり、前記動画像に前記３次元スティックモデルを重ねて表示している状態で、１）マウスホイールをスクロールすると前記動画像と前記３次元スティックモデルとが同時にコマ送りされる第１表示モードと、２）マウスホイールをスクロールすると前記動画像又は前記３次元スティックモデルの一方のみがコマ送りされる第２表示モードの２つの表示モードをマウスカーソルの存在するエリアに応じて選択可能である表示手段とを備える。

また、本発明はコンピュータを上記実技分析システムとして機能させるためのプログラムである。

本発明によれば、３次元スケルトンは内側が半透明又は透明のワイヤーフレームであるので、フォームを重ねてもそれぞれのフォームが明確に表示される。すなわち、３次元スケルトンの下側になる学習者のフォームも表示されるので、その部分の差異も容易に識別できる。
また、前記表示手段は、前記３次元スケルトンモデルの大きさ及び角度を調整可能であることで、動画像に３次元スケルトンモデルを正確に重ねることができる。
また、前記表示手段は、前記動画像に前記３次元スケルトンモデルを重ねて表示している状態で、１）マウスホイールをスクロールすると前記動画像と前記３次元スケルトンモデルとが同時にコマ送りされる第１表示モードと、２）マウスホイールをスクロールすると前記動画像又は前記３次元スケルトンモデルの一方のみがコマ送りされる第２表示モードの２つの表示モードをマウスカーソルの存在するエリアに応じて選択可能であることで、動画像と３次元スケルトンモデルのタイミングを合わせることができる。

以下、発明を実施するための最良の形態を実施例に基づいて説明する。

図１は、本発明の一実施の形態による実技分析システムの構成を示す図である。ここでは、実技分析システムをゴルフのスイング（フォーム）の学習に適用した例について説明する。図１に示す実技分析システムは、システム全体を統括的に制御するプログラムされた主制御部（ＣＰＵ）１に記憶装置２が接続されている。また、主制御部１には、入出力制御部３を介してキーボードやマウス等のポインティングデバイスからなる入力装置４、入力画像・データ等のモニタ及び動画・静止画等を再生する表示装置５、データを印刷したりフォームの表示結果を印刷したりして出力する出力装置６、及び、ビデオカメラ８で撮影した画像を取り込むための画像取込装置７が接続されている。

主制御部（ＣＰＵ）１は、オペレーティングシステム等のプログラム、当該実技分析システムの手順を規定したプログラム等によって、３次元スケルトン表示手段１１、３次元スティック表示手段１２（これについては、図７とともに説明する）及び各種処理手段や判断手段等を実現している。記憶装置２は、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、光ディスク等の記憶手段であり、表示メモリ２１、動画記憶部２２、手本スケルトンモデルデータ記憶部２３、手本スティックモデルデータ記憶部２４（これについては、図７とともに説明する）等を備えている。

この実技分析システムを用いて手本となるスイングと学習者のスイングを比較することにより、学習者のスイングの問題点を視覚的に捉えることができる。手本となるスイングは３次元スケルトン画像として生成され、この３次元スケルトン画像と学習者のスイング画像とを合成表示することによって、スイングの問題点を的確に捉えることができる。

図２は、３次元スケルトン表示（スケルトン画像）の一具体例を示す図である。３次元スケルトン表示（スケルトン画像）は、内側が半透明又は透明のワイヤーフレーム画像である。図２は、人体の各部位を表わすスケルトン画像にゴルフクラブを示す線図を合成したものを示している。３次元スケルトン画像は内側が半透明又は透明であるので、学習者の画像にスケルトン画像を合成表示しても学習者の画像が隠れることがない。

図３は、学習者の撮影画像と３次元スケルトン画像とが合成された画像の一具体例を示す図である。なお、図３では図示の都合上、学習者の画像は輪郭のみを一点鎖線で示し、３次元スケルトン画像を実線で示している。実際には、学習者の画像がカラー表示されるとともに、スケルトン画像もカラー表示される。このように、３次元スケルトン画像が合成された動画像が表示される。スロー再生や一時停止（静止画表示）も可能である。

図４は、実技分析システムの動作手順を示す図である。最初に事前作業としてビデオカメラ８を用いて学習者のスイングの撮影を行う（ステップＳ１０）。ビデオカメラ８によって撮影された学習者のスイング動画は、画像取込装置７、入出力制御部３を介して主制御部（ＣＰＵ）１にフレーム毎に取り込まれ、フレーム順序との対応を付けて動画記憶部２２に格納される。次に、学習者のスイングの取り込みがなされる（ステップＳ１１）。ここでは、アドレス、テークバック、トップ、ダウンスイング、インパクト、フォロースルー、フィニッシュまでの一連のスイング画像を取り込む。なお、トップからフィニッシュまでの一連のスイング画像を取り込むようにしてもよい。

つぎに、３次元スケルトン表示手段１１は、手本とするスケルトンモデルデータの選択指定がなされると、手本スケルトンモデルデータ記憶部２３に予め登録されている複数種類の手本スケルトンモデルデータの中から選択指定された３次元スケルトンモデルデータを読み出し、３次元スケルトン画像を生成する（ステップＳ１２）。なお、手本スケルトンモデルは、性別及び使用クラブ別（例えばウッド、アイアン、パター等）に用意されている。手本スケルトンモデルデータは、プロゴルファーの関節及びクラブにミラーを付けて、スイングを８方向から同時に撮影し、身体各部位の３次元座標を求めて作成されている。

つぎに、３次元スケルトン表示手段１１は、生成したスケルトン画像と学習者のスイング画像とを合成して表示装置５の画面上に表示させるとともに、図５に示すように、スケルトン調整ダイアログを画面上に表示させてスケルトン画像の位置、角度、サイズ、パース（奥行き度：perspective）等の調整を可能にする（ステップＳ１３）。３次元スケルトン表示手段１１は、スケルトン画像の位置、角度、サイズ、パース等の調整が完了すると、スイング画像（動画像）の再生を行ってスイング画像とスケルトン画像を合成表示する（ステップＳ１４）。この際、画面上には各種の機能ボタンが表示されており、それらの機能ボタンを操作することで、スケルトン表示の有無や軌跡表示の有無、どの部位（「クラブヘッド」、「肩」、「手」）の軌跡を表示するかの選択が可能である。

図５は、スケルトン調整ダイアログの一具体例を示す図である。スケルトン調整ダイアログには、位置調整用、２つの角度調整用、パース調整用、拡大・縮小の各操作ボタンが設けられるとともに、ポイント強調設定用の操作部等が設けられている。

位置調整は、上下左右の矢印ボタンをクリックするか、中央の丸印をドラッグしてスケルトン画像を移動させる。これにより、スイング画像とスケルトン画像の位置を合わせることができる。角度調整は、位置調整の右側と下型にあるスクロールバーを操作することで行う。右側のスクロールバーで見下ろし角を設定する。最上部に設定すると真上から、最下部に設定すると水平位置から見たスケルトンが表示される。下側のスクロールバーで左右の回転角度を設定する。右に操作するとスケルトンが右周り、左に操作するとスケルトンが左周りに回転する。３６０度回すことができる。

パース調整は、左下部の縦スクロールバーを操作することで行う。最上部に設定するとパースが最も強くなり、最下部に設定するとパースがかからない。拡大・縮小は、右下部の縦スクロールバーを操作することで行う。最上部に設定すると最も大きくなり、最下部に設定すると最も小さくなる。

画面下部中央のレフティ・ノーマル切替ボタン（Ｌ／Ｒ）をクリックすると、３Ｄスケルトンのスタンスがレフティに切り替わる。再度クリックすると元に戻る。ポイント強調部では、図示を省略した操作ボタンを操作することで、ポイント強調をする骨格ポイントを選択したり、強調表示の色を指定したりできる。

図６に示すように、３Ｄスケルトンの調整中は、３Ｄスケルトンの周囲に直方体のガイドボックスを表示する。これにより、回転度合、角度、大きさなどが分かりやすくなる。

３Ｄスケルトン（スケルトン画像）とスイング映像（学習者画像）とのスイングスピードが違う場合は、スケルトンの再生スピードを調整して同じスピードでスイングしているように見せることができる。同期するフレームを最大で７箇所設定できる。コマ送りを行い、例えばスイング開始のフレームを表示する。マウスカーソルが画像エリア（スイング映像と３Ｄスケルトンが表示されている領域）の外側にあるときに、マウスホイールをスクロールすると、スイング映像と３Ｄスケルトンが同時にコマ送りされる。手前にスクロールすると進み、奥にスクロールすると戻る。３Ｄスケルトンとスイング映像のタイミングが一致していない場合、３Ｄスケルトンのみコマ送りを行い、タイミングを一致させる。マウスカーソルが画像エリアの内側にあるときに、マウスホイールをスクロールすると、スイング映像はコマ送りせず３Ｄスケルトンのみがコマ送りされる。タイミングが一致したら、タイミング同期位置を登録する。複数のポイント（スイング開始、テークバック、テークバック完了、ダウンスイング途中、インパクト、フォロースルー途中、フォロースルー完了）で同期を取り、登録する。同期を登録し終ったら再生を行う。再生時には、各同期位置で３Ｄスケルトンとスイング映像のタイミングが一致するように、自動的に３Ｄスケルトンの再生速度が変更されて再生される。

図７は、３次元スティック表示（スティック画像）の一具体例を示す図である。上記実施例では、３次元スケルトン表示を用いたが、３次元スティック表示としても３次元スケルトン表示と同様の効果を奏する。３次元スティック表示（スティック画像）は、人体の各部位を棒状の複数の線図で表示することでフォームを表現する。図７は、短距離走のフォームを時系列的に示したものである。フォームを線図で表わしているので、学習者の画像に３次元スティック画像を合成表示しても学習者の画像が隠れることがない。この場合図１において、３次元スティック表示手段１２は、手本とするスティックモデルデータの選択指定がなされると、手本スティックモデルデータ記憶部２４に予め登録されている複数種類の手本スティックモデルデータの中から選択指定された３次元スティックモデルデータを読み出し、３次元スティック画像を生成する。つぎに、３次元スティック表示手段１２は、生成したスティック画像と学習者のスイング画像とを合成して表示装置５の画面上に表示させる。

本発明の実技分析システムは、ゴルフスイングの学習だけでなく、各種スポーツや踊り等の学習に利用できる。また、学校等において体育（例えば鉄棒等）の指導に利用できる。

本発明の実技分析システムは、コンピュータを本実技分析システムとして機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。

このプログラムを記録した記録媒体は、実技分析システム内のＲＯＭそのものであってもよいし、また、外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等であってもよい。

また、上記記録媒体は、磁気テープ、カセットテープ、フレキシブルディスク、ハードディスク、ＭＯ／ＭＤ／ＤＶＤ等、又は半導体メモリであってもよい。

本発明の一実施の形態による実技分析システムの構成を示す図である。３次元スケルトン表示（スケルトン画像）の一具体例を示す図である。学習者の撮影画像と３次元スケルトン画像とが合成された画像の一具体例を示す図である。実技分析システムの動作手順を示す図である。スケルトン調整ダイアログの一具体例を示す図である。スケルトン画像の周囲に表示されるガイドボックスを示す図である。３次元スティック表示（スティック画像）の一具体例を示す図である。

符号の説明

１主制御部（ＣＰＵ）
２記憶装置
３入出力制御部
４入力装置
５表示装置
６出力装置
７画像取込装置
８ビデオカメラ
１１３次元スケルトン表示手段
１２３次元スティック表示手段
２１表示メモリ
２２動画記憶部
２３手本スケルトンモデルデータ記憶部
２４手本スティックモデルデータ記憶部

Claims

学習者の動きを撮像した動画像を記憶する動画像記憶手段と、
内側が半透明又は透明のワイヤーフレーム画像からなる３次元スケルトンモデルを記憶するスケルトンモデル記憶手段と、
前記動画像記憶手段から読み出した動画像に前記スケルトンモデル記憶手段から読み出した３次元スケルトンモデルを重ねて再生表示し、前記３次元スケルトンモデルの大きさ及び角度を調整可能であり、前記動画像に前記３次元スケルトンモデルを重ねて表示している状態で、
１）マウスホイールをスクロールすると前記動画像と前記３次元スケルトンモデルとが同時にコマ送りされる第１表示モードと、
２）マウスホイールをスクロールすると前記動画像又は前記３次元スケルトンモデルの一方のみがコマ送りされる第２表示モード
の２つの表示モードをマウスカーソルの存在するエリアに応じて選択可能である表示手段と
を備えることを特徴とする実技分析システム。
学習者の動きを撮像した動画像を記憶する動画像記憶手段と、
人体の各部位を棒状の複数の線図で表示する３次元スティック画像からなるスティックモデルを記憶するスティックモデル記憶手段と、
前記動画像記憶手段から読み出した動画像に前記スティックモデル記憶手段から読み出した３次元スティックモデルを重ねて再生表示し、前記３次元スティックモデルの大きさ及び角度を調整可能であり、前記動画像に前記３次元スティックモデルを重ねて表示している状態で、
１）マウスホイールをスクロールすると前記動画像と前記３次元スティックモデルとが同時にコマ送りされる第１表示モードと、
２）マウスホイールをスクロールすると前記動画像又は前記３次元スティックモデルの一方のみがコマ送りされる第２表示モード
の２つの表示モードをマウスカーソルの存在するエリアに応じて選択可能である表示手段と
を備えることを特徴とする実技分析システム。
コンピュータを請求項１又は２記載の実技分析システムとして機能させるためのプログラム。