JP2010240185A - 動作学習支援装置 - Google Patents
動作学習支援装置 Download PDFInfo
- Publication number
- JP2010240185A JP2010240185A JP2009092757A JP2009092757A JP2010240185A JP 2010240185 A JP2010240185 A JP 2010240185A JP 2009092757 A JP2009092757 A JP 2009092757A JP 2009092757 A JP2009092757 A JP 2009092757A JP 2010240185 A JP2010240185 A JP 2010240185A
- Authority
- JP
- Japan
- Prior art keywords
- user
- motion
- data
- breathing
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置を提供する。
【解決手段】HMD30は、ユーザ2の頭部に装着される。呼吸センサ10は、ユーザ2の呼吸に応じた呼吸データDbrtを生成する。モーションセンサ20は、ユーザ2の体の動きを検出し、モーションデータDmotを生成する。制御処理部50は、ユーザ2が学習すべき動作を演ずる講師を3次元コンピュータグラフィックスを用いてレンダリングする。また制御処理部50は、ユーザ2が学習すべき呼吸を可視化し、HMD30に表示する。制御処理部50は、モーションデータDmotにもとづきユーザ自身をレンダリングし、HMD30に表示する。さらに制御処理部50は、呼吸データDbrtにもとづきユーザの息を可視化し、HMD30に表示する。
【選択図】図1
【解決手段】HMD30は、ユーザ2の頭部に装着される。呼吸センサ10は、ユーザ2の呼吸に応じた呼吸データDbrtを生成する。モーションセンサ20は、ユーザ2の体の動きを検出し、モーションデータDmotを生成する。制御処理部50は、ユーザ2が学習すべき動作を演ずる講師を3次元コンピュータグラフィックスを用いてレンダリングする。また制御処理部50は、ユーザ2が学習すべき呼吸を可視化し、HMD30に表示する。制御処理部50は、モーションデータDmotにもとづきユーザ自身をレンダリングし、HMD30に表示する。さらに制御処理部50は、呼吸データDbrtにもとづきユーザの息を可視化し、HMD30に表示する。
【選択図】図1
Description
本発明は、動作学習支援装置に関する。
わが国は様々な伝統文化、芸術、芸能などの知的財産を保有している。これらは、世代を超えて人から人へ脈々と受け継がれていくものであるが、現代人の生活様式や価値観の変化、多様化、あるいは地方の過疎化や高齢化の進行によって、それらの承継が困難になっている。
近年、これらの文化財をアーカイブ化して後世に残す試みが始まっている。有形文化財については、写真やCG(コンピュータグラフィックス)を用いて比較的容易にアーカイブ化することが可能である。ところが、日本舞踊をはじめとする無形文化財は、デジタル化(アーカイブ化)が難しい。
伝統舞踊やダンスなどを学習するシステムはこれまでにも研究が進められており、たとえば地域伝統舞踊における「動作の流れ」を学習するシステム(非特許文献1)、モーションキャプチャおよびHMD(ヘッドマウントディスプレイ)を用いたスポーツスキル学習システム(非特許文献2)などが提案されている。
またカメラからの実写画像に3次元(3D)CGを合成するMR(Mixed Reality)と呼ばれる技術がある。MRは、文化財の復元や美術品の立体展示等にも利用される。
高橋 智也、松田 浩一、海賀 考明、長瀬 一男、「地域伝統舞踊における「動作の流れ」を教えてくれる学習支援システム」、インタラクション2008論文集、日本、pp.133−140
本荘 直樹、井坂 忠夫、満田 隆、川村 貞夫、「HMDを用いたスポーツスキルの学習方法の提案」、TVRSJ Vol.10 No.1 pp.63−70、2005
角田 哲也、大石 岳史、池内 克史、「バーチャル飛鳥京:復号現実感による遺跡の復元」、第3回デジタルコンテンツシンポジウム、2007年6月、
しかしながら、これらのシステムは従来のテレビなどと同じく、2次元平面上に写し出された映像を見習って学習を行うシステムである。したがって学習者(ユーザ)は、奥行きの感覚を掴むことができず、実際にどの程度、体を動かせばよいのか認識しにくいという問題がある。
また本発明者は、こうした動作学習用のシステムについて考察するにあたり、動作と呼吸が密接な関係を有することを認識するに至った。たとえば人間は、椅子に座った状態から立ち上がるときには息を吸い込み、反対に椅子に座るときは息を吐きだす傾向にある。あるいは、空を見上げるときに息を吸い、下を見下ろすときには息を吐く。このように人間の呼吸は、無意識ではあるが動作と密接な関係を有している。
翻って、舞踊やダンス、あるいは太極拳のような演武に関しても、動作と呼吸は密接な関係にあるといえる。走り幅跳びの選手が、ジャンプの前に息を吸い込んでからジャンプするか、あるいは息を吐き出してからジャンプするのかで、跳躍距離は大きく変わってくるであろう。したがって動作とシンクロした正しい呼吸法を身に付けることが、その動作を学習するために非常に有効であるといえる。なお以上の考察を、本発明の分野における共通の一般知識の範囲として捉えてはならず、さらに言えば、上記考察自体が、本発明者がはじめて想到したものである。
本発明はかかる状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、動作と呼吸を同時に学習することが可能なシステムの提供にある。
本発明のある態様は、ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置に関する。この動作学習支援装置は、ユーザの頭部に装着されるヘッドマウントディスプレイと、ユーザが吐き出し、あるいは吸い込む息の量を検出し、呼吸データを生成する呼吸センサと、ユーザの体の所定の箇所に取り付けられるセンサに応答してユーザの体の動きを検出し、ユーザの動きを記述するモーションデータを生成するモーションセンサと、ヘッドマウントディスプレイに表示すべき映像データを生成し、ヘッドマウントディスプレイに表示させる制御処理部と、を備える。
予め、ユーザが学習すべき動作を演ずる講師が、3次元コンピュータグラフィックスを用いてモデリングされ、動作ガイダンスデータとして準備されている。また、ユーザが動作と同期して学習すべき呼吸を記述する呼吸ガイダンスデータが準備されている。
制御処理部は、動作ゴールマーカ生成部、呼吸ゴールマーカ生成部、動作ユーザマーカ生成部、呼吸ユーザマーカ生成部を含む。動作ゴールマーカ生成部は、動作ガイダンスデータを受け、講師に対応する3次元オブジェクトをレンダリングし、ヘッドマウントディスプレイに動作ゴールマーカとして表示する。呼吸ゴールマーカ生成部は、呼吸ガイダンスデータにより記述される呼吸を可視化し、ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する。動作ユーザマーカ生成部は、モーションデータにもとづき、ユーザをモデリングした3次元オブジェクトをレンダリングし、動作ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに動作ユーザマーカとして表示する。呼吸ユーザマーカ生成部は、呼吸データにもとづきユーザの息を可視化し、呼吸ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに呼吸ユーザマーカとして表示する。
予め、ユーザが学習すべき動作を演ずる講師が、3次元コンピュータグラフィックスを用いてモデリングされ、動作ガイダンスデータとして準備されている。また、ユーザが動作と同期して学習すべき呼吸を記述する呼吸ガイダンスデータが準備されている。
制御処理部は、動作ゴールマーカ生成部、呼吸ゴールマーカ生成部、動作ユーザマーカ生成部、呼吸ユーザマーカ生成部を含む。動作ゴールマーカ生成部は、動作ガイダンスデータを受け、講師に対応する3次元オブジェクトをレンダリングし、ヘッドマウントディスプレイに動作ゴールマーカとして表示する。呼吸ゴールマーカ生成部は、呼吸ガイダンスデータにより記述される呼吸を可視化し、ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する。動作ユーザマーカ生成部は、モーションデータにもとづき、ユーザをモデリングした3次元オブジェクトをレンダリングし、動作ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに動作ユーザマーカとして表示する。呼吸ユーザマーカ生成部は、呼吸データにもとづきユーザの息を可視化し、呼吸ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに呼吸ユーザマーカとして表示する。
この態様によれば、ユーザは、自らの動作および呼吸を同時に効率的に学習することができる。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を、方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、動作と呼吸を関連づけて学習することができる。
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
実施の形態に係る動作学習支援装置100は、ユーザ2がある動作を学習するのを支援するシステムであり、たとえばダンス、ゴルフのスイング、バッティングフォーム、指揮者の指揮法、伝統舞踊をはじめとするさまざまな動作の学習に適用できる。以下の実施の形態では、舞踊を学習するシステムを例に説明するが、本発明は特にそれに限定されるものではない。
図1は、実施の形態に係る動作学習支援装置100の構成を示す図である。動作学習支援装置100は、呼吸センサ10、モーションセンサ20、HMD(ヘッドマウントディスプレイ)30、カメラ40、制御処理部50を備える。
動作学習支援装置100について概説する。ユーザ2の頭部に取り付けられたHMD30には、ユーザ2が学習すべき動作を示す映像(動作ガイダンス映像)と、学習すべき呼吸を可視化した映像(呼吸ガイダンス映像)が表示される。ユーザ2は、そのガイダンスにしたがって体を動かし、呼吸を行う。ユーザ2の動作はモーションセンサ20によってキャプチャされ、ユーザ2をモデリングした画像(オブジェクト)が、HMD30にガイダンスともに表示される。ユーザ2は、自らをモデリングしたオブジェクトを、HMD30に表示されるガイダンスと近づけるように体を動かすことにより、動作を学習する。また、呼吸センサ10よってユーザ2の呼吸がキャプチャされ、キャプチャされた呼吸の強弱が可視化されて、HMD30に表示される。ユーザ2は、可視化された呼吸が、呼吸ガイダンス映像と一致するように呼吸を行うことにより、動作と同期した正確な呼吸を学習する仕組みとなっている。
呼吸センサ10は、ユーザ2の呼吸の強弱を測定するデバイスである。ユーザ2が呼吸センサ10を口に咥えた状態で呼吸をすると、呼吸センサ10内部に空気が吹き込まれ、あるいは空気が吸い出される。呼吸センサ10は、たとえばエアフローセンサと呼ばれるデバイスを用いて構成することができる。
図2は、図1の呼吸センサ10の第1の構成例を示す図である。呼吸センサ10は、筐体12、入力部14、流路16、呼吸測定部18を備える。
入力部14は、ストローのような管であり、内部に開口を有している。流路16は、その一端が入力部14の開口部と連通しており、他端が筐体12の外部と連通している。ユーザ2が入力部14を口3に加えた状態で呼吸をすることにより、流路16に息が吹き込まれ、あるいは空気が吸い出される。異なるユーザが呼吸センサ10を共有する際の衛生面を考慮し、入力部14はユーザごとに交換可能であることが好ましい。
入力部14は、ストローのような管であり、内部に開口を有している。流路16は、その一端が入力部14の開口部と連通しており、他端が筐体12の外部と連通している。ユーザ2が入力部14を口3に加えた状態で呼吸をすることにより、流路16に息が吹き込まれ、あるいは空気が吸い出される。異なるユーザが呼吸センサ10を共有する際の衛生面を考慮し、入力部14はユーザごとに交換可能であることが好ましい。
呼吸測定部18は、エアフローセンサ18a、マイコン18b、温度センサ18cを含む。エアフローセンサ18aは、流路16の経路上あるいはその終端部に設けられ、流路16内を通過する気体の流量を測定し、測定された流量を示す流量データDflwを出力する。なお、流量とは流速と同義であり、言い換えれば、ユーザ2が吐き出した息の量、あるいはユーザ2が吸い込んだ空気の量、さらに言い換えれば呼吸の強弱に対応する。たとえばエアフローセンサ18aとしては、市販されている芝浦電子製F6201−1が利用できる。マイコン18bは、エアフローセンサ18aと制御処理部50とのインタフェースユニットであり、流量データDflwを制御処理部50へと出力する。
温度センサ18cは、流路16を流通する空気の温度を検出し、検出した温度を示す温度データDtmpを出力する。温度データDtmpは制御処理部50へと入力される。温度センサ18cとしては例えば熱電対が利用できる。
図2の呼吸センサ10によれば、ユーザの口を介した呼吸の量および温度を測定することができる。図2の呼吸センサ10は、口呼吸が鼻呼吸よりも支配的であるような運動・動作の学習に好適である。
図3(a)、(b)は、図1の呼吸センサ10の第2の構成例を示す図である。図2の呼吸センサが、口を介しての呼吸を測定するのに適しているのに対して、図3(a)、(b)のセンサは、口および鼻を介しての呼吸を測定するのに適している。
図3(a)は、呼吸センサ10を外から見た図であり、図3(b)は、呼吸センサ10をユーザの顔と接触する側から見た図である。図3の呼吸センサ10は、筐体12、ストラップ13、呼吸測定部18を備える。筐体12は、ユーザの鼻および口を覆うカップ状のマスクである。ストラップ13は、筐体12に取り付けられており、ユーザの頭部や耳に引っかけることにより、筐体12をユーザの顔と固定せしめる。筐体12には開口部15が設けられており、ユーザが鼻もしくは口から吐き出した息は、開口部15を介して筐体12の外側に排出され、ユーザが鼻もしくは口から吸い込む空気は、開口部15を介して筐体12の内側に取り込まれる。なお、図2の流路16は、筐体12の内部全体に対応するものと捉えることができる。
図3(b)に示すように、ユーザが吐き出し、あるいは吸い込んだ空気(息)が流通する経路上には、呼吸測定部18を構成するエアフローセンサ18a、温度センサ18cが設けられる。マイコン18bは筐体12の外部に設けられる。なおエアフローセンサ18a、温度センサ18cの位置は、ユーザの呼吸の量および温度を測定するのに最適する箇所に設ければよく、図示される位置には限定されない。
図3(a)、(b)の呼吸センサ10によれば、鼻を介した呼吸と口を介した呼吸を測定することができる。
図3(a)、(b)の呼吸センサ10の変形例として、筐体12を2つの気室(不図示)に分割してもよい。具体的には、鼻に対応づけられる気室(鼻気室)と、口に対応づけられる気室(口気室)の2つである。そして、鼻気室と口気室それぞれに対して、開口部15および呼吸測定部18を設けてもよい。この変形例によれば、鼻呼吸の量、温度と、口呼吸の量、温度を、独立に測定することができ、ユーザが鼻から息を吸う、鼻から息を吐く、口から息を吸う、口から息を吐くという4つのアクションを検出、測定することができる。したがって、学習者が、鼻呼吸と口呼吸それぞれに対して別個に注意を払うべき運動、動作を学習するのに好適である。
以上が呼吸センサ10の構成例である。続いて、その動作を説明する。
ユーザ2が、入力部14に対して息を吐き出すと、その息の流量が呼吸測定部18によって検出される。呼吸測定部18に用いられる一般的なエアフローセンサ18aは、指向性を有さず、その内部に流れる気体の流量の絶対値のみを検出するものであり、その方向までは判別できない場合が多い。ユーザ2が息を吐き出しているのか、あるいは吸い込んでいるのかを判定するために、温度センサ18cから出力される温度データDtmpを利用することができる。
ユーザ2が、入力部14に対して息を吐き出すと、その息の流量が呼吸測定部18によって検出される。呼吸測定部18に用いられる一般的なエアフローセンサ18aは、指向性を有さず、その内部に流れる気体の流量の絶対値のみを検出するものであり、その方向までは判別できない場合が多い。ユーザ2が息を吐き出しているのか、あるいは吸い込んでいるのかを判定するために、温度センサ18cから出力される温度データDtmpを利用することができる。
一般的に人間が呼吸をする場合、はき出される息の温度T1と、吸い込まれる空気の温度T2は、総じて前者の方が高い。したがって、予め温度にしきい値を設定しておけば、温度データDtmpが所定のしきい値以上のとき、ユーザ2が息を吐き出しているものと判定し、しきい値以下のとき、息を吸い込んでいるものと判定することができる。
このように、図2もしくは図3の呼吸センサ10によれば、
1a. ユーザ2が息を吐き出すアクション
1b. ユーザ2が空気を吸い込むアクション
を判別できる。また、各アクションそれぞれにおいて、ユーザ2が息を吐く強さ、空気を吸い込む強さを検出することができる。以下、流量データDflwおよび温度データDtmpを総称して呼吸データDbrtという。
1a. ユーザ2が息を吐き出すアクション
1b. ユーザ2が空気を吸い込むアクション
を判別できる。また、各アクションそれぞれにおいて、ユーザ2が息を吐く強さ、空気を吸い込む強さを検出することができる。以下、流量データDflwおよび温度データDtmpを総称して呼吸データDbrtという。
なお、息が吐き出されているか、吸い込まれているかを判定するためには、以下の技術も有効である。
たとえば、指向性を有する2つのエアフローセンサを、その向きが反対となるように設け、一方により吐き出される息の強度を、他方により吸い込まれる息の強度を測定してもよい。
たとえば、指向性を有する2つのエアフローセンサを、その向きが反対となるように設け、一方により吐き出される息の強度を、他方により吸い込まれる息の強度を測定してもよい。
あるいは流路16(図3では筐体12の内部)を2つの経路に分岐させ、一方の経路に、第1の指向性を有する逆止弁と無指向性の第1のエアフローセンサを、他方の経路に、第2の指向性(第1と反対)を有する逆止弁と無指向性の第2のエアフローセンサを設けてもよい。この構成によれば、第1のエアフローセンサによって、ユーザが吐き出す息の強度を、第2のエアフローセンサによってユーザが吸い込む息の強度を、それぞれ測定できる。
以上が呼吸センサ10の説明である。
図1に戻る。モーションセンサ20は、ユーザ2の動きを検出するデバイスである。モーションセンサ20は、複数の磁気センサ22a〜22e(磁気センサ22総称する)、磁気発生源(トランスミッタ)24、インタフェースユニット26を含む。磁気発生源24は、磁界を発生する。複数の磁気センサ22は、ユーザ2の可動部分に取り付けられる。磁気センサ22は、磁気発生源24が発生した磁気を受信する受信機である。磁気発生源24は、各磁気センサ22が受信した磁気にもとづいて、各磁気センサ22の位置(座標)、傾き、向きなどを取得する。モーションセンサ20は市販されるものを利用すればよい。磁界を利用したモーションセンサを利用する代わりに、あるいはそれに加えてジャイロセンサなどを利用したモーションセンサを利用することも可能である。
たとえば、磁気センサ22は、頭部(22a)、左右の腕(22b、22c)、左右の足(22d、22e)にそれぞれ取り付けられる。なお、磁気センサ22は、ユーザ2が学習すべき動作に関連する箇所にのみ取り付けられればよいため、上半身のみ、あるいは下半身のみに取り付けられてもよいし、さらに多くの部位に取り付けられてもよい。
インタフェースユニット26、キャプチャしたユーザ2の動作に対応するデータ(以下、モーションデータという)Dmotを制御処理部50へと出力する。
カメラ40は、たとえばカメラ40の頭部、好ましくは目の付近に取り付けられ、ユーザの視点の先にある映像を撮影する。カメラ40によって撮影された映像は、視界データDvisとして制御処理部50へと出力される。
制御処理部50には、モーションデータDmot、呼吸データDbrt、視界データDvisが入力される。制御処理部50はこれらのデータにもとづき、HMD30に表示すべき映像を生成する。
以上が動作学習支援装置100の全体構成である。
続いて、制御処理部50の構成およびその処理について説明する。図4は、図1のHMD30に表示される映像を示す図である。図5は、図4の映像を生成する制御処理部50の構成を示すブロック図である。
続いて、制御処理部50の構成およびその処理について説明する。図4は、図1のHMD30に表示される映像を示す図である。図5は、図4の映像を生成する制御処理部50の構成を示すブロック図である。
図4に示すように、HMD30に表示される映像70は、動作に関する部分(動作表示領域)72と、呼吸に関する部分(呼吸表示領域)74を含む。2つの領域72、74は、互いに分離していてもよいし、オーバーラップして表示されてもよい。
まず動作表示領域72について説明する。動作表示領域72には、講師オブジェクト80、動作ゴールマーカ82、動作ユーザマーカ84、背景86が描画される。動作表示領域72の描画には、一般的な3次元コンピュータグラフィックス(3DCG)技術が利用される。
ユーザが学習すべき動作を実行する教師(講師)は、予め3DCGを用いてモデリングされており、3次元オブジェクト(ポリゴン)の形態で電子化されている。動作表示領域72に描画される講師オブジェクト80は、このモデリングされたオブジェクトをレンダリングして描画したものである。
3次元オブジェクトである講師オブジェクト80をレンダリング処理する際の、カメラの座標(カメラ座標)、方向(カメラ方向)は、現実のユーザ2の視点の位置、視線方向と連動して変化する。つまりユーザ2が後ろに後退すれば、レンダリングのカメラの位置も後退するため、あたかも講師オブジェクト80との距離が遠ざかったかのように描画される。また、ユーザ2が左右に動けば、それと連動してレンダリング用のカメラの座標が移動し、斜め方向から見た講師オブジェクト80が表示されることになる。なおレンダリング用のカメラの画角(ビューボリウム)は、固定されていてもよいし、任意に調節可能であってもよい。これによりユーザ2は、仮想的な教師(講師オブジェクト80)を任意の方向から見ることが可能となる。
レンダリングされた講師オブジェクト80は、背景86に重ね合わせて表示される。背景86は、図1のカメラ40によって撮影された画像が利用することが好ましい。この場合、ユーザ2の視線の先に、あたかも仮想的な講師が存在するかのような臨場感をもたらすことになる。これはMR(Mixed Reality)と称される技術を利用すればよい。
なお、背景86としては、カメラ40によって撮影された映像に代えて、予め用意された2次元の画像データを利用してもよい。あるいは、予めモデリングされた3次元仮想空間を、レンダリングすることで背景を描画してもよい。
動作ユーザマーカ84は、ユーザ2の視線から、ユーザ自身を描画したものである。動作ユーザマーカ84は、ユーザをモデリングした3次元オブジェクトをレンダリングすることにより生成される。動作ユーザマーカ84の腕や足などの所定の箇所の位置(座標)は、モーションセンサ20によって取得されたモーションデータDmotと連動している。たとえばユーザ2が右腕を上げると、磁気センサ22bの位置が高くなり、モーションデータDmotがその動作に応じた値となる。その結果、レンダリングされる動作ユーザマーカ84の右腕も、ユーザ2の現実の動作と連動して持ち上げられる。
HMD映像70には、講師オブジェクト80に加えて、動作ゴールマーカ82が描画される。動作ゴールマーカ82は、講師オブジェクト80のモデルを動作ユーザマーカ84に重ね合わせてレンダリングしたものである。つまり、講師オブジェクト80と動作ゴールマーカ82は、同じ3次元オブジェクト(ポリゴン)を異なるカメラ座標、カメラ方向によってレンダリングしたものであり、その動作は互いに連動している。
動作ゴールマーカ82および動作ユーザマーカ84は、半透明で描画することが望ましい。半透明のオブジェクトの描画は、透過度情報(α値)を利用したアルファブレンディングと称される手法を用いて実現可能である。動作ゴールマーカ82および動作ユーザマーカ84は、スケルトンマーカと総称される。
動作ゴールマーカ82、動作ユーザマーカ84を半透明でレンダリングすれば、レンダリングする際に、動作ゴールマーカ82と動作ユーザマーカ84の前後関係を考慮する必要がなくなるため、Zバッファ法などを用いた陰影処理が不要となり、演算コストを下げることができ、ひいては、高速かつ滑らかなアニメーション描画が可能となる。
動作ゴールマーカ82および動作ユーザマーカ84は、互いに対比可能な態様にてHMD30に表示される。ユーザ2は、HMD30に描画される講師オブジェクト80を模して、動作ユーザマーカ84が動作ゴールマーカ82と一致するように、手足を動かすことにより、動作を学習することができる。
続いて、図4の呼吸表示領域74について説明する。呼吸表示領域74には、呼吸ゴールマーカ92および呼吸ユーザマーカ94が表示される。呼吸ゴールマーカ92は、ユーザ2が行うべき呼吸の向き(吸う、吐く)ならびに強弱を示す情報であり、呼吸を可視化したものである。たとえば呼吸ゴールマーカ92は、横軸に時間を、縦軸に呼吸の強弱をとった波形として示される。正方向が吐く息を、負方向が吸う息に対応してもよい。
カーソル96は、現時刻においてユーザ2が行うべき呼吸を示している。時々刻々と変化する呼吸を表示するためには、たとえばカーソル96の位置を固定しておき、呼吸ゴールマーカ92の波形を左方向にスクロールしてもよいし、反対に、呼吸ゴールマーカ92の波形を固定しておき、カーソル96を横軸に沿って移動してもよい。あるいは、一般的なカラオケでは、現在歌うべき歌詞の位置を示すために歌詞が色分けして表示されるが、実施の形態に係る動作学習支援装置100おいても、呼吸ゴールマーカ92の波形を色分けすることで、現在の目標とすべき呼吸量をユーザに知覚させてもよい。
呼吸ゴールマーカ92および呼吸ユーザマーカ94は、互いに対比可能な態様にてHMD30に表示される。ユーザ2は、呼吸ゴールマーカ92に習って呼吸を行う。ユーザ2の呼吸は呼吸センサ10によって取得される。取得された呼吸を示す波形は、呼吸ユーザマーカ94(点線)として呼吸表示領域74に表示される。当然ながら、呼吸ユーザマーカ94は過去の情報のみを含んでいることから、カーソル96よりも左側(過去の領域)にのみ表示される。ユーザ2は、呼吸ユーザマーカ94が呼吸ゴールマーカ92と一致するように呼吸の向き(吸い込む、吐き出す)およびその強弱を調節する。その結果、動作と同期した呼吸法を学習することができる。
なお上述したように、口呼吸と鼻呼吸を独立して測定可能な呼吸センサ10を用いる場合には、動作表示領域72には、口呼吸に関するゴールマーカ、ユーザマーカと、鼻呼吸に関するゴールマーカ、ユーザマーカを併せて表示することが好ましい。
上述したように、動作と呼吸は互いに密接な関連を有していることから、動作と呼吸を同時並列的に学習することは大きな相乗効果を生み、それらを個別に学習する場合に比べて短期間で動作を習得することが可能となる。
なお、呼吸表示領域74の表示態様は図4のそれに限定されない。たとえば、現在のユーザ2の呼吸の向きおよび強さを示すインジケータ(呼吸ユーザマーカ94)と、現在、ユーザ2が行うべき呼吸の向きおよび強さを示すインジケータ(呼吸ゴールマーカ92)を、並べて表示してもよい。
図5を参照し、HMD映像70を生成する制御処理部50の構成を説明する。
制御処理部50は、記憶部52、信号処理部54、表示処理部56を備える。制御処理部50は、汎用的なワークステーションやパーソナルコンピュータ、ゲーム機器を利用してもよいし、動作学習支援装置100用に専用設計された電子計算機であってもよい。図5に示される制御処理部50を構成する各ブロックは、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
制御処理部50は、記憶部52、信号処理部54、表示処理部56を備える。制御処理部50は、汎用的なワークステーションやパーソナルコンピュータ、ゲーム機器を利用してもよいし、動作学習支援装置100用に専用設計された電子計算機であってもよい。図5に示される制御処理部50を構成する各ブロックは、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
記憶部52は、ハードディスク、光ディスクやメモリなどの、データやプログラムを格納するデバイスあるいは手段である。記憶部52には、ユーザ2が学習すべき動作および呼吸を記録したガイダンスデータGDが格納されている。ガイダンスデータGDは、具体的には、動作を示すデータ(動作ガイダンスデータGDM)と、呼吸を示すデータ(呼吸ガイダンスデータGDB)を含んでいる。動作データは、図4の講師オブジェクト80および動作ゴールマーカ82のもととなる3次元オブジェクト(ポリゴンデータ)ならびにそのアニメーションを記述するデータを含む。後者は、各時刻における呼吸の向きおよび強弱を示すデータである。ガイダンスデータGDを記憶部52に格納する代わりに、ネットワークを介して受信する形態であっても構わない。
信号処理部54は、たとえばCPUやグラフィックスプロセッサおよびそれらを制御するプログラムによって具現化されるいくつかの機能を含む。信号処理部54は、動作ゴールマーカ生成部60、呼吸ゴールマーカ生成部62、動作ユーザマーカ生成部64、呼吸ユーザマーカ生成部66、背景画像生成部68、画像合成部69を含む。
動作ゴールマーカ生成部60は、動作ガイダンスデータGDMにもとづき、図4のHMD映像70(動作表示領域72)に表示すべき講師オブジェクト80および動作ゴールマーカ82の画像データを生成する。
呼吸ゴールマーカ生成部62は、呼吸ガイダンスデータGDBにもとづき、図4のHMD映像70(呼吸表示領域74)に表示すべき呼吸ゴールマーカ92の画像データを生成する。
動作ユーザマーカ生成部64は、モーションセンサ20によって取得されたモーションデータDmotを受け、図4のHMD映像70(動作表示領域72)に表示すべき動作ユーザマーカ84の画像データを生成する。
背景画像生成部68は、カメラ40によって撮影された視界データDvisを受け、図4のHMD映像70(動作表示領域72)に表示すべき背景86の画像データを生成する。
画像合成部69は、動作ゴールマーカ生成部60、呼吸ゴールマーカ生成部62、動作ユーザマーカ生成部64、呼吸ユーザマーカ生成部66、背景画像生成部68、画像合成部69が生成した各画像データを合成し、図4のHMD映像70の画像データを生成する。表示処理部56は、画像合成部69が生成したHMD映像70の画像データをHMD30へと出力する。
以上の構成により、HMD30に動作および呼吸の効率的な学習に役立つ映像を表示できる。
さらに制御処理部50は、ユーザ2の動作をレコーディングする機能を備える。記録再生部58は、モーションセンサ20が取得したモーションデータDmotと呼吸センサ10が取得した呼吸データDbrtを、記憶部52に記録データRDとして保存し、また記録データRDを読み出す。つまり制御処理部50は、記録データRDを再生する機能を備えている。具体的には、動作ユーザマーカ生成部64は、モーションセンサ20からのリアルタイムのモーションデータDmotに代えて、記録再生部58が記憶部52から読み出した記録データRDに含まれるモーションデータDmotを利用して、動作ユーザマーカ84を再生する。同様に呼吸ユーザマーカ生成部66は、呼吸センサ10からのリアルタイムの呼吸データDbrtに代えて、記録再生部58が読み出した記録データRDに含まれる呼吸データDbrtを利用して呼吸ユーザマーカ94を再生する。再生時には、スロー再生、早送り、巻き戻しなども可能となっている。
この再生機能により、ユーザ2は、先に行った学習動作を事後的に再生することができる。なお、再生時の3DCGレンダリングの際のカメラ座標やカメラの向きなどは、ユーザ2が自由に設定可能である。これにより、ユーザ2は、第3者的な視点から自らの姿勢および動作を見ることができ、学習の効率を高めることができる。また、過去の自分の動作および呼吸を記録しておくことにより、ユーザ2は自らの成長を実感することができる。図6は、記録データRDの再生時のディスプレイの表示画面を示す図である。図6に示すように、講師オブジェクト80と動作ユーザマーカ84は、別々に表示してもよいし、あるいはオーバーラップして表示させることも可能である。また、図6には示されないが、呼吸ユーザマーカ94と呼吸ゴールマーカ92を併せて、あるいは単独で表示してもよい。なお、図6に示す学習確認用の画面は、HMD30に表示してもよいし、別途も受けられた一般的なディスプレイ装置に表示してもよい。
さらに制御処理部50は、ユーザ2に対して、アドバイスを与える機能を備えている。アドバイス処理部59は、動作ガイダンスデータGDM、呼吸ガイダンスデータGDBと、モーションデータDmotと、呼吸データDbrtを受ける。
ユーザ2が動作および呼吸を学習する最中において、アドバイス処理部59は、モーションセンサ20が取得したモーションデータDmotが示す各磁気センサ22の座標、つまり体の各部位の座標を、動作ガイダンスデータGDMが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部59は、呼吸センサ10が取得した呼吸データDbrtを呼吸ガイダンスデータGDBが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。動作および呼吸に関するアドバイスを示すデータは、たとえば「右手をもっと前に」、「強く息を吐いて」などのテキスト形式であり、画像合成部69は、図4のHMD映像70に設けられたアドバイス表示領域76にアドバイスを示す情報を提示する。
ユーザ2が動作および呼吸を学習する最中において、アドバイス処理部59は、モーションセンサ20が取得したモーションデータDmotが示す各磁気センサ22の座標、つまり体の各部位の座標を、動作ガイダンスデータGDMが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部59は、呼吸センサ10が取得した呼吸データDbrtを呼吸ガイダンスデータGDBが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。動作および呼吸に関するアドバイスを示すデータは、たとえば「右手をもっと前に」、「強く息を吐いて」などのテキスト形式であり、画像合成部69は、図4のHMD映像70に設けられたアドバイス表示領域76にアドバイスを示す情報を提示する。
ユーザ2が記録データRDを再生する際には、アドバイス処理部59は、記録データRDに含まれるモーションデータDmotが示す各磁気センサ22の座標、つまり体の各部位の座標を、動作ガイダンスデータGDMが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部59は、記録データRDに含まれる呼吸データDbrtを、呼吸ガイダンスデータGDBが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。図6に示すように、再生時の表示画面にもアドバイス表示領域76が設けられており、アドバイスを示すテキスト情報が提示される。さらに、アドバイス処理部59は、アドバイスの対象となる体の部位を示すマークの画像データ(アドバイスマーカ)85を生成してもよい。アドバイスマーカ85を表示することで、ユーザ2は、視覚的に自らの動作の問題点を把握でき、それを矯正することができる。
以上、実施の形態を説明した。実施の形態は例示であり、さまざまな変形例が可能であり、そうした変形例も本発明に含まれることは当業者に理解されるところである。
2…ユーザ、100…動作学習支援装置、10…呼吸センサ、12…筐体、13…ストラップ、14…入力部、15…開口部、16…流路、18…呼吸測定部、18a…エアフローセンサ、18b…マイコン、18c…温度センサ、20…モーションセンサ、22…磁気センサ、24…磁気発生源、26…インタフェースユニット、30…HMD、40…カメラ、50…コンピュータ、52…記憶部、54…信号処理部、56…表示処理部、58…記録再生部、59…アドバイス処理部、60…動作ゴールマーカ生成部、62…呼吸ゴールマーカ生成部、64…動作ユーザマーカ生成部、66…呼吸ユーザマーカ生成部、68…背景画像生成部、69…画像合成部、GD…ガイダンスデータ、GDM…動作ガイダンスデータ、GDB…呼吸ガイダンスデータ、70…HMD映像、72…動作表示領域、74…呼吸表示領域、80…講師オブジェクト、82…動作ゴールマーカ、84…動作ユーザマーカ、86…背景、92…呼吸ゴールマーカ、94…呼吸ユーザマーカ、96…カーソル。
Claims (4)
- ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置であって、
前記ユーザの頭部に装着されるヘッドマウントディスプレイと、
前記ユーザが吐き出し、あるいは吸い込む息の量を検出し、呼吸データを生成する呼吸センサと、
前記ユーザの体の所定の箇所に取り付けられるセンサに応答して前記ユーザの体の動きを検出し、前記ユーザの動きを記述するモーションデータを生成するモーションセンサと、
前記ヘッドマウントディスプレイに表示すべき映像データを生成し、前記ヘッドマウントディスプレイに表示させる制御処理部と、
を備え、
前記制御処理部は、
前記ユーザが学習すべき動作を演ずる講師を3次元コンピュータグラフィックスを用いてモデリングして生成された動作ガイダンスデータを受け、前記講師に対応する3次元オブジェクトをレンダリングし、前記ヘッドマウントディスプレイに動作ゴールマーカとして表示する動作ゴールマーカ生成部と、
前記ユーザが学習すべき呼吸を記述する呼吸ガイダンスデータを受け、前記呼吸ガイダンスデータにより記述される呼吸を可視化し、前記ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する呼吸ゴールマーカ生成部と、
前記モーションデータにもとづき、前記ユーザをモデリングした3次元オブジェクトをレンダリングし、前記動作ゴールマーカと対比可能な態様にて前記ヘッドマウントディスプレイに動作ユーザマーカとして表示する動作ユーザマーカ生成部と、
前記呼吸データにもとづき前記ユーザの息を可視化し、前記呼吸ゴールマーカと対比可能な態様にて前記ヘッドマウントディスプレイに呼吸ユーザマーカとして表示する呼吸ユーザマーカ生成部と、
を含むことを特徴とする動作学習支援装置。 - 前記制御処理部は、
前記モーションデータおよび前記呼吸データを記録する記憶部をさらに含み、
前記動作ユーザマーカ生成部は、前記記憶部に記録された前記モーションデータにもとづき、前記動作ユーザマーカを生成可能であり、前記呼吸ユーザマーカ生成部は、前記記憶部に記録された前記呼吸データにもとづき、前記呼吸ユーザマーカを生成可能であることを特徴とする請求項1に記載の動作学習支援装置。 - 前記制御処理部は、前記動作ガイダンスデータと前記モーションデータにもとづき、前記ユーザに動作に関連して与えるべきアドバイスを記述するデータを生成し、前記呼吸ガイダンスデータと前記呼吸データにもとづき、前記ユーザに呼吸に関連して与えるべきアドバイスを記述するデータを生成するアドバイス処理部をさらに含むことを特徴とする請求項1または2に記載の動作学習支援装置。
- 前記ユーザの視線方向を撮影するカメラをさらに備え、
前記制御処理部は、前記カメラが撮影した映像を、前記ヘッドマウントディスプレイに表示される映像の背景として合成することを特徴とする請求項1から3のいずれかに記載の動作学習支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009092757A JP2010240185A (ja) | 2009-04-07 | 2009-04-07 | 動作学習支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009092757A JP2010240185A (ja) | 2009-04-07 | 2009-04-07 | 動作学習支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010240185A true JP2010240185A (ja) | 2010-10-28 |
Family
ID=43093953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009092757A Pending JP2010240185A (ja) | 2009-04-07 | 2009-04-07 | 動作学習支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010240185A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013161662A1 (ja) * | 2012-04-23 | 2013-10-31 | 独立行政法人科学技術振興機構 | 動きガイド提示方法、そのシステム及び動きガイド提示装置 |
WO2014188517A1 (ja) * | 2013-05-21 | 2014-11-27 | Okada Tamotsu | 呼吸制御マウスピース |
CN105759953A (zh) * | 2015-01-05 | 2016-07-13 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
WO2017094356A1 (ja) * | 2015-12-01 | 2017-06-08 | シャープ株式会社 | 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
US9720230B2 (en) | 2014-06-06 | 2017-08-01 | Seiko Epson Corporation | Head mounted display, detection device, control method for head mounted display, and computer program |
JP2018195172A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP2019091510A (ja) * | 2017-05-19 | 2019-06-13 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP2020047239A (ja) * | 2018-09-19 | 2020-03-26 | 未來市股▲ふん▼有限公司 | トラッキングシステム及びそのトラッキング方法 |
CN112704852A (zh) * | 2020-12-24 | 2021-04-27 | 毕晓杰 | 一种适用于不同大小头部的呼吸科呼吸康复训练设备 |
-
2009
- 2009-04-07 JP JP2009092757A patent/JP2010240185A/ja active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013161662A1 (ja) * | 2012-04-23 | 2015-12-24 | 国立研究開発法人科学技術振興機構 | 動きガイド提示方法、そのシステム及び動きガイド提示装置 |
US9910488B2 (en) | 2012-04-23 | 2018-03-06 | Japan Science And Technology Agency | Motion guide presentation method and system therefor, and motion guide presentation device |
WO2013161662A1 (ja) * | 2012-04-23 | 2013-10-31 | 独立行政法人科学技術振興機構 | 動きガイド提示方法、そのシステム及び動きガイド提示装置 |
WO2014188517A1 (ja) * | 2013-05-21 | 2014-11-27 | Okada Tamotsu | 呼吸制御マウスピース |
JPWO2014188517A1 (ja) * | 2013-05-21 | 2017-02-23 | 岡田 保 | 呼吸制御マウスピース |
US9720230B2 (en) | 2014-06-06 | 2017-08-01 | Seiko Epson Corporation | Head mounted display, detection device, control method for head mounted display, and computer program |
US10162408B2 (en) | 2014-06-06 | 2018-12-25 | Seiko Epson Corporation | Head mounted display, detection device, control method for head mounted display, and computer program |
JPWO2016111067A1 (ja) * | 2015-01-05 | 2017-10-12 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2016111067A1 (ja) * | 2015-01-05 | 2016-07-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN105759953A (zh) * | 2015-01-05 | 2016-07-13 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
CN105759953B (zh) * | 2015-01-05 | 2020-04-21 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
WO2017094356A1 (ja) * | 2015-12-01 | 2017-06-08 | シャープ株式会社 | 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2018195172A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP2019091510A (ja) * | 2017-05-19 | 2019-06-13 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP2020047239A (ja) * | 2018-09-19 | 2020-03-26 | 未來市股▲ふん▼有限公司 | トラッキングシステム及びそのトラッキング方法 |
US10817047B2 (en) | 2018-09-19 | 2020-10-27 | XRSpace CO., LTD. | Tracking system and tacking method using the same |
CN112704852A (zh) * | 2020-12-24 | 2021-04-27 | 毕晓杰 | 一种适用于不同大小头部的呼吸科呼吸康复训练设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010240185A (ja) | 動作学習支援装置 | |
KR101056406B1 (ko) | 게임장치, 게임처리방법 및 정보기록매체 | |
JP6938542B2 (ja) | 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 | |
US8786698B2 (en) | Blow tracking user interface system and method | |
US20170221379A1 (en) | Information terminal, motion evaluating system, motion evaluating method, and recording medium | |
Casas et al. | A kinect-based augmented reality system for individuals with autism spectrum disorders | |
TWI377055B (en) | Interactive rehabilitation method and system for upper and lower extremities | |
JP5806469B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
KR101979750B1 (ko) | 댄스 트레이닝 콘텐츠 저작 시스템 | |
Hachimura et al. | A prototype dance training support system with motion capture and mixed reality technologies | |
JP2009543619A (ja) | 仮想環境を表示するためのシステム | |
US9053641B2 (en) | Real-time X-ray vision for healthcare simulation | |
US11682157B2 (en) | Motion-based online interactive platform | |
WO2007069751A1 (ja) | 記憶力テスト装置、判断力テスト装置、比較力テスト装置、コーディネーショントレーニング装置、及びワーキングメモリトレーニング装置 | |
JP5325265B2 (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
JPH07250919A (ja) | サイクリング・シミュレーション・システム | |
JP2005034195A (ja) | 講習支援システム及び講習支援方法 | |
KR20210127860A (ko) | 가상현실(vr) 무도 수련 시스템 | |
CN114303142A (zh) | 影像生成装置 | |
JP2002032788A (ja) | 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体 | |
JP6398938B2 (ja) | 投影制御装置、及びプログラム | |
KR102433084B1 (ko) | 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템 | |
KR20180106572A (ko) | 가상현실 제공장치 및 그 방법 | |
WO2023026529A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
Barbulescu et al. | A system for creating virtual reality content from make-believe games |