JP2010240185A - 動作学習支援装置 - Google Patents

Abstract

【課題】ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置を提供する。
【解決手段】ＨＭＤ３０は、ユーザ２の頭部に装着される。呼吸センサ１０は、ユーザ２の呼吸に応じた呼吸データＤｂｒｔを生成する。モーションセンサ２０は、ユーザ２の体の動きを検出し、モーションデータＤｍｏｔを生成する。制御処理部５０は、ユーザ２が学習すべき動作を演ずる講師を３次元コンピュータグラフィックスを用いてレンダリングする。また制御処理部５０は、ユーザ２が学習すべき呼吸を可視化し、ＨＭＤ３０に表示する。制御処理部５０は、モーションデータＤｍｏｔにもとづきユーザ自身をレンダリングし、ＨＭＤ３０に表示する。さらに制御処理部５０は、呼吸データＤｂｒｔにもとづきユーザの息を可視化し、ＨＭＤ３０に表示する。
【選択図】図１

Description

本発明は、動作学習支援装置に関する。

わが国は様々な伝統文化、芸術、芸能などの知的財産を保有している。これらは、世代を超えて人から人へ脈々と受け継がれていくものであるが、現代人の生活様式や価値観の変化、多様化、あるいは地方の過疎化や高齢化の進行によって、それらの承継が困難になっている。

近年、これらの文化財をアーカイブ化して後世に残す試みが始まっている。有形文化財については、写真やＣＧ（コンピュータグラフィックス）を用いて比較的容易にアーカイブ化することが可能である。ところが、日本舞踊をはじめとする無形文化財は、デジタル化（アーカイブ化）が難しい。

伝統舞踊やダンスなどを学習するシステムはこれまでにも研究が進められており、たとえば地域伝統舞踊における「動作の流れ」を学習するシステム（非特許文献１）、モーションキャプチャおよびＨＭＤ（ヘッドマウントディスプレイ）を用いたスポーツスキル学習システム（非特許文献２）などが提案されている。

またカメラからの実写画像に３次元（３Ｄ）ＣＧを合成するＭＲ（Mixed Reality）と呼ばれる技術がある。ＭＲは、文化財の復元や美術品の立体展示等にも利用される。

特開２００６−２３１０００号公報

高橋 智也、松田 浩一、海賀 考明、長瀬 一男、「地域伝統舞踊における「動作の流れ」を教えてくれる学習支援システム」、インタラクション２００８論文集、日本、ｐｐ．１３３−１４０ 本荘 直樹、井坂 忠夫、満田 隆、川村 貞夫、「ＨＭＤを用いたスポーツスキルの学習方法の提案」、ＴＶＲＳＪ Ｖｏｌ．１０ Ｎｏ．１ ｐｐ．６３−７０、２００５ 角田 哲也、大石 岳史、池内 克史、「バーチャル飛鳥京：復号現実感による遺跡の復元」、第３回デジタルコンテンツシンポジウム、２００７年６月、

しかしながら、これらのシステムは従来のテレビなどと同じく、２次元平面上に写し出された映像を見習って学習を行うシステムである。したがって学習者（ユーザ）は、奥行きの感覚を掴むことができず、実際にどの程度、体を動かせばよいのか認識しにくいという問題がある。

また本発明者は、こうした動作学習用のシステムについて考察するにあたり、動作と呼吸が密接な関係を有することを認識するに至った。たとえば人間は、椅子に座った状態から立ち上がるときには息を吸い込み、反対に椅子に座るときは息を吐きだす傾向にある。あるいは、空を見上げるときに息を吸い、下を見下ろすときには息を吐く。このように人間の呼吸は、無意識ではあるが動作と密接な関係を有している。

翻って、舞踊やダンス、あるいは太極拳のような演武に関しても、動作と呼吸は密接な関係にあるといえる。走り幅跳びの選手が、ジャンプの前に息を吸い込んでからジャンプするか、あるいは息を吐き出してからジャンプするのかで、跳躍距離は大きく変わってくるであろう。したがって動作とシンクロした正しい呼吸法を身に付けることが、その動作を学習するために非常に有効であるといえる。なお以上の考察を、本発明の分野における共通の一般知識の範囲として捉えてはならず、さらに言えば、上記考察自体が、本発明者がはじめて想到したものである。

本発明はかかる状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、動作と呼吸を同時に学習することが可能なシステムの提供にある。

本発明のある態様は、ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置に関する。この動作学習支援装置は、ユーザの頭部に装着されるヘッドマウントディスプレイと、ユーザが吐き出し、あるいは吸い込む息の量を検出し、呼吸データを生成する呼吸センサと、ユーザの体の所定の箇所に取り付けられるセンサに応答してユーザの体の動きを検出し、ユーザの動きを記述するモーションデータを生成するモーションセンサと、ヘッドマウントディスプレイに表示すべき映像データを生成し、ヘッドマウントディスプレイに表示させる制御処理部と、を備える。
予め、ユーザが学習すべき動作を演ずる講師が、３次元コンピュータグラフィックスを用いてモデリングされ、動作ガイダンスデータとして準備されている。また、ユーザが動作と同期して学習すべき呼吸を記述する呼吸ガイダンスデータが準備されている。
制御処理部は、動作ゴールマーカ生成部、呼吸ゴールマーカ生成部、動作ユーザマーカ生成部、呼吸ユーザマーカ生成部を含む。動作ゴールマーカ生成部は、動作ガイダンスデータを受け、講師に対応する３次元オブジェクトをレンダリングし、ヘッドマウントディスプレイに動作ゴールマーカとして表示する。呼吸ゴールマーカ生成部は、呼吸ガイダンスデータにより記述される呼吸を可視化し、ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する。動作ユーザマーカ生成部は、モーションデータにもとづき、ユーザをモデリングした３次元オブジェクトをレンダリングし、動作ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに動作ユーザマーカとして表示する。呼吸ユーザマーカ生成部は、呼吸データにもとづきユーザの息を可視化し、呼吸ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに呼吸ユーザマーカとして表示する。

この態様によれば、ユーザは、自らの動作および呼吸を同時に効率的に学習することができる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を、方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動作と呼吸を関連づけて学習することができる。

実施の形態に係る動作学習支援装置の構成を示す図である。 図１の呼吸センサの第１の構成例を示す図である。 図３（ａ）、（ｂ）は、図１の呼吸センサの第２の構成例を示す図である。 図１のＨＭＤに表示される映像を示す図である。 図４の映像を生成するコンピュータの構成を示すブロック図である。 記録データの再生時のディスプレイの表示を示す図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

実施の形態に係る動作学習支援装置１００は、ユーザ２がある動作を学習するのを支援するシステムであり、たとえばダンス、ゴルフのスイング、バッティングフォーム、指揮者の指揮法、伝統舞踊をはじめとするさまざまな動作の学習に適用できる。以下の実施の形態では、舞踊を学習するシステムを例に説明するが、本発明は特にそれに限定されるものではない。

図１は、実施の形態に係る動作学習支援装置１００の構成を示す図である。動作学習支援装置１００は、呼吸センサ１０、モーションセンサ２０、ＨＭＤ（ヘッドマウントディスプレイ）３０、カメラ４０、制御処理部５０を備える。

動作学習支援装置１００について概説する。ユーザ２の頭部に取り付けられたＨＭＤ３０には、ユーザ２が学習すべき動作を示す映像（動作ガイダンス映像）と、学習すべき呼吸を可視化した映像（呼吸ガイダンス映像）が表示される。ユーザ２は、そのガイダンスにしたがって体を動かし、呼吸を行う。ユーザ２の動作はモーションセンサ２０によってキャプチャされ、ユーザ２をモデリングした画像（オブジェクト）が、ＨＭＤ３０にガイダンスともに表示される。ユーザ２は、自らをモデリングしたオブジェクトを、ＨＭＤ３０に表示されるガイダンスと近づけるように体を動かすことにより、動作を学習する。また、呼吸センサ１０よってユーザ２の呼吸がキャプチャされ、キャプチャされた呼吸の強弱が可視化されて、ＨＭＤ３０に表示される。ユーザ２は、可視化された呼吸が、呼吸ガイダンス映像と一致するように呼吸を行うことにより、動作と同期した正確な呼吸を学習する仕組みとなっている。

呼吸センサ１０は、ユーザ２の呼吸の強弱を測定するデバイスである。ユーザ２が呼吸センサ１０を口に咥えた状態で呼吸をすると、呼吸センサ１０内部に空気が吹き込まれ、あるいは空気が吸い出される。呼吸センサ１０は、たとえばエアフローセンサと呼ばれるデバイスを用いて構成することができる。

図２は、図１の呼吸センサ１０の第１の構成例を示す図である。呼吸センサ１０は、筐体１２、入力部１４、流路１６、呼吸測定部１８を備える。
入力部１４は、ストローのような管であり、内部に開口を有している。流路１６は、その一端が入力部１４の開口部と連通しており、他端が筐体１２の外部と連通している。ユーザ２が入力部１４を口３に加えた状態で呼吸をすることにより、流路１６に息が吹き込まれ、あるいは空気が吸い出される。異なるユーザが呼吸センサ１０を共有する際の衛生面を考慮し、入力部１４はユーザごとに交換可能であることが好ましい。

呼吸測定部１８は、エアフローセンサ１８ａ、マイコン１８ｂ、温度センサ１８ｃを含む。エアフローセンサ１８ａは、流路１６の経路上あるいはその終端部に設けられ、流路１６内を通過する気体の流量を測定し、測定された流量を示す流量データＤｆｌｗを出力する。なお、流量とは流速と同義であり、言い換えれば、ユーザ２が吐き出した息の量、あるいはユーザ２が吸い込んだ空気の量、さらに言い換えれば呼吸の強弱に対応する。たとえばエアフローセンサ１８ａとしては、市販されている芝浦電子製Ｆ６２０１−１が利用できる。マイコン１８ｂは、エアフローセンサ１８ａと制御処理部５０とのインタフェースユニットであり、流量データＤｆｌｗを制御処理部５０へと出力する。

温度センサ１８ｃは、流路１６を流通する空気の温度を検出し、検出した温度を示す温度データＤｔｍｐを出力する。温度データＤｔｍｐは制御処理部５０へと入力される。温度センサ１８ｃとしては例えば熱電対が利用できる。

図２の呼吸センサ１０によれば、ユーザの口を介した呼吸の量および温度を測定することができる。図２の呼吸センサ１０は、口呼吸が鼻呼吸よりも支配的であるような運動・動作の学習に好適である。

図３（ａ）、（ｂ）は、図１の呼吸センサ１０の第２の構成例を示す図である。図２の呼吸センサが、口を介しての呼吸を測定するのに適しているのに対して、図３（ａ）、（ｂ）のセンサは、口および鼻を介しての呼吸を測定するのに適している。

図３（ａ）は、呼吸センサ１０を外から見た図であり、図３（ｂ）は、呼吸センサ１０をユーザの顔と接触する側から見た図である。図３の呼吸センサ１０は、筐体１２、ストラップ１３、呼吸測定部１８を備える。筐体１２は、ユーザの鼻および口を覆うカップ状のマスクである。ストラップ１３は、筐体１２に取り付けられており、ユーザの頭部や耳に引っかけることにより、筐体１２をユーザの顔と固定せしめる。筐体１２には開口部１５が設けられており、ユーザが鼻もしくは口から吐き出した息は、開口部１５を介して筐体１２の外側に排出され、ユーザが鼻もしくは口から吸い込む空気は、開口部１５を介して筐体１２の内側に取り込まれる。なお、図２の流路１６は、筐体１２の内部全体に対応するものと捉えることができる。

図３（ｂ）に示すように、ユーザが吐き出し、あるいは吸い込んだ空気（息）が流通する経路上には、呼吸測定部１８を構成するエアフローセンサ１８ａ、温度センサ１８ｃが設けられる。マイコン１８ｂは筐体１２の外部に設けられる。なおエアフローセンサ１８ａ、温度センサ１８ｃの位置は、ユーザの呼吸の量および温度を測定するのに最適する箇所に設ければよく、図示される位置には限定されない。

図３（ａ）、（ｂ）の呼吸センサ１０によれば、鼻を介した呼吸と口を介した呼吸を測定することができる。

図３（ａ）、（ｂ）の呼吸センサ１０の変形例として、筐体１２を２つの気室（不図示）に分割してもよい。具体的には、鼻に対応づけられる気室（鼻気室）と、口に対応づけられる気室（口気室）の２つである。そして、鼻気室と口気室それぞれに対して、開口部１５および呼吸測定部１８を設けてもよい。この変形例によれば、鼻呼吸の量、温度と、口呼吸の量、温度を、独立に測定することができ、ユーザが鼻から息を吸う、鼻から息を吐く、口から息を吸う、口から息を吐くという４つのアクションを検出、測定することができる。したがって、学習者が、鼻呼吸と口呼吸それぞれに対して別個に注意を払うべき運動、動作を学習するのに好適である。

以上が呼吸センサ１０の構成例である。続いて、その動作を説明する。
ユーザ２が、入力部１４に対して息を吐き出すと、その息の流量が呼吸測定部１８によって検出される。呼吸測定部１８に用いられる一般的なエアフローセンサ１８ａは、指向性を有さず、その内部に流れる気体の流量の絶対値のみを検出するものであり、その方向までは判別できない場合が多い。ユーザ２が息を吐き出しているのか、あるいは吸い込んでいるのかを判定するために、温度センサ１８ｃから出力される温度データＤｔｍｐを利用することができる。

一般的に人間が呼吸をする場合、はき出される息の温度Ｔ１と、吸い込まれる空気の温度Ｔ２は、総じて前者の方が高い。したがって、予め温度にしきい値を設定しておけば、温度データＤｔｍｐが所定のしきい値以上のとき、ユーザ２が息を吐き出しているものと判定し、しきい値以下のとき、息を吸い込んでいるものと判定することができる。

このように、図２もしくは図３の呼吸センサ１０によれば、
１ａ． ユーザ２が息を吐き出すアクション
１ｂ． ユーザ２が空気を吸い込むアクション
を判別できる。また、各アクションそれぞれにおいて、ユーザ２が息を吐く強さ、空気を吸い込む強さを検出することができる。以下、流量データＤｆｌｗおよび温度データＤｔｍｐを総称して呼吸データＤｂｒｔという。

なお、息が吐き出されているか、吸い込まれているかを判定するためには、以下の技術も有効である。
たとえば、指向性を有する２つのエアフローセンサを、その向きが反対となるように設け、一方により吐き出される息の強度を、他方により吸い込まれる息の強度を測定してもよい。

あるいは流路１６（図３では筐体１２の内部）を２つの経路に分岐させ、一方の経路に、第１の指向性を有する逆止弁と無指向性の第１のエアフローセンサを、他方の経路に、第２の指向性（第１と反対）を有する逆止弁と無指向性の第２のエアフローセンサを設けてもよい。この構成によれば、第１のエアフローセンサによって、ユーザが吐き出す息の強度を、第２のエアフローセンサによってユーザが吸い込む息の強度を、それぞれ測定できる。

以上が呼吸センサ１０の説明である。

図１に戻る。モーションセンサ２０は、ユーザ２の動きを検出するデバイスである。モーションセンサ２０は、複数の磁気センサ２２ａ〜２２ｅ（磁気センサ２２総称する）、磁気発生源（トランスミッタ）２４、インタフェースユニット２６を含む。磁気発生源２４は、磁界を発生する。複数の磁気センサ２２は、ユーザ２の可動部分に取り付けられる。磁気センサ２２は、磁気発生源２４が発生した磁気を受信する受信機である。磁気発生源２４は、各磁気センサ２２が受信した磁気にもとづいて、各磁気センサ２２の位置（座標）、傾き、向きなどを取得する。モーションセンサ２０は市販されるものを利用すればよい。磁界を利用したモーションセンサを利用する代わりに、あるいはそれに加えてジャイロセンサなどを利用したモーションセンサを利用することも可能である。

たとえば、磁気センサ２２は、頭部（２２ａ）、左右の腕（２２ｂ、２２ｃ）、左右の足（２２ｄ、２２ｅ）にそれぞれ取り付けられる。なお、磁気センサ２２は、ユーザ２が学習すべき動作に関連する箇所にのみ取り付けられればよいため、上半身のみ、あるいは下半身のみに取り付けられてもよいし、さらに多くの部位に取り付けられてもよい。

インタフェースユニット２６、キャプチャしたユーザ２の動作に対応するデータ（以下、モーションデータという）Ｄｍｏｔを制御処理部５０へと出力する。

カメラ４０は、たとえばカメラ４０の頭部、好ましくは目の付近に取り付けられ、ユーザの視点の先にある映像を撮影する。カメラ４０によって撮影された映像は、視界データＤｖｉｓとして制御処理部５０へと出力される。

制御処理部５０には、モーションデータＤｍｏｔ、呼吸データＤｂｒｔ、視界データＤｖｉｓが入力される。制御処理部５０はこれらのデータにもとづき、ＨＭＤ３０に表示すべき映像を生成する。

以上が動作学習支援装置１００の全体構成である。
続いて、制御処理部５０の構成およびその処理について説明する。図４は、図１のＨＭＤ３０に表示される映像を示す図である。図５は、図４の映像を生成する制御処理部５０の構成を示すブロック図である。

図４に示すように、ＨＭＤ３０に表示される映像７０は、動作に関する部分（動作表示領域）７２と、呼吸に関する部分（呼吸表示領域）７４を含む。２つの領域７２、７４は、互いに分離していてもよいし、オーバーラップして表示されてもよい。

まず動作表示領域７２について説明する。動作表示領域７２には、講師オブジェクト８０、動作ゴールマーカ８２、動作ユーザマーカ８４、背景８６が描画される。動作表示領域７２の描画には、一般的な３次元コンピュータグラフィックス（３ＤＣＧ）技術が利用される。

ユーザが学習すべき動作を実行する教師（講師）は、予め３ＤＣＧを用いてモデリングされており、３次元オブジェクト（ポリゴン）の形態で電子化されている。動作表示領域７２に描画される講師オブジェクト８０は、このモデリングされたオブジェクトをレンダリングして描画したものである。

３次元オブジェクトである講師オブジェクト８０をレンダリング処理する際の、カメラの座標（カメラ座標）、方向（カメラ方向）は、現実のユーザ２の視点の位置、視線方向と連動して変化する。つまりユーザ２が後ろに後退すれば、レンダリングのカメラの位置も後退するため、あたかも講師オブジェクト８０との距離が遠ざかったかのように描画される。また、ユーザ２が左右に動けば、それと連動してレンダリング用のカメラの座標が移動し、斜め方向から見た講師オブジェクト８０が表示されることになる。なおレンダリング用のカメラの画角（ビューボリウム）は、固定されていてもよいし、任意に調節可能であってもよい。これによりユーザ２は、仮想的な教師（講師オブジェクト８０）を任意の方向から見ることが可能となる。

レンダリングされた講師オブジェクト８０は、背景８６に重ね合わせて表示される。背景８６は、図１のカメラ４０によって撮影された画像が利用することが好ましい。この場合、ユーザ２の視線の先に、あたかも仮想的な講師が存在するかのような臨場感をもたらすことになる。これはＭＲ（Mixed Reality）と称される技術を利用すればよい。

なお、背景８６としては、カメラ４０によって撮影された映像に代えて、予め用意された２次元の画像データを利用してもよい。あるいは、予めモデリングされた３次元仮想空間を、レンダリングすることで背景を描画してもよい。

動作ユーザマーカ８４は、ユーザ２の視線から、ユーザ自身を描画したものである。動作ユーザマーカ８４は、ユーザをモデリングした３次元オブジェクトをレンダリングすることにより生成される。動作ユーザマーカ８４の腕や足などの所定の箇所の位置（座標）は、モーションセンサ２０によって取得されたモーションデータＤｍｏｔと連動している。たとえばユーザ２が右腕を上げると、磁気センサ２２ｂの位置が高くなり、モーションデータＤｍｏｔがその動作に応じた値となる。その結果、レンダリングされる動作ユーザマーカ８４の右腕も、ユーザ２の現実の動作と連動して持ち上げられる。

ＨＭＤ映像７０には、講師オブジェクト８０に加えて、動作ゴールマーカ８２が描画される。動作ゴールマーカ８２は、講師オブジェクト８０のモデルを動作ユーザマーカ８４に重ね合わせてレンダリングしたものである。つまり、講師オブジェクト８０と動作ゴールマーカ８２は、同じ３次元オブジェクト（ポリゴン）を異なるカメラ座標、カメラ方向によってレンダリングしたものであり、その動作は互いに連動している。

動作ゴールマーカ８２および動作ユーザマーカ８４は、半透明で描画することが望ましい。半透明のオブジェクトの描画は、透過度情報（α値）を利用したアルファブレンディングと称される手法を用いて実現可能である。動作ゴールマーカ８２および動作ユーザマーカ８４は、スケルトンマーカと総称される。

動作ゴールマーカ８２、動作ユーザマーカ８４を半透明でレンダリングすれば、レンダリングする際に、動作ゴールマーカ８２と動作ユーザマーカ８４の前後関係を考慮する必要がなくなるため、Ｚバッファ法などを用いた陰影処理が不要となり、演算コストを下げることができ、ひいては、高速かつ滑らかなアニメーション描画が可能となる。

動作ゴールマーカ８２および動作ユーザマーカ８４は、互いに対比可能な態様にてＨＭＤ３０に表示される。ユーザ２は、ＨＭＤ３０に描画される講師オブジェクト８０を模して、動作ユーザマーカ８４が動作ゴールマーカ８２と一致するように、手足を動かすことにより、動作を学習することができる。

続いて、図４の呼吸表示領域７４について説明する。呼吸表示領域７４には、呼吸ゴールマーカ９２および呼吸ユーザマーカ９４が表示される。呼吸ゴールマーカ９２は、ユーザ２が行うべき呼吸の向き（吸う、吐く）ならびに強弱を示す情報であり、呼吸を可視化したものである。たとえば呼吸ゴールマーカ９２は、横軸に時間を、縦軸に呼吸の強弱をとった波形として示される。正方向が吐く息を、負方向が吸う息に対応してもよい。

カーソル９６は、現時刻においてユーザ２が行うべき呼吸を示している。時々刻々と変化する呼吸を表示するためには、たとえばカーソル９６の位置を固定しておき、呼吸ゴールマーカ９２の波形を左方向にスクロールしてもよいし、反対に、呼吸ゴールマーカ９２の波形を固定しておき、カーソル９６を横軸に沿って移動してもよい。あるいは、一般的なカラオケでは、現在歌うべき歌詞の位置を示すために歌詞が色分けして表示されるが、実施の形態に係る動作学習支援装置１００おいても、呼吸ゴールマーカ９２の波形を色分けすることで、現在の目標とすべき呼吸量をユーザに知覚させてもよい。

呼吸ゴールマーカ９２および呼吸ユーザマーカ９４は、互いに対比可能な態様にてＨＭＤ３０に表示される。ユーザ２は、呼吸ゴールマーカ９２に習って呼吸を行う。ユーザ２の呼吸は呼吸センサ１０によって取得される。取得された呼吸を示す波形は、呼吸ユーザマーカ９４（点線）として呼吸表示領域７４に表示される。当然ながら、呼吸ユーザマーカ９４は過去の情報のみを含んでいることから、カーソル９６よりも左側（過去の領域）にのみ表示される。ユーザ２は、呼吸ユーザマーカ９４が呼吸ゴールマーカ９２と一致するように呼吸の向き（吸い込む、吐き出す）およびその強弱を調節する。その結果、動作と同期した呼吸法を学習することができる。

なお上述したように、口呼吸と鼻呼吸を独立して測定可能な呼吸センサ１０を用いる場合には、動作表示領域７２には、口呼吸に関するゴールマーカ、ユーザマーカと、鼻呼吸に関するゴールマーカ、ユーザマーカを併せて表示することが好ましい。

上述したように、動作と呼吸は互いに密接な関連を有していることから、動作と呼吸を同時並列的に学習することは大きな相乗効果を生み、それらを個別に学習する場合に比べて短期間で動作を習得することが可能となる。

なお、呼吸表示領域７４の表示態様は図４のそれに限定されない。たとえば、現在のユーザ２の呼吸の向きおよび強さを示すインジケータ（呼吸ユーザマーカ９４）と、現在、ユーザ２が行うべき呼吸の向きおよび強さを示すインジケータ（呼吸ゴールマーカ９２）を、並べて表示してもよい。

図５を参照し、ＨＭＤ映像７０を生成する制御処理部５０の構成を説明する。
制御処理部５０は、記憶部５２、信号処理部５４、表示処理部５６を備える。制御処理部５０は、汎用的なワークステーションやパーソナルコンピュータ、ゲーム機器を利用してもよいし、動作学習支援装置１００用に専用設計された電子計算機であってもよい。図５に示される制御処理部５０を構成する各ブロックは、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

記憶部５２は、ハードディスク、光ディスクやメモリなどの、データやプログラムを格納するデバイスあるいは手段である。記憶部５２には、ユーザ２が学習すべき動作および呼吸を記録したガイダンスデータＧＤが格納されている。ガイダンスデータＧＤは、具体的には、動作を示すデータ（動作ガイダンスデータＧＤＭ）と、呼吸を示すデータ（呼吸ガイダンスデータＧＤＢ）を含んでいる。動作データは、図４の講師オブジェクト８０および動作ゴールマーカ８２のもととなる３次元オブジェクト（ポリゴンデータ）ならびにそのアニメーションを記述するデータを含む。後者は、各時刻における呼吸の向きおよび強弱を示すデータである。ガイダンスデータＧＤを記憶部５２に格納する代わりに、ネットワークを介して受信する形態であっても構わない。

信号処理部５４は、たとえばＣＰＵやグラフィックスプロセッサおよびそれらを制御するプログラムによって具現化されるいくつかの機能を含む。信号処理部５４は、動作ゴールマーカ生成部６０、呼吸ゴールマーカ生成部６２、動作ユーザマーカ生成部６４、呼吸ユーザマーカ生成部６６、背景画像生成部６８、画像合成部６９を含む。

動作ゴールマーカ生成部６０は、動作ガイダンスデータＧＤＭにもとづき、図４のＨＭＤ映像７０（動作表示領域７２）に表示すべき講師オブジェクト８０および動作ゴールマーカ８２の画像データを生成する。

呼吸ゴールマーカ生成部６２は、呼吸ガイダンスデータＧＤＢにもとづき、図４のＨＭＤ映像７０（呼吸表示領域７４）に表示すべき呼吸ゴールマーカ９２の画像データを生成する。

動作ユーザマーカ生成部６４は、モーションセンサ２０によって取得されたモーションデータＤｍｏｔを受け、図４のＨＭＤ映像７０（動作表示領域７２）に表示すべき動作ユーザマーカ８４の画像データを生成する。

背景画像生成部６８は、カメラ４０によって撮影された視界データＤｖｉｓを受け、図４のＨＭＤ映像７０（動作表示領域７２）に表示すべき背景８６の画像データを生成する。

画像合成部６９は、動作ゴールマーカ生成部６０、呼吸ゴールマーカ生成部６２、動作ユーザマーカ生成部６４、呼吸ユーザマーカ生成部６６、背景画像生成部６８、画像合成部６９が生成した各画像データを合成し、図４のＨＭＤ映像７０の画像データを生成する。表示処理部５６は、画像合成部６９が生成したＨＭＤ映像７０の画像データをＨＭＤ３０へと出力する。

以上の構成により、ＨＭＤ３０に動作および呼吸の効率的な学習に役立つ映像を表示できる。

さらに制御処理部５０は、ユーザ２の動作をレコーディングする機能を備える。記録再生部５８は、モーションセンサ２０が取得したモーションデータＤｍｏｔと呼吸センサ１０が取得した呼吸データＤｂｒｔを、記憶部５２に記録データＲＤとして保存し、また記録データＲＤを読み出す。つまり制御処理部５０は、記録データＲＤを再生する機能を備えている。具体的には、動作ユーザマーカ生成部６４は、モーションセンサ２０からのリアルタイムのモーションデータＤｍｏｔに代えて、記録再生部５８が記憶部５２から読み出した記録データＲＤに含まれるモーションデータＤｍｏｔを利用して、動作ユーザマーカ８４を再生する。同様に呼吸ユーザマーカ生成部６６は、呼吸センサ１０からのリアルタイムの呼吸データＤｂｒｔに代えて、記録再生部５８が読み出した記録データＲＤに含まれる呼吸データＤｂｒｔを利用して呼吸ユーザマーカ９４を再生する。再生時には、スロー再生、早送り、巻き戻しなども可能となっている。

この再生機能により、ユーザ２は、先に行った学習動作を事後的に再生することができる。なお、再生時の３ＤＣＧレンダリングの際のカメラ座標やカメラの向きなどは、ユーザ２が自由に設定可能である。これにより、ユーザ２は、第３者的な視点から自らの姿勢および動作を見ることができ、学習の効率を高めることができる。また、過去の自分の動作および呼吸を記録しておくことにより、ユーザ２は自らの成長を実感することができる。図６は、記録データＲＤの再生時のディスプレイの表示画面を示す図である。図６に示すように、講師オブジェクト８０と動作ユーザマーカ８４は、別々に表示してもよいし、あるいはオーバーラップして表示させることも可能である。また、図６には示されないが、呼吸ユーザマーカ９４と呼吸ゴールマーカ９２を併せて、あるいは単独で表示してもよい。なお、図６に示す学習確認用の画面は、ＨＭＤ３０に表示してもよいし、別途も受けられた一般的なディスプレイ装置に表示してもよい。

さらに制御処理部５０は、ユーザ２に対して、アドバイスを与える機能を備えている。アドバイス処理部５９は、動作ガイダンスデータＧＤＭ、呼吸ガイダンスデータＧＤＢと、モーションデータＤｍｏｔと、呼吸データＤｂｒｔを受ける。
ユーザ２が動作および呼吸を学習する最中において、アドバイス処理部５９は、モーションセンサ２０が取得したモーションデータＤｍｏｔが示す各磁気センサ２２の座標、つまり体の各部位の座標を、動作ガイダンスデータＧＤＭが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部５９は、呼吸センサ１０が取得した呼吸データＤｂｒｔを呼吸ガイダンスデータＧＤＢが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。動作および呼吸に関するアドバイスを示すデータは、たとえば「右手をもっと前に」、「強く息を吐いて」などのテキスト形式であり、画像合成部６９は、図４のＨＭＤ映像７０に設けられたアドバイス表示領域７６にアドバイスを示す情報を提示する。

ユーザ２が記録データＲＤを再生する際には、アドバイス処理部５９は、記録データＲＤに含まれるモーションデータＤｍｏｔが示す各磁気センサ２２の座標、つまり体の各部位の座標を、動作ガイダンスデータＧＤＭが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部５９は、記録データＲＤに含まれる呼吸データＤｂｒｔを、呼吸ガイダンスデータＧＤＢが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。図６に示すように、再生時の表示画面にもアドバイス表示領域７６が設けられており、アドバイスを示すテキスト情報が提示される。さらに、アドバイス処理部５９は、アドバイスの対象となる体の部位を示すマークの画像データ（アドバイスマーカ）８５を生成してもよい。アドバイスマーカ８５を表示することで、ユーザ２は、視覚的に自らの動作の問題点を把握でき、それを矯正することができる。

以上、実施の形態を説明した。実施の形態は例示であり、さまざまな変形例が可能であり、そうした変形例も本発明に含まれることは当業者に理解されるところである。

２…ユーザ、１００…動作学習支援装置、１０…呼吸センサ、１２…筐体、１３…ストラップ、１４…入力部、１５…開口部、１６…流路、１８…呼吸測定部、１８ａ…エアフローセンサ、１８ｂ…マイコン、１８ｃ…温度センサ、２０…モーションセンサ、２２…磁気センサ、２４…磁気発生源、２６…インタフェースユニット、３０…ＨＭＤ、４０…カメラ、５０…コンピュータ、５２…記憶部、５４…信号処理部、５６…表示処理部、５８…記録再生部、５９…アドバイス処理部、６０…動作ゴールマーカ生成部、６２…呼吸ゴールマーカ生成部、６４…動作ユーザマーカ生成部、６６…呼吸ユーザマーカ生成部、６８…背景画像生成部、６９…画像合成部、ＧＤ…ガイダンスデータ、ＧＤＭ…動作ガイダンスデータ、ＧＤＢ…呼吸ガイダンスデータ、７０…ＨＭＤ映像、７２…動作表示領域、７４…呼吸表示領域、８０…講師オブジェクト、８２…動作ゴールマーカ、８４…動作ユーザマーカ、８６…背景、９２…呼吸ゴールマーカ、９４…呼吸ユーザマーカ、９６…カーソル。

Claims (4)

1. ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置であって、
   前記ユーザの頭部に装着されるヘッドマウントディスプレイと、
   前記ユーザが吐き出し、あるいは吸い込む息の量を検出し、呼吸データを生成する呼吸センサと、
   前記ユーザの体の所定の箇所に取り付けられるセンサに応答して前記ユーザの体の動きを検出し、前記ユーザの動きを記述するモーションデータを生成するモーションセンサと、
   前記ヘッドマウントディスプレイに表示すべき映像データを生成し、前記ヘッドマウントディスプレイに表示させる制御処理部と、
   を備え、
   前記制御処理部は、
   前記ユーザが学習すべき動作を演ずる講師を３次元コンピュータグラフィックスを用いてモデリングして生成された動作ガイダンスデータを受け、前記講師に対応する３次元オブジェクトをレンダリングし、前記ヘッドマウントディスプレイに動作ゴールマーカとして表示する動作ゴールマーカ生成部と、
   前記ユーザが学習すべき呼吸を記述する呼吸ガイダンスデータを受け、前記呼吸ガイダンスデータにより記述される呼吸を可視化し、前記ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する呼吸ゴールマーカ生成部と、
   前記モーションデータにもとづき、前記ユーザをモデリングした３次元オブジェクトをレンダリングし、前記動作ゴールマーカと対比可能な態様にて前記ヘッドマウントディスプレイに動作ユーザマーカとして表示する動作ユーザマーカ生成部と、
   前記呼吸データにもとづき前記ユーザの息を可視化し、前記呼吸ゴールマーカと対比可能な態様にて前記ヘッドマウントディスプレイに呼吸ユーザマーカとして表示する呼吸ユーザマーカ生成部と、
   を含むことを特徴とする動作学習支援装置。
2. 前記制御処理部は、
   前記モーションデータおよび前記呼吸データを記録する記憶部をさらに含み、
   前記動作ユーザマーカ生成部は、前記記憶部に記録された前記モーションデータにもとづき、前記動作ユーザマーカを生成可能であり、前記呼吸ユーザマーカ生成部は、前記記憶部に記録された前記呼吸データにもとづき、前記呼吸ユーザマーカを生成可能であることを特徴とする請求項１に記載の動作学習支援装置。
3. 前記制御処理部は、前記動作ガイダンスデータと前記モーションデータにもとづき、前記ユーザに動作に関連して与えるべきアドバイスを記述するデータを生成し、前記呼吸ガイダンスデータと前記呼吸データにもとづき、前記ユーザに呼吸に関連して与えるべきアドバイスを記述するデータを生成するアドバイス処理部をさらに含むことを特徴とする請求項１または２に記載の動作学習支援装置。
4. 前記ユーザの視線方向を撮影するカメラをさらに備え、
   前記制御処理部は、前記カメラが撮影した映像を、前記ヘッドマウントディスプレイに表示される映像の背景として合成することを特徴とする請求項１から３のいずれかに記載の動作学習支援装置。

Images