JP2010240185A - Apparatus for supporting motion learning - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus for supporting motion learning which supports user's learning of a predetermined motion and breathing associated with the predetermined motion. <P>SOLUTION: An HMD 30 is mounted to the head of a user 2. A respiration sensor 10 generates respiration data Dbrt according to the breathing of the user 2. A motion sensor 20 detects the motion of the body of the user 2, and generates motion data Dmot. A control unit 50 renders an instructor's motion to be learnt by the user 2 using three-dimensional computer graphics. The control unit 50 also visualizes breathing to be learnt by the user 2 and display the visualized breathing in the HMD 30. The control unit 50 renders the motion of the user him/her-self based on the motion data Dmot, and displays the rendered data in the HMD 30. Further, the control unit 50 visualizes the breathing of the user based on the respiration data Dbrt, and displays the visualized data in the HMD 30. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、動作学習支援装置に関する。   The present invention relates to a motion learning support apparatus.

わが国は様々な伝統文化、芸術、芸能などの知的財産を保有している。これらは、世代を超えて人から人へ脈々と受け継がれていくものであるが、現代人の生活様式や価値観の変化、多様化、あるいは地方の過疎化や高齢化の進行によって、それらの承継が困難になっている。   Japan has intellectual property such as various traditional cultures, arts and performing arts. These are handed down from generation to generation from person to person, but due to changes in the lifestyles and values of modern people, diversification, or the depopulation and aging of rural areas, Succession has become difficult.

近年、これらの文化財をアーカイブ化して後世に残す試みが始まっている。有形文化財については、写真やＣＧ（コンピュータグラフィックス）を用いて比較的容易にアーカイブ化することが可能である。ところが、日本舞踊をはじめとする無形文化財は、デジタル化（アーカイブ化）が難しい。   In recent years, attempts have been made to archive these cultural assets for future generations. Tangible cultural properties can be archived relatively easily using photographs and CG (computer graphics). However, intangible cultural properties such as Japanese dance are difficult to digitize (archive).

伝統舞踊やダンスなどを学習するシステムはこれまでにも研究が進められており、たとえば地域伝統舞踊における「動作の流れ」を学習するシステム（非特許文献１）、モーションキャプチャおよびＨＭＤ（ヘッドマウントディスプレイ）を用いたスポーツスキル学習システム（非特許文献２）などが提案されている。   Studies on traditional dance and dance learning systems have been studied so far, for example, a system for learning “flow of movement” in local traditional dance (Non-Patent Document 1), motion capture and HMD (head mounted display). A sports skill learning system using non-patent literature 2 is proposed.

またカメラからの実写画像に３次元（３Ｄ）ＣＧを合成するＭＲ（Mixed Reality）と呼ばれる技術がある。ＭＲは、文化財の復元や美術品の立体展示等にも利用される。   There is also a technique called MR (Mixed Reality) that synthesizes a three-dimensional (3D) CG with a real image from a camera. MR is also used for the restoration of cultural properties and the three-dimensional display of works of art.

特開２００６−２３１０００号公報JP 2006-231000 A

高橋 智也、松田 浩一、海賀 考明、長瀬 一男、「地域伝統舞踊における「動作の流れ」を教えてくれる学習支援システム」、インタラクション２００８論文集、日本、ｐｐ．１３３−１４０Tomoya Takahashi, Koichi Matsuda, Noriaki Kaiga, Kazuo Nagase, “Learning support system that teaches the“ flow of movement ”in regional traditional dance”, Interaction 2008, Japan, pp. 133-140 本荘 直樹、井坂 忠夫、満田 隆、川村 貞夫、「ＨＭＤを用いたスポーツスキルの学習方法の提案」、ＴＶＲＳＪ Ｖｏｌ．１０ Ｎｏ．１ ｐｐ．６３−７０、２００５Naoki Honjo, Tadao Isaka, Takashi Mitsuda, Sadao Kawamura, “Suggestion of Learning Method for Sports Skills Using HMD”, TVRSJ Vol. 10 No. 1 pp. 63-70, 2005 角田 哲也、大石 岳史、池内 克史、「バーチャル飛鳥京：復号現実感による遺跡の復元」、第３回デジタルコンテンツシンポジウム、２００７年６月、Tetsuya Tsunoda, Takeshi Oishi, Katsushi Ikeuchi, “Virtual Asukakyo: Restoration of Relics by Decoding Reality”, 3rd Digital Content Symposium, June 2007,

しかしながら、これらのシステムは従来のテレビなどと同じく、２次元平面上に写し出された映像を見習って学習を行うシステムである。したがって学習者（ユーザ）は、奥行きの感覚を掴むことができず、実際にどの程度、体を動かせばよいのか認識しにくいという問題がある。   However, these systems, like conventional televisions, are systems that learn by watching images projected on a two-dimensional plane. Therefore, there is a problem that the learner (user) cannot grasp the sense of depth and cannot recognize how much the body should actually be moved.

また本発明者は、こうした動作学習用のシステムについて考察するにあたり、動作と呼吸が密接な関係を有することを認識するに至った。たとえば人間は、椅子に座った状態から立ち上がるときには息を吸い込み、反対に椅子に座るときは息を吐きだす傾向にある。あるいは、空を見上げるときに息を吸い、下を見下ろすときには息を吐く。このように人間の呼吸は、無意識ではあるが動作と密接な関係を有している。   Further, the present inventor has come to recognize that movement and respiration have a close relationship in considering such a movement learning system. For example, humans tend to inhale when standing up from a chair, and exhale when sitting on a chair. Alternatively, inhale when looking up at the sky and exhale when looking down. Thus, human breathing is unconscious but has a close relationship with movement.

翻って、舞踊やダンス、あるいは太極拳のような演武に関しても、動作と呼吸は密接な関係にあるといえる。走り幅跳びの選手が、ジャンプの前に息を吸い込んでからジャンプするか、あるいは息を吐き出してからジャンプするのかで、跳躍距離は大きく変わってくるであろう。したがって動作とシンクロした正しい呼吸法を身に付けることが、その動作を学習するために非常に有効であるといえる。なお以上の考察を、本発明の分野における共通の一般知識の範囲として捉えてはならず、さらに言えば、上記考察自体が、本発明者がはじめて想到したものである。   On the other hand, it can be said that movement and breathing are closely related to dance, dance, or performance like Tai Chi. The jumping distance will vary greatly depending on whether the long jump player inhales before jumping and then jumps or exhales and jumps. Therefore, it can be said that it is very effective for learning the movement to acquire the correct breathing method synchronized with the movement. It should be noted that the above consideration should not be regarded as a range of common general knowledge in the field of the present invention, and moreover, the above-described consideration itself has been conceived for the first time by the present inventors.

本発明はかかる状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、動作と呼吸を同時に学習することが可能なシステムの提供にある。   The present invention has been made in view of such a situation, and one of exemplary purposes of an aspect thereof is to provide a system capable of learning movement and respiration at the same time.

本発明のある態様は、ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置に関する。この動作学習支援装置は、ユーザの頭部に装着されるヘッドマウントディスプレイと、ユーザが吐き出し、あるいは吸い込む息の量を検出し、呼吸データを生成する呼吸センサと、ユーザの体の所定の箇所に取り付けられるセンサに応答してユーザの体の動きを検出し、ユーザの動きを記述するモーションデータを生成するモーションセンサと、ヘッドマウントディスプレイに表示すべき映像データを生成し、ヘッドマウントディスプレイに表示させる制御処理部と、を備える。
予め、ユーザが学習すべき動作を演ずる講師が、３次元コンピュータグラフィックスを用いてモデリングされ、動作ガイダンスデータとして準備されている。また、ユーザが動作と同期して学習すべき呼吸を記述する呼吸ガイダンスデータが準備されている。
制御処理部は、動作ゴールマーカ生成部、呼吸ゴールマーカ生成部、動作ユーザマーカ生成部、呼吸ユーザマーカ生成部を含む。動作ゴールマーカ生成部は、動作ガイダンスデータを受け、講師に対応する３次元オブジェクトをレンダリングし、ヘッドマウントディスプレイに動作ゴールマーカとして表示する。呼吸ゴールマーカ生成部は、呼吸ガイダンスデータにより記述される呼吸を可視化し、ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する。動作ユーザマーカ生成部は、モーションデータにもとづき、ユーザをモデリングした３次元オブジェクトをレンダリングし、動作ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに動作ユーザマーカとして表示する。呼吸ユーザマーカ生成部は、呼吸データにもとづきユーザの息を可視化し、呼吸ゴールマーカと対比可能な態様にてヘッドマウントディスプレイに呼吸ユーザマーカとして表示する。 An aspect of the present invention relates to a motion learning support apparatus that supports a user to learn a predetermined motion and breathing associated therewith. This motion learning support device includes a head mounted display that is worn on the user's head, a breath sensor that detects the amount of breath that the user exhales or inhales, and generates respiratory data, and a predetermined part of the user's body. A motion sensor that detects the movement of the user's body in response to the attached sensor and generates motion data describing the user's movement, and video data to be displayed on the head mounted display are generated and displayed on the head mounted display. A control processing unit.
An instructor who performs an operation to be learned by a user is modeled in advance using three-dimensional computer graphics and prepared as operation guidance data. In addition, respiration guidance data describing respiration that the user should learn in synchronization with the operation is prepared.
The control processing unit includes an action goal marker generation unit, a breathing goal marker generation unit, an action user marker generation unit, and a breathing user marker generation unit. The action goal marker generation unit receives the action guidance data, renders a three-dimensional object corresponding to the lecturer, and displays it as an action goal marker on the head mounted display. The breathing goal marker generating unit visualizes the breath described by the breathing guidance data and displays it as a breathing goal marker on the head mounted display. The motion user marker generation unit renders a three-dimensional object that models the user based on the motion data, and displays it as a motion user marker on the head mounted display in a manner that can be compared with the motion goal marker. The breathing user marker generation unit visualizes the user's breath based on the breathing data, and displays it as a breathing user marker on the head mounted display in a manner that can be compared with the breathing goal marker.

この態様によれば、ユーザは、自らの動作および呼吸を同時に効率的に学習することができる。   According to this aspect, the user can learn his / her movement and breathing efficiently at the same time.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を、方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   Note that any combination of the above-described components and the expression of the present invention converted between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.

本発明によれば、動作と呼吸を関連づけて学習することができる。   According to the present invention, it is possible to learn by associating movement and breathing.

実施の形態に係る動作学習支援装置の構成を示す図である。It is a figure which shows the structure of the action learning assistance apparatus which concerns on embodiment. 図１の呼吸センサの第１の構成例を示す図である。It is a figure which shows the 1st structural example of the respiration sensor of FIG. 図３（ａ）、（ｂ）は、図１の呼吸センサの第２の構成例を示す図である。3A and 3B are diagrams showing a second configuration example of the respiration sensor of FIG. 図１のＨＭＤに表示される映像を示す図である。It is a figure which shows the image | video displayed on HMD of FIG. 図４の映像を生成するコンピュータの構成を示すブロック図である。It is a block diagram which shows the structure of the computer which produces | generates the image | video of FIG. 記録データの再生時のディスプレイの表示を示す図である。It is a figure which shows the display of the display at the time of reproduction | regeneration of recorded data.

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。   The present invention will be described below based on preferred embodiments with reference to the drawings. The same or equivalent components, members, and processes shown in the drawings are denoted by the same reference numerals, and repeated descriptions are omitted as appropriate. The embodiments do not limit the invention but are exemplifications, and all features and combinations thereof described in the embodiments are not necessarily essential to the invention.

実施の形態に係る動作学習支援装置１００は、ユーザ２がある動作を学習するのを支援するシステムであり、たとえばダンス、ゴルフのスイング、バッティングフォーム、指揮者の指揮法、伝統舞踊をはじめとするさまざまな動作の学習に適用できる。以下の実施の形態では、舞踊を学習するシステムを例に説明するが、本発明は特にそれに限定されるものではない。   The motion learning support apparatus 100 according to the embodiment is a system that supports the user 2 learning a certain motion, and includes, for example, dance, golf swing, batting form, conductor's command method, and traditional dance. It can be applied to learning various actions. In the following embodiments, a system for learning dance will be described as an example, but the present invention is not particularly limited thereto.

図１は、実施の形態に係る動作学習支援装置１００の構成を示す図である。動作学習支援装置１００は、呼吸センサ１０、モーションセンサ２０、ＨＭＤ（ヘッドマウントディスプレイ）３０、カメラ４０、制御処理部５０を備える。   FIG. 1 is a diagram illustrating a configuration of a motion learning support apparatus 100 according to the embodiment. The motion learning support apparatus 100 includes a respiration sensor 10, a motion sensor 20, an HMD (head mounted display) 30, a camera 40, and a control processing unit 50.

動作学習支援装置１００について概説する。ユーザ２の頭部に取り付けられたＨＭＤ３０には、ユーザ２が学習すべき動作を示す映像（動作ガイダンス映像）と、学習すべき呼吸を可視化した映像（呼吸ガイダンス映像）が表示される。ユーザ２は、そのガイダンスにしたがって体を動かし、呼吸を行う。ユーザ２の動作はモーションセンサ２０によってキャプチャされ、ユーザ２をモデリングした画像（オブジェクト）が、ＨＭＤ３０にガイダンスともに表示される。ユーザ２は、自らをモデリングしたオブジェクトを、ＨＭＤ３０に表示されるガイダンスと近づけるように体を動かすことにより、動作を学習する。また、呼吸センサ１０よってユーザ２の呼吸がキャプチャされ、キャプチャされた呼吸の強弱が可視化されて、ＨＭＤ３０に表示される。ユーザ２は、可視化された呼吸が、呼吸ガイダンス映像と一致するように呼吸を行うことにより、動作と同期した正確な呼吸を学習する仕組みとなっている。   The motion learning support apparatus 100 will be outlined. On the HMD 30 attached to the user's 2 head, an image (operation guidance image) showing an operation to be learned by the user 2 and an image (respiration guidance image) visualizing the breath to be learned are displayed. The user 2 moves his body according to the guidance and breathes. The motion of the user 2 is captured by the motion sensor 20, and an image (object) modeling the user 2 is displayed on the HMD 30 together with the guidance. The user 2 learns the operation by moving his / her body so that the object modeling the user is brought closer to the guidance displayed on the HMD 30. In addition, the respiration sensor 10 captures the respiration of the user 2, and the captured respiration intensity is visualized and displayed on the HMD 30. The user 2 learns accurate breathing synchronized with the action by breathing so that the visualized breathing matches the breathing guidance video.

呼吸センサ１０は、ユーザ２の呼吸の強弱を測定するデバイスである。ユーザ２が呼吸センサ１０を口に咥えた状態で呼吸をすると、呼吸センサ１０内部に空気が吹き込まれ、あるいは空気が吸い出される。呼吸センサ１０は、たとえばエアフローセンサと呼ばれるデバイスを用いて構成することができる。   The respiration sensor 10 is a device that measures the intensity of respiration of the user 2. When the user 2 breathes with the breath sensor 10 in his mouth, air is blown into the breath sensor 10 or air is sucked out. The respiration sensor 10 can be configured using a device called an air flow sensor, for example.

図２は、図１の呼吸センサ１０の第１の構成例を示す図である。呼吸センサ１０は、筐体１２、入力部１４、流路１６、呼吸測定部１８を備える。
入力部１４は、ストローのような管であり、内部に開口を有している。流路１６は、その一端が入力部１４の開口部と連通しており、他端が筐体１２の外部と連通している。ユーザ２が入力部１４を口３に加えた状態で呼吸をすることにより、流路１６に息が吹き込まれ、あるいは空気が吸い出される。異なるユーザが呼吸センサ１０を共有する際の衛生面を考慮し、入力部１４はユーザごとに交換可能であることが好ましい。 FIG. 2 is a diagram illustrating a first configuration example of the respiration sensor 10 of FIG. The respiration sensor 10 includes a housing 12, an input unit 14, a flow path 16, and a respiration measurement unit 18.
The input unit 14 is a tube like a straw and has an opening inside. One end of the channel 16 communicates with the opening of the input unit 14, and the other end communicates with the outside of the housing 12. When the user 2 breathes in a state where the input unit 14 is applied to the mouth 3, breath is blown into the flow path 16 or air is sucked out. Considering hygiene when different users share the respiration sensor 10, the input unit 14 is preferably exchangeable for each user.

呼吸測定部１８は、エアフローセンサ１８ａ、マイコン１８ｂ、温度センサ１８ｃを含む。エアフローセンサ１８ａは、流路１６の経路上あるいはその終端部に設けられ、流路１６内を通過する気体の流量を測定し、測定された流量を示す流量データＤｆｌｗを出力する。なお、流量とは流速と同義であり、言い換えれば、ユーザ２が吐き出した息の量、あるいはユーザ２が吸い込んだ空気の量、さらに言い換えれば呼吸の強弱に対応する。たとえばエアフローセンサ１８ａとしては、市販されている芝浦電子製Ｆ６２０１−１が利用できる。マイコン１８ｂは、エアフローセンサ１８ａと制御処理部５０とのインタフェースユニットであり、流量データＤｆｌｗを制御処理部５０へと出力する。   The respiration measurement unit 18 includes an air flow sensor 18a, a microcomputer 18b, and a temperature sensor 18c. The air flow sensor 18a is provided on the path of the flow path 16 or at the end thereof, measures the flow rate of the gas passing through the flow path 16, and outputs flow rate data Dflw indicating the measured flow rate. The flow rate is synonymous with the flow velocity. In other words, the flow rate corresponds to the amount of breath exhaled by the user 2 or the amount of air inhaled by the user 2, and in other words, the intensity of breathing. For example, commercially available F6201-1 manufactured by Shibaura Electronics can be used as the air flow sensor 18a. The microcomputer 18 b is an interface unit between the airflow sensor 18 a and the control processing unit 50, and outputs the flow rate data Dflw to the control processing unit 50.

温度センサ１８ｃは、流路１６を流通する空気の温度を検出し、検出した温度を示す温度データＤｔｍｐを出力する。温度データＤｔｍｐは制御処理部５０へと入力される。温度センサ１８ｃとしては例えば熱電対が利用できる。   The temperature sensor 18c detects the temperature of the air flowing through the flow path 16 and outputs temperature data Dtmp indicating the detected temperature. The temperature data Dtmp is input to the control processing unit 50. For example, a thermocouple can be used as the temperature sensor 18c.

図２の呼吸センサ１０によれば、ユーザの口を介した呼吸の量および温度を測定することができる。図２の呼吸センサ１０は、口呼吸が鼻呼吸よりも支配的であるような運動・動作の学習に好適である。   According to the respiration sensor 10 of FIG. 2, the amount and temperature of respiration through the user's mouth can be measured. The respiration sensor 10 of FIG. 2 is suitable for learning of movement and movement in which mouth respiration is more dominant than nasal respiration.

図３（ａ）、（ｂ）は、図１の呼吸センサ１０の第２の構成例を示す図である。図２の呼吸センサが、口を介しての呼吸を測定するのに適しているのに対して、図３（ａ）、（ｂ）のセンサは、口および鼻を介しての呼吸を測定するのに適している。   FIGS. 3A and 3B are diagrams showing a second configuration example of the respiration sensor 10 of FIG. The respiration sensor of FIG. 2 is suitable for measuring respiration through the mouth, whereas the sensors of FIGS. 3 (a) and 3 (b) measure respiration through the mouth and nose. Suitable for

図３（ａ）は、呼吸センサ１０を外から見た図であり、図３（ｂ）は、呼吸センサ１０をユーザの顔と接触する側から見た図である。図３の呼吸センサ１０は、筐体１２、ストラップ１３、呼吸測定部１８を備える。筐体１２は、ユーザの鼻および口を覆うカップ状のマスクである。ストラップ１３は、筐体１２に取り付けられており、ユーザの頭部や耳に引っかけることにより、筐体１２をユーザの顔と固定せしめる。筐体１２には開口部１５が設けられており、ユーザが鼻もしくは口から吐き出した息は、開口部１５を介して筐体１２の外側に排出され、ユーザが鼻もしくは口から吸い込む空気は、開口部１５を介して筐体１２の内側に取り込まれる。なお、図２の流路１６は、筐体１２の内部全体に対応するものと捉えることができる。   3A is a view of the respiration sensor 10 as viewed from the outside, and FIG. 3B is a view of the respiration sensor 10 as viewed from the side in contact with the user's face. The respiration sensor 10 of FIG. 3 includes a housing 12, a strap 13, and a respiration measurement unit 18. The housing 12 is a cup-shaped mask that covers the user's nose and mouth. The strap 13 is attached to the housing 12, and the housing 12 is fixed to the user's face by being hooked on the user's head or ear. The casing 12 has an opening 15, and the breath exhaled from the nose or mouth by the user is discharged to the outside of the casing 12 through the opening 15, and the air that the user inhales from the nose or mouth is It is taken into the housing 12 through the opening 15. 2 can be regarded as corresponding to the entire inside of the housing 12.

図３（ｂ）に示すように、ユーザが吐き出し、あるいは吸い込んだ空気（息）が流通する経路上には、呼吸測定部１８を構成するエアフローセンサ１８ａ、温度センサ１８ｃが設けられる。マイコン１８ｂは筐体１２の外部に設けられる。なおエアフローセンサ１８ａ、温度センサ１８ｃの位置は、ユーザの呼吸の量および温度を測定するのに最適する箇所に設ければよく、図示される位置には限定されない。   As shown in FIG. 3B, an air flow sensor 18a and a temperature sensor 18c constituting the respiration measurement unit 18 are provided on a path through which air (breath) exhaled or inhaled by the user flows. The microcomputer 18 b is provided outside the housing 12. Note that the positions of the airflow sensor 18a and the temperature sensor 18c may be provided at locations that are optimal for measuring the amount and temperature of breathing by the user, and are not limited to the illustrated positions.

図３（ａ）、（ｂ）の呼吸センサ１０によれば、鼻を介した呼吸と口を介した呼吸を測定することができる。   According to the respiration sensor 10 of FIGS. 3A and 3B, respiration through the nose and respiration through the mouth can be measured.

図３（ａ）、（ｂ）の呼吸センサ１０の変形例として、筐体１２を２つの気室（不図示）に分割してもよい。具体的には、鼻に対応づけられる気室（鼻気室）と、口に対応づけられる気室（口気室）の２つである。そして、鼻気室と口気室それぞれに対して、開口部１５および呼吸測定部１８を設けてもよい。この変形例によれば、鼻呼吸の量、温度と、口呼吸の量、温度を、独立に測定することができ、ユーザが鼻から息を吸う、鼻から息を吐く、口から息を吸う、口から息を吐くという４つのアクションを検出、測定することができる。したがって、学習者が、鼻呼吸と口呼吸それぞれに対して別個に注意を払うべき運動、動作を学習するのに好適である。   As a modification of the respiration sensor 10 in FIGS. 3A and 3B, the housing 12 may be divided into two air chambers (not shown). Specifically, there are an air chamber (nasal air chamber) associated with the nose and an air chamber (mouth air chamber) associated with the mouth. And you may provide the opening part 15 and the respiration measurement part 18 with respect to a nasal cavity and a mouth chamber, respectively. According to this modification, the amount of nasal breathing, temperature and the amount of mouth breathing, temperature can be measured independently, and the user inhales through the nose, exhales through the nose, inhales through the mouth The four actions of exhaling through the mouth can be detected and measured. Therefore, it is suitable for the learner to learn movements and actions that should pay attention separately to nasal breathing and mouth breathing.

以上が呼吸センサ１０の構成例である。続いて、その動作を説明する。
ユーザ２が、入力部１４に対して息を吐き出すと、その息の流量が呼吸測定部１８によって検出される。呼吸測定部１８に用いられる一般的なエアフローセンサ１８ａは、指向性を有さず、その内部に流れる気体の流量の絶対値のみを検出するものであり、その方向までは判別できない場合が多い。ユーザ２が息を吐き出しているのか、あるいは吸い込んでいるのかを判定するために、温度センサ１８ｃから出力される温度データＤｔｍｐを利用することができる。 The configuration example of the respiration sensor 10 has been described above. Next, the operation will be described.
When the user 2 exhales to the input unit 14, the breath flow rate is detected by the breath measurement unit 18. The general air flow sensor 18a used in the respiration measuring unit 18 does not have directivity, and detects only the absolute value of the flow rate of the gas flowing in the inside, and the direction of the air flow sensor 18a cannot be determined in many cases. In order to determine whether the user 2 exhales or inhales, the temperature data Dtmp output from the temperature sensor 18c can be used.

一般的に人間が呼吸をする場合、はき出される息の温度Ｔ１と、吸い込まれる空気の温度Ｔ２は、総じて前者の方が高い。したがって、予め温度にしきい値を設定しておけば、温度データＤｔｍｐが所定のしきい値以上のとき、ユーザ２が息を吐き出しているものと判定し、しきい値以下のとき、息を吸い込んでいるものと判定することができる。   Generally, when a person breathes, the former breath temperature T1 and the sucked air temperature T2 are generally higher in the former. Therefore, if a threshold value is set in advance for the temperature, when the temperature data Dtmp is equal to or higher than the predetermined threshold value, it is determined that the user 2 is exhaling. It can be determined that

このように、図２もしくは図３の呼吸センサ１０によれば、
１ａ． ユーザ２が息を吐き出すアクション
１ｂ． ユーザ２が空気を吸い込むアクション
を判別できる。また、各アクションそれぞれにおいて、ユーザ２が息を吐く強さ、空気を吸い込む強さを検出することができる。以下、流量データＤｆｌｗおよび温度データＤｔｍｐを総称して呼吸データＤｂｒｔという。 Thus, according to the respiration sensor 10 of FIG. 2 or FIG.
1a. Action that user 2 exhales 1b. The user 2 can determine the action of inhaling air. In each action, it is possible to detect the strength with which the user 2 exhales and the strength with which the air is inhaled. Hereinafter, the flow rate data Dflw and the temperature data Dtmp are collectively referred to as respiration data Dbrt.

なお、息が吐き出されているか、吸い込まれているかを判定するためには、以下の技術も有効である。
たとえば、指向性を有する２つのエアフローセンサを、その向きが反対となるように設け、一方により吐き出される息の強度を、他方により吸い込まれる息の強度を測定してもよい。 In order to determine whether breath is being exhaled or inhaled, the following technique is also effective.
For example, two airflow sensors having directivity may be provided so that their directions are opposite to each other, and the intensity of the breath exhaled by one and the intensity of the breath inhaled by the other may be measured.

あるいは流路１６（図３では筐体１２の内部）を２つの経路に分岐させ、一方の経路に、第１の指向性を有する逆止弁と無指向性の第１のエアフローセンサを、他方の経路に、第２の指向性（第１と反対）を有する逆止弁と無指向性の第２のエアフローセンサを設けてもよい。この構成によれば、第１のエアフローセンサによって、ユーザが吐き出す息の強度を、第２のエアフローセンサによってユーザが吸い込む息の強度を、それぞれ測定できる。   Alternatively, the flow path 16 (inside the housing 12 in FIG. 3) is branched into two paths, and a check valve having a first directivity and a non-directional first air flow sensor are provided on one path and the other. The check valve having the second directivity (opposite to the first) and the non-directional second air flow sensor may be provided in the path. According to this configuration, it is possible to measure the strength of the breath exhaled by the user with the first air flow sensor and the strength of the breath inhaled by the user with the second air flow sensor.

以上が呼吸センサ１０の説明である。   The above is the description of the respiration sensor 10.

図１に戻る。モーションセンサ２０は、ユーザ２の動きを検出するデバイスである。モーションセンサ２０は、複数の磁気センサ２２ａ〜２２ｅ（磁気センサ２２総称する）、磁気発生源（トランスミッタ）２４、インタフェースユニット２６を含む。磁気発生源２４は、磁界を発生する。複数の磁気センサ２２は、ユーザ２の可動部分に取り付けられる。磁気センサ２２は、磁気発生源２４が発生した磁気を受信する受信機である。磁気発生源２４は、各磁気センサ２２が受信した磁気にもとづいて、各磁気センサ２２の位置（座標）、傾き、向きなどを取得する。モーションセンサ２０は市販されるものを利用すればよい。磁界を利用したモーションセンサを利用する代わりに、あるいはそれに加えてジャイロセンサなどを利用したモーションセンサを利用することも可能である。   Returning to FIG. The motion sensor 20 is a device that detects the movement of the user 2. The motion sensor 20 includes a plurality of magnetic sensors 22 a to 22 e (generically called magnetic sensors 22), a magnetic source (transmitter) 24, and an interface unit 26. The magnetic source 24 generates a magnetic field. The plurality of magnetic sensors 22 are attached to the movable part of the user 2. The magnetic sensor 22 is a receiver that receives magnetism generated by the magnetic source 24. The magnetic source 24 acquires the position (coordinates), tilt, orientation, and the like of each magnetic sensor 22 based on the magnetism received by each magnetic sensor 22. A commercially available motion sensor may be used. A motion sensor using a gyro sensor or the like can be used instead of or in addition to using a motion sensor using a magnetic field.

たとえば、磁気センサ２２は、頭部（２２ａ）、左右の腕（２２ｂ、２２ｃ）、左右の足（２２ｄ、２２ｅ）にそれぞれ取り付けられる。なお、磁気センサ２２は、ユーザ２が学習すべき動作に関連する箇所にのみ取り付けられればよいため、上半身のみ、あるいは下半身のみに取り付けられてもよいし、さらに多くの部位に取り付けられてもよい。   For example, the magnetic sensor 22 is attached to the head (22a), the left and right arms (22b, 22c), and the left and right feet (22d, 22e), respectively. The magnetic sensor 22 only needs to be attached to a location related to the operation that the user 2 should learn. Therefore, the magnetic sensor 22 may be attached to only the upper body or the lower body, or may be attached to more parts. .

インタフェースユニット２６、キャプチャしたユーザ２の動作に対応するデータ（以下、モーションデータという）Ｄｍｏｔを制御処理部５０へと出力する。   The interface unit 26 outputs data (hereinafter referred to as motion data) Dmot corresponding to the captured operation of the user 2 to the control processing unit 50.

カメラ４０は、たとえばカメラ４０の頭部、好ましくは目の付近に取り付けられ、ユーザの視点の先にある映像を撮影する。カメラ４０によって撮影された映像は、視界データＤｖｉｓとして制御処理部５０へと出力される。   The camera 40 is attached, for example, near the head of the camera 40, preferably in the vicinity of the eyes, and captures an image ahead of the user's viewpoint. The video imaged by the camera 40 is output to the control processing unit 50 as view data Dvis.

制御処理部５０には、モーションデータＤｍｏｔ、呼吸データＤｂｒｔ、視界データＤｖｉｓが入力される。制御処理部５０はこれらのデータにもとづき、ＨＭＤ３０に表示すべき映像を生成する。   Motion data Dmot, respiration data Dbrt, and visual field data Dvis are input to the control processing unit 50. The control processing unit 50 generates a video to be displayed on the HMD 30 based on these data.

以上が動作学習支援装置１００の全体構成である。
続いて、制御処理部５０の構成およびその処理について説明する。図４は、図１のＨＭＤ３０に表示される映像を示す図である。図５は、図４の映像を生成する制御処理部５０の構成を示すブロック図である。 The above is the overall configuration of the motion learning support apparatus 100.
Next, the configuration and processing of the control processing unit 50 will be described. FIG. 4 is a diagram showing an image displayed on the HMD 30 in FIG. FIG. 5 is a block diagram illustrating a configuration of the control processing unit 50 that generates the video in FIG. 4.

図４に示すように、ＨＭＤ３０に表示される映像７０は、動作に関する部分（動作表示領域）７２と、呼吸に関する部分（呼吸表示領域）７４を含む。２つの領域７２、７４は、互いに分離していてもよいし、オーバーラップして表示されてもよい。   As shown in FIG. 4, the image 70 displayed on the HMD 30 includes a part (motion display area) 72 related to movement and a part (breathing display area) 74 related to breathing. The two areas 72 and 74 may be separated from each other or may be displayed overlapping each other.

まず動作表示領域７２について説明する。動作表示領域７２には、講師オブジェクト８０、動作ゴールマーカ８２、動作ユーザマーカ８４、背景８６が描画される。動作表示領域７２の描画には、一般的な３次元コンピュータグラフィックス（３ＤＣＧ）技術が利用される。   First, the operation display area 72 will be described. In the motion display area 72, a lecturer object 80, a motion goal marker 82, a motion user marker 84, and a background 86 are drawn. A general three-dimensional computer graphics (3DCG) technique is used to draw the motion display area 72.

ユーザが学習すべき動作を実行する教師（講師）は、予め３ＤＣＧを用いてモデリングされており、３次元オブジェクト（ポリゴン）の形態で電子化されている。動作表示領域７２に描画される講師オブジェクト８０は、このモデリングされたオブジェクトをレンダリングして描画したものである。   A teacher (instructor) who performs an operation to be learned by the user is modeled in advance using 3DCG, and is digitized in the form of a three-dimensional object (polygon). The instructor object 80 drawn in the action display area 72 is a drawing obtained by rendering this modeled object.

３次元オブジェクトである講師オブジェクト８０をレンダリング処理する際の、カメラの座標（カメラ座標）、方向（カメラ方向）は、現実のユーザ２の視点の位置、視線方向と連動して変化する。つまりユーザ２が後ろに後退すれば、レンダリングのカメラの位置も後退するため、あたかも講師オブジェクト８０との距離が遠ざかったかのように描画される。また、ユーザ２が左右に動けば、それと連動してレンダリング用のカメラの座標が移動し、斜め方向から見た講師オブジェクト８０が表示されることになる。なおレンダリング用のカメラの画角（ビューボリウム）は、固定されていてもよいし、任意に調節可能であってもよい。これによりユーザ２は、仮想的な教師（講師オブジェクト８０）を任意の方向から見ることが可能となる。   When rendering the lecturer object 80, which is a three-dimensional object, the camera coordinates (camera coordinates) and direction (camera direction) change in conjunction with the actual viewpoint position and line-of-sight direction of the user 2. In other words, if the user 2 moves backward, the position of the rendering camera also moves backward, so that the drawing is performed as if the distance from the lecturer object 80 is increased. If the user 2 moves to the left or right, the coordinates of the rendering camera move in conjunction with the user 2 and the lecturer object 80 viewed from an oblique direction is displayed. Note that the angle of view (view volume) of the rendering camera may be fixed or arbitrarily adjustable. As a result, the user 2 can view the virtual teacher (lecturer object 80) from an arbitrary direction.

レンダリングされた講師オブジェクト８０は、背景８６に重ね合わせて表示される。背景８６は、図１のカメラ４０によって撮影された画像が利用することが好ましい。この場合、ユーザ２の視線の先に、あたかも仮想的な講師が存在するかのような臨場感をもたらすことになる。これはＭＲ（Mixed Reality）と称される技術を利用すればよい。   The rendered lecturer object 80 is displayed superimposed on the background 86. The background 86 is preferably used by an image taken by the camera 40 of FIG. In this case, a realistic sensation as if a virtual lecturer exists at the end of the line of sight of the user 2 is brought about. This may be achieved by using a technique called MR (Mixed Reality).

なお、背景８６としては、カメラ４０によって撮影された映像に代えて、予め用意された２次元の画像データを利用してもよい。あるいは、予めモデリングされた３次元仮想空間を、レンダリングすることで背景を描画してもよい。   Note that as the background 86, two-dimensional image data prepared in advance may be used instead of the video photographed by the camera 40. Alternatively, the background may be drawn by rendering a pre-modeled three-dimensional virtual space.

動作ユーザマーカ８４は、ユーザ２の視線から、ユーザ自身を描画したものである。動作ユーザマーカ８４は、ユーザをモデリングした３次元オブジェクトをレンダリングすることにより生成される。動作ユーザマーカ８４の腕や足などの所定の箇所の位置（座標）は、モーションセンサ２０によって取得されたモーションデータＤｍｏｔと連動している。たとえばユーザ２が右腕を上げると、磁気センサ２２ｂの位置が高くなり、モーションデータＤｍｏｔがその動作に応じた値となる。その結果、レンダリングされる動作ユーザマーカ８４の右腕も、ユーザ２の現実の動作と連動して持ち上げられる。   The action user marker 84 is drawn by the user himself / herself from the line of sight of the user 2. The motion user marker 84 is generated by rendering a three-dimensional object that models the user. The position (coordinates) of a predetermined location such as the arm or foot of the motion user marker 84 is linked to the motion data Dmot acquired by the motion sensor 20. For example, when the user 2 raises the right arm, the position of the magnetic sensor 22b increases and the motion data Dmot becomes a value corresponding to the operation. As a result, the right arm of the motion user marker 84 to be rendered is also lifted in conjunction with the actual motion of the user 2.

ＨＭＤ映像７０には、講師オブジェクト８０に加えて、動作ゴールマーカ８２が描画される。動作ゴールマーカ８２は、講師オブジェクト８０のモデルを動作ユーザマーカ８４に重ね合わせてレンダリングしたものである。つまり、講師オブジェクト８０と動作ゴールマーカ８２は、同じ３次元オブジェクト（ポリゴン）を異なるカメラ座標、カメラ方向によってレンダリングしたものであり、その動作は互いに連動している。   In addition to the lecturer object 80, an action goal marker 82 is drawn on the HMD video 70. The action goal marker 82 is a model in which the model of the lecturer object 80 is overlaid on the action user marker 84 and rendered. That is, the lecturer object 80 and the action goal marker 82 are the same three-dimensional object (polygon) rendered with different camera coordinates and camera directions, and their actions are linked to each other.

動作ゴールマーカ８２および動作ユーザマーカ８４は、半透明で描画することが望ましい。半透明のオブジェクトの描画は、透過度情報（α値）を利用したアルファブレンディングと称される手法を用いて実現可能である。動作ゴールマーカ８２および動作ユーザマーカ８４は、スケルトンマーカと総称される。   The motion goal marker 82 and the motion user marker 84 are desirably rendered translucent. Drawing of a translucent object can be realized using a technique called alpha blending using transparency information (α value). The movement goal marker 82 and the movement user marker 84 are collectively referred to as a skeleton marker.

動作ゴールマーカ８２、動作ユーザマーカ８４を半透明でレンダリングすれば、レンダリングする際に、動作ゴールマーカ８２と動作ユーザマーカ８４の前後関係を考慮する必要がなくなるため、Ｚバッファ法などを用いた陰影処理が不要となり、演算コストを下げることができ、ひいては、高速かつ滑らかなアニメーション描画が可能となる。   If the action goal marker 82 and the action user marker 84 are rendered translucent, it is not necessary to consider the context of the action goal marker 82 and the action user marker 84 at the time of rendering. Processing becomes unnecessary, the calculation cost can be reduced, and as a result, high-speed and smooth animation drawing becomes possible.

動作ゴールマーカ８２および動作ユーザマーカ８４は、互いに対比可能な態様にてＨＭＤ３０に表示される。ユーザ２は、ＨＭＤ３０に描画される講師オブジェクト８０を模して、動作ユーザマーカ８４が動作ゴールマーカ８２と一致するように、手足を動かすことにより、動作を学習することができる。   The motion goal marker 82 and the motion user marker 84 are displayed on the HMD 30 in a manner that can be compared with each other. The user 2 can learn the motion by moving the limb so that the motion user marker 84 matches the motion goal marker 82, imitating the lecturer object 80 drawn on the HMD 30.

続いて、図４の呼吸表示領域７４について説明する。呼吸表示領域７４には、呼吸ゴールマーカ９２および呼吸ユーザマーカ９４が表示される。呼吸ゴールマーカ９２は、ユーザ２が行うべき呼吸の向き（吸う、吐く）ならびに強弱を示す情報であり、呼吸を可視化したものである。たとえば呼吸ゴールマーカ９２は、横軸に時間を、縦軸に呼吸の強弱をとった波形として示される。正方向が吐く息を、負方向が吸う息に対応してもよい。   Next, the respiration display area 74 in FIG. 4 will be described. In the respiration display area 74, a respiration goal marker 92 and a respiration user marker 94 are displayed. The breathing goal marker 92 is information indicating the direction of breathing (sucking and exhaling) and strength of the user 2 to perform, and visualizes breathing. For example, the breathing goal marker 92 is shown as a waveform having time on the horizontal axis and breathing strength on the vertical axis. A breath exhaled in the positive direction may correspond to a breath inhaled in the negative direction.

カーソル９６は、現時刻においてユーザ２が行うべき呼吸を示している。時々刻々と変化する呼吸を表示するためには、たとえばカーソル９６の位置を固定しておき、呼吸ゴールマーカ９２の波形を左方向にスクロールしてもよいし、反対に、呼吸ゴールマーカ９２の波形を固定しておき、カーソル９６を横軸に沿って移動してもよい。あるいは、一般的なカラオケでは、現在歌うべき歌詞の位置を示すために歌詞が色分けして表示されるが、実施の形態に係る動作学習支援装置１００おいても、呼吸ゴールマーカ９２の波形を色分けすることで、現在の目標とすべき呼吸量をユーザに知覚させてもよい。   The cursor 96 indicates the breathing that the user 2 should perform at the current time. In order to display breathing that changes from moment to moment, for example, the position of the cursor 96 may be fixed, and the waveform of the breathing goal marker 92 may be scrolled to the left. May be fixed and the cursor 96 may be moved along the horizontal axis. Alternatively, in general karaoke, lyrics are displayed in different colors in order to indicate the position of the lyrics to be sung at the present time. However, even in the motion learning support apparatus 100 according to the embodiment, the waveform of the breathing goal marker 92 is displayed in different colors. By doing so, the user may perceive the amount of respiration that should be the current target.

呼吸ゴールマーカ９２および呼吸ユーザマーカ９４は、互いに対比可能な態様にてＨＭＤ３０に表示される。ユーザ２は、呼吸ゴールマーカ９２に習って呼吸を行う。ユーザ２の呼吸は呼吸センサ１０によって取得される。取得された呼吸を示す波形は、呼吸ユーザマーカ９４（点線）として呼吸表示領域７４に表示される。当然ながら、呼吸ユーザマーカ９４は過去の情報のみを含んでいることから、カーソル９６よりも左側（過去の領域）にのみ表示される。ユーザ２は、呼吸ユーザマーカ９４が呼吸ゴールマーカ９２と一致するように呼吸の向き（吸い込む、吐き出す）およびその強弱を調節する。その結果、動作と同期した呼吸法を学習することができる。   The breathing goal marker 92 and the breathing user marker 94 are displayed on the HMD 30 in a manner that can be compared with each other. The user 2 breathes according to the breathing goal marker 92. The respiration of the user 2 is acquired by the respiration sensor 10. The acquired waveform indicating respiration is displayed in the respiration display area 74 as a respiration user marker 94 (dotted line). Of course, since the breathing user marker 94 includes only past information, it is displayed only on the left side (past area) of the cursor 96. The user 2 adjusts the direction of breathing (inhale and exhale) and the intensity thereof so that the breathing user marker 94 matches the breathing goal marker 92. As a result, a breathing method synchronized with the movement can be learned.

なお上述したように、口呼吸と鼻呼吸を独立して測定可能な呼吸センサ１０を用いる場合には、動作表示領域７２には、口呼吸に関するゴールマーカ、ユーザマーカと、鼻呼吸に関するゴールマーカ、ユーザマーカを併せて表示することが好ましい。   As described above, when the respiratory sensor 10 capable of measuring mouth breathing and nasal breathing independently is used, the action display area 72 includes a goal marker for mouth breathing, a user marker, a goal marker for nasal breathing, It is preferable to display the user marker together.

上述したように、動作と呼吸は互いに密接な関連を有していることから、動作と呼吸を同時並列的に学習することは大きな相乗効果を生み、それらを個別に学習する場合に比べて短期間で動作を習得することが可能となる。   As described above, since movement and breathing are closely related to each other, learning movement and breathing simultaneously in parallel produces a great synergistic effect, compared to a case where they are learned individually. It becomes possible to learn the operation between them.

なお、呼吸表示領域７４の表示態様は図４のそれに限定されない。たとえば、現在のユーザ２の呼吸の向きおよび強さを示すインジケータ（呼吸ユーザマーカ９４）と、現在、ユーザ２が行うべき呼吸の向きおよび強さを示すインジケータ（呼吸ゴールマーカ９２）を、並べて表示してもよい。   The display mode of the breath display area 74 is not limited to that shown in FIG. For example, an indicator (breathing user marker 94) indicating the current breathing direction and intensity of the user 2 and an indicator (breathing goal marker 92) indicating the current breathing direction and intensity to be performed by the user 2 are displayed side by side. May be.

図５を参照し、ＨＭＤ映像７０を生成する制御処理部５０の構成を説明する。
制御処理部５０は、記憶部５２、信号処理部５４、表示処理部５６を備える。制御処理部５０は、汎用的なワークステーションやパーソナルコンピュータ、ゲーム機器を利用してもよいし、動作学習支援装置１００用に専用設計された電子計算機であってもよい。図５に示される制御処理部５０を構成する各ブロックは、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。 The configuration of the control processing unit 50 that generates the HMD video 70 will be described with reference to FIG.
The control processing unit 50 includes a storage unit 52, a signal processing unit 54, and a display processing unit 56. The control processing unit 50 may use a general-purpose workstation, a personal computer, or a game machine, or may be an electronic computer specially designed for the motion learning support apparatus 100. Each block constituting the control processing unit 50 shown in FIG. 5 can be constituted by a CPU, a memory, and other LSIs in terms of hardware, and realized by a program loaded in the memory in terms of software. Is done. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.

記憶部５２は、ハードディスク、光ディスクやメモリなどの、データやプログラムを格納するデバイスあるいは手段である。記憶部５２には、ユーザ２が学習すべき動作および呼吸を記録したガイダンスデータＧＤが格納されている。ガイダンスデータＧＤは、具体的には、動作を示すデータ（動作ガイダンスデータＧＤＭ）と、呼吸を示すデータ（呼吸ガイダンスデータＧＤＢ）を含んでいる。動作データは、図４の講師オブジェクト８０および動作ゴールマーカ８２のもととなる３次元オブジェクト（ポリゴンデータ）ならびにそのアニメーションを記述するデータを含む。後者は、各時刻における呼吸の向きおよび強弱を示すデータである。ガイダンスデータＧＤを記憶部５２に格納する代わりに、ネットワークを介して受信する形態であっても構わない。   The storage unit 52 is a device or means for storing data and programs, such as a hard disk, an optical disk, and a memory. The storage unit 52 stores guidance data GD in which actions and breaths to be learned by the user 2 are recorded. Specifically, the guidance data GD includes data indicating motion (motion guidance data GDM) and data indicating breathing (breathing guidance data GDB). The motion data includes a three-dimensional object (polygon data) that is the basis of the lecturer object 80 and the motion goal marker 82 in FIG. The latter is data indicating the direction and strength of breathing at each time. Instead of storing the guidance data GD in the storage unit 52, the guidance data GD may be received via a network.

信号処理部５４は、たとえばＣＰＵやグラフィックスプロセッサおよびそれらを制御するプログラムによって具現化されるいくつかの機能を含む。信号処理部５４は、動作ゴールマーカ生成部６０、呼吸ゴールマーカ生成部６２、動作ユーザマーカ生成部６４、呼吸ユーザマーカ生成部６６、背景画像生成部６８、画像合成部６９を含む。   The signal processing unit 54 includes several functions embodied by, for example, a CPU, a graphics processor, and a program for controlling them. The signal processing unit 54 includes a motion goal marker generation unit 60, a breathing goal marker generation unit 62, a motion user marker generation unit 64, a breathing user marker generation unit 66, a background image generation unit 68, and an image composition unit 69.

動作ゴールマーカ生成部６０は、動作ガイダンスデータＧＤＭにもとづき、図４のＨＭＤ映像７０（動作表示領域７２）に表示すべき講師オブジェクト８０および動作ゴールマーカ８２の画像データを生成する。   The motion goal marker generation unit 60 generates image data of the lecturer object 80 and the motion goal marker 82 to be displayed on the HMD video 70 (motion display area 72) of FIG. 4 based on the motion guidance data GDM.

呼吸ゴールマーカ生成部６２は、呼吸ガイダンスデータＧＤＢにもとづき、図４のＨＭＤ映像７０（呼吸表示領域７４）に表示すべき呼吸ゴールマーカ９２の画像データを生成する。   The breathing goal marker generating unit 62 generates image data of the breathing goal marker 92 to be displayed on the HMD video 70 (breathing display area 74) of FIG. 4 based on the breathing guidance data GDB.

動作ユーザマーカ生成部６４は、モーションセンサ２０によって取得されたモーションデータＤｍｏｔを受け、図４のＨＭＤ映像７０（動作表示領域７２）に表示すべき動作ユーザマーカ８４の画像データを生成する。   The motion user marker generation unit 64 receives the motion data Dmot acquired by the motion sensor 20 and generates image data of the motion user marker 84 to be displayed on the HMD video 70 (motion display area 72) of FIG.

背景画像生成部６８は、カメラ４０によって撮影された視界データＤｖｉｓを受け、図４のＨＭＤ映像７０（動作表示領域７２）に表示すべき背景８６の画像データを生成する。   The background image generation unit 68 receives the view data Dvis photographed by the camera 40 and generates image data of the background 86 to be displayed on the HMD video 70 (operation display area 72) of FIG.

画像合成部６９は、動作ゴールマーカ生成部６０、呼吸ゴールマーカ生成部６２、動作ユーザマーカ生成部６４、呼吸ユーザマーカ生成部６６、背景画像生成部６８、画像合成部６９が生成した各画像データを合成し、図４のＨＭＤ映像７０の画像データを生成する。表示処理部５６は、画像合成部６９が生成したＨＭＤ映像７０の画像データをＨＭＤ３０へと出力する。   The image synthesis unit 69 includes an action goal marker generation unit 60, a breathing goal marker generation unit 62, an action user marker generation unit 64, a breathing user marker generation unit 66, a background image generation unit 68, and each image data generated by the image synthesis unit 69. Are combined to generate image data of the HMD video 70 of FIG. The display processing unit 56 outputs the image data of the HMD video 70 generated by the image composition unit 69 to the HMD 30.

以上の構成により、ＨＭＤ３０に動作および呼吸の効率的な学習に役立つ映像を表示できる。   With the above configuration, an image useful for efficient learning of movement and breathing can be displayed on the HMD 30.

さらに制御処理部５０は、ユーザ２の動作をレコーディングする機能を備える。記録再生部５８は、モーションセンサ２０が取得したモーションデータＤｍｏｔと呼吸センサ１０が取得した呼吸データＤｂｒｔを、記憶部５２に記録データＲＤとして保存し、また記録データＲＤを読み出す。つまり制御処理部５０は、記録データＲＤを再生する機能を備えている。具体的には、動作ユーザマーカ生成部６４は、モーションセンサ２０からのリアルタイムのモーションデータＤｍｏｔに代えて、記録再生部５８が記憶部５２から読み出した記録データＲＤに含まれるモーションデータＤｍｏｔを利用して、動作ユーザマーカ８４を再生する。同様に呼吸ユーザマーカ生成部６６は、呼吸センサ１０からのリアルタイムの呼吸データＤｂｒｔに代えて、記録再生部５８が読み出した記録データＲＤに含まれる呼吸データＤｂｒｔを利用して呼吸ユーザマーカ９４を再生する。再生時には、スロー再生、早送り、巻き戻しなども可能となっている。   Further, the control processing unit 50 has a function of recording the operation of the user 2. The recording / reproducing unit 58 stores the motion data Dmot acquired by the motion sensor 20 and the respiration data Dbrt acquired by the respiration sensor 10 in the storage unit 52 as recording data RD, and reads out the recording data RD. That is, the control processing unit 50 has a function of reproducing the recording data RD. Specifically, the motion user marker generation unit 64 uses the motion data Dmot included in the recording data RD read from the storage unit 52 by the recording / playback unit 58 instead of the real-time motion data Dmot from the motion sensor 20. Then, the operation user marker 84 is reproduced. Similarly, the breathing user marker generation unit 66 reproduces the breathing user marker 94 using the breathing data Dbrt included in the recording data RD read out by the recording / playback unit 58 instead of the real-time breathing data Dbrt from the breathing sensor 10. To do. During playback, slow playback, fast forward, rewind, etc. are also possible.

この再生機能により、ユーザ２は、先に行った学習動作を事後的に再生することができる。なお、再生時の３ＤＣＧレンダリングの際のカメラ座標やカメラの向きなどは、ユーザ２が自由に設定可能である。これにより、ユーザ２は、第３者的な視点から自らの姿勢および動作を見ることができ、学習の効率を高めることができる。また、過去の自分の動作および呼吸を記録しておくことにより、ユーザ２は自らの成長を実感することができる。図６は、記録データＲＤの再生時のディスプレイの表示画面を示す図である。図６に示すように、講師オブジェクト８０と動作ユーザマーカ８４は、別々に表示してもよいし、あるいはオーバーラップして表示させることも可能である。また、図６には示されないが、呼吸ユーザマーカ９４と呼吸ゴールマーカ９２を併せて、あるいは単独で表示してもよい。なお、図６に示す学習確認用の画面は、ＨＭＤ３０に表示してもよいし、別途も受けられた一般的なディスプレイ装置に表示してもよい。   With this reproduction function, the user 2 can reproduce the learning operation performed earlier afterwards. Note that the user 2 can freely set camera coordinates, camera orientation, and the like during 3DCG rendering during playback. Thereby, the user 2 can see his / her posture and action from a third-party viewpoint, and can improve the efficiency of learning. In addition, by recording past actions and breathing, the user 2 can feel his own growth. FIG. 6 is a diagram showing a display screen on the display when the recording data RD is reproduced. As shown in FIG. 6, the lecturer object 80 and the motion user marker 84 may be displayed separately or may be displayed in an overlapping manner. Although not shown in FIG. 6, the breathing user marker 94 and the breathing goal marker 92 may be displayed together or independently. Note that the learning confirmation screen shown in FIG. 6 may be displayed on the HMD 30 or may be displayed on a general display device received separately.

さらに制御処理部５０は、ユーザ２に対して、アドバイスを与える機能を備えている。アドバイス処理部５９は、動作ガイダンスデータＧＤＭ、呼吸ガイダンスデータＧＤＢと、モーションデータＤｍｏｔと、呼吸データＤｂｒｔを受ける。
ユーザ２が動作および呼吸を学習する最中において、アドバイス処理部５９は、モーションセンサ２０が取得したモーションデータＤｍｏｔが示す各磁気センサ２２の座標、つまり体の各部位の座標を、動作ガイダンスデータＧＤＭが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部５９は、呼吸センサ１０が取得した呼吸データＤｂｒｔを呼吸ガイダンスデータＧＤＢが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。動作および呼吸に関するアドバイスを示すデータは、たとえば「右手をもっと前に」、「強く息を吐いて」などのテキスト形式であり、画像合成部６９は、図４のＨＭＤ映像７０に設けられたアドバイス表示領域７６にアドバイスを示す情報を提示する。 Furthermore, the control processing unit 50 has a function of giving advice to the user 2. The advice processing unit 59 receives the operation guidance data GDM, the respiration guidance data GDB, the motion data Dmot, and the respiration data Dbrt.
While the user 2 learns motion and breathing, the advice processing unit 59 uses the motion guidance data GDM to indicate the coordinates of each magnetic sensor 22 indicated by the motion data Dmot acquired by the motion sensor 20, that is, the coordinates of each part of the body. Is compared with the correct coordinates of the part indicated by the data, and data indicating advice according to the difference is generated. Similarly, the advice processing unit 59 compares the respiration data Dbrt acquired by the respiration sensor 10 with correct respiration indicated by the respiration guidance data GDB, and generates data indicating advice according to the difference. The data indicating the action and breathing advice is, for example, a text format such as “move your right hand forward”, “exhale strongly”, and the image composition unit 69 provides advice provided in the HMD video 70 of FIG. Information indicating advice is presented in the display area 76.

ユーザ２が記録データＲＤを再生する際には、アドバイス処理部５９は、記録データＲＤに含まれるモーションデータＤｍｏｔが示す各磁気センサ２２の座標、つまり体の各部位の座標を、動作ガイダンスデータＧＤＭが示す部位の正しい座標とを比較し、その差分に応じたアドバイスを示すデータを生成する。同様にアドバイス処理部５９は、記録データＲＤに含まれる呼吸データＤｂｒｔを、呼吸ガイダンスデータＧＤＢが示す正しい呼吸と比較し、その差分に応じたアドバイスを示すデータを生成する。図６に示すように、再生時の表示画面にもアドバイス表示領域７６が設けられており、アドバイスを示すテキスト情報が提示される。さらに、アドバイス処理部５９は、アドバイスの対象となる体の部位を示すマークの画像データ（アドバイスマーカ）８５を生成してもよい。アドバイスマーカ８５を表示することで、ユーザ２は、視覚的に自らの動作の問題点を把握でき、それを矯正することができる。   When the user 2 reproduces the recording data RD, the advice processing unit 59 uses the motion guidance data GDM to indicate the coordinates of each magnetic sensor 22 indicated by the motion data Dmot included in the recording data RD, that is, the coordinates of each part of the body. Is compared with the correct coordinates of the part indicated by the data, and data indicating advice according to the difference is generated. Similarly, the advice processing unit 59 compares the respiration data Dbrt included in the recording data RD with the correct respiration indicated by the respiration guidance data GDB, and generates data indicating advice according to the difference. As shown in FIG. 6, an advice display area 76 is also provided on the display screen during reproduction, and text information indicating advice is presented. Further, the advice processing unit 59 may generate image data (advice marker) 85 of a mark indicating a body part that is an advice target. By displaying the advice marker 85, the user 2 can visually grasp the problem of his / her own operation and correct it.

以上、実施の形態を説明した。実施の形態は例示であり、さまざまな変形例が可能であり、そうした変形例も本発明に含まれることは当業者に理解されるところである。   The embodiment has been described above. The embodiments are exemplifications, and various modifications are possible, and those skilled in the art will understand that such modifications are also included in the present invention.

２…ユーザ、１００…動作学習支援装置、１０…呼吸センサ、１２…筐体、１３…ストラップ、１４…入力部、１５…開口部、１６…流路、１８…呼吸測定部、１８ａ…エアフローセンサ、１８ｂ…マイコン、１８ｃ…温度センサ、２０…モーションセンサ、２２…磁気センサ、２４…磁気発生源、２６…インタフェースユニット、３０…ＨＭＤ、４０…カメラ、５０…コンピュータ、５２…記憶部、５４…信号処理部、５６…表示処理部、５８…記録再生部、５９…アドバイス処理部、６０…動作ゴールマーカ生成部、６２…呼吸ゴールマーカ生成部、６４…動作ユーザマーカ生成部、６６…呼吸ユーザマーカ生成部、６８…背景画像生成部、６９…画像合成部、ＧＤ…ガイダンスデータ、ＧＤＭ…動作ガイダンスデータ、ＧＤＢ…呼吸ガイダンスデータ、７０…ＨＭＤ映像、７２…動作表示領域、７４…呼吸表示領域、８０…講師オブジェクト、８２…動作ゴールマーカ、８４…動作ユーザマーカ、８６…背景、９２…呼吸ゴールマーカ、９４…呼吸ユーザマーカ、９６…カーソル。 DESCRIPTION OF SYMBOLS 2 ... User, 100 ... Motion learning support apparatus, 10 ... Respiration sensor, 12 ... Housing | casing, 13 ... Strap, 14 ... Input part, 15 ... Opening part, 16 ... Flow path, 18 ... Respiration measurement part, 18a ... Airflow sensor , 18b ... microcomputer, 18c ... temperature sensor, 20 ... motion sensor, 22 ... magnetic sensor, 24 ... magnetic source, 26 ... interface unit, 30 ... HMD, 40 ... camera, 50 ... computer, 52 ... storage unit, 54 ... Signal processing unit 56 ... Display processing unit 58 ... Recording / playback unit 59 ... Advice processing unit 60 ... Motion goal marker generation unit 62 ... Breathing goal marker generation unit 64 ... Motion user marker generation unit 66 ... Breathing user Marker generator, 68 ... background image generator, 69 ... image composition unit, GD ... guidance data, GDM ... motion guidance data, GDB ... breathing gas Dance data, 70 ... HMD video, 72 ... motion display area, 74 ... respiration display area, 80 ... instructor object, 82 ... motion goal marker, 84 ... motion user marker, 86 ... background, 92 ... respiration goal marker, 94 ... respiration User marker, 96 ... cursor.

Claims (4)

ユーザが所定の動作およびそれと連動した呼吸を学習するのを支援する動作学習支援装置であって、
前記ユーザの頭部に装着されるヘッドマウントディスプレイと、
前記ユーザが吐き出し、あるいは吸い込む息の量を検出し、呼吸データを生成する呼吸センサと、
前記ユーザの体の所定の箇所に取り付けられるセンサに応答して前記ユーザの体の動きを検出し、前記ユーザの動きを記述するモーションデータを生成するモーションセンサと、
前記ヘッドマウントディスプレイに表示すべき映像データを生成し、前記ヘッドマウントディスプレイに表示させる制御処理部と、
を備え、
前記制御処理部は、
前記ユーザが学習すべき動作を演ずる講師を３次元コンピュータグラフィックスを用いてモデリングして生成された動作ガイダンスデータを受け、前記講師に対応する３次元オブジェクトをレンダリングし、前記ヘッドマウントディスプレイに動作ゴールマーカとして表示する動作ゴールマーカ生成部と、
前記ユーザが学習すべき呼吸を記述する呼吸ガイダンスデータを受け、前記呼吸ガイダンスデータにより記述される呼吸を可視化し、前記ヘッドマウントディスプレイに呼吸ゴールマーカとして表示する呼吸ゴールマーカ生成部と、
前記モーションデータにもとづき、前記ユーザをモデリングした３次元オブジェクトをレンダリングし、前記動作ゴールマーカと対比可能な態様にて前記ヘッドマウントディスプレイに動作ユーザマーカとして表示する動作ユーザマーカ生成部と、
前記呼吸データにもとづき前記ユーザの息を可視化し、前記呼吸ゴールマーカと対比可能な態様にて前記ヘッドマウントディスプレイに呼吸ユーザマーカとして表示する呼吸ユーザマーカ生成部と、
を含むことを特徴とする動作学習支援装置。 An action learning support device for supporting a user to learn a predetermined action and breathing associated therewith,
A head-mounted display worn on the user's head;
A respiration sensor that detects the amount of breath that the user exhales or inhales and generates respiration data;
A motion sensor that detects motion of the user's body in response to a sensor attached to a predetermined location of the user's body and generates motion data describing the user's motion;
A control processing unit for generating video data to be displayed on the head mounted display and displaying the data on the head mounted display;
With
The control processing unit
The operation guidance data generated by modeling the instructor performing the operation to be learned by the user using 3D computer graphics is received, the 3D object corresponding to the instructor is rendered, and the operation goal is displayed on the head mounted display. An action goal marker generator to be displayed as a marker;
A breathing goal marker generating unit that receives breathing guidance data describing breathing to be learned by the user, visualizes breathing described by the breathing guidance data, and displays the breathing goal marker on the head-mounted display;
Based on the motion data, a three-dimensional object that models the user is rendered, and an operation user marker generation unit that displays as an operation user marker on the head-mounted display in a manner that can be compared with the operation goal marker;
A breathing user marker generating unit that visualizes the breath of the user based on the breathing data and displays it as a breathing user marker on the head-mounted display in a manner comparable to the breathing goal marker;
A motion learning support apparatus comprising: 前記制御処理部は、
前記モーションデータおよび前記呼吸データを記録する記憶部をさらに含み、
前記動作ユーザマーカ生成部は、前記記憶部に記録された前記モーションデータにもとづき、前記動作ユーザマーカを生成可能であり、前記呼吸ユーザマーカ生成部は、前記記憶部に記録された前記呼吸データにもとづき、前記呼吸ユーザマーカを生成可能であることを特徴とする請求項１に記載の動作学習支援装置。 The control processing unit
A storage unit for recording the motion data and the respiration data;
The operation user marker generation unit can generate the operation user marker based on the motion data recorded in the storage unit, and the respiration user marker generation unit adds the respiration data recorded in the storage unit to the respiration data. The motion learning support apparatus according to claim 1, wherein the breathing user marker can be generated on the basis. 前記制御処理部は、前記動作ガイダンスデータと前記モーションデータにもとづき、前記ユーザに動作に関連して与えるべきアドバイスを記述するデータを生成し、前記呼吸ガイダンスデータと前記呼吸データにもとづき、前記ユーザに呼吸に関連して与えるべきアドバイスを記述するデータを生成するアドバイス処理部をさらに含むことを特徴とする請求項１または２に記載の動作学習支援装置。   The control processing unit generates data describing advice to be given to the user in relation to the operation based on the operation guidance data and the motion data, and based on the respiration guidance data and the respiration data, The motion learning support apparatus according to claim 1, further comprising an advice processing unit that generates data describing advice to be given in relation to respiration. 前記ユーザの視線方向を撮影するカメラをさらに備え、
前記制御処理部は、前記カメラが撮影した映像を、前記ヘッドマウントディスプレイに表示される映像の背景として合成することを特徴とする請求項１から３のいずれかに記載の動作学習支援装置。 The camera further includes a camera that captures the user's line-of-sight direction,
4. The motion learning support apparatus according to claim 1, wherein the control processing unit synthesizes an image captured by the camera as a background of an image displayed on the head mounted display. 5.

Images