JP6307457B2 - Exercise state feedback method, system, and program - Google Patents

Description

この発明は、運動上達のための運動状態をフィードバックする技術に関する。   The present invention relates to a technique for feeding back a motion state for improving exercise.

野球におけるピッチング、バッティングやゴルフにおけるスイング、パッティング等のスポーツの基本動作を適切に習得する上で、行為者が自身の身体動作を客観的に把握することは極めて重要である。行為者が鏡に映った自身の姿を見ながら動作を行うことや、行為者の動作を映像に記録しそれを行為者自身が観察して動作の問題点を発見することは、動作の改善に有効なアプローチである。しかし、身体動作の観察で得られる情報は身体部位の力学的運動状態のみであり、動作を生み出す筋の活動状態を直接把握することはできない。   It is extremely important that an actor objectively grasps his / her physical movements in order to appropriately acquire basic movements of sports such as pitching in baseball, swinging in batting, golf, and putting. It is an improvement of the behavior that the actor performs while looking at himself in the mirror, or the behavior of the actor is recorded on the video and the actor himself observes it to find the problem of the behavior. This is an effective approach. However, the information obtained by observing the body movement is only the mechanical movement state of the body part, and the activity state of the muscle that produces the movement cannot be directly grasped.

これに対して、筋電位信号により筋の活動状態を取得し、その情報を身体部位の映像に重畳して提示する技術がある。しかし、映像を見ながら動作を行うことはタスクを著しく阻害する場合がある。   On the other hand, there is a technique for acquiring a muscle activity state using a myoelectric potential signal and presenting the information superimposed on a body part image. However, performing an operation while watching a video may significantly hinder the task.

一方、音響信号を聞きながら身体動作を行うことは容易であり、聴覚情報は視覚情報に比べて身体動作を行いながら同時に取得するのに適している。聴覚情報を利用して筋力発揮状態をタスク遂行中にリアルタイムで把握することができれば、行為者自身が力を発揮したタイミングや強さの確認が容易になり、身体動作における問題点の発見が促進される。そのため、筋の活動状態の変動を音響信号の特徴変化に反映させ、聴覚情報として行為者にリアルタイム提示する技術が提案されている。   On the other hand, it is easy to perform body movements while listening to acoustic signals, and auditory information is suitable for simultaneous acquisition while performing body movements compared to visual information. If the muscular strength state can be grasped in real time during task execution using auditory information, it becomes easier to confirm the timing and strength at which the actor himself exerts his power, and facilitates the discovery of problems in physical movement Is done. For this reason, a technique has been proposed in which changes in the activity state of muscles are reflected in changes in the characteristics of acoustic signals and presented to an actor in real time as auditory information.

同様に、運動のポイントとなる「ばらつき」や「リズム」などを映像や音で可視化・可聴化し、運動のコツを掴みやすくるす手法が提案されている。   Similarly, a technique has been proposed in which “variation” and “rhythm”, which are the points of exercise, are visualized and audible with images and sounds to make it easier to grasp the tips of exercise.

Md. A. R. Ahad et al., Motion history images: its variants a nd applications, Machine Vision and Applications, 2012.Md. A. R. Ahad et al., Motion history images: its variants a nd applications, Machine Vision and Applications, 2012. 三上ら，動作学習のための遅延同期ビデオフィードバックシステム，情報処理学会 コンシューマ・デバイス＆システム（CDS）研究会，CDS8-2, 2013.Mikami et al., Delayed Synchronous Video Feedback System for Motion Learning, IPSJ Consumer Device & System (CDS) Study Group, CDS8-2, 2013. 五十嵐ら,下肢運動状態の認知を支援する着用型発光センサスーツ,情報処理学会インタラクション2011.Igarashi et al., Wearable Luminescent Sensor Suit for Supporting Recognition of Lower Limb Movement State, Information Processing Society of Japan Interaction 2011. 松原正樹ら，「身体動作の連動性理解にむけた筋活動可聴化」，日本音響学会秋季研究発表会講演論文集，２０１２．Matsubara Masaki et al., “Muscularization of audible muscles for understanding the linkage of physical movements”, Acoustical Society of Japan Autumn Meeting, 2012. http://www.kecl.ntt.co.jp/openhouse/2014/exhibition/25/index.htmlhttp://www.kecl.ntt.co.jp/openhouse/2014/exhibition/25/index.html

上記のように、運動のポイントとなる「ばらつき」や「リズム」などを映像や音で可視化・可聴化する手法が提案されているが、「正しい運動」や「目標とする運動」が不明確なため、仮に「ばらつき」が少なくなり、「リズム」が一定になったとしても、それが運動の上達に繋がるとは言えない。   As mentioned above, methods for visualizing and audible “variation” and “rhythm”, which are the points of exercise, with images and sounds have been proposed, but “correct exercise” and “target exercise” are unclear. Therefore, even if the “variation” decreases and the “rhythm” becomes constant, it cannot be said that it leads to improvement of exercise.

つまり、現在の運動を可視化・可聴化するだけでは、運動の行為者は現在の運動が「正しい運動」や「目標とする運動」から近いのか、外れているのか分からないし、現在の運動を変化させた結果、その変化させた運動が「正しい運動」や「目標とする運動」に近づいたのか、外れたのかも分からない。   In other words, by just visualizing and audibly exercising the current exercise, the acter of the exercise does not know whether the current exercise is close to the “correct exercise” or the “target exercise” or is not, and changes the current exercise. As a result, it is not known whether the changed exercise has approached the “correct exercise” or the “target exercise” or has gone.

野球の投手の運動を例に挙げると、初動は「正しい運動」に近いが、途中から「正しい運動」から外れて、後半に「正しい」運動に戻っているかもしれない。しかしながら、このような判断がつかないため、現在の運動を可視化・可聴化するだけでは不十分であり、改善が望まれている。   Taking the baseball pitcher's movement as an example, the initial movement is close to the “correct exercise”, but it may be off the “correct exercise” in the middle and return to the “correct” exercise in the second half. However, since such a judgment cannot be made, it is not sufficient to visualize and audible the current exercise, and improvement is desired.

この発明は上記事情に着目してなされたもので、その目的とするところは、基準となる運動（正しい運動）に対する現在の運動の状態を被験者へフィードバックする運動状態のフィードバック方法、システム、及びプログラムを提供することにある。   The present invention has been made paying attention to the above circumstances, and its object is to provide an exercise state feedback method, system, and program for feeding back a current exercise state with respect to a reference exercise (correct exercise) to a subject. Is to provide.

（１）上記目的を達成するために、実施形態に係る運動状態のフィードバック方法は、所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の運動状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の運動状態を判定し、前記二次生体情報は、前記一次生体情報が取得された前記一次被検者の位置と対応する前記二次被検者の位置から取得された同種の情報であり、前記一次生体情報および前記二次生体情報は、少なくとも筋電位データを含み、前記一次被検者の運動状態と前記二次被検者の運動状態とを比較し、前記一次被検者の運動状態と前記二次被検者の運動状態の比較結果に応じて、運動状態が良いことを示すものであるときにより良い値に修正することで誇張した、或いは、運動状態が良い事を示すものでないときにより悪い値に修正することで矮小した前記二次生体情報の筋電位データに対応するフィードバック信号を出力する。
（２）さらに、上記（１）の運動状態のフィードバック方法において、前記フィードバック信号は、音響信号、画像信号、映像信号あるいはこれらの組み合わせを含む。
（３）実施形態に係る運動状態のフィードバックシステムは、上記（１）又は（２）に記載の運動状態のフィードバック方法を実行する。
（４）実施形態に係る運動状態のフィードバックプログラムは、上記（１）又は（２）に記載の運動状態のフィードバック方法をコンピュータに実行させる。
(1) In order to achieve the above object, the motion state feedback method according to the embodiment determines the motion state of the primary subject based at least on primary biological information acquired from the primary subject during a predetermined motion. Or, memorize and determine the movement state of the secondary subject based at least on the secondary biological information acquired from the secondary subject during the predetermined exercise, and the secondary biological information is acquired by the primary biological information The same kind of information acquired from the position of the secondary subject corresponding to the position of the primary subject, wherein the primary biological information and the secondary biological information include at least myoelectric potential data, Compare the movement state of the primary subject and the movement state of the secondary subject, and according to the comparison result of the movement state of the primary subject and the movement state of the secondary subject, the movement state is More when it is good Exaggerated by modifying the have value, or outputs a feedback signal corresponding to the myoelectric potential data modifying bad value in dwarf the secondary biometric information by time does not indicate that motion state is good.
(2) Further, in the motion state feedback method of (1), the feedback signal includes an acoustic signal, an image signal, a video signal, or a combination thereof.
( 3 ) The motion state feedback system according to the embodiment executes the motion state feedback method according to the above (1) or (2) .
( 4 ) The exercise state feedback program according to the embodiment causes a computer to execute the exercise state feedback method described in the above (1) or (2) .

すなわちこの発明によれば、基準となる運動（正しい運動）に対する現在の運動の状態の判定結果をフィードバックする運動状態のフィードバック方法、システム、及びプログラム提供することができる。   In other words, according to the present invention, it is possible to provide a motion state feedback method, system, and program for feeding back a determination result of a current motion state with respect to a reference motion (correct motion).

上記（１）の運動状態のフィードバック方法によれば、所定運動中の上級者やプロ（基準となる選手）から取得された一次生体情報に基づく運動状態（一次指標）と、実質的に同一の所定運動中の上達志望者（未熟練者）から取得された二次生体情報に基づく運動状態（二次指標）との比較結果（正しい運動との差分）から、上級者やプロの運動状態に対する上達志望者の運動状態（良し悪し）を判定し、判定結果に応じて誇張或いは矮小したフィードバックをして上達志願者の運動上達を支援することが可能となる。上記（４）のシステムおよび（５）のプログラムによっても同様の効果が得られる。   According to the exercise state feedback method of (1) above, the exercise state (primary index) based on the primary biological information acquired from an advanced person or a professional (reference player) during a predetermined exercise is substantially the same. From the comparison result (difference from correct exercise) with the exercise state (secondary index) based on the secondary biological information acquired from the aspiring candidates (unskilled people) during the predetermined exercise, It is possible to determine the exercise status (good or bad) of the aspiring applicant and provide exaggerated or reduced feedback according to the determination result to support the improvement of the aspiring applicant. The same effect can be obtained by the system (4) and the program (5).

図１は、運動上達のための運動状態のフィードバックシステムの一例を示す図である。FIG. 1 is a diagram illustrating an example of a feedback system for an exercise state for improving exercise. 図２は、運動状態判定装置のセンシング部の一例を示す図である。FIG. 2 is a diagram illustrating an example of a sensing unit of the exercise state determination device. 図３は、運動状態判定装置の状態判定部の一例を示す図である。FIG. 3 is a diagram illustrating an example of a state determination unit of the exercise state determination device. 図４は、運動状態のフィードバックシステムのフィードバック装置の一例を示す図である。FIG. 4 is a diagram illustrating an example of a feedback device of the feedback system for the exercise state. 図５は、運動状態判定装置による運動状態の判定処理の一例を示すフローチャートである。FIG. 5 is a flowchart illustrating an example of determination processing of the exercise state by the exercise state determination device. 図６は、フィードバック装置による運動状態のフィードバック処理の一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of the feedback process of the exercise state by the feedback device. 図７は、合成音／画像生成部の構成の一例を示すブロック図である。FIG. 7 is a block diagram illustrating an example of the configuration of the synthesized sound / image generation unit. 図８は、動作タイミング照合部の構成の一例を示すブロック図である。FIG. 8 is a block diagram illustrating an example of the configuration of the operation timing verification unit. 図９は、合成音／画像生成部の構成の他の例を示すブロック図である。FIG. 9 is a block diagram illustrating another example of the configuration of the synthesized sound / image generation unit. 図１０は、可聴化装置の構成の一例を示すブロック図である。FIG. 10 is a block diagram illustrating an example of the configuration of the audible device.

以下、図面を参照してこの発明に係わる実施形態を説明する。
本実施形態では、フィードバックシステム１００を構成する運動状態判定装置１３０による運動状態の判定、およびフィードバック装置１４０による判定結果のフィードバックについて説明する。また、運動の例として、野球の投球動作を取り上げて説明する。なお、本実施形態のフィードバックシステム１００を利用する運動としては野球に限定されるものではなく、また本実施形態で説明するフィードバックシステム１００は、運動上達のためだけに限定されるものではなく、リハビリテーション、技能伝承等に利用することもできる。 Embodiments according to the present invention will be described below with reference to the drawings.
In the present embodiment, the determination of the exercise state by the exercise state determination device 130 constituting the feedback system 100 and the feedback of the determination result by the feedback device 140 will be described. As an example of exercise, a baseball pitching operation will be described. Note that the exercise using the feedback system 100 of the present embodiment is not limited to baseball, and the feedback system 100 described in the present embodiment is not limited only to the improvement of exercise, and rehabilitation. It can also be used for skills transfer.

図１は、運動上達のための運動状態のフィードバックシステムの一例を示す図である。 フィードバックシステム１００は、運動状態判定装置１３０及びフィードバック装置１４０を備える。運動状態判定装置１３０は、センシング部１３１、状態判定部１３２を備える。   FIG. 1 is a diagram illustrating an example of a feedback system for an exercise state for improving exercise. The feedback system 100 includes an exercise state determination device 130 and a feedback device 140. The exercise state determination device 130 includes a sensing unit 131 and a state determination unit 132.

運動状態判定装置１３０およびフィードバック装置１４０のそれぞれは、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータやスマートフォンやタブレットなどのモバイル端末が所定のプログラムを実行することで構成されてもよい。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。出力装置２００は、例えば、液晶ディスプレイ等の表示装置を含む。   Each of the exercise state determination device 130 and the feedback device 140 includes, for example, a processor (for example, hardware including one or more central processing units (CPUs)), a memory (for example, a random-access memory (RAM) or a ROM (read). -only memory)), a general-purpose or dedicated computer, or a mobile terminal such as a smartphone or a tablet may execute a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The output device 200 includes a display device such as a liquid crystal display, for example.

センシング部１３１は、一次被検者及び二次被検者に取り付けられる複数の筋電位センサ１１０からの信号をセンシングする。なお、筋電位センサ１１０を取り付ける被験者（動作主体）は人に限定されるものではなく、動作主体であれば例えば人以外の動物であっても構わない。複数の筋電位センサ１１０は、電極等で構成され、各筋電位センサ１１０は筋の活動レベルに応じた筋電位信号（生体情報）を出力する。例えば、複数の筋電位センサ１１０はウェアに取付けられたウェアラブルセンサであって、各筋電位センサ１１０は一次被検者及び二次被検者の体の複数箇所（腕、足、胸）に対応するようにウェアに取付けられている。これにより、複数の筋電位センサ１１０は一次被検者及び二次被検者の体の複数箇所の筋の活動レベルに応じた筋電位信号（一次被検者からの一次生体情報及び二次被検者からの二次生体情報）を出力することができ、例えば、投球動作開始前から投球動作終了までの一定期間（即ち所定運動中）にわたる筋電位信号を出力することができる。また、複数の筋電位センサ１１０をリストバンド、グローブ等に取り付け、リストバンド、グローブ等の装着位置に応じた筋の活動レベルに応じた筋電位信号を取得するようにしてもよい。   The sensing unit 131 senses signals from a plurality of myoelectric potential sensors 110 attached to the primary subject and the secondary subject. Note that the subject (moving subject) to which the myoelectric potential sensor 110 is attached is not limited to a person, and may be an animal other than a person as long as it is a moving subject. The plurality of myoelectric potential sensors 110 are configured by electrodes or the like, and each myoelectric potential sensor 110 outputs a myoelectric potential signal (biological information) corresponding to the activity level of the muscle. For example, the plurality of myoelectric potential sensors 110 are wearable sensors attached to wear, and each myoelectric potential sensor 110 corresponds to a plurality of locations (arms, legs, chests) of the primary and secondary subjects. Installed on the wear to do. As a result, the plurality of myoelectric potential sensors 110 can detect myoelectric potential signals (primary biological information and secondary subjects from the primary subject) according to the activity levels of the muscles at multiple locations on the primary and secondary subjects' bodies. Secondary biometric information from the examiner) can be output, for example, a myoelectric potential signal can be output over a certain period of time (ie, during a predetermined movement) from the start of the pitching operation to the end of the pitching operation. Alternatively, a plurality of myoelectric potential sensors 110 may be attached to a wristband, a glove, etc., and a myoelectric signal corresponding to the muscle activity level corresponding to the wearing position of the wristband, glove, etc. may be acquired.

図２は、運動状態判定装置のセンシング部の一例を示す図である。
複数の筋電位センサ１１０からの複数の筋電位信号はセンシング部１３１に入力される。図２に示すように、センシング部１３１は、信号増幅器１３１ａ等を備えている。センシング部１３１は、信号増幅器１３１ａにより増幅された複数の筋電位信号をセンシングし、例えば、投球動作開始前から投球動作終了までの一定期間にわたる筋電位データを取得する。 FIG. 2 is a diagram illustrating an example of a sensing unit of the exercise state determination device.
A plurality of myoelectric potential signals from the plurality of myoelectric potential sensors 110 are input to the sensing unit 131. As shown in FIG. 2, the sensing unit 131 includes a signal amplifier 131a and the like. The sensing unit 131 senses a plurality of myoelectric potential signals amplified by the signal amplifier 131a, and acquires myoelectric potential data over a certain period from the start of the pitching operation to the end of the pitching operation, for example.

例えば、一次被検者に複数の筋電位センサ１１０を取り付け（一次被検者が複数の筋電位センサ１１０が取り付けられたウェアを着用し）、センシング部１３１が一定期間にわたる筋電位データ（一次生体情報）を取得する。同様に、二次被検者に複数の筋電位センサ１１０を取り付け（二次被検者が複数の筋電位センサ１１０が取り付けられたウェアを着用し）、センシング部１３１が一定期間にわたる筋電位データ（二次生体情報）を取得する。なお、一次被検者と二次被検者が同一のウェアを着用してもよいし、一次被検者と二次被検者の体格が異なる場合には異なるウェアを着用してもよいが、この場合、各ウェアにおける複数の筋電位センサ１１０の取り付け位置は実質的に対応する同一の位置となる。   For example, a plurality of myoelectric potential sensors 110 are attached to the primary subject (the primary subject wears wear with a plurality of myoelectric potential sensors 110 attached), and the sensing unit 131 detects myoelectric potential data (primary living body) over a certain period. Information). Similarly, a plurality of myoelectric potential sensors 110 are attached to the secondary subject (the secondary subject wears wear with a plurality of myoelectric potential sensors 110 attached), and the sensing unit 131 has myoelectric potential data over a certain period. (Secondary biometric information) is acquired. In addition, the primary subject and the secondary subject may wear the same wear, and if the primary subject and the secondary subject have different physiques, different wear may be worn. In this case, the attachment positions of the plurality of myoelectric potential sensors 110 in each wear are substantially the same corresponding positions.

例えば、一次被検者とは、上級者又はプロの投手等であり、二次被検者とは、野球の投球技術を上達したい者（上達志望者）である。上級者又はプロの投手１人からの筋電位データを取得し一次被検者からの筋電位データとしてもよいし、上級者又はプロの投手１００人からの筋電位データを取得し一次被検者からの筋電位データとしてもよい。例えば、統計的に上級者又はプロの投手１００人からの筋電位データを処理し理想の筋電位データを算出し、算出された筋電位データを一次被検者からの筋電位データとしてもよい。   For example, the primary examinee is a senior or a professional pitcher, and the secondary examinee is a person who wants to improve baseball pitching skills (aspiring candidates). Myoelectric potential data from one advanced pitcher or professional pitcher may be acquired and used as myoelectric potential data from a primary subject, or myoelectric potential data from 100 senior pitchers or professional pitchers may be acquired as a primary subject. It may be myoelectric potential data from. For example, myoelectric potential data from 100 advanced players or professional pitchers may be statistically processed to calculate ideal myoelectric potential data, and the calculated myoelectric potential data may be used as myoelectric potential data from the primary subject.

また、同一人物の１００回の投球動作からの筋電位データを取得し一次被検者からの筋電位データとしてもよい。例えば、上級者又はプロの投手１人の１００回の投球動作からの筋電位データを取得し一次被検者からの筋電位データとしてもよいし、一次被検者と二次被検者とを同一人物（上達志望者）とし、上達志望者の１００回の投球動作からの筋電位データを取得し二次被検者からの筋電位データとしてもよい。この場合、例えば、上達志望者が好調時に一次被検者となり、好調時以外（不調時）に二次被検者となる方法が考えられる。また、統計的に１００回の投球動作からの筋電位データを処理し理想の筋電位データを算出し、算出された筋電位データを一次被検者からの筋電位データとしてもよい。   Further, the myoelectric potential data from 100 pitching operations of the same person may be acquired and used as the myoelectric potential data from the primary subject. For example, myoelectric potential data from 100 pitching motions of one advanced player or professional pitcher may be acquired and used as myoelectric potential data from a primary subject, or a primary subject and a secondary subject. The myoelectric potential data from the 100th pitching operation of the aspiring candidate may be acquired and used as the myoelectric potential data from the secondary subject. In this case, for example, a method may be considered in which a candidate who wants to improve becomes a primary subject when favorable, and becomes a secondary subject when not well (during malfunction). Further, myoelectric potential data from 100 pitching motions may be statistically processed to calculate ideal myoelectric potential data, and the calculated myoelectric potential data may be used as myoelectric potential data from the primary subject.

図３は、運動状態判定装置１３０の状態判定部１３２の一例を示す図である。
状態判定部１３２は、判定器１３２ａ、運動状態記憶部１３２ｂ、切り替え器１３２ｃ、比較器１３２ｄを備える。 FIG. 3 is a diagram illustrating an example of the state determination unit 132 of the exercise state determination device 130.
The state determination unit 132 includes a determination unit 132a, an exercise state storage unit 132b, a switching unit 132c, and a comparator 132d.

例えば、判定器１３２ａは、一次被検者からの筋電位データに基づき一次被検者の運動状態を判定し、切り替え器１３２ｃは、オペレータからの入力（一次被検者からの情報入力指示）に基づき、一次被検者の運動状態を運動状態記憶部１３２ｂへ送り、運動状態記憶部１３２ｂは一次被検者の運動状態を基準運動状態として記憶する。また、判定器１３２ａは、二次被検者からの筋電位データに基づき二次被検者の運動状態を判定し、切り替え器１３２ｃは、オペレータからの入力（二次被検者からの情報入力指示）に基づき、二次被検者の運動状態を比較器１３２ｄへ送る。比較器１３２ｄは、一次被検者の運動状態と二次被検者の運動状態とを比較し、比較結果（差異）を出力する。例えば、一次被検者の運動状態に対する二次被検者の運動状態（運動状態の良し悪し、筋肉の使い方の良し悪し）を出力する。なお、比較結果は、一次被検者と二次被検者の筋電位データや、運動状態を示す値の変化量等を含んでもよい。   For example, the determiner 132a determines the exercise state of the primary subject based on the myoelectric potential data from the primary subject, and the switch 132c receives input from the operator (information input instruction from the primary subject). Based on this, the exercise state of the primary subject is sent to the exercise state storage unit 132b, and the exercise state storage unit 132b stores the exercise state of the primary subject as the reference exercise state. Further, the determiner 132a determines the exercise state of the secondary subject based on the myoelectric potential data from the secondary subject, and the switch 132c is input from the operator (information input from the secondary subject). Based on the instruction), the movement state of the secondary subject is sent to the comparator 132d. The comparator 132d compares the exercise state of the primary subject with the exercise state of the secondary subject and outputs a comparison result (difference). For example, the secondary subject's exercise state (the exercise state is good or bad, the use of muscles is good or bad) is output with respect to the exercise state of the primary subject. The comparison result may include myoelectric potential data of the primary subject and the secondary subject, a change amount of a value indicating the exercise state, and the like.

図４は、運動状態のフィードバックシステム１００のフィードバック装置１４０の一例を示す図である。
フィードバック装置１４０は、信号生成部１４１と、合成音／画像生成部１４２と、を備える。 FIG. 4 is a diagram illustrating an example of the feedback device 140 of the feedback system 100 in the exercise state.
The feedback device 140 includes a signal generation unit 141 and a synthesized sound / image generation unit 142.

信号生成部１４１は、状態判定部１３２から出力された運動状態（運動状態の良し悪し、筋肉の使い方の良し悪し）を示す信号や、筋電位データや、運動状態を示す値の変化量等を受信する。信号生成部１４１は、受信した信号やデータ値から、運動状態が良いこと、或いは、筋肉の使い方が良いことを示すものであるか判断する。受信した信号やデータ値が、運動状態が良いこと、或いは、筋肉の使い方が良いことを示すものである場合、信号生成部１４１はフィードバックを誇張する信号を出力する。受信した信号が、運動状態が良い事、或いは、筋肉の使い方が良いことを示すものでない場合、信号生成部１４１は、フィードバックを矮小する信号を出力する。   The signal generation unit 141 outputs a signal indicating the exercise state (the exercise state is good or bad, how the muscle is used) output from the state determination unit 132, myoelectric potential data, the amount of change in the value indicating the exercise state, and the like. Receive. The signal generation unit 141 determines from the received signal or data value whether the exercise state is good or the muscle usage is good. When the received signal or data value indicates that the exercise state is good or that the muscle is used well, the signal generation unit 141 outputs a signal that exaggerates the feedback. If the received signal does not indicate that the exercise state is good or that the muscle is used well, the signal generation unit 141 outputs a signal for reducing feedback.

フィードバックを誇張する信号は、例えば、受信した判定結果をより良い判定とした信号であってもよく、誇張度合のレベルや誇張した物理量を示す信号であってもよい。また、フィードバックを誇張する信号は、誇張するための音響信号や画像（映像）信号を含んでいてもよい。フィードバックを矮小する信号は、例えば、受信した判定結果をより悪い判定とした信号であってもよく、矮小度合のレベルや矮小した物理量を示す信号であってもよい。また、フィードバックを矮小する信号は、矮小するための音響信号や画像（映像）信号を含んでいてもよい。   The signal that exaggerates the feedback may be, for example, a signal that makes the received determination result a better determination, or may be a signal that indicates the level of exaggeration or the exaggerated physical quantity. The signal that exaggerates the feedback may include an audio signal or an image (video) signal for exaggerating the feedback. The signal that reduces the feedback may be, for example, a signal that makes the received determination result worse, or may be a signal that indicates the level of the degree of reduction or the physical quantity that has been reduced. Further, the signal for reducing the feedback may include an acoustic signal or an image (video) signal for reducing the feedback.

なお、上記の例では、信号生成部１４１は、運動状態（或いは筋肉の使い方）が良いか悪いかにより、フィードバックを変更するように信号を出力していたが、運動状態の判定結果は３以上の段階であってもよく、その場合には、信号生成部１４１は、段階的にフィードバックを誇張或いは矮小する信号を出力する。   In the above example, the signal generation unit 141 outputs a signal to change the feedback depending on whether the exercise state (or how to use the muscles) is good or bad, but the determination result of the exercise state is 3 or more. In this case, the signal generation unit 141 outputs a signal that exaggerates or reduces feedback step by step.

合成音／画像生成部１４２は、信号生成部１４１からフィードバックを誇張或いは矮小する信号を受信する。合成音／画像生成部１４２は、受信した信号に応じて、筋電位データ、音、音声、等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも１つを誇張或いは矮小して、外部の出力装置２００へ出力する。なお、合成音／画像生成部１４２には必要に応じて外部から画像或いは音響信号が入力され、これらの画像（又は映像）或いは音響信号を合成することができる。出力装置２００は、例えば液晶表示装置などの表示装置やスピーカやイヤホン等を含む。   The synthesized sound / image generation unit 142 receives a signal that exaggerates or reduces feedback from the signal generation unit 141. The synthesized sound / image generating unit 142 exaggerates or reduces at least one of acoustic signals such as myoelectric potential data, sound, voice, image signals, video signals, and these synthesized signals according to the received signal, Output to the external output device 200. The synthesized sound / image generation unit 142 receives an image or a sound signal from the outside as needed, and can synthesize these images (or images) or the sound signal. The output device 200 includes a display device such as a liquid crystal display device, a speaker, an earphone, and the like.

図５は、運動状態判定装置１３０による運動状態の判定処理の一例を示すフローチャートである。
例えば、事前に、センシング部１３１は、一次被検者から一次生体情報（筋電位データ）を取得し（ＳＴ１１）、判定器１３２ａは、一次被検者の一次生体情報から運動状態を判定し（ＳＴ１２）、運動状態記憶部１３２ｂは、一次被検者の運動状態を記憶する（ＳＴ１３）。例えば、一人の一次被検者からの一次生体情報に基づく運動状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の運動状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の運動状態として記憶してもよい。 FIG. 5 is a flowchart showing an example of the exercise state determination process performed by the exercise state determination device 130.
For example, the sensing unit 131 acquires primary biological information (myoelectric potential data) from the primary subject in advance (ST11), and the determiner 132a determines the exercise state from the primary biological information of the primary subject ( ST12), the exercise state storage unit 132b stores the exercise state of the primary subject (ST13). For example, exercise status based on primary biometric information from one primary subject may be stored, or primary biometric information from multiple primary subjects may be statistically analyzed and stored as exercise status for one person. Alternatively, it may be stored as an exercise state for a plurality of persons based on primary biometric information from a plurality of primary subjects.

続いて、センシング部１３１は、二次被検者から二次生体情報（筋電位データ）を取得し（ＳＴ１４）、判定器１３２ａは、二次被検者の二次生体情報から運動状態を判定し（ＳＴ１５）、比較器１３２ｄは、一次被検者からの運動状態と二次被検者からの運動状態とを比較し（ＳＴ１６）、比較結果を出力する（ＳＴ１７）。例えば、一次被検者の運動状態の変化特性と二次被検者の運動状態の変化特性に基づき、一次被検者の運動状態と二次被検者の運動状態とを対応付けて、差分を検出する。差分の検出方法については各種方法を適用することができる。比較器１３２ｄは、一次被検者の運動状態に対する二次被検者の運動状態（運動状態の良し悪し、筋肉の使い方の良し悪し）を出力する。例えば、投球動作中の一次被検者からの筋電位データと実質的に同一の投球動作中の二次被検者からの筋電位データは、特定の動作タイミングで類似の特徴量を含む。「特定の動作タイミング」とは、一連の動作イベントからなる動作（例えば、投球動作）における特定の動作イベント（例えば、足挙げやボールリリースなど）のタイミング（時間または時間区間）を意味する。時系列の一次被検者の筋電位データと時系列の二次被検者の筋電位データから特定の動作タイミングで得られた特徴量を抽出し、一次被検者の筋電位データと二次被検者の筋電位データから抽出された特徴量に基づき、一次被検者の筋電位データと二次被検者の筋電位データを対応付けて、筋電位データの比較、筋電位データの差分検出が可能となる。   Subsequently, the sensing unit 131 acquires secondary biological information (myoelectric potential data) from the secondary subject (ST14), and the determiner 132a determines the exercise state from the secondary biological information of the secondary subject. The comparator 132d compares the motion state from the primary subject with the motion state from the secondary subject (ST16), and outputs the comparison result (ST17). For example, based on the change characteristic of the primary subject's movement state and the change characteristic of the secondary subject's movement state, the primary subject's movement state and the secondary subject's movement state are associated with each other, and the difference Is detected. Various methods can be applied to the difference detection method. The comparator 132d outputs the exercise state of the secondary subject (the exercise state is good or bad and the muscle usage is good or bad) relative to the exercise state of the primary subject. For example, the myoelectric potential data from the secondary subject during the pitching motion that is substantially the same as the myoelectric potential data from the primary subject during the pitching motion includes similar feature quantities at specific motion timings. “Specific operation timing” means the timing (time or time interval) of a specific operation event (for example, a foot lift or a ball release) in an operation (for example, a pitching operation) composed of a series of operation events. Extract feature values obtained at specific operation timings from time-series primary subject myoelectric potential data and time-series secondary subject myoelectric potential data. Based on the feature quantity extracted from the myoelectric potential data of the subject, the myoelectric potential data of the primary subject and the myoelectric potential data of the secondary subject are associated with each other to compare the myoelectric potential data and to compare the myoelectric potential data. Detection is possible.

例えば、一人分の一次被検者の運動状態と二次被検者の運動状態とを比較し、一人の一次被検者の運動状態に対する二次被検者の運動状態（筋肉の使い方等）の良し悪しを比較結果として出力することができる。また、複数人分の一次被検者の運動状態と二次被検者の運動状態とを比較し、各一次被検者の運動状態に対する二次被検者の運動状態（筋肉の使い方等）の良し悪しを出力することもできる。なお、状態判定部は、運動状態とともに二次被験者の筋電位をフィードバック装置１４０へ出力してもよい。   For example, compare the exercise status of the primary subject with the exercise status of the secondary subject, and the secondary subject's exercise status (muscle usage, etc.) relative to the exercise status of one primary subject. Can be output as a comparison result. Also, compare the primary patient's exercise status with the secondary subject's exercise status for multiple subjects, and the secondary subject's exercise status (muscle usage, etc.) for each primary subject's exercise status It is also possible to output good or bad. The state determination unit may output the myoelectric potential of the secondary subject to the feedback device 140 together with the exercise state.

本実施形態では、運動状態記憶部１３２ｂが、基準（正解）となる運動状態を保持するケースについて説明したが、基準となる運動状態をサーバ等から受信し、受信した運動状態を用いるようにしてもよい。   In the present embodiment, the case where the exercise state storage unit 132b holds the exercise state serving as the reference (correct answer) has been described. However, the exercise state serving as the reference is received from the server or the like, and the received exercise state is used. Also good.

図６は、フィードバック装置１４０による運動状態のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部１４１が、判定結果を受信する（ステップＳＴ２１）。信号生成部１４１は、判定結果（運動状態の良し悪し、筋電位データ、運動状態を示す値の変化量等）から、二次被験者の運動状態（筋肉の使い方等）が良いか悪いかを判断する（ステップＳＴ２２）。信号生成部１４１は、受信した信号が、運動状態が良いこと、或いは、筋肉の使い方が良いことを示すものである場合、フィードバックを誇張する信号を合成音／画像生成部１４２へ出力する。信号生成部１４１は、受信した信号が、運動状態が良い事、或いは、筋肉の使い方が良いことを示すものでない場合、フィードバックを矮小する信号を合成音／画像生成部１４２へ出力する。 FIG. 6 is a flowchart showing an example of a motion state feedback process by the feedback device 140.
First, the signal generation unit 141 receives a determination result (step ST21). The signal generation unit 141 determines whether the secondary subject's exercise state (muscle usage, etc.) is good or bad from the determination result (good or bad exercise state, myoelectric potential data, amount of change in the value indicating the exercise state, etc.). (Step ST22). If the received signal indicates that the exercise state is good or that the muscle is used well, the signal generation unit 141 outputs a signal that exaggerates feedback to the synthesized sound / image generation unit 142. If the received signal does not indicate that the exercise state is good or that the muscle is used well, the signal generation unit 141 outputs a signal for reducing feedback to the synthesized sound / image generation unit 142.

合成音／画像生成部１４２は、信号生成部１４１からフィードバックを誇張或いは矮小する信号を受信する。合成音／画像生成部１４２は、フィードバックを誇張する信号を受信した場合、筋電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも１つを含む信号を誇張して（ステップＳＴ２３）、外部の出力装置２００へフィードバック信号を出力する。合成音／画像生成部１４２は、フィードバックを矮小する信号を受信した場合、筋電位、音、音声等の音響信号、画像信号、映像信号、およびこれらの合成信号の少なくとも１つを含む信号を矮小して（ステップＳＴ２４）、外部の出力装置２００へフィードバック信号を出力する。   The synthesized sound / image generation unit 142 receives a signal that exaggerates or reduces feedback from the signal generation unit 141. When the synthesized sound / image generating unit 142 receives a signal that exaggerates feedback, the synthesized sound / image generating unit 142 exaggerates a signal including at least one of an acoustic signal such as myoelectric potential, sound, and voice, an image signal, a video signal, and the synthesized signal. (Step ST23), and outputs a feedback signal to the external output device 200. When the synthesized sound / image generating unit 142 receives a signal for reducing feedback, the synthesized sound / image generating unit 142 reduces an acoustic signal such as myoelectric potential, sound, and voice, an image signal, a video signal, and a signal including at least one of these synthesized signals. Then, a feedback signal is output to the external output device 200 (step ST24).

なお、フィードバックを誇張する場合、合成音／画像生成部１４２は、筋電位をより良い値に修正して出力してもよく、良い値に修正した筋電位と実際の筋電位との差分を出力してもよく、基準とする音に対して大きな音量の音信号を出力してもよく、基準とする音に対して他の音を重畳した音信号を出力してもよい。また、合成音／画像生成部１４２は、二次被験者を褒めたり励ましたりする音声信号を出力してもよい。また、合成音／画像生成部１４２は、所定の色彩の画像信号を出力してもよく、「○」や「◎」等の記号の画像信号を出力してもよく、笑顔の画像信号を出力してもよく、二次被験者を褒めたり励ましたりする等の言葉を含む画像信号を出力してもよく、外部から取得した画像信号あるいは映像信号を加工して出力してもよい。さらに、合成音／画像生成部１４２は、上記の音信号、音声信号などの音響信号、画像信号、および映像信号の少なくとも２つを組み合わせた合成信号であってもかまわない。   When exaggerating the feedback, the synthesized sound / image generation unit 142 may output the myoelectric potential corrected to a better value and output the difference between the corrected myoelectric potential and the actual myoelectric potential. Alternatively, a sound signal having a louder volume than the reference sound may be output, or a sound signal in which another sound is superimposed on the reference sound may be output. Further, the synthesized sound / image generation unit 142 may output an audio signal that gives up or encourages the secondary subject. The synthesized sound / image generation unit 142 may output an image signal of a predetermined color, may output an image signal of a symbol such as “◯” or “◎”, and outputs an image signal of a smile Alternatively, an image signal including words such as giving up or encouraging the secondary subject may be output, or an image signal or video signal acquired from the outside may be processed and output. Furthermore, the synthesized sound / image generation unit 142 may be a synthesized signal that is a combination of at least two of the above-described sound signals, acoustic signals such as audio signals, image signals, and video signals.

フィードバックを矮小する場合、合成音／画像生成部１４２は、筋電位をより悪い値に修正して出力してもよく、悪い値に修正した筋電位と実際の筋電位との差分を出力してもよく、基準とする音に対して小さな音量の音信号を出力してもよく、無音とするために音信号を省略してもよい。また、合成音／画像生成部１４２は、二次被験者の運動状態に応じて「もう一歩です」、「まだまだです」等の音声信号を出力してもよい。また、合成音／画像生成部１４２は、所定の色彩の画像信号を出力してもよく、「△」や「×」等の記号の画像信号を出力してもよく、泣き顔の画像信号を出力してもよく、二次被験者のレベルに応じた言葉を含む画像信号を出力してもよく、外部から取得した画像信号を加工して出力してもよい。さらに、合成音／画像生成部１４２は、上記の音信号、音声信号等の音響信号、および、画像信号の少なくとも２つを組み合わせた合成信号であってもかまわない。   When reducing the feedback, the synthesized sound / image generation unit 142 may output the myoelectric potential corrected to a worse value, and output the difference between the myoelectric potential corrected to the bad value and the actual myoelectric potential. Alternatively, a sound signal having a lower volume than that of the reference sound may be output, and the sound signal may be omitted for silence. Further, the synthesized sound / image generation unit 142 may output an audio signal such as “I am one step further” or “I am not yet” according to the motion state of the secondary subject. The synthesized sound / image generation unit 142 may output an image signal of a predetermined color, may output an image signal of a symbol such as “Δ” or “x”, and outputs an image signal of a crying face Alternatively, an image signal including words according to the level of the secondary subject may be output, or an image signal acquired from the outside may be processed and output. Furthermore, the synthesized sound / image generation unit 142 may be a synthesized signal that is a combination of at least two of the above-described sound signals, acoustic signals such as audio signals, and image signals.

以下、センシング部１３１と状態判定部１３２についてまとめる。ここでは、運動状態のセンシングと判定と比較だけでなく、心理状態のセンシングと判定と比較についても説明する。
１．センシング部１３１
センシング部１３１は、一人ないし複数の対象から生体情報（運動信号及び心理信号）を計測する。生体情報をどのような手段で取得するかは問わない。
＜運動信号のセンシング＞
センシング部１３１は、一つないし複数の筋から、筋電位信号（生体電極）を計測する。さらに、センシング部１３１は、一箇所ないし複数の部位の加速度信号（加速度センサ）や圧力信号（圧力センサ）、関節角度信号（曲げセンサ）を計測することもできる。
＜心理信号のセンシング＞
センシング部１３１は、例えば心理状態を判定するために、自律神経活動を計測することもできる。例えば、センシング部１３１は、心電位信号（生体電極）や脈波（光センサ）を計測する。これにより、自律神経活動（興奮/リラックス）を検出できる。
また、センシング部１３１は、その他の生理反応を計測することもできる。例えば、センシング部１３１は、呼吸や発汗、脳波、眼球運動、瞳孔径を計測する。これにより、情動（興奮/リラックス）や感情（サプライズや選好）、注意、意図などを検出できる。
野球の装備で考えられる計測対象として、ヘルメット、帽子（脳波）、サングラス（眼球運動（注視方向、マイクロサッケード）、瞳孔径）、手袋（発汗、脈波、圧、加速度）、アンダーウェア（筋電、心電、呼吸、加速度）、シューズ（発汗、脈波、圧、加速度）がある。 Hereinafter, the sensing unit 131 and the state determination unit 132 will be summarized. Here, not only the sensing, determination, and comparison of the motion state, but also the sensing, determination, and comparison of the psychological state will be described.
1. Sensing unit 131
The sensing unit 131 measures biological information (motion signal and psychological signal) from one or more objects. It does not matter what means the biometric information is acquired.
<Motion signal sensing>
The sensing unit 131 measures a myoelectric potential signal (biological electrode) from one or a plurality of muscles. Furthermore, the sensing unit 131 can also measure an acceleration signal (acceleration sensor), a pressure signal (pressure sensor), and a joint angle signal (bending sensor) at one or more parts.
<Psychological signal sensing>
The sensing unit 131 can also measure autonomic nerve activity in order to determine a psychological state, for example. For example, the sensing unit 131 measures a cardiac potential signal (biological electrode) and a pulse wave (photosensor). Thereby, autonomic nerve activity (excitement / relaxation) can be detected.
The sensing unit 131 can also measure other physiological reactions. For example, the sensing unit 131 measures respiration, sweating, brain waves, eye movement, and pupil diameter. As a result, emotions (excitement / relaxation), emotions (surprise or preference), attention, intention, etc. can be detected.
Possible measurement targets for baseball equipment include helmet, hat (electroencephalogram), sunglasses (eye movement (gaze direction, microsaccade), pupil diameter), gloves (sweat, pulse wave, pressure, acceleration), underwear (myoelectricity) , Electrocardiogram, breathing, acceleration), shoes (sweat, pulse wave, pressure, acceleration).

２．状態判定部１３２
＜（運動）判定器１３２ａ＞
判定器１３２ａは、計測された筋電位データなどから、下記のような運動状態を判定する。
判定器１３２ａは、運動パターン（コツや力み）を判定する。例えば、判定器１３２ａは、ある動き（加速度や関節角度の変化）に対する筋活動パターンや筋活動の相互タイミングなどを判定する。
判定器１３２ａは、姿勢パターン（バランス）を判定する。例えば、判定器１３２ａは、足底圧力の変化に対する筋の組み合わせの活動状態や活動タイミングなどを判定する。例えば、判定器１３２ａは、スキーのときの足底の圧力変化と筋の使い方などを判定する。
判定器１３２ａは、筋疲労度を判定する。例えば、判定器１３２ａは、一つないし複数の筋電位信号を周波数解析することで判定（疲労すると、筋活動のパワーが低周波帯域にシフトする）する。例えば、この判定結果は、選手の交代時の判断に用いることができる。 2. State determination unit 132
<(Exercise) determiner 132a>
The determiner 132a determines the following exercise state from the measured myoelectric potential data and the like.
The determiner 132a determines an exercise pattern (knack or force). For example, the determiner 132a determines a muscle activity pattern for a certain movement (change in acceleration or joint angle), a mutual timing of the muscle activity, and the like.
The determiner 132a determines a posture pattern (balance). For example, the determiner 132a determines an activity state or activity timing of a muscle combination with respect to a change in plantar pressure. For example, the determiner 132a determines the pressure change of the sole and how to use the muscles when skiing.
The determiner 132a determines the degree of muscle fatigue. For example, the determiner 132a performs determination by performing frequency analysis on one or a plurality of myoelectric potential signals (when fatigued, the power of muscle activity shifts to a low frequency band). For example, this determination result can be used for determination at the time of a player change.

＜（運動）比較器１３２ｄ＞
比較器１３２ｄは、運動状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器１３２ｄは、特定の対象である一次被検者の運動状態と二次被検者の運動状態とを比較する。事前に、判定器１３２ａが、特定の上級者や一流選手など（手本）の一次被検者の運動状態を判定し、比較器１３２ｄは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
また、比較器１３２ｄは、ある集団の一次被検者から得られた運動状態と二次被検者から得られた運動状態を比較する。例えば、事前に、判定器１３２ａが、ある集団の一次被検者から得られる運動状態（平均パターン、データマイニングで特徴づけられたパターンなど）を判定し、比較器１３２ｄは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
また、比較器１３２ｄは、自分（二次被検者）を一次被検者とし、一次被検者の運動状態と二次被検者の運動状態とを比較する。比較器１３２ｄは、普段（練習等で１００球投げたときの平均値）の運動状態と現在（試合等の本番）の運動状態とを比較する。 <(Motion) Comparator 132d>
The comparator 132d compares the information obtained from one or more primary subjects with the information obtained from the secondary subjects in order to determine changes in exercise status and good / bad.
The comparator 132d compares the exercise state of the primary subject, which is a specific object, with the exercise state of the secondary subject. In advance, the determiner 132a determines the exercise state of a primary subject such as a specific advanced player or first-class player (example), and the comparator 132d determines the exercise state of the primary subject and the secondary subject. Compare the exercise state.
The comparator 132d compares the exercise state obtained from the primary subject with a certain group with the exercise state obtained from the secondary subject. For example, the determiner 132a determines in advance a movement state (an average pattern, a pattern characterized by data mining, etc.) obtained from a certain group of primary subjects, and the comparator 132d The movement state and the movement state of the secondary subject are compared.
Further, the comparator 132d sets itself (secondary subject) as the primary subject, and compares the exercise state of the primary subject with the exercise state of the secondary subject. The comparator 132d compares the normal (average value when throwing 100 balls in practice or the like) and the current (actual such as game) exercise state.

また、比較器１３２ｄが、パートナー間の運動状態の関係を比較（判定）するようにしてもよい。例えば、判定器１３２ａが、投手と打者の運動状態（例えば力み度）を判定し、比較器１３２ｄは、投手と打者の運動状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。   Further, the comparator 132d may compare (determine) the relationship of the exercise state between the partners. For example, the determiner 132a determines the motion state (for example, the degree of strength) of the pitcher and the batter, and the comparator 132d compares the motion state of the pitcher and the batter. The comparison result can be used to judge the state of compatibility and compatibility.

＜（心理状態）判定器１３２ａ＞
判定器１３２ａは、心電位信号や脈波から得られる心拍数や血流の変動（ゆらぎ）を周波数解析することで自律神経状態（交感神経と副交感神経の活動のバランス＝緊張/リラックス）を含む心理状態を判定できる。
他に、判定器１３２ａは、呼吸や発汗、脳波、眼球運動、瞳孔径などから、情動（興奮/リラックス）や感 情（サプライズや選好）、注意、意図などの状態も判定できる
＜（心理状態）比較器１３２ｄ＞
比較器１３２ｄは、心理状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器１３２ｄは、ある集団の一次被検者から得られた自律神経状態と二次被検者から得られた自律神経状態を比較する。例えば、事前に、判定器１３２ａが、ある集団の一次被検者から得られる自律神経状態（平均値、データマイニングで特徴づけられた値など）を判定し、比較器１３２ｄは、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。
また、比較器１３２ｄは、自分（二次被検者）を一次被検者とし、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。比較器１３２ｄは、普段（練習中）の自律神経状態と現在（試合等の本番中）の自律神経状態とを比較する。
また、比較器１３２ｄは、パートナー間の心理状態の関係を比較（判定）する。例えば、判定器１３２ａが、投手と打者の心理状態を判定し、比較器１３２ｄは、投手と打者の心理状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。 <(Psychological state) determiner 132a>
The determiner 132a includes an autonomic state (balance of sympathetic and parasympathetic activities = tension / relaxation) by performing frequency analysis of heart rate and blood flow fluctuation (fluctuation) obtained from an electrocardiogram signal or a pulse wave. The psychological state can be determined.
In addition, the determiner 132a can also determine the state of emotion (excitement / relaxation), emotion (surprise / preference), attention, intention, etc. based on breathing, sweating, brain waves, eye movement, pupil diameter, etc. ) Comparator 132d>
The comparator 132d compares information obtained from one or a plurality of primary subjects with information obtained from the secondary subjects in order to determine changes in psychological state and good / bad.
The comparator 132d compares the autonomic state obtained from the primary subject with a certain group with the autonomic state obtained from the secondary subject. For example, the determiner 132a determines in advance an autonomic state (average value, a value characterized by data mining, etc.) obtained from a group of primary subjects, and the comparator 132d The autonomic state of the subject and the autonomic state of the secondary subject are compared.
The comparator 132d sets itself (secondary subject) as the primary subject, and compares the autonomic state of the primary subject with the autonomic state of the secondary subject. The comparator 132d compares the normal (practicing) autonomic state with the current autonomic state (such as during a game).
The comparator 132d compares (determines) the psychological relationship between partners. For example, the determiner 132a determines the psychological state of the pitcher and the batter, and the comparator 132d compares the psychological state of the pitcher and the batter. The comparison result can be used to judge the state of compatibility and compatibility.

＜（運動状態と心理状態）比較器１３２ｄ＞
比較器１３２ｄは、運動状態や自律神経状態を組み合わせることで、「自律神経状態と運動状態の関係性」を比較（判定）する。例えば、緊張すると、運動が乱れるなどの関係がわかる。
続いて、運動状態と自律神経の状態の判定について詳しく説明する。 <(Exercise state and psychological state) comparator 132d>
The comparator 132d compares (determines) “relationship between the autonomic nerve state and the motor state” by combining the motor state and the autonomic nerve state. For example, if you are nervous, you can see the relationship that exercise is disturbed.
Next, the determination of the motion state and the state of the autonomic nerve will be described in detail.

事例１として、実戦におけるプロの投手の総合的な状態モニタリングについて説明する。   As Example 1, we will explain the comprehensive monitoring of professional pitchers in actual battles.

１．投手Ａが上下半身両方に、筋電位センサ１１０（ウェアラブルセンサ）を搭載したコンプレッションインナーウェア（例えばＨｉｔｏｅ（登録商標））を着用する。上半身に心電位センサ（ウェアラブルセンサ）を搭載したコンプレッションインナーウェア（例えばＨｉｔｏｅ（登録商標））を着用する。上半身用のウェアには筋電位を計測するために、例えば、着用者の腕、肩、胸囲、腰に対応する複数箇所に筋電位センサ１１０が配置されている。また、上半身用のウェアには心電位を計測するために、例えば、着用者の心臓周囲に対応する複数箇所（例えば３箇所）に心電位センサが配置されている。下半身用のウェアには、下半身の疲労度を測定するために、着用者の臀部（下肢のその他の筋でもよい）の筋電位を計測するために、着用者の臀部に対応する複数箇所に筋電位センサ１１０が配置されている。   1. The pitcher A wears compression inner wear (for example, Hitoe (registered trademark)) on which the myoelectric potential sensor 110 (wearable sensor) is mounted on both upper and lower body. Wear compression inner wear (for example, Hitoe (registered trademark)) equipped with an electrocardiographic sensor (wearable sensor) on the upper body. In order to measure the myoelectric potential in the upper body wear, for example, myoelectric potential sensors 110 are arranged at a plurality of locations corresponding to the wearer's arm, shoulder, chest circumference, and waist. Further, in order to measure the electrocardiogram in the upper body wear, for example, electrocardiographic sensors are arranged at a plurality of locations (for example, 3 locations) corresponding to the wearer's heart periphery. The lower body wear includes muscles at multiple locations corresponding to the wearer's buttocks to measure the myoelectric potential of the wearer's buttocks (or other muscles of the lower limbs) in order to measure the fatigue of the lower body. A potential sensor 110 is arranged.

２．状態判定部１３２は、上半身及び下半身の筋電位を周波数解析し、筋の疲労度合いを推定することができる。一方で、状態判定部１３２は、心電位に基づく心拍変動の解析から、投手の交感神経と副交感神経の活動バランスを推定することができる。   2. The state determination unit 132 can estimate the degree of muscle fatigue by frequency analysis of the myoelectric potentials of the upper and lower bodies. On the other hand, the state determination unit 132 can estimate the activity balance between the pitcher's sympathetic nerve and the parasympathetic nerve from the analysis of the heart rate variability based on the electrocardiogram.

３．筋電位センサ１１０、心電位センサ、及びセンシング部１３１は、普段の練習および試合から投手Ａの筋電位および心電位を継続的に測定し、以下に列挙するような様々な状況におけるデータを長期的に取り貯める。   3. The myoelectric sensor 110, the electrocardiographic sensor, and the sensing unit 131 continuously measure the myoelectric potential and electrocardiographic potential of the pitcher A from usual practice and games, and long-term data in various situations as listed below. Save up.

３．１ ブルペンで打者が立っていない非実戦的な状況
３．２ 打者と対戦する状況（練習）
３．３ 打者と対戦する状況（試合）
以上の状況から取得した以下のようなデータを、生体状態推定器として機能する状態判定部１３２に投入する。状態判定部１３２は、「３．１」、「３．２」、及び「３．３」を入力として直近の将来の投球パフォーマンスを推定するためのモデルを逐次更新する。 3.1 Unpractical situation where batter is not standing in bullpen 3.2 Situation where a batter is played (practice)
3.3 Situation where a batter is played (match)
The following data acquired from the above situation is input to the state determination unit 132 that functions as a biological state estimator. The state determination unit 132 sequentially updates a model for estimating the latest future pitching performance with “3.1”, “3.2”, and “3.3” as inputs.

３．４．１ 筋電位から推定される客観的筋疲労度
３．４．２ 全身の筋活動パターンから推定される運動連鎖の効率
３．４．３ 心拍変動から推定される自律神経活動バランス
３．４．４ 投球速度、コントロールのばらつき等のパフォーマンス指標
＜ユーザ使用例１：実戦場面を想定＞
上記３．４．１〜３．４．４の情報は、二次被検者（データを測定されている本人）、および周囲の人間が常時モニターできる状態にある。つまり、フィードバック装置１４０が、上記３．４．１〜３．４．４の情報を出力する。 3.4.1 Objective muscle fatigue estimated from myoelectric potential 3.4.2 Motor chain efficiency estimated from whole body muscle activity pattern 3.4.2 Autonomic nervous activity balance estimated from heart rate variability 3 4.4 Performance indicators such as pitching speed and control variations <User use case 1: assuming actual battle scene>
The information in the above 3.4.1 to 3.4.4 is in a state where the secondary subject (the person whose data is being measured) and surrounding people can be monitored at all times. That is, the feedback device 140 outputs the information of the above 3.4.1 to 3.4.4.

４．試合前半：投手Ａは、試合開始直後（立ち上がり）のパフォーマンスが不安定であることが課題の一つである。長期的なデータ計測から、心電位から推定されるメンタルの状態が過緊張状態に陥ることが、頻繁に生じることがわかっている。さらに、過緊張状態と投球パフォーマンスの低下に相関があることもわかっている。そのため、試合中にそのような状況に陥った場合、投手コーチが「間を取る」などの対応をすることによって、投手Ａが大きくパフォーマンスを乱すことは少なくなった。   4). First half of the game: One of the challenges for pitcher A is that the performance immediately after the start of the game (rise) is unstable. From long-term data measurements, it is known that the mental state estimated from the electrocardiogram frequently falls into an overstress state. In addition, it has been found that there is a correlation between overstressing and a decrease in throwing performance. For this reason, when such a situation occurs during the match, the pitcher coach rarely disturbs the performance by taking action such as “getting a gap”.

５．試合中盤：疲労が増大していることが、モニターしている筋電位データから推測されるが、筋活動から推測される筋状態は良い状態を保っていると推測される場合（例えば疲労の蓄積は小さいと推測される場合）、首脳陣は続投させることを決断する。   5. Mid game: When fatigue is increased, it is inferred from the monitored EMG data, but the muscle state inferred from muscle activity is inferior (for example, accumulation of fatigue) The leaders decide to continue.

６．試合後半：筋疲労、メンタル面双方において、状態の劣化が推定され、全身の筋活動パターンにも疲労時特有のパターンが見られた場合、打者に打ち込まれる前に、投手Ａを降板させることを決断する。   6). The second half of the game: If both the muscle fatigue and mental aspects of the condition are estimated to be degraded, and the muscle activity pattern throughout the body also shows a pattern specific to fatigue, the pitcher A must be released before being struck by the batter. Make a decision.

７．上記のような使用により、より良いタイミングでの選手交代が可能となるだけでなく、無理をさせる機会が減ることによるケガのリスク減少も期待できる。
＜ユーザ使用例２：試合で生じた課題を練習で克服する＞
８．投手Ａには、試合で普段の練習通りのパフォーマンスを発揮できないという課題がある（（メンタルが影響しているのかもしれないが）フィジカルに原因があるのではないかと周囲の人間は推測している）。 7). The use as described above not only makes it possible to change the player at a better timing, but also reduces the risk of injury due to a reduction in the chance of being forced.
<User usage example 2: Overcoming problems in the game through practice>
8). Pitcher A has the problem of not being able to demonstrate the performance as usual in the game (although it may be influenced by mental), the surrounding people speculate that there may be a physical cause )

９．上記課題を克服するために、前項３．１〜３．３各々の投球時の、全身の筋活動パターン、自律神経活動バランスおよび投球パフォーマンス指標を比較する。   9. In order to overcome the above problems, the muscle activity pattern of the whole body, the autonomic nerve activity balance, and the pitching performance index at the time of pitching in each of the preceding items 3.1 to 3.3 are compared.

１０．その結果、投手Ａはブルペンでの投球時のみ非常にリラックスした状態で投球をしており、打者との対戦シーン、特に試合での対戦シーンにおいて、メンタル面での変動が大きいことが判明する。さらには、メンタル面の変動を生じさせる試合状況もピックアップできる。   10. As a result, pitcher A is throwing in a very relaxed state only when throwing with a bullpen, and it is found that there is a great change in the mental aspect in a battle scene with a batter, particularly in a battle scene in a game. Furthermore, it is possible to pick up game situations that cause mental variations.

１１．投手Ａは「１０．」のフィードバックを受けて、当該試合状況下における対応（状況の整理、気持ちの持ち方等）を指導者と議論する。さらに、練習において、当該状況を再現した実戦練習を行うことで、試合時のパフォーマンスの不安定さを改善することが期待できる。   11. Pitcher A receives the feedback of “10.” and discusses with the leader how to deal with the situation of the game (organization of the situation, how to hold feelings, etc.). Furthermore, in practice, it can be expected that the instability of performance at the time of the game will be improved by performing actual battle practice that reproduces the situation.

事例２として、オーバートレーニング予防としての心拍変動解析について説明する。
１２．若手野球選手Ａ（投手）は、シーズン中に、多くの試合と並行して、高強度なトレーニングを行わなくてはならない。疲労が蓄積した状態で試合に望むと、パフォーマンスを発揮できないだけでなく、ケガのリスクを増大させることにもつながる。そのため、当日の選手のコンディションをモニタリングすることで、流動的にその日の登板可否を判断する仕組みが有用となる。 As example 2, heart rate variability analysis as prevention of overtraining will be described.
12 The young baseball player A (pitcher) must perform high-intensity training in parallel with many matches during the season. If you want to play a game with accumulated fatigue, you will not only be able to perform well, but also increase the risk of injury. Therefore, a mechanism that fluidly determines whether or not to climb the day can be useful by monitoring the condition of the player on the day.

１３．起床時の心電位から得られる心拍変動データからオーバートレーニング症候群を検知する。   13. Overtraining syndrome is detected from heart rate variability data obtained from electrocardiograms when waking up.

若手野球選手Ａは起床時から日常的に心電位および筋電位を計測することで、心拍変動および筋電位データを継続的に取り貯めている。オーバートレーニングに陥った選手には、起床時の心拍数増大や心拍変動の減少が見られることが報告されている。また、筋電位から推定される筋疲労度合いと、心拍変動から推定される疲労度には関連があることも報告されている。これらと本人の主観的な疲労度と合わせて、コンディショニングコーチは投手Ａの登板可否を当日の朝に判断する。
同時に、同様の測定において最もコンディションが良いと推定される投手Ｂを若手野球選手Ａの代わりに登板させることを決定する。 The young baseball player A continuously collects heart rate variability and myoelectric potential data by measuring the electrocardiogram and the myoelectric potential on a daily basis from the time of getting up. It has been reported that athletes who fall into overtraining have increased heart rate and decreased heart rate variability when waking up. It has also been reported that the degree of muscle fatigue estimated from myoelectric potential is related to the degree of fatigue estimated from heart rate variability. Together with these and the subjective fatigue level of the person, the conditioning coach determines whether or not pitcher A can climb on the morning of the day.
At the same time, it is determined that pitcher B, which is estimated to be in the best condition in the same measurement, is to be pitched in place of young baseball player A.

図７は、合成音／画像生成部の構成の一例を示すブロック図である。
まず概要を説明する。この実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の筋電位データ、例えば複数の筋電位等の生体情報に由来する（言い換えると、複数の筋電位から導き出される）筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。 FIG. 7 is a block diagram illustrating an example of the configuration of the synthesized sound / image generation unit.
First, an outline will be described. In this embodiment, a superimposed image of a plurality of images of one or more operation subjects obtained at a specific operation timing and myoelectric potential data of the operation subjects obtained at a specific operation timing, such as a plurality of myoelectric potentials, etc. Are combined with the muscle activity degree image derived from the biometric information (in other words, derived from a plurality of myoelectric potentials), and a composite image obtained thereby is displayed. The composite image is derived from “multiple” images and myoelectric potential. Therefore, it is possible to provide visual feedback of “appropriateness of motion and accompanying muscle activity” that is difficult to judge from “single” images and information derived from only myoelectric potential.

「動作主体」は人であってもよいし、人以外（例えば、動物）であってもよい。単数の「動作主体」の例は、動作のフィードバック対象となる一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行うフィードバック対象の動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体（フィードバック対象の動作主体を含む）とからなる複数の動作主体、または手本となる動作主体以外の複数の動作主体（フィードバック対象の動作主体を含む）などである。   The “operation subject” may be a person or a person other than a person (for example, an animal). An example of a single “acting subject” is one actuating subject that is an object of motion feedback. Examples of multiple `` acting subjects '' are two acting subjects consisting of an acting subject acting as a model and an actuating subject subject to feedback, and an act acting as a model and its behavior. A plurality of action subjects (including a feedback target action subject) or a plurality of action subjects other than a model action subject (including a feedback target action subject), etc. .

複数の画像は、単数または複数の動作主体の複数回の動作過程で撮影されたものであってもよいし、複数の動作主体の１回の動作過程で撮影されたものであってもよい。これらの画像は動作主体の全身の画像であってもよいし、動作主体の一部の部位（例えば、上半身や足など）の画像であってもよい。   The plurality of images may be taken in a plurality of operation processes of one or a plurality of operation subjects, or may be taken in a single operation process of a plurality of operation subjects. These images may be images of the whole body of the motion subject, or may be images of a part of the motion subject (for example, the upper body or legs).

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。「複数の筋電位」は、例えば、「複数の画像」に表された動作主体の動作に関与（寄与）する単数または複数の筋の筋電位（例えば、この動作主体の動作に関与する主動筋の筋電位やそれに対応する拮抗筋の筋電位）を含む。信号生成部１４１の出力が誇張或いは矮小した筋電位信号である場合には、信号生成部１４１の出力は筋電位信号として可視化装置１１に入力されてもよい。   The “plural myoelectric potentials” may be obtained by a plurality of motion processes by one or a plurality of motion subjects, or may be obtained at a plurality of measurement points of a single or a plurality of motion subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. The “plural myoelectric potentials” are, for example, myoelectric potentials of one or more muscles that are involved (contributing) to the motion of the motion subject represented in the “plural images” (for example, main muscles involved in the motion of the motion subject) Of myoelectric potential and antagonistic myoelectric potential of the corresponding antagonist muscle). When the output of the signal generation unit 141 is an exaggerated or reduced myoelectric potential signal, the output of the signal generation unit 141 may be input to the visualization device 11 as a myoelectric potential signal.

「筋活動度画像」は、例えば、複数の筋活動度の関係から得られる値を表す画像、複数の筋活動度のばらつきを表す画像、複数の筋活動度の相対値を表す画像、または複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の筋活動度のそれぞれが、複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。あるいは、「筋活動度画像」が、筋電位または筋活動度を周波数領域に変換して得られた複数の値に由来するもの（周波数スペクトル等）でもよい。以上のような画像により、動作に伴う筋活動の適切さを可視的にフィードバックできる。   The “muscle activity level image” is, for example, an image representing a value obtained from a relationship between a plurality of muscle activity levels, an image representing a variation in a plurality of muscle activity levels, an image representing a relative value of a plurality of muscle activity levels, or a plurality of At least one of the images representing the variation in the relative value of the muscle activity level. However, each of the plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials. “Muscle activity” is a myoelectric potential or a function value thereof. An example of the function value of the myoelectric potential is a function value representing the magnitude of the myoelectric potential, for example, a broad monotonically increasing function value (for example, monotonically increasing function value) of the absolute amplitude value of the myoelectric potential. For example, the absolute amplitude value of the myoelectric potential or the mean square amplitude value in a predetermined time interval can be set as the “muscle activity level”. As the function value of the myoelectric potential, a value representing the magnitude of the myoelectric potential that has been smoothed or removed from the DC component may be used. Alternatively, the “muscle activity image” may be derived from a plurality of values obtained by converting myoelectric potential or muscle activity into the frequency domain (frequency spectrum or the like). With the images as described above, it is possible to visually feedback the appropriateness of the muscle activity accompanying the movement.

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。   The “variation” of the plurality of muscle activity levels may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained in a trial process of a plurality of times at the same measurement location of a single motion subject. In addition, it may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a single action subject, or a plurality of obtained at the same measurement location of a plurality of action subjects. It may be a variation in a plurality of muscle activities derived from a myoelectric potential, or may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. Good. An example of “variation” is “statistical variation” such as variance and standard deviation.

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。   The relative value of a plurality of muscle activity levels may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of a single motion subject, or a single motion subject. It may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points, or a plurality of myoelectric potentials obtained at the same measurement point of a plurality of motion subjects. It may be a relative value between a plurality of muscle activity levels derived from, or a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points of a plurality of motion subjects. There may be. Examples of the “relative value” are “difference” with positive / negative distinction, “difference” with no positive / negative distinction, “square error”, or “ratio”, or a function value of any of these.

「ばらつきを表す画像」は、ばらつきの大きさを表した画像である。「ばらつきを表す画像」の例は、（Ｆ−１）縦軸と横軸とを時間軸とし、各時間に対応する座標に、当該時間でのばらつきの大きさに応じた「色合い」の点をプロットした等高線プロットや、（Ｆ−２）横軸を時間軸とし、縦軸を各時間でのばらつきの大きさを表す軸とし、各時間に対応するばらつきの大きさプロットした時系列グラフや、（Ｆ−３）横軸をばらつきの大きさを表す軸とし、縦軸をばらつきの頻度を表す軸とし、各ばらつきの頻度を棒グラフで表したヒストグラムなどである。「相対値を表す画像」は、相対値またはその大きさを表した画像である。「相対値を表す画像」の例は、上記の（Ｆ−１）〜（Ｆ−３）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した画像等である。   The “image representing variation” is an image representing the magnitude of variation. In the example of “image representing variation”, (F-1) the vertical axis and the horizontal axis are time axes, and coordinates corresponding to each time have a “color tone” point corresponding to the magnitude of the variation at that time. Or (F-2) a time series graph in which the horizontal axis is the time axis, the vertical axis is the axis representing the magnitude of variation at each time, and the magnitude of variation corresponding to each time is plotted (F-3) A histogram in which the horizontal axis is the axis representing the magnitude of variation, the vertical axis is the axis representing the frequency of variation, and the frequency of each variation is represented by a bar graph. An “image representing a relative value” is an image representing a relative value or its size. An example of “an image representing a relative value” is an image obtained by replacing the “variation magnitude” in the above examples (F-1) to (F-3) with “relative value” or “relative value magnitude”. Etc.

「複数の筋電位」が、動作主体の主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「筋活動度画像」が、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含んでもよい。この画像によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）を定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。上述の「筋活動度画像」では、動作に伴う主動筋活動と拮抗筋活動との関係を提示できるため、この力み度合をフィードバックできる。   The “multiple myoelectric potentials” include the myoelectric potentials of the main muscles of the motion and the myoelectric potentials of the antagonistic muscles corresponding to the main muscles, and the “muscle activity image” indicates the myogenic activity corresponding to the myoelectric potentials of the main muscles. An image representing a value obtained from the relationship between the degree of muscle activity and the muscle potential corresponding to the myoelectric potential of the antagonistic muscle, the muscle activity corresponding to the muscle potential of the main muscle and the muscle corresponding to the muscle potential of the antagonistic muscle An image showing a relative value between the activity levels, or an image showing a variation in relative values between the muscle activity level corresponding to the myoelectric potential of the main muscle and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. At least one of them may be included. This image can represent the “power” of the subject. In particular, when this "relative value" is a value obtained by dividing "muscle activity corresponding to myoelectric potential of antagonistic muscle" by "muscle activity corresponding to myoelectric potential of main muscle" (divided value), Activity level (ratio of antagonistic muscle activity to main muscle activity) can be quantified, and "force" can be expressed more clearly. The “antagonist muscle corresponding to the main muscle” means a muscle that relaxes in an operation in which the main muscle contracts. For example, in the operation of bending the wrist, the wrist flexor muscles contract as the main muscles and the extensor muscles relax as the antagonistic muscles. Conversely, in the action of stretching the wrist, the extensor is contracted as the main muscle and the wrist flexor is relaxed as the antimuscle. When bending the wrist, it is desirable that the wrist flexor muscle that is the main muscle is active and the activity of the extensor that is the antagonist muscle is suppressed. However, if the antagonistic muscle is excessively active, it becomes a so-called “force” state and inhibits exercise. In the above-mentioned “muscle activity level image”, the relationship between the main muscle activity and the antagonistic muscle activity associated with the motion can be presented, and this strength level can be fed back.

「筋活動度画像」が複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の「活動開始時点」に由来する画像を含んでもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この筋活動度画像により、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、筋活動度画像が複数の筋の「活動開始時点」のばらつきを表す画像を含んでもよいし、相対値を表す画像を含んでもよいし、相対値のばらつきを表す画像を含んでもよいし、複数の筋の活動開始時点の順序関係に由来する画像を含むことにしてもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係に由来する画像の例は、（Ｆ−４）各筋に対応する色合いの点を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−５）各筋に対応する識別子（番号等）を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−６）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで「色合い」や「明るさ」が相違する画像や、（Ｆ−７）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど、特定の「色合い」や「明るさ」に近づく画像や、（Ｆ−８）複数の筋の活動開始時点の順序関係が適切な順序関係にどれだけ近いかを表すスコアやその大きさを表す図形を含む画像などである。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したかをフィードバックできる。   The “muscle activity image” may include an image derived from “activity start time” of a plurality of muscles obtained from a plurality of myoelectric potentials (for example, a plurality of muscles involved in a motion of a certain motion subject or a series of motions). . The activity start time means the time when the muscle starts the muscle activity. Information on the start timing of muscle activity (for example, variation in the start timing of muscle activity, relative value, and appropriateness) can be expressed by this muscle activity level image. For example, the muscle activity level image may include an image representing a variation in “activity start time” of a plurality of muscles, an image representing a relative value, or an image representing a variation in relative value. In addition, an image derived from an order relationship at the time of starting the activity of a plurality of muscles may be included. The relative value of the “activity start time” may be a relative value of another “activity start time” with respect to any of the “activity start time” of the plurality of muscles, It may be a relative value of “activity start time”. An example of an image derived from an order relationship between the activity start points of a plurality of muscles is (F-4) an image in which the color points corresponding to each muscle are plotted at the position of the time axis representing the activity start time of the muscles, (F-5) An image in which identifiers (numbers, etc.) corresponding to each muscle are plotted on the position of the time axis representing the activity start time of the muscle, or (F-6) the order relationship between the activity start times of a plurality of muscles. Images that differ in “color” and “brightness” between appropriate and inappropriate cases, and (F-7) The closer the order relationship at the start of activity of multiple muscles is to the closer the appropriate order relationship, An image that approaches a specific “color” or “brightness”, or (F-8) a figure that indicates how close the order relationship at the start of activity of multiple muscles is to an appropriate order relationship, or a figure that indicates the size An image including It should be noted that whether or not the order relationship at the start of activity of a plurality of muscles is appropriate depends on the operation. For example, in a ball release operation of a pitching exercise, an order relationship in which muscle activity is started in the order of a muscle that moves the shoulder, a muscle that moves the elbow, a muscle that moves the wrist, and a muscle that moves the finger is appropriate. Such an appropriate order relationship may be set in advance according to the operation. As described above, for example, it is possible to feed back whether a plurality of muscles involved in a predetermined action have started activities in an appropriate order.

筋活動度画像が複数の「統合特徴量」に由来する画像を含んでもよい。ただし、「統合特徴量」のそれぞれは、特定の動作タイミングで得られた複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する特徴量である。例えば、各統合特徴量は、特定の動作タイミングで得られた画像とその画像に表れた動作に関与する筋の筋電位との両方に由来する。これにより、動作イベントでの姿勢と筋活動との相関関係を可視化してフィードバックできる。   The muscle activity level image may include an image derived from a plurality of “integrated feature amounts”. However, each of the “integrated feature amounts” is a feature amount derived from both a plurality of images obtained at a specific operation timing and each of a plurality of myoelectric potentials obtained at a specific operation timing. is there. For example, each integrated feature amount is derived from both an image obtained at a specific operation timing and a myoelectric potential of a muscle involved in the operation appearing in the image. This makes it possible to visualize and correlate the correlation between the posture and the muscle activity in the motion event.

「特定の動作タイミング」とは、一連の動作イベントからなる動作（例えば、投球運動）における特定の動作イベント（例えば、足挙げやボールリリースなど）のタイミング（時間または時間区間）を意味する。実施形態では、動作主体の画像、動作主体の筋電位、またはそれらの両方に由来する特徴量に基づいて、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の「複数の画像」を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の「複数の筋電位」を抽出する。特に、画像と筋電位との両方に由来する特徴量に基づくことで、「特定の動作タイミング」での「複数の画像」および「複数の筋電位」を精度よく抽出できる。以下、図面を用いて各実施形態を詳細に説明する。   The “specific operation timing” means the timing (time or time interval) of a specific operation event (for example, a foot lift or a ball release) in an operation (for example, pitching exercise) composed of a series of operation events. In the embodiment, based on the feature amount derived from the action subject image, the action subject myoelectric potential, or both, the action subject's “multiple” obtained from the action subject time-series image at a specific action timing. The “image” is extracted, and “the plurality of myoelectric potentials” of the motion subject obtained at a specific motion timing is extracted from the time series myoelectric potentials of the motion subject. In particular, it is possible to accurately extract “a plurality of images” and “a plurality of myoelectric potentials” at a “specific operation timing” based on feature amounts derived from both images and myoelectric potentials. Hereinafter, each embodiment will be described in detail with reference to the drawings.

［第１実施形態］
第１実施形態を説明する。
＜構成＞
図７に例示するように、合成音／画像生成部１４２は、例えば可視化装置１１を有する。出力装置２００は、画像提示装置１２を有する。なお、可視化装置１１の一部の構成は、信号生成部１４１に含まれていてもよい。可視化装置１１は、動作タイミング検出部１１１と特徴量算出部１１２と特徴量記憶部１１３と動作タイミング照合部１１４と照合結果記憶部１１５と重畳画像作成部１１６と筋活動度画像生成部１１７と合成部１１８とを有する。図８に例示するように、動作タイミング照合部１１４は、特徴量抽出部１１４１と類似度算出部１１４２と動作タイミング検出部１１４３と画像抽出部１１４４と筋活動度抽出部１１４５と終了判定部１１４６とを有する。可視化装置１１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置１２は、例えば、液晶ディスプレイ等の表示装置である。 [First Embodiment]
A first embodiment will be described.
<Configuration>
As illustrated in FIG. 7, the synthesized sound / image generation unit 142 includes, for example, the visualization device 11. The output device 200 includes an image presentation device 12. Note that a part of the configuration of the visualization device 11 may be included in the signal generation unit 141. The visualization device 11 includes a motion timing detection unit 111, a feature amount calculation unit 112, a feature amount storage unit 113, an operation timing collation unit 114, a collation result storage unit 115, a superimposed image creation unit 116, and a muscle activity level image generation unit 117. Part 118. As illustrated in FIG. 8, the motion timing collation unit 114 includes a feature amount extraction unit 1141, a similarity calculation unit 1142, an operation timing detection unit 1143, an image extraction unit 1144, a muscle activity level extraction unit 1145, and an end determination unit 1146. Have The visualization device 11 is a general-purpose device including, for example, a processor (for example, hardware including one or more CPUs (central processing units)) and a memory (for example, RAM (random-access memory) and ROM (read-only memory)). Alternatively, it is configured by a dedicated computer executing a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The image presentation device 12 is a display device such as a liquid crystal display.

＜事前処理＞
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部１１１に、特定の動作主体の一連の動作をカメラで撮影して得られた時系列の画像（映像）およびこの動作主体の一連の筋活動を測定して得られた時系列の筋電位を表す筋電位信号の少なくとも一方、ならびに、１個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号は、事前に得られて記憶装置（図示せず）に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。 <Pre-processing>
In the pre-processing, a feature amount corresponding to an operation event at a specific operation timing is acquired. First, when the motion timing detection unit 111 obtains a time-series image (video) obtained by photographing a series of motions of a specific motion subject with a camera and a series of muscle activities of the motion subject. Timing designation information for designating at least one of myoelectric potential signals representing a series of myoelectric potentials and one or more operation timings is input. The video and myoelectric potential signal may be obtained in advance and stored in a storage device (not shown), or may be obtained in real time.

筋電位信号は、例えば、動作主体の動作に関与する単数または複数の筋（主動筋や拮抗筋等）の近傍の単数または複数の測定箇所（例えば、皮膚表面）に電極（例えば筋電位センサ１１０）を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。例えば、１個の測定箇所からは１系統の時系列の筋電位を表す筋電位信号が得られる。例えば、主動筋の筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋の筋電位信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。   For example, the myoelectric potential signal is an electrode (for example, myoelectric potential sensor 110) at one or a plurality of measurement locations (for example, skin surface) in the vicinity of one or a plurality of muscles (primary muscle, antagonistic muscle, etc.) involved in the motion of the subject. ) And a time series signal obtained by measuring the action potential generated from each muscle. For example, a myoelectric signal representing a time series of myoelectric potential of one system is obtained from one measurement location. For example, the myoelectric potential signal of the main muscle is obtained based on the potential of the electrode at the measurement location near the main muscle, and the myoelectric potential signal of the antagonist muscle is obtained based on the potential of the electrode at the measurement location near the antagonist muscle.

タイミング指定情報は、例えば、ユーザによって任意に選択された特定の動作タイミングを表す時間または時間区間を指定する情報である。これらの時間や時間区間は、相対的な時間であってもよいし、絶対的な時間であってもよい。例えば、投球運動は「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」といった複数の動作イベントからなる。このとき「（ｄ）ボールリリース」の動作タイミングを表す時間（または時間区間）を指定するのであれば、投球運動の開始時（「（ａ）脚上げ」の開始時）に対する「（ｄ）ボールリリース」の開始時（または開始時と終了時）の相対的な時間を指定してもよいし、「（ｄ）ボールリリース」の開始時（または開始時と終了時）の絶対的な時間を指定してもよい。また、タイミング指定情報が２以上の動作タイミングの時間または時間区間を指定してもよい。例えば、タイミング指定情報が「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミングの時間または時間区間を指定してもよい。また、動作タイミングが時間区間である場合、特定の時間を指定することでこの時間区間が指定されてもよい。この「特定の時間」は、動作タイミングである時間区間を特定するための基準となる時間であり、例えば、動作タイミングである時間区間の開始時間や中心時間などを例示できる。なお、タイミング指定情報は、所定運動中の上級者やプロ（基準となる選手）の動作タイミングであってもよい。   The timing designation information is information that designates, for example, a time or a time interval representing a specific operation timing arbitrarily selected by the user. These times and time intervals may be relative times or absolute times. For example, the pitching motion includes a plurality of motion events such as “(a) leg raising”, “(b) stepping out”, “(c) grounding”, and “(d) ball release”. At this time, if the time (or time interval) indicating the operation timing of “(d) ball release” is designated, “(d) ball with respect to the start of the pitching motion (at the start of“ (a) leg raising ”) You may specify the relative time at the start of “Release” (or at the start and end), or the absolute time at the start of “(d) Ball Release” (or at the start and end) May be specified. Further, the timing designation information may designate a time or time interval of operation timings of two or more. For example, the timing designation information may designate the operation timing time or time interval of “(b) stepping” and “(d) ball release”. When the operation timing is a time interval, this time interval may be specified by specifying a specific time. This “specific time” is a reference time for specifying the time interval that is the operation timing, and examples thereof include the start time and the center time of the time interval that is the operation timing. Note that the timing designation information may be an operation timing of a senior or a professional (reference player) who is performing a predetermined exercise.

動作タイミング検出部１１１は、入力された時系列の画像および／または時系列の筋電位信号から、タイミング指定情報で特定される動作タイミングの画像および／または筋電位信号を抽出する。動作タイミング検出部１１１は、タイミング指定情報で特定される時間または時間区間の画像および／または筋電位信号のみを抽出してもよいし、さらにその時間または時間区間よりも前の時間区間や後の時間区間の画像および／または筋電位信号を抽出してもよい。あるいは、動作タイミング検出部１１１は、タイミング指定情報で特定される時間区間よりも狭い時間区間の画像および／または筋電位信号を抽出してもよい。例えば、タイミング指定情報が、投球動作における「（ｂ）踏み出し」の開始時と終了時を指定する場合、動作タイミング検出部１１１は、「（ｂ）踏み出し」の開始時から終了時までの画像および／または筋電位信号のみを抽出してもよいし、さらに「（ｂ）踏み出し」の開始時よりも前や後の時間区間の画像および／または筋電位信号を抽出してもよい。あるいは、「（ｂ）踏み出し」の開始時から終了時までの時間区間よりも狭い時間区間の画像および／または筋電位信号のみを抽出してもよい。抽出された画像および／または筋電位信号は特徴量算出部１１２に送られる。複数の動作タイミングに対して画像および／または筋電位信号が抽出された場合には、抽出された画像および／または筋電位信号とそれに対応する動作タイミングを識別する情報とが関連付けられて出力される。   The operation timing detection unit 111 extracts an operation timing image and / or myoelectric potential signal specified by the timing designation information from the input time-series image and / or time-series myoelectric signal. The operation timing detection unit 111 may extract only the image and / or myoelectric potential signal of the time or time interval specified by the timing designation information, and further, the time interval before or after that time or time interval. An image of a time interval and / or a myoelectric potential signal may be extracted. Alternatively, the operation timing detection unit 111 may extract an image and / or myoelectric potential signal in a time interval narrower than the time interval specified by the timing designation information. For example, when the timing designation information designates the start time and end time of “(b) stepping” in the pitching operation, the operation timing detection unit 111 displays the images from the start time to the end time of “(b) stepping” and Only the myoelectric potential signal may be extracted, or an image and / or myoelectric potential signal in a time section before and after the start of “(b) stepping” may be extracted. Or you may extract only the image and / or myoelectric potential signal of a time interval narrower than the time interval from the start time of "(b) stepping" to the end time. The extracted image and / or myoelectric potential signal is sent to the feature amount calculation unit 112. When images and / or myoelectric potential signals are extracted for a plurality of operation timings, the extracted images and / or myoelectric potential signals and information for identifying the corresponding operation timings are output in association with each other. .

特徴量算出部１１２は、入力された画像および／または筋電位信号が表す筋電位に由来する特徴量（動作タイミングの特徴量）を算出して出力する。入力された画像および／または筋電位信号が複数の動作タイミング（例えば、「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミング）に対応する場合には、特徴量算出部１１２は、各動作タイミングに対応する特徴量を算出して出力する。この特徴量は、画像に由来するものであってもよいし、筋電位に由来するものであってもよいし、画像と筋電位との両方に由来するものであってもよい。画像と筋電位との両方に由来する特徴量は、画像に由来する特徴量と筋電位に由来する特徴量と含むものであってもよいし、画像に対応する値と筋電位に対応する値との関数値（例えば、相対値）に由来するものであってもよい。筋電位の測定箇所の近傍の筋が関与する動作部位（上半身や足等）の画像に対応する値と、当該測定箇所で得られた筋電位に対応する値と、に由来する特徴量であってもよい。「筋電位に対応する値」は、筋電位または筋電位の関数値である。「筋電位に対応する値」は「筋活動度」と同じであってもよいし、異なっていてもよい。以下に各特徴量を例示する。   The feature amount calculation unit 112 calculates and outputs a feature amount (feature amount of motion timing) derived from the myoelectric potential represented by the input image and / or myoelectric potential signal. When the input image and / or myoelectric potential signal corresponds to a plurality of operation timings (for example, “(b) stepping” and “(d) ball release” operation timings), the feature amount calculation unit 112 The feature amount corresponding to each operation timing is calculated and output. This feature amount may be derived from an image, may be derived from myoelectric potential, or may be derived from both an image and myoelectric potential. The feature quantity derived from both the image and the myoelectric potential may include a feature quantity derived from the image and a feature quantity derived from the myoelectric potential, or a value corresponding to the image and a value corresponding to the myoelectric potential. May be derived from a function value (for example, a relative value). This is a feature amount derived from a value corresponding to an image of a motion part (upper body, leg, etc.) involving a muscle in the vicinity of a myoelectric potential measurement point and a value corresponding to a myoelectric potential obtained at the measurement point. May be. The “value corresponding to myoelectric potential” is myoelectric potential or a function value of myoelectric potential. The “value corresponding to the myoelectric potential” may be the same as or different from the “muscle activity”. Each feature amount is exemplified below.

《動作タイミングの画像に由来する特徴量の例》
画像に由来する特徴量としては前述のＭＨＩがある。以下にＭＨＩによる特徴量を例示する。 《Examples of features derived from motion timing images》
As the feature amount derived from the image, there is the aforementioned MHI. Examples of feature values by MHI are given below.

ただし、Ｈ（ｘ，ｙ，ｔ）は時間ｔでの座標（ｘ,ｙ）の特徴量（ＭＨＩのピクセル値）を表す。ｄ（ｘ，ｙ，ｔ）は動き検出関数であり、ｄ（ｘ，ｙ，ｔ）＝１は時間ｔで画像の座標（ｘ,ｙ）のピクセル値に変化があったことを示す。大きいｔほど新しい時間を表す。ρは正値の減衰量である。ｍａｘ（α，β）はα≧βのときαを返し、α＜βのときにβを返す。Ｈ（ｘ，ｙ，ｔ）の初期値は例えば０とする。例えば、動作タイミングが特定の時間ｔである場合、この時間ｔでのすべての座標（ｘ，ｙ）でのＨ（ｘ，ｙ，ｔ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）を要素とする集合を特徴量とする。例えば、野球の投球動作における、「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」という４個の動作イベントにそれぞれ対応する時間ｔでのＨ（ｘ１，ｙ１，ｔ），…，Ｈ（ｘ２，ｙ２，ｔ）からなる集合を特徴量としている。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、この時間区間［ｔ１，ｔ２］でのすべての座標（ｘ,ｙ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）でのＨ（ｘ，ｙ，ｔ）（ただし、ｔ＝ｔ１，…，ｔ２）を要素とする集合を特徴量とする。あるいは、時間区間［ｔ１，ｔ２］でのすべての座標（ｘ,ｙ）でのＨ（ｘ，ｙ，ｔ）を所定の時間区間Ｔごとに時間平均した値Ｈ（ｘ，ｙ，Ｔ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）を要素とする集合を特徴量としてもよい。あるいは、ある時間区間においてＨ（ｘ，ｙ，ｔ）やＨ（ｘ，ｙ，Ｔ）を周波数領域に変換したものを特徴量としてもよい。   However, H (x, y, t) represents the feature quantity (MHI pixel value) of the coordinates (x, y) at time t. d (x, y, t) is a motion detection function, and d (x, y, t) = 1 indicates that the pixel value of the coordinates (x, y) of the image has changed at time t. A larger t represents a new time. ρ is a positive attenuation. max (α, β) returns α when α ≧ β, and returns β when α <β. The initial value of H (x, y, t) is 0, for example. For example, when the operation timing is a specific time t, H (x, y, t) at all coordinates (x, y) at this time t (where x = x1,..., X2, y = y1 ,..., Y2, x1 <x2, y1 <y2) as features. For example, in a baseball pitching motion, H () at time t corresponding to four motion events “(a) leg raising”, “(b) stepping out”, “(c) grounding”, and “(d) ball release”, respectively. A set of x1, y1, t),..., H (x2, y2, t) is a feature quantity. For example, when the operation timing is a specific time interval [t1, t2], all coordinates (x, y) in this time interval [t1, t2] (where x = x1,..., X2, y = y1 ,..., Y2, x1 <x2, y1 <y2), and H (x, y, t) (where t = t1,..., T2) is an element. Alternatively, a value H (x, y, T) (average of H (x, y, t) at all coordinates (x, y) in the time interval [t1, t2] for each predetermined time interval T. However, a set having x = x1,..., X2, y = y1,..., Y2, x1 <x2, y1 <y2) as elements may be used as the feature amount. Or it is good also considering what converted H (x, y, t) and H (x, y, T) into the frequency domain in a certain time section.

《動作タイミングの筋電位に由来する特徴量の例１》
動作タイミングで筋活動に特徴的な変化があるような場合（例えば、「（ｄ）ボールリリース」で上肢筋活動に大きなピークが現れる）、筋電位信号が表す筋電位に対応する値の時間変化量、または、筋電位に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個（ただし、Ｉは１以上の整数）の測定箇所で得られた筋電位信号Ｖｉ（ｔ）およびＶｉ（ｔ−１）（ただし、ｉは測定箇所に対応するチャネルｉ＝１，…，Ｉ）が入力される場合、筋電位信号Ｖｉ（ｔ），Ｖｉ（ｔ−１）がそれぞれ示す筋電位の大きさＭｉ（ｔ），Ｍｉ（ｔ−１）の時間変化量ΔＭｉ（ｔ）＝Ｍｉ（ｔ）−Ｍｉ（ｔ−１）または時間変化量ΔＭ１（ｔ），・・・，ΔＭＩ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、時間区間［ｔ１，ｔ２］での時間変化量ΔＭｉ（ｔ）＝Ｍｉ（ｔ）−Ｍｉ（ｔ−１）からなる集合を特徴量としてもよいし、時間変化量ΔＭｉ（ｔ）を所定の時間区間Ｔごとに時間平均した時間変化量ΔＭｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号が表す筋電位に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。 << Example 1 of feature amount derived from myoelectric potential at operation timing >>
When there is a characteristic change in the muscle activity at the operation timing (for example, a large peak appears in the upper limb muscle activity by “(d) ball release”), the time change of the value corresponding to the myoelectric potential represented by the myoelectric potential signal A set including a quantity or a time change amount of a value corresponding to myoelectric potential as an element may be used as a feature quantity. For example, the feature amount may be a time variation of the magnitude of the myoelectric potential represented by the myoelectric potential signal or a set having the time change of the magnitude of the myoelectric potential as an element. Specifically, for example, the myoelectric potential signals Vi (t) and Vi (t−1) obtained at I measurement points (where I is an integer equal to or greater than 1) have a specific time t. (Where i is the channel i = 1,..., I corresponding to the measurement location), the myoelectric potential magnitude Mi (t) indicated by the myoelectric potential signals Vi (t) and Vi (t−1), respectively. ), Mi (t−1) time variation ΔMi (t) = Mi (t) −Mi (t−1) or time variation ΔM1 (t),..., ΔMI (t). It may be an amount. For example, when the operation timing is a specific time section [t1, t2], a set of time change amounts ΔMi (t) = Mi (t) −Mi (t−1) in the time section [t1, t2] is obtained. A feature amount may be used, or a set of time change amounts ΔMi (T) obtained by averaging the time change amounts ΔMi (t) for each predetermined time interval T may be used as the feature amount. Alternatively, a feature value may be a time change amount of a value obtained by converting a value corresponding to a myoelectric potential represented by a myoelectric potential signal into a frequency domain, or a set having such a time change amount of a value converted into such a frequency domain as an element. Good.

《動作タイミングの筋電位に由来する特徴量の例２》
入力された筋電位信号が表す筋電位に対応する値、または、筋電位に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個の測定箇所で得られた筋電位信号Ｖｉ（ｔ）が示す筋電位の大きさＭｉ（ｔ）またはＭ１（ｔ），・・・，ＭＩ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、時間区間［ｔ１，ｔ２］での筋電位の大きさＭｉ（ｔ）からなる集合を特徴量としてもよいし、筋電位の大きさＭｉ（ｔ）を所定の時間区間Ｔごとに時間平均したＭｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号が表す筋電位に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。 << Example 2 of feature quantity derived from myoelectric potential at action timing >>
A value corresponding to the myoelectric potential represented by the input myoelectric potential signal, or a set having elements corresponding to values corresponding to the myoelectric potential may be used as the feature amount. For example, the magnitude of the myoelectric potential represented by the myoelectric potential signal or a set having the magnitude of the myoelectric potential as an element may be used as the feature amount. Specifically, for example, the operation timing is a specific time t, and the myoelectric potential magnitude Mi (t) or M1 (t), which is indicated by the myoelectric potential signal Vi (t) obtained at the I measurement points, .., MI (t) may be a feature amount. For example, when the operation timing is a specific time interval [t1, t2], a set of myoelectric potential magnitudes Mi (t) in the time interval [t1, t2] may be used as the feature amount. A set of Mi (T) obtained by averaging the size Mi (t) for each predetermined time interval T may be used as the feature amount. Alternatively, a value obtained by converting a value corresponding to the myoelectric potential represented by the myoelectric potential signal into the frequency domain, or a set having such a value converted into such a frequency domain as an element may be used as the feature amount.

《動作タイミングの画像と筋電位との両方に由来する特徴量の例１》
画像に由来する特徴量と筋電位信号が表す筋電位に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルｉの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，ｔ）／ΔＭｉ（ｔ））や、このようなＨ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，Ｔ）／ΔＭｉ（Ｔ））や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Ｔごとに時間平均して得られたＨ（ｘ，ｙ，Ｔ）とＭｉ（Ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とＭｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号が表す筋電位に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。 << Example 1 of Feature Value Derived from Both Motion Timing Image and Myoelectric Potential >>
A relative value between a feature amount derived from an image and a temporal change amount of a value corresponding to the myoelectric potential represented by the myoelectric potential signal, or a set having such a relative value as an element may be used as the feature amount. For example, the relative value between H (x, y, t) and ΔMi (t) described above, the relative value between H (x, y, T) and ΔMi (T), or such relative value as an element. It is good also considering the set to be a feature-value. Specifically, for example, the relative value (for example, H (x) of H (x, y, t) and ΔMi (t) of a single or plural coordinates of a motion part involving a muscle near the measurement part of channel i. x, y, t) / ΔMi (t)) and relative values of such H (x, y, T) and ΔMi (T) (for example, H (x, y, T) / ΔMi (T) ) Or a set having such relative values as elements may be used as the feature amount. Further, as described above, relative values of H (x, y, T) and Mi (T) obtained by time averaging for each time interval T, or H (x, y, T) and Mi (T). Or a set having such a relative value as an element may be used as the feature amount. Further, in these examples, a feature amount obtained by replacing H (x, y, t), ΔMi (t), H (x, y, T), and ΔMi (T) with values in the frequency domain may be used. Alternatively, a relative value between a feature amount derived from an image and a value corresponding to the myoelectric potential represented by the myoelectric signal converted to a frequency domain, or a set having such a relative value as an element is a feature amount. It is good.

《動作タイミングの画像と筋電位との両方に由来する特徴量の例２》
画像に由来する特徴量と筋電位信号が表す筋電位に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）とＭｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）とＭｉ（Ｔ）とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位との両方に由来する特徴量の例１の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。
上述のように得られた動作タイミングの特徴量は特徴量記憶部１１３に格納される。 << Example 2 of Feature Value Derived from Both Motion Timing Image and Myoelectric Potential >>
A relative value between a feature amount derived from an image and a value corresponding to the myoelectric potential represented by the myoelectric potential signal, or a set having such a relative value as an element may be used as the feature amount. For example, the above-described set having H (x, y, t) and ΔMi (t) as elements, the set having H (x, y, T) and ΔMi (T) as elements, and H (x, y, t), ΔMi (t), and Mi (t) as elements and a set having H (x, y, T), ΔMi (T), and Mi (T) as elements Also good. Furthermore, a set obtained by adding the feature amount of Example 1 of the feature amount derived from both the operation timing image and the myoelectric potential to such a set may be used as the feature amount. Further, in these examples, a feature amount obtained by replacing H (x, y, t), ΔMi (t), H (x, y, T), and ΔMi (T) with values in the frequency domain may be used.
The feature quantity of the operation timing obtained as described above is stored in the feature quantity storage unit 113.

＜画像生成処理＞
動作タイミング照合部１１４に、特定の動作主体の一連の動作（例えば、投球運動）をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動を測定して得られた時系列の筋電位を表す筋電位信号が入力される。これらの画像および筋電位信号は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの（単数の動作主体による複数回の動作過程で得られたもの）であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの（複数の動作主体による複数回の動作過程で得られたもの）であってもよい。複数の筋電位は、動作主体の単数の測定箇所で得られたものであってもよいし、複数の測定箇所で得られたものであってもよい。動作タイミング照合部１１４は、特徴量記憶部１１３から読み出した特徴量を用い、入力された画像および筋電位信号から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の複数の筋電位を抽出する。動作タイミング照合部１１４は、抽出した複数の筋電位のそれぞれに対応する筋活動度を得、複数の画像および筋活動度を照合結果記憶部１１５に格納する。以下、この処理の詳細を例示する。 <Image generation processing>
It is obtained by measuring the time series images obtained by photographing a series of actions (for example, pitching motion) of a specific action subject with the camera and the series of muscle activities of the action subject in the action timing verification unit 114. A myoelectric signal representing a time-series myoelectric potential is input. These images and myoelectric potential signals may be obtained by a single action subject repeatedly performing the above-described series of actions a plurality of times (obtained by a plurality of action processes by a single action subject). Even if each of the plurality of operation subjects is obtained by performing the above-described series of operations one or more times in sequence (obtained by a plurality of operation processes by a plurality of operation subjects). Good. The plurality of myoelectric potentials may be obtained at a single measurement location of the operation subject or may be obtained at a plurality of measurement locations. The operation timing collation unit 114 uses the feature amount read from the feature amount storage unit 113, and from the input image and myoelectric potential signal, a plurality of operation subjects obtained from a time series image of the operation subject at a specific operation timing. Are extracted, and a plurality of myoelectric potentials of the action subject obtained at specific action timings are extracted from the time series myoelectric potentials of the action subject. The operation timing collation unit 114 obtains muscle activity levels corresponding to the extracted plurality of myoelectric potentials, and stores a plurality of images and muscle activity levels in the collation result storage unit 115. Hereinafter, details of this processing will be exemplified.

≪動作タイミング照合の詳細の例示≫
図８は、動作タイミング照合部１１４の構成の一例を示すブロック図である。
動作タイミング照合部１１４の特徴量抽出部１１４１に、動作タイミング照合の処理が未処理の時間区間［ｔｓ，ｔｅ］（ただし、ｔｓ＜ｔｅ）での時系列の画像および時系列の筋電位を表す筋電位信号の少なくとも一方が入力される。時間区間［ｔｓ，ｔｅ］は、１回の一連の動作（例えば、投球動作）が行われる時間区間、またはそれと仮定された時間区間である。時間区間［ｔｓ，ｔｅ］の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部１１４１は、時間区間［ｔｓ，ｔｅ］に属する複数の時間または時間区間について、当該時間または時間区間での画像および／または筋電位信号が表す筋電位に由来する特徴量を算出して出力する。ただし、特徴量抽出部１１４１は、前述の特徴量算出部１１２と同じ方法で特徴量を算出する。特徴量は類似度算出部１１４２に送られる。 ≪Example of operation timing verification details≫
FIG. 8 is a block diagram illustrating an example of the configuration of the operation timing verification unit 114.
The feature amount extraction unit 1141 of the operation timing verification unit 114 indicates a time-series image and a time-series myoelectric potential in a time interval [ts, te] (where ts <te) where the operation timing verification process is unprocessed. At least one of myoelectric potential signals is input. The time interval [ts, te] is a time interval in which a series of operations (for example, a pitching operation) is performed, or a time interval assumed to be a time interval. The determination of the time interval [ts, te] may be performed based on, for example, an input from the user, may be performed by dividing every predetermined time, or may be input time series It may be performed based on information representing a time interval added to the image. The feature amount extraction unit 1141 calculates, for a plurality of times or time intervals belonging to the time interval [ts, te], a feature amount derived from the myoelectric potential represented by the image and / or myoelectric potential signal in the time or time interval. Output. However, the feature amount extraction unit 1141 calculates the feature amount by the same method as the feature amount calculation unit 112 described above. The feature amount is sent to the similarity calculation unit 1142.

類似度算出部１１４２は、得られた各時間または各時間区間での特徴量と、特徴量記憶部１１３から読み出した動作タイミングの特徴量との類似度を、各時間または各時間区間について算出して出力する。特徴量記憶部１１３に複数の動作タイミングの特徴量が格納されている場合には、類似度算出部１１４２は、それぞれの動作タイミングの特徴量について類似度を算出して出力する。類似度は動作タイミング検出部１１４３に送られる。   The similarity calculation unit 1142 calculates, for each time or each time interval, the similarity between the obtained feature amount at each time or each time interval and the feature value of the operation timing read from the feature amount storage unit 113. Output. When the feature amount storage unit 113 stores a plurality of feature amounts at the operation timing, the similarity calculation unit 1142 calculates and outputs the similarity for each feature amount at the operation timing. The similarity is sent to the operation timing detection unit 1143.

動作タイミング検出部１１４３は、時間区間［ｔｓ，ｔｅ］内において類似度がピークとなる時間または時間区間を検出する。動作タイミング検出部１１４３に複数の動作タイミングの類似度が送られる場合には、それぞれの動作タイミングの類似度についてピークとなる時間または時間区間を検出する。なお、ピークの類似度が所定の閾値を超えるという制限を課してもよい。動作タイミング検出部１１４３は、検出した時間または時間区間を、動作タイミングを表す時間または時間区間として出力する。検出された動作タイミングを表す時間または時間区間は、画像抽出部１１４４および筋活動度抽出部１１４５に送られる。   The operation timing detection unit 1143 detects a time or a time interval in which the similarity is a peak within the time interval [ts, te]. When the similarity of a plurality of operation timings is sent to the operation timing detection unit 1143, the time or time interval that is the peak for the similarity of each operation timing is detected. In addition, you may impose the restriction that the similarity of a peak exceeds a predetermined threshold value. The operation timing detection unit 1143 outputs the detected time or time interval as a time or time interval representing the operation timing. The time or time interval representing the detected motion timing is sent to the image extraction unit 1144 and the muscle activity extraction unit 1145.

画像抽出部１１４４には、時間区間［ｔｓ，ｔｅ］での時系列の画像と動作タイミングを表す時間または時間区間とが入力される。画像抽出部１１４４は、動作タイミングを表す時間または時間区間での画像（特定の動作タイミングで得られた画像）を抽出し、照合結果記憶部１１５（図７）に格納する。   The image extraction unit 1144 receives a time-series image in the time interval [ts, te] and a time or time interval representing the operation timing. The image extraction unit 1144 extracts an image (an image obtained at a specific operation timing) in a time or time interval representing the operation timing, and stores it in the matching result storage unit 115 (FIG. 7).

筋活動度抽出部１１４５には、時間区間［ｔｓ，ｔｅ］での時系列の筋電位を表す筋電位信号と動作タイミングを表す時間または時間区間とが入力される。筋活動度抽出部１１４５は、動作タイミングを表す時間または時間区間での筋電位信号を抽出し、抽出した筋電位信号が表す筋電位（特定の動作タイミングで得られた動作主体の筋電位）に対応する値を筋活動度として算出し、照合結果記憶部１１５に格納する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。   The myoelectric activity signal extraction unit 1145 receives a myoelectric potential signal representing a time-series myoelectric potential in the time interval [ts, te] and a time or time interval representing an operation timing. The muscle activity level extraction unit 1145 extracts a myoelectric potential signal in the time or time interval representing the motion timing, and converts it into the myoelectric potential represented by the extracted myoelectric potential signal (the myoelectric potential of the motion subject obtained at the specific motion timing). The corresponding value is calculated as the muscle activity level and stored in the matching result storage unit 115. Examples of the “muscle activity level” are as described above. For example, the absolute amplitude value or the mean square amplitude value of the myoelectric potential can be used as the muscle activity level.

終了判定部１１４６は、動作タイミング照合部１１４に入力された時系列の画像および筋電位信号に未処理の時間区間［ｔｓ，ｔｅ］が存在するかを判定する。ここで、未処理の時間区間［ｔｓ，ｔｅ］が存在する場合には動作タイミング照合の処理の最初に戻る。一方、未処理の時間区間［ｔｓ，ｔｅ］が存在しない場合には動作タイミング照合の処理の処理を終了する。   The end determination unit 1146 determines whether an unprocessed time interval [ts, te] exists in the time-series image and myoelectric potential signal input to the operation timing verification unit 114. Here, if there is an unprocessed time interval [ts, te], the process returns to the beginning of the operation timing verification process. On the other hand, when there is no unprocessed time section [ts, te], the process of the operation timing verification process is terminated.

以上により、照合結果記憶部１１５には、特定の動作タイミングで得られた動作主体の画像と当該動作タイミングで得られた動作主体の筋電位に対応する筋活動度とが複数個格納される（≪動作タイミング照合の詳細の例示≫の終わり）。   As described above, the collation result storage unit 115 stores a plurality of motion subject images obtained at specific motion timings and muscle activity levels corresponding to motion subject myoelectric potentials obtained at the motion timings ( << End of Example of Details of Operation Timing Matching >>

動作タイミングでのすべての画像と筋活動度とが照合結果記憶部１１５に格納されると、次に合成画像の生成に移る。   When all the images and the muscle activity levels at the operation timing are stored in the collation result storage unit 115, the next step is to generate a composite image.

重畳画像作成部１１６（図７）は、照合結果記憶部１１５に格納された動作主体の複数の画像を読み出しこれらを重畳した重畳画像（特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像）を生成して出力する。重畳画像は合成部１１８に送られる。例えば、信号生成部１４１の出力が重畳する画像（又は映像）信号である場合には、信号生成部１４１の出力は画像（又は映像）信号として合成部１１８に入力されてもよい。例えば、信号生成部１４１の出力が画像等に重畳する文字データである場合には、信号生成部１４１の出力は重畳画像作成部１１６に入力されてもよい。   The superimposed image creation unit 116 (FIG. 7) reads out a plurality of images of the operation subject stored in the collation result storage unit 115 and superimposes these images (one or more of the operation subjects obtained at a specific operation timing). A superimposed image of a plurality of images is generated and output. The superimposed image is sent to the synthesis unit 118. For example, when the output of the signal generation unit 141 is an image (or video) signal to be superimposed, the output of the signal generation unit 141 may be input to the synthesis unit 118 as an image (or video) signal. For example, when the output of the signal generation unit 141 is character data to be superimposed on an image or the like, the output of the signal generation unit 141 may be input to the superimposed image creation unit 116.

筋活動度画像生成部１１７は、少なくとも、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成して出力する。以下に筋活動度画像の具体例を示す。   The muscle activity level image generation unit 117 reads at least a plurality of muscle activity levels stored in the collation result storage unit 115, generates and outputs a muscle activity level image derived from the plurality of myoelectric potential levels. A specific example of the muscle activity level image is shown below.

≪筋活動度画像の例１≫
筋活動度画像は、例えば、複数の筋活動度の関係から得られる値を表す画像を含む。このとき、複数の筋活動度の関係から得られる値は、複数時刻において測定された複数の筋活動度の関係から得られる値を含む。例えば、筋活動度画像は、（１−ａ）複数の筋活動度のばらつきを表す画像、（１−ｂ）複数の筋活動度の相対値を表す画像、または（１−ｃ）複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。 ≪Example 1 of muscle activity level image≫
The muscle activity level image includes, for example, an image representing a value obtained from a relationship between a plurality of muscle activity levels. At this time, the value obtained from the relationship between the plurality of muscle activity levels includes the value obtained from the relationship between the plurality of muscle activity levels measured at a plurality of times. For example, the muscle activity level image includes (1-a) an image representing a variation in a plurality of muscle activity levels, (1-b) an image representing a relative value of a plurality of muscle activity levels, or (1-c) a plurality of muscles. It includes at least one of images representing variations in the relative value of activity. Examples of images representing relative values and their variations are the aforementioned contour plot, time series graph, and histogram.

（１−ａ）複数の筋活動度のばらつきを表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングでの筋活動度のばらつきを表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度のばらつきを表す画像である。他の例は、複数の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。「ばらつき」の意味は前述の通りであり、例えば、分散や標準偏差等である。   (1-a) An image representing a plurality of muscle activity level variations is, for example, an image representing a muscle activity level variation at a specific motion timing in a series of motions performed a plurality of times by the same motion subject. Such an image may be obtained for each measurement point of myoelectric potential. Another example is an image representing variations in a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of the same action subject. Another example is an image representing variation in muscle activity at a specific motion timing in a series of motions performed by a plurality of motion subjects. Another example is an image representing variation in a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. The meaning of “variation” is as described above, and is, for example, variance or standard deviation.

（１−ｂ）複数の筋活動度の相対値を表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングの筋活動度の相対値を表す画像である。具体的には、例えば１回目の動作での筋活動度と２回目以降に行われた動作での筋活動度との相対値を表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。なお、相対値の例は前述の通りであり、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。具体的には、例えば、主動筋の筋電位に対応する筋活動度と、拮抗筋の筋電位に対応する筋活動度と、の間の相対値を表す画像である。この画像によって「力み」を表すことができる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す画像では、「力み」を明確に表すことができる。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度の相対値を表す画像である。他の例は、複数の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。   (1-b) An image representing a relative value of a plurality of muscle activity levels is, for example, an image representing a relative value of muscle activity levels at a specific motion timing in a series of motions performed a plurality of times by the same motion subject. . Specifically, for example, the image represents a relative value between the muscle activity level in the first motion and the muscle activity level in the second and subsequent motions. Such an image may be obtained for each measurement point of myoelectric potential. Examples of relative values are as described above, and are “difference” with positive / negative distinction, “difference” without positive / negative distinction, “square error”, or “ratio”, or any of these function values. is there. Another example is an image representing relative values of a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of the same action subject. Specifically, for example, the image represents a relative value between the muscle activity level corresponding to the myoelectric potential of the main muscle and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. This image can represent “force”. In particular, in the image representing the value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle, the “force” can be clearly expressed. Another example is an image representing a relative value of muscle activity at a specific motion timing in a series of motions performed by a plurality of motion subjects. Another example is an image representing relative values of a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects.

（１−ｃ）複数の筋活動度の相対値のばらつきを表す画像の例は、上述の（１−ｂ）複数の筋活動度の相対値の具体例のばらつきを表す画像である。具体例としては、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像である。より具体的には、例えば、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である。これらの具体例では「力み」のばらつきを表現できる。   (1-c) An example of an image representing a variation in relative values of a plurality of muscle activity levels is an image representing a variation of a specific example of the relative value of (1-b) a plurality of muscle activity levels described above. As a specific example, it is an image representing a variation in relative value between the muscle activity corresponding to the myoelectric potential of the main muscle and the muscle activity corresponding to the myoelectric potential of the antagonist muscle. More specifically, for example, the image represents a variation in a value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle. In these specific examples, variation in “force” can be expressed.

≪筋活動度画像の例２≫
筋活動度画像生成部１１７が、さらに照合結果記憶部１１５に格納された動作主体の複数の画像（特定の動作タイミングで得られた複数の画像）を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像を生成してもよい。統合特徴量の例は、前述の特徴量算出部１１２が算出する特徴量として例示した「画像と筋電位との両方に由来する特徴量」である。例えば、統合特徴量は、筋電位の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位に対応する筋活動度と、に由来する特徴量である。特徴量算出部１１２が生成する特徴量と筋活動度画像生成部１１７が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。 ≪Example 2 of muscle activity image≫
The muscle activity level image generation unit 117 further reads out a plurality of motion subject images (a plurality of images obtained at a specific motion timing) stored in the matching result storage unit 115, and specifies each of the plurality of images. An integrated feature amount derived from both of the plurality of myoelectric potentials obtained at the operation timing may be obtained, and a muscle activity level image derived from the plurality of integrated feature amounts may be generated. An example of the integrated feature amount is “a feature amount derived from both an image and a myoelectric potential” exemplified as the feature amount calculated by the above-described feature amount calculation unit 112. For example, the integrated feature amount is a feature derived from a value corresponding to an image of an action site involving a muscle in the vicinity of a myoelectric potential measurement location, and a muscle activity level corresponding to the myoelectric potential obtained at the measurement location. Amount. The feature amount generated by the feature amount calculation unit 112 and the feature amount generated by the muscle activity level image generation unit 117 may be the same or different from each other. Examples of muscle activity level images derived from a plurality of integrated feature values include images showing variations in multiple integrated feature values, images showing relative values of multiple integrated feature values, and variations in relative values of multiple integrated feature values. It is an image to represent. Examples of such muscle activity image are the above-mentioned contour plot, time series graph, and histogram.

≪筋活動度画像の例３≫
その他、上述の筋活動度画像の例１の何れかの画像と筋活動度画像の例２の何れかの画像とが生成されてもよい。 ≪Example 3 of muscle activity level image≫
In addition, any one of the above-described muscle activity image examples 1 and any one of the muscle activity image examples 2 may be generated.

合成部１１８は、入力された重畳画像および筋活動度画像を合成して合成画像を生成して出力する。重畳画像と筋活動度画像とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像とを重畳する場合、筋活動度画像に対応する筋の位置またはその近傍に当該筋活動度画像を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置１２はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動とを同時に表示できる。   The synthesizing unit 118 synthesizes the input superimposed image and muscle activity level image to generate and output a synthesized image. A composite image in which the superimposed image and the muscle activity level image are superimposed may be used, or a composite image in which these are not superimposed may be used. When superimposing the superimposed image and the muscle activity level image, it is desirable to arrange the muscle activity level image at or near the position of the muscle corresponding to the muscle activity level image. Thereby, it becomes easy to grasp the spatial positional relationship between the motion and the muscle activity. The image presentation device 12 displays this composite image. As a result, the image of the action subject and the muscle activity at a specific action timing can be displayed simultaneously.

図９は、合成音／画像生成部の構成の他の例を示すブロック図である。
まず概要を説明する。この実施形態では、筋電位データ、例えば複数の筋電位等の生体情報に由来する（言い換えると、複数の筋電位から導き出される）複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。 FIG. 9 is a block diagram illustrating another example of the configuration of the synthesized sound / image generation unit.
First, an outline will be described. In this embodiment, an acoustic signal representing myoelectric potential data, for example, information derived from biological information such as a plurality of myoelectric potentials (in other words, derived from a plurality of myoelectric potentials) is output. . “Information obtained from a relationship between a plurality of values” is, for example, a statistical value or a relative value regarding the relationship between a plurality of values. Thus, by using the acoustic signal that directly represents “information obtained from the relationship between a plurality of values derived from a plurality of myoelectric potentials”, information based on the relationship between a plurality of muscle activities can be clearly presented.

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。例えば、「複数の筋電位」はそれぞれ時系列信号である。「動作主体」は人であってもよいし、人以外の動物であってもよい。単数の「動作主体」の例は、動作の訓練等を受ける一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行う動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体からなる複数の動作主体、または手本となる動作主体以外の複数の動作主体などである。   The “plural myoelectric potentials” may be obtained by a plurality of motion processes by one or a plurality of motion subjects, or may be obtained at a plurality of measurement points of a single or a plurality of motion subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. For example, each of “plural myoelectric potentials” is a time series signal. The “moving subject” may be a person or an animal other than a person. An example of a single “acting subject” is a single actuating subject who is trained in motion. Examples of multiple “acting subjects” include two acting subjects consisting of an acting subject acting as an example and an acting subject performing an action according to the action, an acting subject acting as an example, and an action according to the action. For example, a plurality of action subjects composed of a plurality of action subjects to be performed, or a plurality of action subjects other than the action subject serving as a model.

「複数の筋電位に由来する複数の値」は、時間領域の値であってもよいし、周波数領域の値であってもよい。「複数の筋電位に由来する複数の値の関係から得られる情報」は、例えば、当該複数の値のばらつき、当該複数の値の相対値、当該複数の値の相対値のばらつき、複数の筋電位から得られる複数の筋の活動開始時点の関係（例えば順序関係）などである。   “A plurality of values derived from a plurality of myoelectric potentials” may be time-domain values or frequency-domain values. “Information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials” includes, for example, variations in the plurality of values, relative values of the plurality of values, variations in relative values of the plurality of values, and a plurality of muscles. This is the relationship (for example, order relationship) between the start times of the activities of a plurality of muscles obtained from the potential.

「音響信号」は、例えば時系列信号であり、複数の筋活動度の関係、複数の筋活動度のばらつき、複数の筋活動度の相対値、または複数の筋活動度の相対値のばらつき、の少なくとも何れかを表す。ただし、複数の筋活動度のそれぞれは複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。   The “acoustic signal” is, for example, a time series signal, a relationship between a plurality of muscle activity levels, a plurality of muscle activity level variations, a plurality of muscle activity level relative values, or a plurality of muscle activity level relative value variations, Represents at least one of the following. However, each of the plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials. “Muscle activity” is a myoelectric potential or a function value thereof. An example of the function value of the myoelectric potential is a function value representing the magnitude of the myoelectric potential, for example, a broad monotonically increasing function value (for example, monotonically increasing function value) of the absolute amplitude value of the myoelectric potential. For example, the absolute amplitude value of the myoelectric potential or the mean square amplitude value in a predetermined time interval can be set as the “muscle activity level”. As the function value of the myoelectric potential, a value representing the magnitude of the myoelectric potential that has been smoothed or removed from the DC component may be used.

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。   The “variation” of a plurality of muscle activity levels may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of a single motion subject, or a plurality of a single motion subject. It may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of muscle potentials, or a plurality of muscles derived from a plurality of myoelectric potentials obtained at the same measurement site of a plurality of motion subjects It may be a variation in activity level, or may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. An example of “variation” is “statistical variation” such as variance and standard deviation.

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位（複数回の動作を繰り返した過程で得られた筋電位）に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。   The relative value of multiple muscle activities is the multiple muscle activities derived from multiple myoelectric potentials (myoelectric potentials obtained in the process of repeating multiple actions) obtained at the same measurement location of a single motion subject. May be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points of a single action subject, or a plurality of It may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of the motion subject, or a plurality of values obtained at a plurality of measurement locations of a plurality of motion subjects. It may be a relative value between a plurality of muscle activity levels derived from myoelectric potential. Examples of the “relative value” are “difference” with positive / negative distinction, “difference” with no positive / negative distinction, “square error”, or “ratio”, or a function value of any of these.

「ばらつきを表す音響信号」は、ばらつきの大きさを表した音響信号である。「ばらつきを表す音響信号」の例は、（Ｆ−１）ばらつきの大きさを音響特徴（例えば、基本周波数、音色、音の大きさなど）にマッピングして得られる音響信号である。「ばらつきを表す音響信号」の他の例は、（Ｆ−２）ばらつきの大きさに応じて音量比が異なるマルチチャネルの音響信号（例えば、ステレオ再生される左右の音響信号）である。「相対値を表す音響信号」は、相対値またはその大きさを表した音響信号である。「相対値を表す音響信号」の例は、上記の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した音響信号等である。   The “acoustic signal representing variation” is an acoustic signal representing the magnitude of variation. An example of “acoustic signal representing variation” is (F-1) an acoustic signal obtained by mapping the magnitude of variation to acoustic features (eg, fundamental frequency, tone color, loudness, etc.). Another example of the “acoustic signal representing variation” is (F-2) a multi-channel acoustic signal (for example, left and right acoustic signals to be reproduced in stereo) having a volume ratio that varies depending on the magnitude of variation. The “acoustic signal representing a relative value” is an acoustic signal representing a relative value or its magnitude. In the example of “acoustic signal representing relative value”, “variation magnitude” in the above examples (F-1) and (F-2) is replaced with “relative value” or “relative value magnitude”. An acoustic signal or the like.

「複数の筋電位」が、主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「音響信号」が、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との関係、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値、または、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかを表してもよい。この「音響信号」によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）が定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。動作に伴う主動筋活動と拮抗筋活動との相対値を用いると、この力み度合をフィードバックできる。   The “multiple myoelectric potentials” include the myoelectric potentials of the main muscles and the myoelectric potentials of the antagonistic muscles corresponding to the main muscles. Corresponds to the relationship between the muscle activity corresponding to the potential, the relative value between the muscle activity corresponding to the main muscle potential and the muscle activity corresponding to the antagonist muscle potential, or the main muscle potential It is also possible to represent at least one of a relative value variation between the muscle activity level to be measured and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. This “acoustic signal” can represent the “force” of the operation subject. In particular, when this "relative value" is a value obtained by dividing "muscle activity corresponding to myoelectric potential of antagonistic muscle" by "muscle activity corresponding to myoelectric potential of main muscle" (divided value), Activity level (ratio of antagonistic muscle activity to main muscle activity) can be quantified, and "force" can be expressed more clearly. The “antagonist muscle corresponding to the main muscle” means a muscle that relaxes in an operation in which the main muscle contracts. For example, in the operation of bending the wrist, the wrist flexor muscles contract as the main muscles and the extensor muscles relax as the antagonistic muscles. Conversely, in the action of stretching the wrist, the extensor is contracted as the main muscle and the wrist flexor is relaxed as the antimuscle. When bending the wrist, it is desirable that the wrist flexor muscle that is the main muscle is active and the activity of the extensor that is the antagonist muscle is suppressed. However, if the antagonistic muscle is excessively active, it becomes a so-called “force” state and inhibits exercise. By using the relative value of the main muscle activity and antagonistic muscle activity that accompanies the movement, this degree of force can be fed back.

「音響信号」が、複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の活動開始時点の関係を表してもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この「音響信号」によって、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、「音響信号」が複数の筋の「活動開始時点」のばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、複数の筋の活動開始時点の順序関係を表してもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係を表す音響信号の例は、（Ｆ−３）互いに音響特徴が異なる複数のサブ時系列信号を合成した音響信号である。ただし、複数のサブ時系列信号のぞれぞれは、複数の筋のそれぞれに対応し、合成された複数のサブ時系列信号の開始点の順序関係は、複数の筋の活動開始時の順序関係に対応する。サブ時系列信号の例は、任意の波形の信号であり、例えば、正弦波を表す信号である。その他、（Ｆ−４）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで音響特徴が異なる音響信号や、（Ｆ−５）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど特定の音響特徴に近づく音響信号などでもよい。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始時される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。また、動作または一連の動作に関与しない複数の筋（拮抗筋）の筋活動開始時に対応したサブ時系列信号を加えてもよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したか、あるいは所定の動作に不要な複数の筋が活動していなかったかを可聴化できる。   The “acoustic signal” may represent a relationship at the start of activity of a plurality of muscles obtained from a plurality of myoelectric potentials (for example, a plurality of muscles involved in a motion of a certain subject or a series of motions). The activity start time means the time when the muscle starts the muscle activity. By this “acoustic signal”, information on the start timing of muscle activity (for example, variation in the start timing of muscle activity, relative value, and appropriateness) can be expressed. For example, the “acoustic signal” may represent a variation in “activity start time” of a plurality of muscles, may represent a relative value, may represent a variation in a relative value, or may represent a plurality of muscle activities. The order relationship at the start time may be expressed. The relative value of the “activity start time” may be a relative value of another “activity start time” with respect to any of the “activity start time” of the plurality of muscles, It may be a relative value of “activity start time”. An example of the acoustic signal representing the order relationship at the time of starting the activity of the plurality of muscles is (F-3) an acoustic signal obtained by synthesizing a plurality of sub time-series signals having different acoustic characteristics. However, each of the plurality of sub time series signals corresponds to each of the plurality of lines, and the order relationship of the start points of the plurality of synthesized sub time series signals is the order at the start of the activities of the plurality of lines. Corresponds to the relationship. An example of the sub time series signal is a signal having an arbitrary waveform, for example, a signal representing a sine wave. In addition, (F-4) an acoustic signal having different acoustic characteristics depending on whether the order relationship of the activity start points of the plurality of muscles is appropriate or inappropriate, or (F-5) the activity start time of the plurality of muscles. An acoustic signal closer to a specific acoustic feature may be used as the order relationship becomes closer to an appropriate order relationship. It should be noted that whether or not the order relationship at the start of activity of a plurality of muscles is appropriate depends on the operation. For example, in the ball release operation of the pitching exercise, an order relationship in which muscle activity is started in the order of a muscle that moves the shoulder, a muscle that moves the elbow, a muscle that moves the wrist, and a muscle that moves the finger is appropriate. Such an appropriate order relationship may be set in advance according to the operation. Moreover, you may add the sub time series signal corresponding to the time of the muscular activity start of several muscles (antagonist muscle) which are not concerned with operation | movement or a series of operation | movement. As described above, for example, it is possible to make audible whether a plurality of muscles involved in a predetermined action have started activities in an appropriate order or whether a plurality of muscles unnecessary for the predetermined action have not been activated.

以下、図面を参照しつつ、各実施形態を詳細に説明する。
［第２実施形態］
第２実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。
＜構成＞
図９に例示するように、合成音／画像生成部１４２は、例えば、可聴化装置２１を有し、出力装置２００は音響信号提示装置２２を有する。なお、可聴化装置２１の一部は信号生成部１４１に含まれていてもよい。本形態の可聴化装置２１は、筋活動度抽出部２１１と関係由来情報抽出部２１２と音響信号合成部２１３とを有する。 Hereinafter, each embodiment will be described in detail with reference to the drawings.
[Second Embodiment]
In the second embodiment, the relationship between the main muscle activity and the antagonist muscle activity is made audible for the combination of the main muscle and the antagonist muscle involved in the desired motion, and the strength of the motion is fed back.
<Configuration>
As illustrated in FIG. 9, the synthesized sound / image generation unit 142 includes, for example, an audible device 21, and the output device 200 includes an acoustic signal presentation device 22. A part of the audible device 21 may be included in the signal generation unit 141. The audible device 21 of this embodiment includes a muscle activity level extraction unit 211, a relationship-derived information extraction unit 212, and an acoustic signal synthesis unit 213.

図１０は、可聴化装置２１の構成の一例を示すブロック図である。
図１０に例示するように、筋活動度抽出部２１１は、筋活動度算出部２１１１−ｎおよび２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎであり、Ｎは１以上の整数）を有する。関係由来情報抽出部２１２は、筋活動度変調部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。音響信号合成部２１３は、音響信号生成部２１３１−ｎ（ただし、ｎ＝１，・・・，Ｎ）と合成部２１３２とを有する。なお、Ｎ＝１の場合には、音響信号合成部２１３が合成部２１３２を含まなくてもよい。本形態の可聴化装置２１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置２２は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。 FIG. 10 is a block diagram showing an example of the configuration of the audible device 21.
As illustrated in FIG. 10, the muscle activity level extraction unit 211 includes muscle activity level calculation units 2111-n and 2112-n (where n = 1,..., N, where N is an integer equal to or greater than 1). Have The relationship-derived information extraction unit 212 includes a muscle activity modulation unit 2121-n (where n = 1,..., N). The acoustic signal synthesis unit 213 includes an acoustic signal generation unit 2131-n (where n = 1,..., N) and a synthesis unit 2132. Note that when N = 1, the acoustic signal synthesis unit 213 may not include the synthesis unit 2132. The audible device 21 of the present embodiment includes, for example, a processor (for example, hardware including one or more central processing units (CPUs)) and a memory (for example, random-access memory (RAM) and read-only memory (ROM)). A general-purpose or dedicated computer provided with a) executes a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The acoustic signal presentation device 22 is one or a plurality of speakers or headphones that output an acoustic signal as sound.

＜処理＞
以下、本形態の可聴化装置２１の処理を説明する。
≪筋活動度抽出部２１１の処理≫
筋活動度算出部２１１１−ｎには主動筋の筋電位を表す筋電位信号（以下「主動筋電位信号」という）が入力され、筋活動度算出部２１１２−ｎには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号（以下「拮抗筋電位信号」という）が入力される。信号生成部１４１の出力が筋電位信号を誇張又は矮小したものである場合には、判定結果は筋電位信号として筋活動度抽出部に入力されてもよい。筋活動度算出部２１１１−ｎと筋活動度算出部２１１２−ｎとの組には、ある動作に関与する主動筋と拮抗筋とからなる組（以下「筋の組」という）に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計Ｎ組の測定箇所（例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面）に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。 <Processing>
Hereinafter, processing of the audible device 21 of the present embodiment will be described.
≪Process of muscle activity extraction unit 211≫
A myoelectric potential signal representing the myoelectric potential of the main muscle (hereinafter referred to as “main myoelectric potential signal”) is input to the muscle activity calculating unit 2111-n, and the muscle activity calculating unit 2112-n corresponds to the main muscle. A myoelectric potential signal indicating the myoelectric potential of the antagonistic muscle (hereinafter referred to as “antagonistic myoelectric potential signal”) is input. When the output of the signal generator 141 is an exaggerated or reduced myoelectric potential signal, the determination result may be input as a myoelectric potential signal to the muscle activity level extracting unit. The set of the muscle activity level calculation unit 2111-n and the muscle activity level calculation unit 2112-n corresponds to a set of main muscles and antagonist muscles involved in a certain motion (hereinafter referred to as “muscle set”). A set of a main muscle potential signal and an antagonistic muscle potential signal is input. These myoelectric potential signals are generated from each muscle, for example, by attaching electrodes to a total of N sets of measurement points (for example, the surface of the main muscle and the corresponding antagonist muscle in the vicinity of the main muscle). It is a time series signal obtained by measuring an action potential. The main muscle potential signal is obtained based on the potential of the electrode at the measurement site near the main muscle, and the antagonistic electron signal is obtained based on the potential of the electrode at the measurement site near the antagonistic muscle.

筋活動度算出部２１１１−ｎは、入力された主動筋電位信号が表す筋電位に対応する筋活動度（以下「主動筋活動度」）を得て出力し、筋活動度算出部２１１２−ｎは、入力された拮抗筋電位信号が表す筋電位に対応する筋活動度（以下「拮抗筋活動度」）を得て出力する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。入力された主動筋電位信号および拮抗筋電位信号が時系列信号である場合、主動筋活動度および拮抗筋活動度も時系列となる。   The muscle activity level calculation unit 2111-n obtains and outputs a muscle activity level corresponding to the myoelectric potential represented by the input main muscle potential signal (hereinafter, “main muscle activity level”), and outputs the muscle activity level calculation unit 2112-n. Obtains and outputs a muscle activity level (hereinafter referred to as “antagonistic muscle activity level”) corresponding to the myoelectric potential represented by the input antagonistic myoelectric potential signal. Examples of the “muscle activity level” are as described above. For example, the absolute amplitude value or the mean square amplitude value of the myoelectric potential can be used as the muscle activity level. When the input main muscle potential signal and antagonist muscle potential signal are time series signals, the main muscle activity level and antagonist muscle activity level are also time series.

≪関係由来情報抽出部２１２の処理≫
筋活動度変調部２１２１−ｎに、筋活動度算出部２１１１−ｎから出力された主動筋活動度と筋活動度算出部２１１２−ｎから出力された拮抗筋活動度が入力される。筋活動度変調部２１２１−ｎは、入力された主動筋活動度と拮抗筋活動度との間の相対値（すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値）を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部２１２１−ｎは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部２１２１−ｎは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。 << Processing of Relationship Origin Information Extraction Unit 212 >>
The active muscle activity level output from the muscle activity level calculation unit 2111-n and the antagonistic muscle activity level output from the muscle activity level calculation unit 2112-n are input to the muscle activity level modulation unit 2121-n. The muscle activity modulation unit 2121-n corresponds to the relative value between the input main muscle activity and the antagonist muscle activity (that is, the muscle activity corresponding to the main muscle myoelectric potential and the myoelectric potential of the antagonist muscle). Relative value between muscle activity levels) is obtained as a “force index”. Examples of “relative value” are as described above. The muscle activity level modulation unit 2121-n obtains, for example, a value obtained by dividing the antagonist muscle activity level by the main muscle activity level as a “force index”. When the main muscle activity level and the antagonistic muscle activity level are in time series, the muscle activity modulation unit 2121-n obtains, for example, a “strength index” at each time, and obtains and outputs the “strength index” time series. To do.

≪音響信号合成部２１３の処理≫
筋活動度変調部２１２１−ｎから出力された「力み指標」は音響信号生成部２１３１−ｎに入力される。音響信号生成部２１３１−ｎは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴（基本周波数、音色など）を変えることが望ましい。言い換えると、音響信号生成部２１３１−１〜２１３１−Ｎから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第１音響特徴にマッピングし、筋の組の違いを第２音響特徴（ただし、第２音響特徴は第１音響特徴と異なる）で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い（すなわち、音響信号を出力するスピーカの違い）で表してもよい。 << Processing of Acoustic Signal Synthesizer 213 >>
The “force index” output from the muscle activity modulation unit 2121-n is input to the acoustic signal generation unit 2131-n. The acoustic signal generation unit 2131-n obtains and outputs an acoustic signal representing the input “force index”. The acoustic signal representing the “force index” is an acoustic signal representing the “force index” or its magnitude. An example of such an acoustic signal is an acoustic signal obtained by replacing the “variation magnitude” in the above examples (F-1) and (F-2) with a “force index” or “a magnitude index”. Signal. When the “force index” is time series, the acoustic signal is also time series. However, it is desirable to change the acoustic characteristics (basic frequency, timbre, etc.) for each set of muscles so that the difference between the muscle sets can be recognized. In other words, it is desirable that the acoustic features of the acoustic signals output from the acoustic signal generation units 2131-1 to 2131 -N are different from each other. For example, an acoustic signal in which a “force index” or its size is mapped to a first acoustic feature, and a difference between muscle pairs is represented by a second acoustic feature (however, the second acoustic feature is different from the first acoustic feature). It may be. Alternatively, a “force index” or a difference in size thereof may be expressed by a difference in acoustic characteristics, and a difference in muscle pairs may be expressed by a difference in channel of an acoustic signal (that is, a difference in speakers outputting an acoustic signal). .

音響信号生成部２１３１−１〜２１３１−Ｎから出力された音響信号は合成部２１３２に入力される。合成部２１３２はそれらを合成した音響信号を出力する。Ｎチャネルの音響信号を出力する場合には、音響信号生成部２１３１−１〜２１３１−Ｎから出力された音響信号を同期させた音響信号を出力する。なお、Ｎ＝１の場合には、合成部２１３２は入力された音響信号をそのまま出力する。信号生成部１４１の出力が重畳する音響信号である場合には、判定結果は音響信号として合成部２１３２に入力されてもよい。前述したように音響信号合成部２１３が合成部２１３２を含まない場合には、音響信号合成部２１３は音響信号生成部２１３１−１から出力された音響信号を出力する。   The acoustic signals output from the acoustic signal generation units 2131-1 to 2131 -N are input to the synthesis unit 2132. The synthesizer 2132 outputs an acoustic signal obtained by synthesizing them. When outputting an N-channel acoustic signal, an acoustic signal obtained by synchronizing the acoustic signals output from the acoustic signal generation units 2131-1 to 2131 -N is output. When N = 1, the synthesis unit 2132 outputs the input acoustic signal as it is. When the output of the signal generation unit 141 is a superimposed acoustic signal, the determination result may be input to the synthesis unit 2132 as an acoustic signal. As described above, when the acoustic signal synthesis unit 213 does not include the synthesis unit 2132, the acoustic signal synthesis unit 213 outputs the acoustic signal output from the acoustic signal generation unit 2131-1.

上述のように出力された音響信号は音響信号提示装置２２に入力される。音響信号提示装置２２は、入力された音響信号を音として出力する。Ｎチャネルの音響信号の場合、音響信号提示装置２２はＮチャネルの音響信号を音として出力する（例えば、ステレオ再生）。   The acoustic signal output as described above is input to the acoustic signal presentation device 22. The acoustic signal presentation device 22 outputs the input acoustic signal as a sound. In the case of an N-channel acoustic signal, the acoustic signal presentation device 22 outputs the N-channel acoustic signal as sound (for example, stereo reproduction).

＜本形態の特徴＞
以上のように、本形態の可聴化装置２１は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、Ｎ≧２の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。 <Features of this embodiment>
As described above, the audible device 21 of the present embodiment uses a plurality of myoelectric potentials including the myoelectric potential of the main muscle and the myoelectric potential of the antagonistic muscle corresponding to the main muscle, and the muscle activity level corresponding to the myoelectric potential of the main muscle. And an acoustic signal representing a relative value between the muscle activity corresponding to the myoelectric potential of the antagonistic muscle. Thereby, the degree of “strength” can be presented audibly. In particular, by outputting an acoustic signal representing the value of the muscle activity corresponding to the myoelectric potential of the antagonist muscle divided by the muscle activity corresponding to the myoelectric potential of the main muscle, the degree of “strength” is presented more clearly. it can. In the case of N ≧ 2, the degree of “strengthening” in a plurality of muscle pairs and the correlation between them can be presented audibly. As described above, the user can audibly grasp the degree of “strengthening” corresponding to a plurality of muscle pairs as a difference in how the sound is heard.

なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。   The present invention is not limited to the embodiment described above. For example, the various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Needless to say, other modifications are possible without departing from the spirit of the present invention.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。   When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, this computer reads a program stored in its own recording device and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。   In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.

その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In addition, various modifications can be made without departing from the scope of the present invention.
In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

１００…運動上達のためのフィードバックシステム
１１０…筋電位センサ
１３０…運動状態判定装置
１３１…センシング部
１３２…状態判定部
１３２ａ…判定器
１３２ｂ…運動状態記憶部
１３２ｃ…切り替え器
１３２ｄ…比較器
１４０…フィードバック装置
１４１…信号生成部
１４２…合成音／画像生成部
２００…出力装置 DESCRIPTION OF SYMBOLS 100 ... Feedback system 110 for exercise improvement ... Myoelectric potential sensor 130 ... Exercise state determination apparatus 131 ... Sensing part 132 ... State determination part 132a ... Determinator 132b ... Exercise state memory | storage part 132c ... Switch 132d ... Comparator 140 ... Feedback Device 141 ... Signal generation unit 142 ... Synthetic sound / image generation unit 200 ... Output device

Claims (4)

所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の運動状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の運動状態を判定し、前記二次生体情報は、前記一次生体情報が取得された前記一次被検者の位置と対応する前記二次被検者の位置から取得された同種の情報であり、前記一次生体情報および前記二次生体情報は、少なくとも筋電位データを含み、
前記一次被検者の運動状態と前記二次被検者の運動状態とを比較し、
前記一次被検者の運動状態と前記二次被検者の運動状態の比較結果に応じて、運動状態が良いことを示すものであるときにより良い値に修正することで誇張した、或いは、運動状態が良い事を示すものでないときにより悪い値に修正することで矮小した前記二次生体情報の筋電位データに対応するフィードバック信号を出力する運動状態のフィードバック方法。 Based on at least the primary biological information acquired from the primary subject during the predetermined exercise, the exercise state of the primary subject is determined or stored, and the secondary biological information acquired from the secondary subject during the predetermined exercise The movement state of the secondary subject is determined based at least, and the secondary biological information is acquired from the position of the secondary subject corresponding to the position of the primary subject from which the primary biological information was acquired. The primary biometric information and the secondary biometric information include at least myoelectric potential data,
Comparing the exercise state of the primary subject and the exercise state of the secondary subject;
According to the comparison result of the exercise state of the primary subject and the exercise state of the secondary subject , exaggerated by correcting to a better value when the exercise state is good , or exercise An exercise state feedback method for outputting a feedback signal corresponding to the myoelectric potential data of the secondary biological information that has been reduced by correcting to a worse value when the state is not an indication of a good state . 前記フィードバック信号は、音響信号、画像信号、映像信号、あるいはこれらの組み合わせを含む請求項１に記載の運動状態のフィードバック方法。 The method of claim 1 , wherein the feedback signal includes an audio signal, an image signal, a video signal, or a combination thereof. 請求項１又は２に記載の運動状態のフィードバック方法を実行する運動状態のフィードバックシステム。 Feedback system motion state to perform the feedback method of movement state according to claim 1 or 2. 請求項１又は２に記載の運動状態のフィードバック方法をコンピュータに実行させるための運動状態のフィードバックプログラム。 Claim 1 or feedback program motion state for executing the feedback method of movement state according to the computer 2.