JP2015221134A - Motion visualization device and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a device visually feeding back propriety of motion and muscular activity associated therewith.SOLUTION: A superimposed image creation section 116 generates a superimposed image of a plurality of images of a single or a plurality of moving bodies obtained at specific motion timing using the plurality of images of a single or a plurality of moving bodies obtained at the specific motion timing. A muscular activity image generation section 117 generates a muscular activity image derived from a plurality of myogenic potentials of the moving bodies obtained at the specific motion timing. A synthesis section 118 generates a synthetic image formed by synthesizing the superimposed image and the muscular activity image and outputs the synthetic image.

Description

本発明は、身体動作を可視的にフィードバックする技術に関する。   The present invention relates to a technique for visually feeding back body movements.

身体動作を可視的にフィードバックする手法が提案されている。例えば、非特許文献２には、ＭＨＩ（Motion History Image)と呼ばれる特徴量（非特許文献１等参照）を用い、運動（例えば、投球運動）を撮影した映像から特定の動作イベント（例えば、足挙げやボールリリースなど）の映像を抽出し、これを手本となる動作映像に同期させて提示する手法が開示されている。また、非特許文献３には、筋の活動に伴う筋電位信号を可視的に提示する着用型発光センサスーツが開示されている。   A method for visually feeding back body movements has been proposed. For example, Non-Patent Document 2 uses a feature amount called MHI (Motion History Image) (see Non-Patent Document 1, etc.) and uses a motion image (for example, pitching motion) from a video of a specific motion event (for example, foot A method of extracting video images such as enumeration and ball release, and presenting them in synchronism with an operation video image as a model. Non-Patent Document 3 discloses a wearable light emitting sensor suit that visually presents a myoelectric potential signal associated with muscle activity.

Md. A. R. Ahad et al., Motion history images: its variants and applications, Machine Vision and Applications, 2012.Md. A. R. Ahad et al., Motion history images: its variants and applications, Machine Vision and Applications, 2012. 三上ら，動作学習のための遅延同期ビデオフィードバックシステム，情報処理学会 コンシューマ・デバイス＆システム（CDS）研究会，CDS8-2, 2013.Mikami et al., Delayed Synchronous Video Feedback System for Motion Learning, IPSJ Consumer Device & System (CDS) Study Group, CDS8-2, 2013. 五十嵐ら,下肢運動状態の認知を支援する着用型発光センサスーツ, 情報処理学会インタラクション2011.Igarashi et al., Wearable Luminescent Sensor Suit that Supports Recognition of Lower Limb Movement State, Information Processing Society of Japan Interaction 2011.

非特許文献２の手法では姿勢の適切さをフィードバックすることはできるが、そのときにどのように身体部位、つまり筋を使っていたかをフィードバックすることはできない。また、非特許文献３の手法ではどのように筋を使っていたかをフィードバックすることはできるが、筋の活動の適切さをフィードバックすることはできない。   Although the method of Non-Patent Document 2 can feed back the appropriateness of the posture, it cannot feed back how the body part, that is, the muscle was used at that time. Further, the method of Non-Patent Document 3 can provide feedback on how the muscle is used, but cannot provide feedback on the appropriateness of the muscle activity.

本発明はこのような点に鑑みてなされたものであり、動作とそれに伴う筋活動の適切さとを可視的にフィードバックすることを目的とする。   The present invention has been made in view of these points, and it is an object of the present invention to provide visual feedback of motion and appropriateness of muscle activity associated therewith.

本発明では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、当該特定の動作タイミングで得られた動作主体の複数の筋電位に由来する筋活動度画像と、の合成画像を出力する。   In the present invention, a superimposed image of a plurality of images of one or a plurality of motion subjects obtained at a specific motion timing, and a muscle activity image derived from a plurality of motion potentials of the motion subjects obtained at the specific motion timing And a composite image is output.

これにより、動作とそれに伴う筋活動の適切さを可視的にフィードバックできる。   This makes it possible to visually feedback the appropriateness of the motion and the accompanying muscle activity.

図１は実施形態の運動可視化装置の機能構成を例示するためのブロック図である。FIG. 1 is a block diagram for illustrating a functional configuration of the motion visualization apparatus according to the embodiment. 図２は実施形態の動作タイミング照合部の機能構成を例示するためのブロック図である。FIG. 2 is a block diagram for illustrating the functional configuration of the operation timing verification unit of the embodiment. 図３Ａは実施形態の事前処理を説明するためのフロー図である。図３Ｂは実施形態の運動可視化処理を説明するためのフロー図である。FIG. 3A is a flowchart for explaining pre-processing of the embodiment. FIG. 3B is a flowchart for explaining motion visualization processing according to the embodiment. 図４は図３Ｂの動作タイミング照合処理を説明するためのフロー図である。FIG. 4 is a flowchart for explaining the operation timing collating process of FIG. 3B. 図５は動作タイミングを例示するためのブロック図である。FIG. 5 is a block diagram for illustrating the operation timing. 図６Ａおよび図６Ｂは実施形態で得られた画像を例示した図である。6A and 6B are diagrams illustrating images obtained in the embodiment. 図７Ａおよび図７Ｂは実施形態で得られた画像を例示した図である。7A and 7B are diagrams illustrating images obtained in the embodiment.

本発明の実施形態を説明する。
［概要］
まず概要を説明する。実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の複数の筋電位に由来する（言い換えると、複数の筋電位から導き出される）筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。 An embodiment of the present invention will be described.
[Overview]
First, an outline will be described. In the embodiment, it is derived from a superimposed image of a plurality of images of one or a plurality of operation subjects obtained at a specific operation timing and a plurality of myoelectric potentials of the operation subjects obtained at a specific operation timing (in other words, A muscle activity level image (derived from a plurality of myoelectric potentials) is synthesized, and a resultant synthesized image is displayed. The composite image is derived from “multiple” images and myoelectric potential. Therefore, it is possible to provide visual feedback of “appropriateness of motion and accompanying muscle activity” that is difficult to judge from “single” images and information derived from only myoelectric potential.

「動作主体」は人であってもよいし、人以外（例えば、動物）であってもよい。単数の「動作主体」の例は、動作のフィードバック対象となる一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行うフィードバック対象の動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体（フィードバック対象の動作主体を含む）とからなる複数の動作主体、または手本となる動作主体以外の複数の動作主体（フィードバック対象の動作主体を含む）などである。   The “operation subject” may be a person or a person other than a person (for example, an animal). An example of a single “acting subject” is one actuating subject that is an object of motion feedback. Examples of multiple `` acting subjects '' are two acting subjects consisting of an acting subject acting as a model and an actuating subject subject to feedback, and an act acting as a model and its behavior. A plurality of action subjects (including a feedback target action subject) or a plurality of action subjects other than a model action subject (including a feedback target action subject), etc. .

複数の画像は、単数または複数の動作主体の複数回の動作過程で撮影されたものであってもよいし、複数の動作主体の１回の動作過程で撮影されたものであってもよい。これらの画像は動作主体の全身の画像であってもよいし、動作主体の一部の部位（例えば、上半身や足など）の画像であってもよい。   The plurality of images may be taken in a plurality of operation processes of one or a plurality of operation subjects, or may be taken in a single operation process of a plurality of operation subjects. These images may be images of the whole body of the motion subject, or may be images of a part of the motion subject (for example, the upper body or legs).

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。「複数の筋電位」は、例えば、「複数の画像」に表された動作主体の動作に関与（寄与）する単数または複数の筋の筋電位（例えば、この動作主体の動作に関与する主動筋の筋電位やそれに対応する拮抗筋の筋電位）を含む。   The “plural myoelectric potentials” may be obtained by a plurality of motion processes by one or a plurality of motion subjects, or may be obtained at a plurality of measurement points of a single or a plurality of motion subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. The “plural myoelectric potentials” are, for example, myoelectric potentials of one or more muscles that are involved (contributing) to the motion of the motion subject represented in the “plural images” (for example, main muscles involved in the motion of the motion subject) Of myoelectric potential and antagonistic myoelectric potential of the corresponding antagonist muscle).

「筋活動度画像」は、例えば、複数の筋活動度の関係から得られる値を表す画像、複数の筋活動度のばらつきを表す画像、複数の筋活動度の相対値を表す画像、または複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の筋活動度のそれぞれが、複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。あるいは、「筋活動度画像」が、筋電位または筋活動度を周波数領域に変換して得られた複数の値に由来するもの（周波数スペクトル等）でもよい。以上のような画像により、動作に伴う筋活動の適切さを可視的にフィードバックできる。   The “muscle activity level image” is, for example, an image representing a value obtained from a relationship between a plurality of muscle activity levels, an image representing a variation in a plurality of muscle activity levels, an image representing a relative value of a plurality of muscle activity levels, or a plurality of At least one of the images representing the variation in the relative value of the muscle activity level. However, each of the plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials. “Muscle activity” is a myoelectric potential or a function value thereof. An example of the function value of the myoelectric potential is a function value representing the magnitude of the myoelectric potential, for example, a broad monotonically increasing function value (for example, monotonically increasing function value) of the absolute amplitude value of the myoelectric potential. For example, the absolute amplitude value of the myoelectric potential or the mean square amplitude value in a predetermined time interval can be set as the “muscle activity level”. As the function value of the myoelectric potential, a value representing the magnitude of the myoelectric potential that has been smoothed or removed from the DC component may be used. Alternatively, the “muscle activity image” may be derived from a plurality of values obtained by converting myoelectric potential or muscle activity into the frequency domain (frequency spectrum or the like). With the images as described above, it is possible to visually feedback the appropriateness of the muscle activity accompanying the movement.

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。   The “variation” of the plurality of muscle activity levels may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained in a trial process of a plurality of times at the same measurement location of a single motion subject. In addition, it may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a single action subject, or a plurality of obtained at the same measurement location of a plurality of action subjects. It may be a variation in a plurality of muscle activities derived from a myoelectric potential, or may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. Good. An example of “variation” is “statistical variation” such as variance and standard deviation.

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。   The relative value of a plurality of muscle activity levels may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of a single motion subject, or a single motion subject. It may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points, or a plurality of myoelectric potentials obtained at the same measurement point of a plurality of motion subjects. It may be a relative value between a plurality of muscle activity levels derived from, or a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points of a plurality of motion subjects. There may be. Examples of the “relative value” are “difference” with positive / negative distinction, “difference” with no positive / negative distinction, “square error”, or “ratio”, or a function value of any of these.

「ばらつきを表す画像」は、ばらつきの大きさを表した画像である。「ばらつきを表す画像」の例は、（Ｆ−１）縦軸と横軸とを時間軸とし、各時間に対応する座標に、当該時間でのばらつきの大きさに応じた「色合い」の点をプロットした等高線プロットや、（Ｆ−２）横軸を時間軸とし、縦軸を各時間でのばらつきの大きさを表す軸とし、各時間に対応するばらつきの大きさプロットした時系列グラフや、（Ｆ−３）横軸をばらつきの大きさを表す軸とし、縦軸をばらつきの頻度を表す軸とし、各ばらつきの頻度を棒グラフで表したヒストグラムなどである。「相対値を表す画像」は、相対値またはその大きさを表した画像である。「相対値を表す画像」の例は、上記の（Ｆ−１）〜（Ｆ−３）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した画像等である。   The “image representing variation” is an image representing the magnitude of variation. In the example of “image representing variation”, (F-1) the vertical axis and the horizontal axis are time axes, and coordinates corresponding to each time have a “color tone” point corresponding to the magnitude of the variation at that time. Or (F-2) a time series graph in which the horizontal axis is the time axis, the vertical axis is the axis representing the magnitude of variation at each time, and the magnitude of variation corresponding to each time is plotted (F-3) A histogram in which the horizontal axis is the axis representing the magnitude of variation, the vertical axis is the axis representing the frequency of variation, and the frequency of each variation is represented by a bar graph. An “image representing a relative value” is an image representing a relative value or its size. An example of “an image representing a relative value” is an image obtained by replacing the “variation magnitude” in the above examples (F-1) to (F-3) with “relative value” or “relative value magnitude”. Etc.

「複数の筋電位」が、動作主体の主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「筋活動度画像」が、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含んでもよい。この画像によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）を定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。上述の「筋活動度画像」では、動作に伴う主動筋活動と拮抗筋活動との関係を提示できるため、この力み度合をフィードバックできる。   The “multiple myoelectric potentials” include the myoelectric potentials of the main muscles of the motion and the myoelectric potentials of the antagonistic muscles corresponding to the main muscles, and the “muscle activity image” indicates the myogenic activity corresponding to the myoelectric potentials of the main muscles. An image representing a value obtained from the relationship between the degree of muscle activity and the muscle potential corresponding to the myoelectric potential of the antagonistic muscle, the muscle activity corresponding to the muscle potential of the main muscle and the muscle corresponding to the muscle potential of the antagonistic muscle An image showing a relative value between the activity levels, or an image showing a variation in relative values between the muscle activity level corresponding to the myoelectric potential of the main muscle and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. At least one of them may be included. This image can represent the “power” of the subject. In particular, when this "relative value" is a value obtained by dividing "muscle activity corresponding to myoelectric potential of antagonistic muscle" by "muscle activity corresponding to myoelectric potential of main muscle" (divided value), Activity level (ratio of antagonistic muscle activity to main muscle activity) can be quantified, and "force" can be expressed more clearly. The “antagonist muscle corresponding to the main muscle” means a muscle that relaxes in an operation in which the main muscle contracts. For example, in the operation of bending the wrist, the wrist flexor muscles contract as the main muscles and the extensor muscles relax as the antagonistic muscles. Conversely, in the action of stretching the wrist, the extensor is contracted as the main muscle and the wrist flexor is relaxed as the antimuscle. When bending the wrist, it is desirable that the wrist flexor muscle that is the main muscle is active and the activity of the extensor that is the antagonist muscle is suppressed. However, if the antagonistic muscle is excessively active, it becomes a so-called “force” state and inhibits exercise. In the above-mentioned “muscle activity level image”, the relationship between the main muscle activity and the antagonistic muscle activity associated with the motion can be presented, and this strength level can be fed back.

「筋活動度画像」が複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の「活動開始時点」に由来する画像を含んでもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この筋活動度画像により、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、筋活動度画像が複数の筋の「活動開始時点」のばらつきを表す画像を含んでもよいし、相対値を表す画像を含んでもよいし、相対値のばらつきを表す画像を含んでもよいし、複数の筋の活動開始時点の順序関係に由来する画像を含むことにしてもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係に由来する画像の例は、（Ｆ−４）各筋に対応する色合いの点を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−５）各筋に対応する識別子（番号等）を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−６）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで「色合い」や「明るさ」が相違する画像や、（Ｆ−７）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど、特定の「色合い」や「明るさ」に近づく画像や、（Ｆ−８）複数の筋の活動開始時点の順序関係が適切な順序関係にどれだけ近いかを表すスコアやその大きさを表す図形を含む画像などである。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したかをフィードバックできる。   The “muscle activity image” may include an image derived from “activity start time” of a plurality of muscles obtained from a plurality of myoelectric potentials (for example, a plurality of muscles involved in a motion of a certain motion subject or a series of motions). . The activity start time means the time when the muscle starts the muscle activity. Information on the start timing of muscle activity (for example, variation in the start timing of muscle activity, relative value, and appropriateness) can be expressed by this muscle activity level image. For example, the muscle activity level image may include an image representing a variation in “activity start time” of a plurality of muscles, an image representing a relative value, or an image representing a variation in relative value. In addition, an image derived from an order relationship at the time of starting the activity of a plurality of muscles may be included. The relative value of the “activity start time” may be a relative value of another “activity start time” with respect to any of the “activity start time” of the plurality of muscles, It may be a relative value of “activity start time”. An example of an image derived from an order relationship between the activity start points of a plurality of muscles is (F-4) an image in which the color points corresponding to each muscle are plotted at the position of the time axis representing the activity start time of the muscles, (F-5) An image in which identifiers (numbers, etc.) corresponding to each muscle are plotted on the position of the time axis representing the activity start time of the muscle, or (F-6) the order relationship between the activity start times of a plurality of muscles. Images that differ in “color” and “brightness” between appropriate and inappropriate cases, and (F-7) The closer the order relationship at the start of activity of multiple muscles is to the closer the appropriate order relationship, An image that approaches a specific “color” or “brightness”, or (F-8) a figure that indicates how close the order relationship at the start of activity of multiple muscles is to an appropriate order relationship, or a figure that indicates the size An image including It should be noted that whether or not the order relationship at the start of activity of a plurality of muscles is appropriate depends on the operation. For example, in a ball release operation of a pitching exercise, an order relationship in which muscle activity is started in the order of a muscle that moves the shoulder, a muscle that moves the elbow, a muscle that moves the wrist, and a muscle that moves the finger is appropriate. Such an appropriate order relationship may be set in advance according to the operation. As described above, for example, it is possible to feed back whether a plurality of muscles involved in a predetermined action have started activities in an appropriate order.

筋活動度画像が複数の「統合特徴量」に由来する画像を含んでもよい。ただし、「統合特徴量」のそれぞれは、特定の動作タイミングで得られた複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する特徴量である。例えば、各統合特徴量は、特定の動作タイミングで得られた画像とその画像に表れた動作に関与する筋の筋電位との両方に由来する。これにより、動作イベントでの姿勢と筋活動との相関関係を可視化してフィードバックできる。   The muscle activity level image may include an image derived from a plurality of “integrated feature amounts”. However, each of the “integrated feature amounts” is a feature amount derived from both a plurality of images obtained at a specific operation timing and each of a plurality of myoelectric potentials obtained at a specific operation timing. is there. For example, each integrated feature amount is derived from both an image obtained at a specific operation timing and a myoelectric potential of a muscle involved in the operation appearing in the image. This makes it possible to visualize and correlate the correlation between the posture and the muscle activity in the motion event.

「特定の動作タイミング」とは、一連の動作イベントからなる動作（例えば、投球運動）における特定の動作イベント（例えば、足挙げやボールリリースなど）のタイミング（時間または時間区間）を意味する。実施形態では、動作主体の画像、動作主体の筋電位、またはそれらの両方に由来する特徴量に基づいて、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の「複数の画像」を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の「複数の筋電位」を抽出する。特に、画像と筋電位との両方に由来する特徴量に基づくことで、「特定の動作タイミング」での「複数の画像」および「複数の筋電位」を精度よく抽出できる。以下、図面を用いて各実施形態を詳細に説明する。   The “specific operation timing” means the timing (time or time interval) of a specific operation event (for example, a foot lift or a ball release) in an operation (for example, pitching exercise) composed of a series of operation events. In the embodiment, based on the feature amount derived from the action subject image, the action subject myoelectric potential, or both, the action subject's “multiple” obtained from the action subject time-series image at a specific action timing. The “image” is extracted, and “the plurality of myoelectric potentials” of the motion subject obtained at a specific motion timing is extracted from the time series myoelectric potentials of the motion subject. In particular, it is possible to accurately extract “a plurality of images” and “a plurality of myoelectric potentials” at a “specific operation timing” based on feature amounts derived from both images and myoelectric potentials. Hereinafter, each embodiment will be described in detail with reference to the drawings.

［第１実施形態］
第１実施形態を説明する。
＜構成＞
図１に例示するように、本形態のシステムは、例えば運動可視化装置１１と画像提示装置１２とを有する。運動可視化装置１１は、動作タイミング検出部１１１と特徴量算出部１１２と特徴量記憶部１１３と動作タイミング照合部１１４と照合結果記憶部１１５と重畳画像作成部１１６と筋活動度画像生成部１１７と合成部１１８とを有する。図２に例示するように、動作タイミング照合部１１４は、特徴量抽出部１１４１と類似度算出部１１４２と動作タイミング検出部１１４３と画像抽出部１１４４と筋活動度抽出部１１４５と終了判定部１１４６とを有する。運動可視化装置１１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置１２は、例えば、液晶ディスプレイ等の表示装置である。 [First Embodiment]
A first embodiment will be described.
<Configuration>
As illustrated in FIG. 1, the system of the present embodiment includes, for example, a motion visualization device 11 and an image presentation device 12. The motion visualization device 11 includes an operation timing detection unit 111, a feature amount calculation unit 112, a feature amount storage unit 113, an operation timing collation unit 114, a collation result storage unit 115, a superimposed image creation unit 116, and a muscle activity level image generation unit 117. And a combining unit 118. As illustrated in FIG. 2, the motion timing collation unit 114 includes a feature amount extraction unit 1141, a similarity calculation unit 1142, an operation timing detection unit 1143, an image extraction unit 1144, a muscle activity level extraction unit 1145, and an end determination unit 1146. Have The motion visualization device 11 includes, for example, a processor (for example, hardware including one or more central processing units (CPUs)) and a memory (for example, random-access memory (RAM) and read-only memory (ROM)). A general-purpose or dedicated computer is configured to execute a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The image presentation device 12 is a display device such as a liquid crystal display.

＜事前処理（図３Ａ）＞
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部１１１に、特定の動作主体の一連の動作をカメラで撮影して得られた時系列の画像（映像）およびこの動作主体の一連の筋活動を測定して得られた時系列の筋電位を表す筋電位信号の少なくとも一方、ならびに、１個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号は、事前に得られて記憶装置（図示せず）に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。 <Pre-processing (FIG. 3A)>
In the pre-processing, a feature amount corresponding to an operation event at a specific operation timing is acquired. First, when the motion timing detection unit 111 obtains a time-series image (video) obtained by photographing a series of motions of a specific motion subject with a camera and a series of muscle activities of the motion subject. Timing designation information for designating at least one of myoelectric potential signals representing a series of myoelectric potentials and one or more operation timings is input. The video and myoelectric potential signal may be obtained in advance and stored in a storage device (not shown), or may be obtained in real time.

筋電位信号は、例えば、動作主体の動作に関与する単数または複数の筋（主動筋や拮抗筋等）の近傍の単数または複数の測定箇所（例えば、皮膚表面）に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。例えば、１個の測定箇所からは１系統の時系列の筋電位を表す筋電位信号が得られる。例えば、主動筋の筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋の筋電位信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。   For the myoelectric potential signal, for example, an electrode is attached to one or a plurality of measurement locations (for example, the skin surface) in the vicinity of one or a plurality of muscles (main muscle, antagonist muscle, etc.) involved in the motion of the motion subject. It is a time series signal obtained by measuring the action potential generated from. For example, a myoelectric signal representing a time series of myoelectric potential of one system is obtained from one measurement location. For example, the myoelectric potential signal of the main muscle is obtained based on the potential of the electrode at the measurement location near the main muscle, and the myoelectric potential signal of the antagonist muscle is obtained based on the potential of the electrode at the measurement location near the antagonist muscle.

タイミング指定情報は、例えば、ユーザによって任意に選択された特定の動作タイミングを表す時間または時間区間を指定する情報である。これらの時間や時間区間は、相対的な時間であってもよいし、絶対的な時間であってもよい。例えば、図５に例示するように、投球運動は「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」といった複数の動作イベントからなる。このとき「（ｄ）ボールリリース」の動作タイミングを表す時間（または時間区間）を指定するのであれば、投球運動の開始時（「（ａ）脚上げ」の開始時）に対する「（ｄ）ボールリリース」の開始時（または開始時と終了時）の相対的な時間を指定してもよいし、「（ｄ）ボールリリース」の開始時（または開始時と終了時）の絶対的な時間を指定してもよい。また、タイミング指定情報が２以上の動作タイミングの時間または時間区間を指定してもよい。例えば、タイミング指定情報が「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミングの時間または時間区間を指定してもよい。また、動作タイミングが時間区間である場合、特定の時間を指定することでこの時間区間が指定されてもよい。この「特定の時間」は、動作タイミングである時間区間を特定するための基準となる時間であり、例えば、動作タイミングである時間区間の開始時間や中心時間などを例示できる。   The timing designation information is information that designates, for example, a time or a time interval representing a specific operation timing arbitrarily selected by the user. These times and time intervals may be relative times or absolute times. For example, as illustrated in FIG. 5, the pitching motion includes a plurality of motion events such as “(a) leg raising”, “(b) stepping”, “(c) grounding”, and “(d) ball release”. At this time, if the time (or time interval) indicating the operation timing of “(d) ball release” is designated, “(d) ball with respect to the start of the pitching motion (at the start of“ (a) leg raising ”) You may specify the relative time at the start of “Release” (or at the start and end), or the absolute time at the start of “(d) Ball Release” (or at the start and end) May be specified. Further, the timing designation information may designate a time or time interval of operation timings of two or more. For example, the timing designation information may designate the operation timing time or time interval of “(b) stepping” and “(d) ball release”. When the operation timing is a time interval, this time interval may be specified by specifying a specific time. This “specific time” is a reference time for specifying the time interval that is the operation timing, and examples thereof include the start time and the center time of the time interval that is the operation timing.

動作タイミング検出部１１１は、入力された時系列の画像および／または時系列の筋電位信号から、タイミング指定情報で特定される動作タイミングの画像および／または筋電位信号を抽出する。動作タイミング検出部１１１は、タイミング指定情報で特定される時間または時間区間の画像および／または筋電位信号のみを抽出してもよいし、さらにその時間または時間区間よりも前の時間区間や後の時間区間の画像および／または筋電位信号を抽出してもよい。あるいは、動作タイミング検出部１１１は、タイミング指定情報で特定される時間区間よりも狭い時間区間の画像および／または筋電位信号を抽出してもよい。例えば、タイミング指定情報が図５の「（ｂ）踏み出し」の開始時と終了時を指定する場合、動作タイミング検出部１１１は、「（ｂ）踏み出し」の開始時から終了時までの画像および／または筋電位信号のみを抽出してもよいし、さらに「（ｂ）踏み出し」の開始時よりも前や後の時間区間の画像および／または筋電位信号を抽出してもよい。あるいは、「（ｂ）踏み出し」の開始時から終了時までの時間区間よりも狭い時間区間の画像および／または筋電位信号のみを抽出してもよい。抽出された画像および／または筋電位信号は特徴量算出部１１２に送られる。複数の動作タイミングに対して画像および／または筋電位信号が抽出された場合には、抽出された画像および／または筋電位信号とそれに対応する動作タイミングを識別する情報とが関連付けられて出力される（ステップＳ１１１）。   The operation timing detection unit 111 extracts an operation timing image and / or myoelectric potential signal specified by the timing designation information from the input time-series image and / or time-series myoelectric signal. The operation timing detection unit 111 may extract only the image and / or myoelectric potential signal of the time or time interval specified by the timing designation information, and further, the time interval before or after that time or time interval. An image of a time interval and / or a myoelectric potential signal may be extracted. Alternatively, the operation timing detection unit 111 may extract an image and / or myoelectric potential signal in a time interval narrower than the time interval specified by the timing designation information. For example, when the timing designation information designates the start time and end time of “(b) stepping” in FIG. 5, the operation timing detection unit 111 displays images and / or images from the start time to the end time of “(b) stepping”. Alternatively, only the myoelectric potential signal may be extracted, or an image and / or myoelectric potential signal in a time section before or after the start of “(b) stepping” may be extracted. Or you may extract only the image and / or myoelectric potential signal of a time interval narrower than the time interval from the start time of "(b) stepping" to the end time. The extracted image and / or myoelectric potential signal is sent to the feature amount calculation unit 112. When images and / or myoelectric potential signals are extracted for a plurality of operation timings, the extracted images and / or myoelectric potential signals and information for identifying the corresponding operation timings are output in association with each other. (Step S111).

特徴量算出部１１２は、入力された画像および／または筋電位信号が表す筋電位に由来する特徴量（動作タイミングの特徴量）を算出して出力する（ステップＳ１１２）。入力された画像および／または筋電位信号が複数の動作タイミング（例えば、「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミング）に対応する場合には、特徴量算出部１１２は、各動作タイミングに対応する特徴量を算出して出力する。この特徴量は、画像に由来するものであってもよいし、筋電位に由来するものであってもよいし、画像と筋電位との両方に由来するものであってもよい。画像と筋電位との両方に由来する特徴量は、画像に由来する特徴量と筋電位に由来する特徴量と含むものであってもよいし、画像に対応する値と筋電位に対応する値との関数値（例えば、相対値）に由来するものであってもよい。筋電位の測定箇所の近傍の筋が関与する動作部位（上半身や足等）の画像に対応する値と、当該測定箇所で得られた筋電位に対応する値と、に由来する特徴量であってもよい。「筋電位に対応する値」は、筋電位または筋電位の関数値である。「筋電位に対応する値」は「筋活動度」と同じであってもよいし、異なっていてもよい。以下に各特徴量を例示する。   The feature amount calculation unit 112 calculates and outputs a feature amount (feature amount of motion timing) derived from the myoelectric potential represented by the input image and / or myoelectric potential signal (step S112). When the input image and / or myoelectric potential signal corresponds to a plurality of operation timings (for example, “(b) stepping” and “(d) ball release” operation timings), the feature amount calculation unit 112 The feature amount corresponding to each operation timing is calculated and output. This feature amount may be derived from an image, may be derived from myoelectric potential, or may be derived from both an image and myoelectric potential. The feature quantity derived from both the image and the myoelectric potential may include a feature quantity derived from the image and a feature quantity derived from the myoelectric potential, or a value corresponding to the image and a value corresponding to the myoelectric potential. May be derived from a function value (for example, a relative value). This is a feature amount derived from a value corresponding to an image of a motion part (upper body, leg, etc.) involving a muscle in the vicinity of a myoelectric potential measurement point and a value corresponding to a myoelectric potential obtained at the measurement point. May be. The “value corresponding to myoelectric potential” is myoelectric potential or a function value of myoelectric potential. The “value corresponding to the myoelectric potential” may be the same as or different from the “muscle activity”. Each feature amount is exemplified below.

《動作タイミングの画像に由来する特徴量の例》
画像に由来する特徴量としては前述のＭＨＩがある。以下にＭＨＩによる特徴量を例示する。
ただし、Ｈ（ｘ，ｙ，ｔ）は時間ｔでの座標（ｘ,ｙ）の特徴量（ＭＨＩのピクセル値）を表す。ｄ（ｘ，ｙ，ｔ）は動き検出関数であり、ｄ（ｘ，ｙ，ｔ）＝１は時間ｔで画像の座標（ｘ,ｙ）のピクセル値に変化があったことを示す。大きいｔほど新しい時間を表す。ρは正値の減衰量である。ｍａｘ（α，β）はα≧βのときαを返し、α＜βのときにβを返す。Ｈ（ｘ，ｙ，ｔ）の初期値は例えば０とする。例えば、動作タイミングが特定の時間ｔである場合、この時間ｔでのすべての座標（ｘ，ｙ）でのＨ（ｘ，ｙ，ｔ）（ただし、ｘ＝ｘ_１，…，ｘ_２、ｙ＝ｙ_１，…，ｙ_２、ｘ_１＜ｘ_２、ｙ_１＜ｙ_２）を要素とする集合を特徴量とする。例えば、図５では、「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」という４個の動作イベントにそれぞれ対応する時間ｔでのＨ（ｘ_１，ｙ_１，ｔ），…，Ｈ（ｘ_２，ｙ_２，ｔ）からなる集合を特徴量としている。例えば、動作タイミングが特定の時間区間［ｔ_１，ｔ_２］である場合、この時間区間［ｔ_１，ｔ_２］でのすべての座標（ｘ,ｙ）（ただし、ｘ＝ｘ_１，…，ｘ_２、ｙ＝ｙ_１，…，ｙ_２、ｘ_１＜ｘ_２、ｙ_１＜ｙ_２）でのＨ（ｘ，ｙ，ｔ）（ただし、ｔ＝ｔ_１，…，ｔ_２）を要素とする集合を特徴量とする。あるいは、時間区間［ｔ_１，ｔ_２］でのすべての座標（ｘ,ｙ）でのＨ（ｘ，ｙ，ｔ）を所定の時間区間Ｔごとに時間平均した値Ｈ（ｘ，ｙ，Ｔ）（ただし、ｘ＝ｘ_１，…，ｘ_２、ｙ＝ｙ_１，…，ｙ_２、ｘ_１＜ｘ_２、ｙ_１＜ｙ_２）を要素とする集合を特徴量としてもよい。あるいは、ある時間区間においてＨ（ｘ，ｙ，ｔ）やＨ（ｘ，ｙ，Ｔ）を周波数領域に変換したものを特徴量としてもよい。 《Examples of features derived from motion timing images》
As the feature amount derived from the image, there is the aforementioned MHI. Examples of feature values by MHI are given below.
However, H (x, y, t) represents the feature quantity (MHI pixel value) of the coordinates (x, y) at time t. d (x, y, t) is a motion detection function, and d (x, y, t) = 1 indicates that the pixel value of the coordinates (x, y) of the image has changed at time t. A larger t represents a new time. ρ is a positive attenuation. max (α, β) returns α when α ≧ β, and returns β when α <β. The initial value of H (x, y, t) is 0, for example. For example, when the operation timing is a specific time t, H (x, y, t) at all coordinates (x, y) at this time t (where x = x ₁ ,..., X ₂ , y = Y ₁ ,..., Y ₂ , x ₁ <x ₂ , y ₁ <y ₂ ) as a feature amount. For example, in FIG. 5, H (x ₁ at time t corresponding to four motion events “(a) leg raising”, “(b) stepping”, “(c) grounding”, and “(d) ball release”, respectively. , Y ₁ , t),..., H (x ₂ , y ₂ , t) are feature quantities. For example, when the operation timing is a specific time interval [t ₁ , t ₂ ], all coordinates (x, y) in the time interval [t ₁ , t ₂ ] (where x = x ₁ ,. H (x, y, t) (where t = t ₁ ,..., t ₂ ) at x ₂ , y = y ₁ ,..., y ₂ , x ₁ <x ₂ , y ₁ <y ₂ ) Is a feature quantity. Alternatively, a value H (x, y, T) obtained by averaging the H (x, y, t) at all coordinates (x, y) in the time interval [t ₁ , t ₂ ] for each predetermined time interval T. ) (Where x = x ₁ ,..., X ₂ , y = y ₁ ,..., Y ₂ , x ₁ <x ₂ , y ₁ <y ₂ ) may be used as the feature amount. Or it is good also considering what converted H (x, y, t) and H (x, y, T) into the frequency domain in a certain time section.

《動作タイミングの筋電位に由来する特徴量の例１》
動作タイミングで筋活動に特徴的な変化があるような場合（例えば、「（ｄ）ボールリリース」で上肢筋活動に大きなピークが現れる）、筋電位信号が表す筋電位に対応する値の時間変化量、または、筋電位に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個（ただし、Ｉは１以上の整数）の測定箇所で得られた筋電位信号Ｖ_ｉ（ｔ）およびＶ_ｉ（ｔ−１）（ただし、ｉは測定箇所に対応するチャネルｉ＝１，…，Ｉ）が入力される場合、筋電位信号Ｖ_ｉ（ｔ），Ｖ_ｉ（ｔ−１）がそれぞれ示す筋電位の大きさＭ_ｉ（ｔ），Ｍ_ｉ（ｔ−１）の時間変化量ΔＭ_ｉ（ｔ）＝Ｍ_ｉ（ｔ）−Ｍ_ｉ（ｔ−１）または時間変化量ΔＭ_１（ｔ），・・・，ΔＭ_Ｉ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ_１，ｔ_２］である場合、時間区間［ｔ_１，ｔ_２］での時間変化量ΔＭ_ｉ（ｔ）＝Ｍ_ｉ（ｔ）−Ｍ_ｉ（ｔ−１）からなる集合を特徴量としてもよいし、時間変化量ΔＭ_ｉ（ｔ）を所定の時間区間Ｔごとに時間平均した時間変化量ΔＭ_ｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号が表す筋電位に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。 << Example 1 of feature amount derived from myoelectric potential at operation timing >>
When there is a characteristic change in the muscle activity at the operation timing (for example, a large peak appears in the upper limb muscle activity by “(d) ball release”), the time change of the value corresponding to the myoelectric potential represented by the myoelectric potential signal A set including a quantity or a time change amount of a value corresponding to myoelectric potential as an element may be used as a feature quantity. For example, the feature amount may be a time variation of the magnitude of the myoelectric potential represented by the myoelectric potential signal or a set having the time change of the magnitude of the myoelectric potential as an element. Specifically, for example, the operation timing is a specific time t, and myoelectric potential signals V _i (t) and V _i (t−) obtained at I measurement points (where I is an integer of 1 or more). 1) (where i is the channel i = 1,..., I) corresponding to the measurement location, the magnitude of the myoelectric potential indicated by the myoelectric potential signals V _i (t) and V _i (t−1), respectively. M _i (t), M _i (t−1) time variation ΔM _i (t) = M _i (t) −M _i (t−1) or time variation ΔM ₁ (t),. , ΔM _I (t) may be used as the feature quantity. For example, when the operation timing is a specific time interval [t ₁ , t ₂ ], the amount of time change ΔM _i (t) = M _i (t) −M _i (t in the time interval [t ₁ , t ₂ ]. -1) may be used as the feature amount, or a set of time change amounts ΔM _i (T) obtained by averaging the time change amounts ΔM _i (t) for each predetermined time interval T may be used as the feature amounts. . Alternatively, a feature value may be a time change amount of a value obtained by converting a value corresponding to a myoelectric potential represented by a myoelectric potential signal into a frequency domain, or a set having such a time change amount of a value converted into a frequency domain as an element. Good.

《動作タイミングの筋電位に由来する特徴量の例２》
入力された筋電位信号が表す筋電位に対応する値、または、筋電位に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個の測定箇所で得られた筋電位信号Ｖ_ｉ（ｔ）が示す筋電位の大きさＭ_ｉ（ｔ）またはＭ_１（ｔ），・・・，Ｍ_Ｉ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ_１，ｔ_２］である場合、時間区間［ｔ_１，ｔ_２］での筋電位の大きさＭ_ｉ（ｔ）からなる集合を特徴量としてもよいし、筋電位の大きさＭ_ｉ（ｔ）を所定の時間区間Ｔごとに時間平均したＭ_ｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号が表す筋電位に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。 << Example 2 of feature quantity derived from myoelectric potential at action timing >>
A value corresponding to the myoelectric potential represented by the input myoelectric potential signal, or a set having elements corresponding to values corresponding to the myoelectric potential may be used as the feature amount. For example, the magnitude of the myoelectric potential represented by the myoelectric potential signal or a set having the magnitude of the myoelectric potential as an element may be used as the feature amount. Specifically, for example, the operation timing is a specific time t, and the myoelectric potential magnitude M _i (t) or M ₁ (M ₁ (t) indicated by the myoelectric potential signal V _i (t) obtained at the I measurement locations. A set of t),..., M _I (t) may be used as the feature quantity. For example, when the operation timing is a specific time interval [t ₁ , t ₂ ], a set of myoelectric potential magnitudes M _i (t) in the time interval [t ₁ , t ₂ ] may be used as the feature amount. Then, a set of M _i (T) obtained by averaging the magnitude of the myoelectric potential M _i (t) for each predetermined time interval T may be used as the feature amount. Alternatively, a value obtained by converting a value corresponding to the myoelectric potential represented by the myoelectric potential signal into the frequency domain, or a set having such a value converted into such a frequency domain as an element may be used as the feature amount.

《動作タイミングの画像と筋電位との両方に由来する特徴量の例１》
画像に由来する特徴量と筋電位信号が表す筋電位に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭ_ｉ（ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とΔＭ_ｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルｉの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のＨ（ｘ，ｙ，ｔ）とΔＭ_ｉ（ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，ｔ）／ΔＭ_ｉ（ｔ））や、このようなＨ（ｘ，ｙ，Ｔ）とΔＭ_ｉ（Ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，Ｔ）／ΔＭ_ｉ（Ｔ））や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Ｔごとに時間平均して得られたＨ（ｘ，ｙ，Ｔ）とＭ_ｉ（Ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とＭ_ｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭ_ｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭ_ｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号が表す筋電位に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。 << Example 1 of Feature Value Derived from Both Motion Timing Image and Myoelectric Potential >>
A relative value between a feature amount derived from an image and a temporal change amount of a value corresponding to the myoelectric potential represented by the myoelectric potential signal, or a set having such a relative value as an element may be used as the feature amount. For example, the relative value of H (x, y, t) and ΔM _i (t) described above, the relative value of H (x, y, T) and ΔM _i (T), or such a relative value is A set as an element may be used as a feature amount. Specifically, for example, a relative value (for example, H) of H (x, y, t) and ΔM _i (t) of a single or plural coordinates of a motion part involving a muscle in the vicinity of a measurement part of channel i. (X, y, t) / ΔM _i (t)) and relative values of such H (x, y, T) and ΔM _i (T) (for example, H (x, y, T) / ΔM _i (T)) or a set having such relative values as elements may be used as the feature amount. Also, H obtained by the average time for each time interval T as described above and the relative values of (x, y, T) and _{M i (T), H (} x, y, T) and _M i ( A feature value may be a relative value to T) or a set having such a relative value as an element. Further, in these examples, a feature amount obtained by replacing H (x, y, t), ΔM _i (t), H (x, y, T), or ΔM _i (T) with a value in the frequency domain may be used. . Alternatively, a relative value between a feature amount derived from an image and a value corresponding to the myoelectric potential represented by the myoelectric signal converted to a frequency domain, or a set having such a relative value as an element is a feature amount. It is good.

《動作タイミングの画像と筋電位との両方に由来する特徴量の例２》
画像に由来する特徴量と筋電位信号が表す筋電位に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭ_ｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭ_ｉ（Ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，ｔ）とΔＭ_ｉ（ｔ）とＭ_ｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭ_ｉ（Ｔ）とＭ_ｉ（Ｔ）とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位との両方に由来する特徴量の例１の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭ_ｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭ_ｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。 << Example 2 of Feature Value Derived from Both Motion Timing Image and Myoelectric Potential >>
A relative value between a feature amount derived from an image and a value corresponding to the myoelectric potential represented by the myoelectric potential signal, or a set having such a relative value as an element may be used as the feature amount. For example, the above-described set having H (x, y, t) and ΔM _i (t) as elements, the set having H (x, y, T) and ΔM _i (T) as elements, and H ( x, y, t) and ΔM _i (t) and M _i (t) as elements, and H (x, y, T), ΔM _i (T) and M _i (T) as elements A set to be used may be used as a feature amount. Furthermore, a set obtained by adding the feature amount of Example 1 of the feature amount derived from both the operation timing image and the myoelectric potential to such a set may be used as the feature amount. Further, in these examples, a feature amount obtained by replacing H (x, y, t), ΔM _i (t), H (x, y, T), or ΔM _i (T) with a value in the frequency domain may be used. .

上述のように得られた動作タイミングの特徴量は特徴量記憶部１１３に格納される（ステップＳ１１３）。   The feature quantity of the operation timing obtained as described above is stored in the feature quantity storage unit 113 (step S113).

＜画像生成処理（図３Ｂ）＞
動作タイミング照合部１１４に、特定の動作主体の一連の動作（例えば、投球運動）をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動を測定して得られた時系列の筋電位を表す筋電位信号が入力される。これらの画像および筋電位信号は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの（単数の動作主体による複数回の動作過程で得られたもの）であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの（複数の動作主体による複数回の動作過程で得られたもの）であってもよい。複数の筋電位は、動作主体の単数の測定箇所で得られたものであってもよいし、複数の測定箇所で得られたものであってもよい。動作タイミング照合部１１４は、特徴量記憶部１１３から読み出した特徴量を用い、入力された画像および筋電位信号から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の複数の筋電位を抽出する。動作タイミング照合部１１４は、抽出した複数の筋電位のそれぞれに対応する筋活動度を得、複数の画像および筋活動度を照合結果記憶部１１５に格納する（ステップＳ１１４）。以下、この処理の詳細を例示する。 <Image generation processing (FIG. 3B)>
It is obtained by measuring the time series images obtained by photographing a series of actions (for example, pitching motion) of a specific action subject with the camera and the series of muscle activities of the action subject in the action timing verification unit 114. A myoelectric signal representing a time-series myoelectric potential is input. These images and myoelectric potential signals may be obtained by a single action subject repeatedly performing the above-described series of actions a plurality of times (obtained by a plurality of action processes by a single action subject). Even if each of the plurality of operation subjects is obtained by performing the above-described series of operations one or more times in sequence (obtained by a plurality of operation processes by a plurality of operation subjects). Good. The plurality of myoelectric potentials may be obtained at a single measurement location of the operation subject or may be obtained at a plurality of measurement locations. The operation timing collation unit 114 uses the feature amount read from the feature amount storage unit 113, and from the input image and myoelectric potential signal, a plurality of operation subjects obtained from a time series image of the operation subject at a specific operation timing. Are extracted, and a plurality of myoelectric potentials of the action subject obtained at specific action timings are extracted from the time series myoelectric potentials of the action subject. The operation timing collation unit 114 obtains muscle activity levels corresponding to the extracted plurality of myoelectric potentials, and stores a plurality of images and muscle activity levels in the collation result storage unit 115 (step S114). Hereinafter, details of this processing will be exemplified.

≪動作タイミング照合（ステップＳ１１４）の詳細の例示（図４）≫
動作タイミング照合部１１４（図２）の特徴量抽出部１１４１に、未処理（ステップＳ１１４の処理が実行されていない）の時間区間［ｔ_ｓ，ｔ_ｅ］（ただし、ｔ_ｓ＜ｔ_ｅ）での時系列の画像および時系列の筋電位を表す筋電位信号の少なくとも一方が入力される。時間区間［ｔ_ｓ，ｔ_ｅ］は、１回の一連の動作（例えば、投球動作）が行われる時間区間、またはそれと仮定された時間区間である。時間区間［ｔ_ｓ，ｔ_ｅ］の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部１１４１は、時間区間［ｔ_ｓ，ｔ_ｅ］に属する複数の時間または時間区間について、当該時間または時間区間での画像および／または筋電位信号が表す筋電位に由来する特徴量を算出して出力する。ただし、特徴量抽出部１１４１は、前述の特徴量算出部１１２と同じ方法で特徴量を算出する。特徴量は類似度算出部１１４２に送られる（ステップＳ１１４１）。 << Example of details of operation timing verification (step S114) (FIG. 4) >>
In the feature amount extraction unit 1141 of the operation timing collation unit 114 (FIG. 2), in an unprocessed time period [t _s , t _e ] (where t _s <t _e ). At least one of the time series image and the myoelectric signal representing the time series myoelectric potential is input. The time interval [t _s , t _e ] is a time interval in which a series of operations (for example, a pitching operation) is performed, or a time interval assumed to be a time interval. The determination of the time interval [t _s , t _e ] may be performed based on, for example, an input from the user, may be performed by dividing every predetermined time, or may be input You may perform based on the information showing the time interval added to the time-sequential image. The feature amount extraction unit 1141 calculates, for a plurality of times or time intervals belonging to the time interval [t _s , t _e ], a feature amount derived from the myoelectric potential represented by the image and / or myoelectric potential signal in the time or time interval. Calculate and output. However, the feature amount extraction unit 1141 calculates the feature amount by the same method as the feature amount calculation unit 112 described above. The feature amount is sent to the similarity calculation unit 1142 (step S1141).

類似度算出部１１４２は、ステップＳ１１４１で得られた各時間または各時間区間での特徴量と、特徴量記憶部１１３から読み出した動作タイミングの特徴量との類似度を、各時間または各時間区間について算出して出力する。特徴量記憶部１１３に複数の動作タイミングの特徴量が格納されている場合には、類似度算出部１１４２は、それぞれの動作タイミングの特徴量について類似度を算出して出力する。類似度は動作タイミング検出部１１４３に送られる（ステップＳ１１４２）。   The similarity calculation unit 1142 calculates the similarity between the feature amount at each time or each time interval obtained in step S1141 and the feature value at the operation timing read from the feature amount storage unit 113, at each time or each time interval. Is calculated and output. When the feature amount storage unit 113 stores a plurality of feature amounts at the operation timing, the similarity calculation unit 1142 calculates and outputs the similarity for each feature amount at the operation timing. The similarity is sent to the operation timing detection unit 1143 (step S1142).

動作タイミング検出部１１４３は、時間区間［ｔ_ｓ，ｔ_ｅ］内において類似度がピークとなる時間または時間区間を検出する。動作タイミング検出部１１４３に複数の動作タイミングの類似度が送られる場合には、それぞれの動作タイミングの類似度についてピークとなる時間または時間区間を検出する。なお、ピークの類似度が所定の閾値を超えるという制限を課してもよい。動作タイミング検出部１１４３は、検出した時間または時間区間を、動作タイミングを表す時間または時間区間として出力する。検出された動作タイミングを表す時間または時間区間は、画像抽出部１１４４および筋活動度抽出部１１４５に送られる（ステップＳ１１４３）。 Operation timing detector 1143 detects the time or time interval similarity has a peak in the time interval _{[t s,} t _e]. When the similarity of a plurality of operation timings is sent to the operation timing detection unit 1143, the time or time interval that is the peak for the similarity of each operation timing is detected. In addition, you may impose the restriction that the similarity of a peak exceeds a predetermined threshold value. The operation timing detection unit 1143 outputs the detected time or time interval as a time or time interval representing the operation timing. The time or time interval representing the detected motion timing is sent to the image extraction unit 1144 and the muscle activity extraction unit 1145 (step S1143).

画像抽出部１１４４には、時間区間［ｔ_ｓ，ｔ_ｅ］での時系列の画像と動作タイミングを表す時間または時間区間とが入力される。画像抽出部１１４４は、動作タイミングを表す時間または時間区間での画像（特定の動作タイミングで得られた画像）を抽出し、照合結果記憶部１１５（図１）に格納する（ステップＳ１１４４）。 The image extraction unit 1144 receives a time-series image in the time interval [t _s , t _e ] and a time or time interval representing the operation timing. The image extraction unit 1144 extracts an image (an image obtained at a specific operation timing) in the time or time interval representing the operation timing, and stores it in the collation result storage unit 115 (FIG. 1) (step S1144).

筋活動度抽出部１１４５には、時間区間［ｔ_ｓ，ｔ_ｅ］での時系列の筋電位を表す筋電位信号と動作タイミングを表す時間または時間区間とが入力される。筋活動度抽出部１１４５は、動作タイミングを表す時間または時間区間での筋電位信号を抽出し、抽出した筋電位信号が表す筋電位（特定の動作タイミングで得られた動作主体の筋電位）に対応する値を筋活動度として算出し、照合結果記憶部１１５に格納する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる（ステップＳ１１４５）。 Muscle activity extractor 1145, the time interval _{[t s,} t _e] and the time series time or an a operation timing myoelectric potential signal representative of the myoelectric potential of the time in the interval are input. The muscle activity level extraction unit 1145 extracts a myoelectric potential signal in the time or time interval representing the motion timing, and converts it into the myoelectric potential represented by the extracted myoelectric potential signal (the myoelectric potential of the motion subject obtained at the specific motion timing). The corresponding value is calculated as the muscle activity level and stored in the matching result storage unit 115. Examples of the “muscle activity level” are as described above. For example, the absolute amplitude value or the mean square amplitude value of the myoelectric potential can be used as the muscle activity level (step S1145).

終了判定部１１４６は、動作タイミング照合部１１４に入力された時系列の画像および筋電位信号に未処理の時間区間［ｔ_ｓ，ｔ_ｅ］が存在するかを判定する（ステップＳ１１４６）。ここで、未処理の時間区間［ｔ_ｓ，ｔ_ｅ］が存在する場合にはステップＳ１１４１に戻る。一方、未処理の時間区間［ｔ_ｓ，ｔ_ｅ］が存在しない場合にはステップＳ１１４の処理を終了する End determination unit 1146 determines whether the operation timing matching unit of the time series input to the 114 image and electromyogram unprocessed time interval _[t s, t _e] is present (step S1146). If there is an unprocessed time interval [t _s , t _e ], the process returns to step S1141. On the other hand, if there is no unprocessed time interval [t _s , t _e ], the process of step S114 is terminated.

以上により、照合結果記憶部１１５には、特定の動作タイミングで得られた動作主体の画像と当該動作タイミングで得られた動作主体の筋電位に対応する筋活動度とが複数個格納される（≪動作タイミング照合（ステップＳ１１４）の詳細の例示≫の終わり）。   As described above, the collation result storage unit 115 stores a plurality of motion subject images obtained at specific motion timings and muscle activity levels corresponding to motion subject myoelectric potentials obtained at the motion timings ( << End of Detailed Example of Operation Timing Collation (Step S114) >>

動作タイミングでのすべての画像と筋活動度とが照合結果記憶部１１５に格納されると、次に合成画像の生成に移る。   When all the images and the muscle activity levels at the operation timing are stored in the collation result storage unit 115, the next step is to generate a composite image.

重畳画像作成部１１６（図１）は、照合結果記憶部１１５に格納された動作主体の複数の画像を読み出し、これらを重畳した重畳画像（特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像）を生成して出力する。重畳画像は合成部１１８に送られる（図３Ｂ：ステップＳ１１６）。   The superimposed image creating unit 116 (FIG. 1) reads a plurality of images of the operation subject stored in the matching result storage unit 115 and superimposes these images (one or a plurality of operation subjects obtained at a specific operation timing). Are generated and output). The superimposed image is sent to the synthesis unit 118 (FIG. 3B: step S116).

筋活動度画像生成部１１７は、少なくとも、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成して出力する（ステップＳ１１７）。以下に筋活動度画像の具体例を示す。   The muscle activity level image generation unit 117 reads at least a plurality of muscle activity levels stored in the matching result storage unit 115, generates and outputs a muscle activity level image derived from the plurality of myoelectric potential levels (step S117). ). A specific example of the muscle activity level image is shown below.

≪筋活動度画像の例１≫
筋活動度画像は、例えば、複数の筋活動度の関係から得られる値を表す画像を含む。例えば、筋活動度画像は、（１−ａ）複数の筋活動度のばらつきを表す画像、（１−ｂ）複数の筋活動度の相対値を表す画像、または（１−ｃ）複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。 ≪Example 1 of muscle activity level image≫
The muscle activity level image includes, for example, an image representing a value obtained from a relationship between a plurality of muscle activity levels. For example, the muscle activity level image includes (1-a) an image representing a variation in a plurality of muscle activity levels, (1-b) an image representing a relative value of a plurality of muscle activity levels, or (1-c) a plurality of muscles. It includes at least one of images representing variations in the relative value of activity. Examples of images representing relative values and their variations are the aforementioned contour plot, time series graph, and histogram.

（１−ａ）複数の筋活動度のばらつきを表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングでの筋活動度のばらつきを表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度のばらつきを表す画像である。他の例は、複数の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。「ばらつき」の意味は前述の通りであり、例えば、分散や標準偏差等である。   (1-a) An image representing a plurality of muscle activity level variations is, for example, an image representing a muscle activity level variation at a specific motion timing in a series of motions performed a plurality of times by the same motion subject. Such an image may be obtained for each measurement point of myoelectric potential. Another example is an image representing variations in a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of the same action subject. Another example is an image representing variation in muscle activity at a specific motion timing in a series of motions performed by a plurality of motion subjects. Another example is an image representing variation in a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. The meaning of “variation” is as described above, and is, for example, variance or standard deviation.

（１−ｂ）複数の筋活動度の相対値を表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングの筋活動度の相対値を表す画像である。具体的には、例えば１回目の動作での筋活動度と２回目以降に行われた動作での筋活動度との相対値を表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。なお、相対値の例は前述の通りであり、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。具体的には、例えば、主動筋の筋電位に対応する筋活動度と、当該拮抗筋の筋電位に対応する筋活動度と、の間の相対値を表す画像である。この画像によって「力み」を表すことができる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す画像では、「力み」を明確に表すことができる。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度の相対値を表す画像である。他の例は、複数の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。   (1-b) An image representing a relative value of a plurality of muscle activity levels is, for example, an image representing a relative value of muscle activity levels at a specific motion timing in a series of motions performed a plurality of times by the same motion subject. . Specifically, for example, the image represents a relative value between the muscle activity level in the first motion and the muscle activity level in the second and subsequent motions. Such an image may be obtained for each measurement point of myoelectric potential. Examples of relative values are as described above, and are “difference” with positive / negative distinction, “difference” without positive / negative distinction, “square error”, or “ratio”, or any of these function values. is there. Another example is an image representing relative values of a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of the same action subject. Specifically, for example, the image represents a relative value between a muscle activity level corresponding to the myoelectric potential of the main muscle and a muscle activity level corresponding to the myoelectric potential of the antagonist muscle. This image can represent “force”. In particular, in the image representing the value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle, the “force” can be clearly expressed. Another example is an image representing a relative value of muscle activity at a specific motion timing in a series of motions performed by a plurality of motion subjects. Another example is an image representing relative values of a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects.

（１−ｃ）複数の筋活動度の相対値のばらつきを表す画像の例は、上述の（１−ｂ）複数の筋活動度の相対値の具体例のばらつきを表す画像である。具体例としては、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像である。より具体的には、例えば、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である。これらの具体例では「力み」のばらつきを表現できる。   (1-c) An example of an image representing a variation in relative values of a plurality of muscle activity levels is an image representing a variation of a specific example of the relative value of (1-b) a plurality of muscle activity levels described above. As a specific example, it is an image representing a variation in relative value between the muscle activity corresponding to the myoelectric potential of the main muscle and the muscle activity corresponding to the myoelectric potential of the antagonist muscle. More specifically, for example, the image represents a variation in a value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle. In these specific examples, variation in “force” can be expressed.

≪筋活動度画像の例２≫
筋活動度画像生成部１１７が、さらに照合結果記憶部１１５に格納された動作主体の複数の画像（特定の動作タイミングで得られた複数の画像）を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像を生成してもよい。統合特徴量の例は、前述の特徴量算出部１１２が算出する特徴量として例示した「画像と筋電位との両方に由来する特徴量」である（ステップＳ１１２）。例えば、統合特徴量は、筋電位の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位に対応する筋活動度と、に由来する特徴量である。特徴量算出部１１２が生成する特徴量と筋活動度画像生成部１１７が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。 ≪Example 2 of muscle activity image≫
The muscle activity level image generation unit 117 further reads out a plurality of motion subject images (a plurality of images obtained at a specific motion timing) stored in the matching result storage unit 115, and specifies each of the plurality of images. An integrated feature amount derived from both of the plurality of myoelectric potentials obtained at the operation timing may be obtained, and a muscle activity level image derived from the plurality of integrated feature amounts may be generated. An example of the integrated feature amount is the “feature amount derived from both the image and the myoelectric potential” exemplified as the feature amount calculated by the feature amount calculation unit 112 (step S112). For example, the integrated feature amount is a feature derived from a value corresponding to an image of an action site involving a muscle in the vicinity of a myoelectric potential measurement location, and a muscle activity level corresponding to the myoelectric potential obtained at the measurement location. Amount. The feature amount generated by the feature amount calculation unit 112 and the feature amount generated by the muscle activity level image generation unit 117 may be the same or different from each other. Examples of muscle activity level images derived from a plurality of integrated feature values include images showing variations in multiple integrated feature values, images showing relative values of multiple integrated feature values, and variations in relative values of multiple integrated feature values. It is an image to represent. Examples of such muscle activity image are the above-mentioned contour plot, time series graph, and histogram.

≪筋活動度画像の例３≫
その他、上述の筋活動度画像の例１の何れかの画像と筋活動度画像の例２の何れかの画像とが生成されてもよい。 ≪Example 3 of muscle activity level image≫
In addition, any one of the above-described muscle activity image examples 1 and any one of the muscle activity image examples 2 may be generated.

合成部１１８は、入力された重畳画像および筋活動度画像を合成して合成画像を生成して出力する（ステップＳ１１８）。重畳画像と筋活動度画像とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像とを重畳する場合、筋活動度画像に対応する筋の位置またはその近傍に当該筋活動度画像を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置１２はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動とを同時に表示できる。図６および図７に、画像提示装置１２に表示された合成画像を例示する。   The synthesizer 118 synthesizes the input superimposed image and muscle activity level image to generate and output a synthesized image (step S118). A composite image in which the superimposed image and the muscle activity level image are superimposed may be used, or a composite image in which these are not superimposed may be used. When superimposing the superimposed image and the muscle activity level image, it is desirable to arrange the muscle activity level image at or near the position of the muscle corresponding to the muscle activity level image. Thereby, it becomes easy to grasp the spatial positional relationship between the motion and the muscle activity. The image presentation device 12 displays this composite image. As a result, the image of the action subject and the muscle activity at a specific action timing can be displayed simultaneously. 6 and 7 illustrate the composite image displayed on the image presentation device 12.

図６は重畳画像１２１ａ，１２２ａに等高線プロットの筋活動度画像１２１ｂａ，１２１ｂｂ，１２２ｂａ，１２２ｂｂを重畳した合成画像１２１，１２２の例である。筋活動度画像１２１ｂａ，１２１ｂｂ，１２２ｂａ，１２２ｂｂの縦軸および横軸は時間を表し、色合いは筋活動度の「ばらつき」の大きさを表している。図６Ａの重畳画像１２１ａの輪郭のぼやけ具合から動作の「ぶれ」が小さいことが分かり、筋活動度画像１２１ｂａ，１２１ｂｂの色合いから筋活動の「ばらつき」が小さいことが分かる。一方、図６Ｂの重畳画像１２２ａの輪郭のぼやけ具合から動作の「ぶれ」が大きいことが分かり、筋活動度画像１２２ｂａ，１２２ｂｂの色合いから筋活動の「ばらつき」が大きいことが分かる。これらより、図６Ａの合成画像１２１では動作主体が安定した動作を行っていることが分かり、図６Ｂ合成画像１２２では動作主体が不安定な動作を行っていることが分かる。また、筋活動度画像１２１ｂａ，１２１ｂｂ，１２２ｂａ，１２２ｂｂを等高線プロットとすることで、ばらつきの大小を直感的に把握できる。   FIG. 6 is an example of composite images 121 and 122 in which muscle activity images 121ba, 121bb, 122ba, and 122bb of contour plots are superimposed on the superimposed images 121a and 122a. The vertical and horizontal axes of the muscle activity images 121ba, 121bb, 122ba, and 122bb represent time, and the color represents the magnitude of “variation” of muscle activity. It can be seen from the blurred state of the outline of the superimposed image 121a in FIG. 6A that the “blurring” of the motion is small, and the “variation” of the muscle activity is small from the hue of the muscle activity level images 121ba and 121bb. On the other hand, it can be seen from the blurred state of the outline of the superimposed image 122a in FIG. 6B that the motion “blur” is large, and from the shades of the muscle activity level images 122ba and 122bb, the “variation” of the muscle activity is large. From these, it can be seen that in the composite image 121 of FIG. 6A, the operation subject performs a stable operation, and in FIG. 6B composite image 122, the operation subject performs an unstable operation. Further, by making the muscle activity level images 121ba, 121bb, 122ba, 122bb into contour plots, it is possible to intuitively grasp the magnitude of the variation.

図７は重畳画像１２３ａ，１２４ａと時系列グラフの筋活動度画像１２３ｂａ，１２３ｂｂ，１２４ｂａ，１２４ｂｂとを並べた合成画像１２３，１２４の例である。筋活動度画像１２３ｂａ，１２３ｂｂ，１２４ｂａ，１２４ｂｂの横軸は時間を表し、縦軸はばらつきの大きさを表している。図７Ａの重畳画像１２３ａから動作の「ぶれ」が小さいことが分かり、筋活動度画像１２３ｂａ，１２３ｂｂの縦軸の値から筋活動の「ばらつき」が小さいことが分かる。一方、図７Ｂの重畳画像１２４ａから動作の「ぶれ」が大きいことが分かり、筋活動度画像１２４ｂａ，１２４ｂｂの縦軸の値から筋活動の「ばらつき」が大きいことが分かる。これらより、図７Ａの合成画像１２３では動作主体が安定した動作を行っていることが分かり、図７Ｂ合成画像１２４では動作主体が不安定な動作を行っていることが分かる。また、筋活動度画像１２３ｂａ，１２３ｂｂ，１２４ｂａ，１２４ｂｂを時系列グラフとすることで、動作区間における筋活動の「ばらつき」の変動を把握できる。   FIG. 7 is an example of composite images 123 and 124 in which superimposed images 123a and 124a and muscle activity images 123ba, 123bb, 124ba, and 124bb of time series graphs are arranged. The horizontal axis of the muscle activity level images 123ba, 123bb, 124ba, and 124bb represents time, and the vertical axis represents the magnitude of variation. It can be seen from the superimposed image 123a of FIG. 7A that the motion “blur” is small, and the value of the vertical axis of the muscle activity level images 123ba and 123bb indicates that the “variation” of the muscle activity is small. On the other hand, it can be seen from the superimposed image 124a of FIG. 7B that the movement “blur” is large, and the value of the vertical axis of the muscle activity level images 124ba and 124bb indicates that the “variation” of the muscle activity is large. From these, it can be seen that in the composite image 123 of FIG. 7A, the operation subject performs a stable operation, and in FIG. 7B composite image 124, the operation subject performs an unstable operation. Further, by using the muscle activity level images 123ba, 123bb, 124ba, and 124bb as time series graphs, it is possible to grasp the variation of the “variation” of the muscle activity in the motion section.

［第１実施形態の変形例］
筋活動度画像生成部１１７は、少なくとも、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成した。これに代えて、動作タイミング照合のために生成した特徴量を筋活動度として筋活動度画像が生成されてもよい。以下では、第１実施形態との相違点を中心に説明し、これまで説明した事項については同じ参照番号を割り当てて説明を簡略化する。 [Modification of First Embodiment]
The muscle activity level image generation unit 117 reads at least a plurality of muscle activity levels stored in the matching result storage unit 115, and generates a muscle activity level image derived from the plurality of myoelectric potential levels. Instead of this, a muscle activity level image may be generated using the feature amount generated for operation timing verification as the muscle activity level. Below, it demonstrates centering around difference with 1st Embodiment, and the same reference number is assigned about the matter demonstrated so far, and description is simplified.

＜構成＞
図１に例示するように、本変形例の運動可視化装置１１’は、運動可視化装置１１の特徴量算出部１１２が特徴量算出部１１２’に置換され、動作タイミング照合部１１４が動作タイミング照合部１１４’に置換され、筋活動度画像生成部１１７が筋活動度画像生成部１１７’に置換されたものである。図２に例示するように、本変形例の動作タイミング照合部１１４’は、特徴量抽出部１１４１が特徴量抽出部１１４１’に置換され、筋活動度抽出部１１４５が筋活動度抽出部１１４５’に置換されたものである。 <Configuration>
As illustrated in FIG. 1, in the motion visualization device 11 ′ of this modification, the feature amount calculation unit 112 of the motion visualization device 11 is replaced with a feature amount calculation unit 112 ′, and the operation timing verification unit 114 is replaced with an operation timing verification unit. The muscle activity image generation unit 117 is replaced with a muscle activity image generation unit 117 ′. As illustrated in FIG. 2, in the operation timing matching unit 114 ′ of this modification, the feature amount extraction unit 1141 is replaced with a feature amount extraction unit 1141 ′, and the muscle activity level extraction unit 1145 is replaced with a muscle activity level extraction unit 1145 ′. Has been replaced.

＜事前処理（図３Ａ）＞
本変形例の事前処理は、第１実施形態のステップＳ１１２をステップＳ１１２’に置換したものである。ステップＳ１１２’のステップＳ１１２からの相違点は、特徴量算出部１１２’が、筋電位に由来する特徴量を算出するか、または、画像と筋電位との両方に由来する特徴量を算出する点のみである。これら特徴量の具体例は第１実施形態と同じである。 <Pre-processing (FIG. 3A)>
The pre-processing of this modification is obtained by replacing step S112 of the first embodiment with step S112 ′. The difference of step S112 ′ from step S112 is that the feature amount calculation unit 112 ′ calculates a feature amount derived from the myoelectric potential, or calculates a feature amount derived from both the image and the myoelectric potential. Only. Specific examples of these feature amounts are the same as those in the first embodiment.

＜画像生成処理（図３Ｂ）＞
本変形例の画像生成処理は、第１実施形態のステップＳ１１４をステップＳ１１４’に置換し、ステップＳ１１７をステップＳ１１７’に置換したものである。また、ステップＳ１１４’は、ステップ１１４のステップＳ１１４１をステップＳ１１４１’に置換し、ステップＳ１１４５をステップＳ１１４５’に置換したものである。それ以外は第１実施形態と同じである。以下では、ステップＳ１１４１’、ステップＳ１１４５’、およびステップＳ１１７’のみを説明する。 <Image generation processing (FIG. 3B)>
The image generation process of the present modification is obtained by replacing step S114 of the first embodiment with step S114 ′ and replacing step S117 with step S117 ′. In step S114 ′, step S1141 of step 114 is replaced with step S1141 ′, and step S1145 is replaced with step S1145 ′. The rest is the same as in the first embodiment. Hereinafter, only Step S1141 ′, Step S1145 ′, and Step S117 ′ will be described.

≪ステップＳ１１４１’≫
特徴量抽出部１１４１’は、時間区間［ｔ_ｓ，ｔ_ｅ］に属する複数の時間または時間区間について、当該時間または時間区間での筋電位信号が表す筋電位に由来する特徴量、または、画像および筋電位信号が表す筋電位に由来する特徴量を算出して出力する。ただし、特徴量抽出部１１４１’は、前述の特徴量算出部１１２’と同じ方法で特徴量を算出する。 << Step S1141 '>>
Feature amount extraction unit 1141 ', for the time interval _{[t s,} t _e] a plurality of times or time intervals that belong to the feature quantity from a myoelectric potential indicating the myoelectric potential signals in the time or time interval, or an image And a feature amount derived from the myoelectric potential represented by the myoelectric potential signal is calculated and output. However, the feature amount extraction unit 1141 ′ calculates the feature amount by the same method as the feature amount calculation unit 112 ′ described above.

≪ステップＳ１１４５’≫
筋活動度抽出部１１４５’は、ステップＳ１１４３で検出された動作タイミングを表す時間または時間区間に対応する、ステップＳ１１４１’で得られた特徴量を筋活動度として取得する。これはステップＳ１１４１’で生成された特徴量を記憶部（図示せず）に格納しておくことで実現できる。筋活動度抽出部１１４５’が取得した筋活動度は照合結果記憶部１１５に格納される。 << Step S1145 '>>
The muscle activity level extraction unit 1145 ′ acquires, as the muscle activity level, the feature amount obtained in step S1141 ′ corresponding to the time or time interval representing the motion timing detected in step S1143. This can be realized by storing the feature amount generated in step S1141 ′ in a storage unit (not shown). The muscle activity level acquired by the muscle activity level extraction unit 1145 ′ is stored in the verification result storage unit 115.

≪ステップＳ１１７’≫
筋活動度画像生成部１１７７’は、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成して出力する（ステップＳ１１７）。本変形例の筋活動度は、特定の動作タイミングでの筋電位に由来する特徴量、または画像と筋電位との両方に由来する特徴量である。複数の筋電位度に由来する筋活動度画像の例は、複数の筋電位度のばらつきを表す画像、複数の筋電位度の相対値を表す画像、複数の筋電位度の相対値のばらつきを表す画像である。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。 << Step S117 '>>
The muscle activity level image generation unit 1177 ′ reads a plurality of muscle activity levels stored in the matching result storage unit 115, generates and outputs a muscle activity level image derived from the plurality of myoelectric potential levels (step S117). . The muscle activity level of this modification is a feature amount derived from a myoelectric potential at a specific operation timing or a feature amount derived from both an image and a myoelectric potential. Examples of myoactivity level images derived from multiple myoelectric potentials include images representing variations in multiple myoelectric degrees, images representing relative values of multiple myoelectric degrees, and variations in relative values of multiple myoelectric degrees. It is an image to represent. Examples of such muscle activity image are the above-mentioned contour plot, time series graph, and histogram.

［第２実施形態］
本形態では、複数の筋電位から得られる複数の筋の活動開始時点に由来する画像を含む筋活動度画像を生成する。 [Second Embodiment]
In this embodiment, a muscle activity level image including an image derived from a plurality of muscle activity start points obtained from a plurality of myoelectric potentials is generated.

＜構成＞
図１に例示するように、本形態の運動可視化装置２１は、運動可視化装置１１の筋活動度画像生成部１１７が筋活動度画像生成部２１７に置換されたものである。
＜事前処理（図３Ａ）＞
第１実施形態では動作タイミングが時間または時間区間であったが、本形態の動作タイミングは時間区間のみである。それ以外は、第１実施形態と同じである。 <Configuration>
As illustrated in FIG. 1, the exercise visualization device 21 of this embodiment is obtained by replacing the muscle activity image generation unit 117 of the exercise visualization device 11 with a muscle activity image generation unit 217.
<Pre-processing (FIG. 3A)>
In the first embodiment, the operation timing is a time or a time interval, but the operation timing of this embodiment is only a time interval. The rest is the same as the first embodiment.

＜画像生成処理（図３Ｂ）＞
本変形例の画像生成処理は、第１実施形態のステップＳ１１７をステップＳ２１７に置換したものである。また、本形態の動作タイミングは時間区間のみである。それ以外は第１実施形態と同じである。以下では、ステップＳ２１７のみを説明する。 <Image generation processing (FIG. 3B)>
The image generation process of this modification is obtained by replacing step S117 of the first embodiment with step S217. In addition, the operation timing of this embodiment is only a time interval. The rest is the same as in the first embodiment. Only step S217 will be described below.

《ステップＳ２１７》
筋活動度画像生成部２１７は、照合結果記憶部１１５に格納された複数の筋活動度を読み出す。これらの複数の筋活動度は、例えば、同じ動作または一連の動作に関与する複数の筋の筋活動度である。具体的には、例えば「（ｄ）ボールリリース」に関与する腕の複数の筋の筋活動度である。また本形態の動作タイミングは時間区間であるため、各筋に対して当該時間区間内の複数個の筋活動度が対応する。筋活動度画像生成部２１７は、まず、これらの複数の筋活動度を用い、対応する複数の筋の活動開始時点を算出する。例えば、筋活動度画像生成部２１７は、（Ｓ−１）ある筋に対応する筋活動度が、筋活動度のベースライン（例えば、筋活動度の平均値や安静時の筋活動度）よりも、閾値以上大きくなった時点をこの筋の活動開始時点としてもよいし、（Ｓ−２）ある筋に対応する筋活動度の変動（例えば、分散や標準偏差）が閾値を超えた時点をこの筋の活動開始時点としてもよいし、（Ｓ−３）ある筋に対応する筋活動度の変化量が閾値を超えた時点をこの筋の活動開始時点としてもよいし、（Ｓ−４）ある筋に対応する筋活動度とその変動の組み合わせが閾値を超えた時点をこの筋の活動開始時点としてもよい。次に、筋活動度画像生成部２１７は、複数の筋の活動開始時点に由来する筋活動度画像を生成して出力する。以下にこのような筋活動度画像を例示する。 << Step S217 >>
The muscle activity level image generation unit 217 reads a plurality of muscle activity levels stored in the matching result storage unit 115. These multiple muscle activity levels are, for example, the muscle activity levels of multiple muscles involved in the same action or a series of actions. Specifically, for example, it is the muscle activity of a plurality of muscles of the arm involved in “(d) ball release”. Since the operation timing of this embodiment is a time interval, a plurality of muscle activity levels in the time interval correspond to each muscle. First, the muscle activity level image generation unit 217 uses the plurality of muscle activity levels to calculate the activity start points of the corresponding muscles. For example, the muscle activity level image generation unit 217 has (S-1) a muscle activity level corresponding to a certain muscle based on a baseline of the muscle activity level (for example, an average value of muscle activity level or a muscle activity level at rest). However, the time when the muscle activity has started to be larger than the threshold may be set as the muscle activity start time, or (S-2) the time when the fluctuation (for example, variance or standard deviation) of the muscle activity corresponding to a certain muscle exceeds the threshold. This muscle activity start time may be set, or (S-3) the time when the amount of change in muscle activity corresponding to a certain muscle exceeds a threshold may be set as the muscle activity start time, (S-4) The time when the combination of the degree of muscle activity corresponding to a certain muscle and the variation thereof exceeds a threshold may be set as the start time of this muscle activity. Next, the muscle activity level image generation unit 217 generates and outputs a muscle activity level image derived from the activity start points of a plurality of muscles. Examples of such muscle activity images are given below.

《複数の筋の活動開始時点に由来する筋活動度画像の例１》
筋活動度画像が、複数の筋の活動開始時点のばらつきを表す画像、複数の筋の活動開始時点の相対値を表す画像、複数の筋の活動開始時点の相対値のばらつきを表す画像、の何れかを含んでいてもよい。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムなどである。これにより、動作のばらつきと筋活動の時間的な要因の関係を可視化することができる。 << Example 1 of Muscle Activity Derivation Image Derived from the Start of Multiple Muscle Activities >>
The muscle activity level image is an image representing variation in the activity start time of a plurality of muscles, an image representing a relative value at the activity start time of a plurality of muscles, and an image representing a variation in relative values at the activity start time of a plurality of muscles. Any of them may be included. Examples of such muscle activity level images are the above-mentioned contour plot, time series graph, and histogram. This makes it possible to visualize the relationship between the variation in movement and the temporal factor of muscle activity.

《複数の筋の活動開始時点に由来する筋活動度画像の例２》
筋活動度画像が、複数の筋の活動開始時点の順序関係に由来する画像を含んでもよい。このような筋活動度画像の例は、前述の通りである（Ｆ−４〜Ｆ−８）。 << Example 2 of muscle activity level image derived from the start time of multiple muscle activities >>
The muscle activity level image may include an image derived from an order relationship at the time of starting the activity of a plurality of muscles. Examples of such muscle activity level images are as described above (F-4 to F-8).

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力、あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 [Other variations]
The present invention is not limited to the embodiment described above. For example, the various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as needed, or according to the processing capability of the apparatus that executes the processes. Needless to say, other modifications are possible without departing from the spirit of the present invention.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。   When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, this computer reads a program stored in its own recording device and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。   In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.

１１，１１’，２１ 運動可視化装置 11, 11 ', 21 Motion visualization device

Claims (11)

特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、前記特定の動作タイミングで得られた前記動作主体の複数の筋電位に由来する筋活動度画像と、の合成画像を出力する運動可視化装置。       A superimposed image of a plurality of images of one or a plurality of motion subjects obtained at a specific motion timing, and a muscle activity image derived from a plurality of myoelectric potentials of the motion subjects obtained at the specific motion timing, A motion visualization device that outputs composite images. 請求項１の運動可視化装置であって、
前記複数の筋電位は、前記動作主体による複数回の動作過程で得られたものである、運動可視化装置。 The motion visualization device according to claim 1,
The motion visualization device, wherein the plurality of myoelectric potentials are obtained in a plurality of motion processes by the motion subject. 請求項１または２の運動可視化装置であって、
前記複数の筋電位は、前記動作主体の複数の測定箇所で得られたものである、運動可視化装置。 The motion visualization device according to claim 1 or 2,
The motion visualization device, wherein the plurality of myoelectric potentials are obtained at a plurality of measurement locations of the motion subject. 請求項１から３の何れかの運動可視化装置であって、
複数の筋活動度のそれぞれが前記複数の筋電位のそれぞれに対応し、
前記筋活動度画像は、前記複数の筋活動度の関係から得られる値を表す画像、前記複数の筋活動度のばらつきを表す画像、前記複数の筋活動度の相対値を表す画像、または前記複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む、運動可視化装置。 The motion visualization device according to any one of claims 1 to 3,
Each of a plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials,
The muscle activity level image is an image representing a value obtained from the relationship between the plurality of muscle activity levels, an image representing a variation in the plurality of muscle activity levels, an image representing a relative value of the plurality of muscle activity levels, or the A motion visualization device including at least one of images representing variations in relative values of a plurality of muscle activity levels. 請求項１から４の何れかの運動可視化装置であって、
前記複数の筋電位は、前記動作主体の主動筋の筋電位および前記主動筋に対応する拮抗筋の筋電位を含み、
前記筋活動度画像は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含む、運動可視化装置。 The motion visualization device according to any one of claims 1 to 4,
The plurality of myoelectric potentials include a myoelectric potential of the main muscle of the operation main body and an myoelectric potential of an antagonist muscle corresponding to the main driving muscle,
The muscle activity image is an image representing a value obtained from a relationship between a muscle activity level corresponding to the myoelectric potential of the main muscle and a muscle activity level corresponding to the myoelectric potential of the antagonist muscle, and the muscle of the main muscle An image representing a relative value between the muscle activity corresponding to the potential and the muscle activity corresponding to the muscle potential of the antagonist muscle, or the muscle activity corresponding to the muscle potential of the main muscle and the muscle of the antagonist muscle A motion visualization device including at least one of images representing variations in relative values between muscle activity levels corresponding to potentials. 請求項５の運動可視化装置であって、
前記筋活動度画像は、前記拮抗筋の筋電位に対応する筋活動度を前記主動筋の筋電位に対応する筋活動度で除した値を表す画像、または、前記拮抗筋の筋電位に対応する筋活動度を前記主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である、運動可視化装置。 The motion visualization device according to claim 5,
The muscle activity image is an image representing a value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle, or corresponds to the myoelectric potential of the antagonist muscle A motion visualization device, which is an image representing variation in a value obtained by dividing a muscle activity level to be divided by a muscle activity level corresponding to a myoelectric potential of the main muscle. 請求項１から６の何れかの運動可視化装置であって、
前記筋活動度画像は、前記複数の筋電位から得られる複数の筋の活動開始時点に由来する画像を含む、運動可視化装置。 The motion visualization device according to any one of claims 1 to 6,
The motion visualization device, wherein the muscle activity degree image includes an image derived from a plurality of muscle activity start points obtained from the plurality of myoelectric potentials. 請求項１から７の何れかの運動可視化装置であって、
前記筋活動度画像は、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係に由来する画像を含む、運動可視化装置。 The motion visualization device according to any one of claims 1 to 7,
The motion visualizing device, wherein the muscle activity level image includes an image derived from an order relationship of a plurality of muscle activity start points obtained from the plurality of myoelectric potentials. 請求項１から８の何れかの運動可視化装置であって、
前記筋活動度画像は、複数の統合特徴量に由来する画像を含み、
前記統合特徴量のそれぞれは、前記特定の動作タイミングで得られた前記複数の画像のそれぞれと、前記特定の動作タイミングで得られた前記複数の筋電位のそれぞれと、の両方に由来する特徴量である、運動可視化装置。 The motion visualization device according to any one of claims 1 to 8,
The muscle activity level image includes an image derived from a plurality of integrated feature amounts,
Each of the integrated feature amounts is a feature amount derived from both each of the plurality of images obtained at the specific operation timing and each of the plurality of myoelectric potentials obtained at the specific operation timing. A motion visualization device. 請求項１から９の何れかの運動可視化装置であって、
前記動作主体の画像と前記動作主体の筋電位との両方に由来する特徴量に基づいて、前記動作主体の時系列の画像から前記特定の動作タイミングで得られた動作主体の複数の画像を抽出し、前記動作主体の時系列筋の電位から前記特定の動作タイミングで得られた前記動作主体の複数の筋電位を抽出する、運動可視化装置。 The motion visualization device according to any one of claims 1 to 9,
Extracting a plurality of action subject images obtained at the specific action timing from the action subject time-series images based on feature quantities derived from both the action subject image and the action subject myoelectric potential. And a motion visualization device that extracts a plurality of myoelectric potentials of the motion subject obtained at the specific motion timing from the potential of the motion subject time-series muscles. 請求項１から１０の何れかの運動可視化装置としてコンピュータを機能させるためのプログラム。       A program for causing a computer to function as the motion visualization device according to claim 1.