JP7275807B2 - Motion analysis device, motion analysis method and program - Google Patents
Motion analysis device, motion analysis method and program Download PDFInfo
- Publication number
- JP7275807B2 JP7275807B2 JP2019081528A JP2019081528A JP7275807B2 JP 7275807 B2 JP7275807 B2 JP 7275807B2 JP 2019081528 A JP2019081528 A JP 2019081528A JP 2019081528 A JP2019081528 A JP 2019081528A JP 7275807 B2 JP7275807 B2 JP 7275807B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- timing
- video
- extracting
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、動作解析装置、動作解析方法及びプログラムに関する。 The present invention relates to a motion analysis device, a motion analysis method, and a program.
従来、実施者が技能(例えば、ゴルフ)に関する身体動作(例えば、ゴルフのスイング)を行いながら、自分(実施者)の動きと規範技能者の動きとを比較検討し、規範技能者の動きを的確に再現できているかどうかを自分自身で確認することができる身体技能習得支援装置が開示されている(例えば、特許文献1参照)。 Conventionally, while performing a physical action (e.g. golf swing) related to a skill (e.g. golf), the performer compares and examines the movement of himself (the performer) with the movement of the standard skilled person, and compares the movement of the standard skilled person. A physical skill acquisition support device has been disclosed that allows oneself to confirm whether or not a physical skill has been accurately reproduced (see, for example, Patent Literature 1).
しかしながら、上記特許文献1に開示されている身体技能習得支援装置では、特定の動作タイミングにおける動きを比較検討しようとした場合、実施者の操作に基づいて身体動作情報と技能情報とから当該特定の動作タイミングの画像をそれぞれ指定しなければならないため面倒であるという問題がある。
However, in the physical skill acquisition support device disclosed in
本発明は、このような問題に鑑みてなされたものであり、特定の動作タイミングにおける画像の比較を簡便に行うことを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and it is an object of the present invention to easily compare images at specific operation timings.
上記課題を解決するため、本発明に係る動作解析装置は、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第1の抽出手段と、
前記第1の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出手段と、
前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較手段と、
を備え、
前記比較手段の比較結果に基づいて、前記第1の抽出手段、前記第2の抽出手段は、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出し、前記表示制御手段は、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させることを特徴とする。
In order to solve the above problems, the motion analysis device according to the present invention includes:
a first extracting means for extracting a frame image of a specific movement timing that periodically appears from a video image of a user who is exercising consisting of repeating periodic movements;
a second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed; ,
display control means for causing a display means to display the respective frame images extracted by the first extraction means and the second extraction means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. a comparison means for comparing data;
with
Based on the comparison result of the comparing means, the first extracting means and the second extracting means respectively extract frame images at the specific operation timing from the video and the model video, and control the display. The means is characterized by causing the display means to display the respective extracted frame images in a manner in which they can be compared with each other .
本発明によれば、特定の動作タイミングにおける画像の比較を簡便に行うことができる。 According to the present invention, it is possible to easily compare images at specific operation timings.
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the present invention is not limited to the illustrated examples.
≪動作解析装置1の構成≫
本実施形態の動作解析装置1は、周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から当該ユーザーの動作を解析するための装置である。以下では、周期的な動作の繰り返しから成る運動としてランニングを例に挙げて説明を行う。
<<Configuration of
The
図1は、本発明を適用した一実施形態の動作解析装置1の概略構成を示すブロック図である。
図1に示すように、動作解析装置1は、CPU(Central Processing Unit)11と、RAM(Random Access Memory)12と、記憶部13と、操作部14と、表示部15と、通信部16とを備える。
FIG. 1 is a block diagram showing a schematic configuration of a
As shown in FIG. 1, the
CPU(第1の抽出手段、第2の抽出手段、表示制御手段、比較手段、報知手段、補正手段)11は、動作解析装置1の各部を制御する。CPU11は、記憶部13に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してRAM12に展開し、当該プログラムとの協働で各種処理を実行する。
A CPU (first extraction means, second extraction means, display control means, comparison means, notification means, correction means) 11 controls each part of the
RAM12は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。
The
記憶部13は、例えば、フラッシュメモリ、EEPROM(Electrically Erasable Programmable ROM)、HDD(Hard Disk Drive)などにより構成される。記憶部13には、CPU11で実行されるシステムプログラムやアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
The
また、記憶部13には、所定の映像データを記憶するための映像記憶部(図示省略)が設けられている。所定の映像データとは、例えば、トレッドミルを用いてランニングを行っているユーザーを連続的に撮影した映像に関する映像データである。この映像記憶部に上記映像データが記憶される際、当該映像データの映像の撮影時にユーザーに装着されたセンサー装置2(後述)から取得され、当該映像と同期が取れている加速度信号データ(センシングデータ)と、ユーザーのランニング動作におけるサイクル(周期)の各局面(着地タイミング、最下点タイミング、離地タイミング、最高点タイミング等)のデータとがそれぞれ対応付けられて記憶される。このランニング動作におけるサイクル(周期)の各局面のデータは、動作解析装置1により測定処理(後述)が実行されることによって算出されるデータである。
Further, the
また、記憶部13には、所定の手本映像データを記憶するための手本映像記憶部(図示省略)が設けられている。ここで、所定の手本映像データとは、手本となるランナーがトレッドミルを用いてランニングを行っている様子を連続的に撮影した手本映像に関する映像データである。この所定の手本映像データは、上述した所定の映像データと同様に、当該手本映像データの映像の撮影時に手本となるランナーに装着されたセンサー装置2(後述)から取得され、当該映像と同期が取れている加速度信号データ(センシングデータ)と、当該ランナーのランニング動作におけるサイクル(周期)の各局面のデータとがそれぞれ対応付けられて手本映像記憶部に記憶される。
The
また、記憶部13には、後述する動作解析処理(図12参照)が実行された際、動作解析の結果として報知されるコメントを記憶したコメントテーブル(図示省略)が設けられている。このコメントテーブルには、例えば、ランニング動作におけるサイクル(周期)の局面(動作タイミング)ごとに「動作解析の対象となるランナーの姿勢と手本となるランナーの姿勢の相違点」、「コメント」等の項目が設けられており、これらの項目に関するデータが互いに対応付けられて記憶されるようになっている。
The
ここで、図2を用いて、上記センサー装置2について説明する。図2は、センサー装置2をユーザーが装着した状態を示す図である。
図2に示すように、センサー装置2は、本体部2Aと、ベルト部2Bとを有しており、ベルト部2Bによって、ユーザーの腰の位置で本体部2Aが固定されている。ここで、左右方向をX軸とし、前後方向をY軸とし、上下方向をZ軸とする。X軸においては左手方向を正、右手方向を負とする。Y軸においては進行方向逆向きを正とし、進行方向を負とする。Z軸においては上方向を正、下方向を負とする。センサー装置2は、加速度センサー(図示省略)を備えており、この加速度センサーによって出力される3軸(X軸、Y軸、Z軸)方向の加速度信号データ(センシングデータ)をランニング動作時に逐次記録可能となっている。
Here, the
As shown in FIG. 2, the
操作部14は、例えば、タッチパネルを備え、ユーザーからのタッチ入力を受け付け、その操作情報をCPU11に出力する。
タッチパネルは、表示部15と一体となって形成され、例えば、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、ユーザーによる表示部15上の接触位置のXY座標を検出する。そして、タッチパネルは、接触位置のXY座標に係る位置信号をCPU11に出力する。
The
The touch panel is formed integrally with the
表示部(表示手段)15は、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等で構成され、CPU11から指示された表示情報に従い各種表示を行う。
A display unit (display means) 15 is composed of an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or the like, and performs various displays according to display information instructed by the
通信部16は、モデム、ルータ、ネットワークカード等により構成される。通信部16は、通信ネットワークを介して接続された外部機器とのデータ送受信を行う。
The
≪動作解析装置1の動作≫
[測定処理]
次に、図3~図11を用いて、動作解析装置1により実行される測定処理について説明する。
<<Operation of
[Measurement processing]
Next, measurement processing executed by the
図3は、測定処理の流れを示すフローチャートである。
なお、図5及び図7~図11は、前後方向、左右方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。以下の説明では、上記測定処理に加速度信号の波形がどう用いられているかを、図5及び図7~図11を参照して説明する。また、本実施形態では、図5及び図7~図11に示す部分にのみ上記測定処理が施される場合を例示して説明するが、当該測定処理は、前後方向、左右方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。
FIG. 3 is a flowchart showing the flow of measurement processing.
5 and 7 to 11 are graphs showing exemplary waveforms of acceleration signals in the longitudinal direction, the lateral direction, and the vertical direction. In the following description, how the waveform of the acceleration signal is used in the measurement process will be described with reference to FIGS. 5 and 7 to 11. FIG. Further, in the present embodiment, a case where the above-described measurement processing is performed only on the portions shown in FIGS. 5 and 7 to 11 will be described as an example. Execution is performed on the entire waveform of each acceleration signal.
図3に示すように、上記測定処理が実行されると、CPU11は、まず、着地タイミング設定処理を行う(ステップS1)。ここで、着地タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足(一方の足)が地面に触れたタイミングを指す。なお、着地タイミング設定処理の詳細については後述する。
As shown in FIG. 3, when the measurement process is executed, the
次いで、CPU11は、最下点タイミングの設定を行う(ステップS2)。具体的には、CPU11は、後述する高さ位置波形Tの極小値Tmin(図5参照)を示すタイミングを最下点タイミングとして設定する。ここで、最下点タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足(一方の足)が地面に触れている間において、腰が最も低い位置を通過したタイミングを指す。
Next, the
次いで、CPU11は、離地タイミング設定処理を行う(ステップS3)。ここで、離地タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足(一方の足)が地面から離れたタイミングを指す。なお、離地タイミング設定処理の詳細については後述する。
Next, the
次いで、CPU11は、最高点タイミングの設定を行う(ステップS4)。具体的には、CPU11は、後述する高さ位置波形Tの極大値Tmax(図5参照)を示すタイミングを最高点タイミングとして設定する。ここで、最高点タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足(一方の足)が地面から離れた後、腰が最も高い位置を通過したタイミングを指す。
Next, the
次いで、CPU11は、着地タイミング設定処理によって設定された着地タイミングと、離地タイミング設定処理によって設定された離地タイミングと、の差分の時間を接地時間として算出する(ステップS5)。
これにより、ランニング動作におけるサイクルの各局面のデータ(着地タイミング、最下点タイミング、離地タイミング、最高点タイミング、及び接地時間)が算出されて、CPU11は測定処理を終了する。
Next, the
As a result, the data of each aspect of the cycle in the running motion (landing timing, lowest point timing, take-off timing, highest point timing, and contact time) are calculated, and the
次に、上記の測定処理における着地タイミング設定処理(ステップS1)の詳細について説明する。
図4は、着地タイミング設定処理の流れを示すフローチャートである。
図5は、前後方向、左右方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。以下の説明では、着地タイミング設定処理に加速度信号の波形がどう用いられているかを、図5を参照して説明する。また、本実施形態では、図5に示す部分にのみ着地タイミング設定処理が施される場合を例示して説明するが、着地タイミング設定処理は、前後方向、左右方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。
Next, details of the landing timing setting process (step S1) in the above measurement process will be described.
FIG. 4 is a flowchart showing the flow of landing timing setting processing.
FIG. 5 is a graph showing exemplary waveforms of acceleration signals in the longitudinal direction, the lateral direction, and the vertical direction. In the following description, how the acceleration signal waveform is used in the landing timing setting process will be described with reference to FIG. Further, in the present embodiment, the case where the landing timing setting process is applied only to the portion shown in FIG. 5 will be described as an example. is executed for the entire waveform.
図4に示すように、着地タイミング設定処理が実行されると、CPU11は、まず、上下方向の加速度信号(第2加速度信号)AccZ1に対して例えば移動平均等の周知の平滑化処理を行う(ステップS11)。
次いで、CPU11は、平滑化後の上下方向の加速度信号AccZ2の波形の極大値Zmaxを求め、この極大値Zmaxを示すタイミングを基準タイミング(第四基準タイミング)として時間軸を分割する(ステップS12)。図5では、極大値Zmaxに基づいて線P1,P2,P3で時間軸を分割している。この線P1と,線P2の間の分割領域、線P2と線P3との間の分割領域を第一分割領域R1と称す。
As shown in FIG. 4, when the landing timing setting process is executed, the
Next, the
次いで、CPU11は、平滑化前の上下方向の加速度信号AccZ1を第一分割領域R1毎に二度積分することで、センサー装置2の高さ位置を表す高さ位置波形Tを求める(ステップS13)。
次いで、CPU11は、各第一分割領域R1内にある高さ位置波形Tの極大値Tmaxを示すタイミングを基準タイミング(第一基準タイミング)として時間軸を分割する。図5では、極大値Tmaxに基づいて線P4,P5,P6で時間軸を分割している。この線P4,P5,P6を歩の切れ目(例えば奇数歩目と偶数歩目の境界)に設定する(ステップS14)。この線P4,P5,P6で分割された領域を第二分割領域と称す。なお、説明の便宜上、以下においては、連続する二つの第二分割領域のうち、先(時間的に前)の方を「先の第二分割領域R21」とし、後(時間的に後)の方を「後の第二分割領域R22」とする。
Next, the
Next, the
次いで、CPU11は、各第二分割領域R21,R22のうち前半部分(例えば歩の切れ目(線P4,P5)から、平滑化後の上下方向の加速度信号AccZ2の波形の極大値位置(線P2,P3))内において、前後方向の加速度信号(第1加速度信号)AccYの波形の正の極大値を探索する(ステップS15)。
図5では、先の第二分割領域R21に正の極大値Ymaxが一つあり、後の第二分割領域R22に正の極大値Ymaxが二つある場合を例示している。
Next, the
FIG. 5 illustrates a case where the preceding second divided region R21 has one positive maximum value Y max and the subsequent second divided region R22 has two positive maximum values Y max .
次いで、CPU11は、各第二分割領域R21,R22の前半部分にある正の極大値Ymaxが一つであるか否かを判断し、一つである場合にはその正の極大値Ymaxを特定しステップS18に移行し、二つ以上である場合にはステップS17に移行する(ステップS16)。
ここで、着地時においてはその着地動作による衝撃によって減速するために、前後方向の加速度信号AccYの波形には正の値にピーク(極大値)が生じることになる。この正の極大値Ymaxが、進行方向に対して減速を示す極値である。
しかし、走り方や速度によっては同様のピークが複数生じることもある。換言すると、着地時においては前後方向の加速度信号AccYの波形に少なくとも一つは正の極大値が生じることになる。このため、ステップS16では、正の極大値が一つであるか否かを判断している。なお、本実施形態では、前後方向の加速度信号AccYは、進行方向逆向きを正とし、進行方向を負としているため、前後方向の加速度信号AccYの波形における減速を示す極値が正の極大値Ymaxとなっているが、正負が逆の場合は減速を示す極値が負の極小値となる。
Next, the
Here, since the vehicle is decelerated by the impact caused by the landing motion at the time of landing, the waveform of the acceleration signal AccY in the longitudinal direction has a positive value peak (maximum value). This positive maximum value Y max is the extreme value indicating deceleration with respect to the traveling direction.
However, depending on the running style and speed, multiple similar peaks may occur. In other words, at the time of landing, at least one positive maximum value occurs in the waveform of the longitudinal acceleration signal AccY. Therefore, in step S16, it is determined whether or not there is one positive maximum value. In the present embodiment, the acceleration signal AccY in the longitudinal direction has a positive value in the opposite direction of travel and a negative value in the direction of travel. Y max , but if the sign is reversed, the extreme value indicating deceleration will be the minimum negative value.
ステップS17では、CPU11は、左右方向の加速度信号AccXの波形に基づいて複数の正の極大値Ymaxから一つ特定する。例えば、走行による着地時においては、片足だけが着地することになるため、上体は左右方向に傾くことになる。このとき、無意識のうちに体勢を整えるために、左右方向に上体が揺れ動くことになる。つまり、左右方向の加速度信号AccXの波形においては、着地時に左右のブレを示す波形が現れることになる。この波形を基にすれば、着地時を特定することが可能である。
具体的には、CPU11は、後の第二分割領域R22の前半部分内において、所定間隔内に左右方向の加速度信号AccXの波形の極値Xm1,Xm2,Xm3が三つ存在し、なおかつ当該三つの極値Xm1,Xm2,Xm3のうち隣接する極値Xm1,Xm2,Xm3の差分が所定値以上であると、左右のブレを示す波形として認定する。そして、CPU11は三つの極値Xm1,Xm2,Xm3のうち最初に発生した極値Xm1に近い正の極大値Ymaxを特定する。
なお、「所定間隔」や、「所定値」については、実験やシミュレーションなどにより得られた値が用いられる。具体的には所定間隔としては40~100msの範囲に収まる値が好ましく、70msがより好ましい。また、所定値としては5~15m/s2の範囲に収まる値が好ましく、10m/s2がより好ましい。
In step S17, the
Specifically, the
As for the "predetermined interval" and the "predetermined value", values obtained through experiments, simulations, or the like are used. Specifically, the predetermined interval is preferably a value within the range of 40 to 100 ms, more preferably 70 ms. The predetermined value is preferably within the range of 5 to 15 m/s 2 , more preferably 10 m/s 2 .
次いで、CPU11は、特定した正の極大値Ymaxの位置(時間)を着地タイミングとして設定し(ステップS18)、着地タイミング設定処理を終了する。
Next, the
次に、上記の測定処理における離地タイミング設定処理(ステップS3)の詳細について説明する。
図6は、離地タイミング設定処理の流れを示すフローチャートである。
図7、図9、図10は、前後方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
図8は、図7に示すグラフのうち、28.9秒から29.1秒の間の一部分を拡大したグラフである。
以下の説明では、離地タイミング設定処理に加速度信号の波形がどう用いられているかを、図7~図10を参照して説明する。また、本実施形態では、図7~図10に示す部分にのみ離地タイミング設定処理が施される場合を例示して説明するが、離地タイミング設定処理は、前後方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。
Next, details of the take-off timing setting process (step S3) in the above measurement process will be described.
FIG. 6 is a flowchart showing the flow of takeoff timing setting processing.
7, 9, and 10 are graphs showing exemplary waveforms of longitudinal and vertical acceleration signals.
FIG. 8 is an enlarged graph of a portion of the graph shown in FIG. 7 between 28.9 seconds and 29.1 seconds.
In the following description, how the waveform of the acceleration signal is used in the take-off timing setting process will be described with reference to FIGS. 7 to 10. FIG. Further, in this embodiment, a case where the take-off timing setting process is applied only to the portions shown in FIGS. 7 to 10 will be described as an example. Execution is performed on the entire waveform of the acceleration signal.
図6に示すように、離地タイミング設定処理が実行されると、CPU11は、まず、前後方向の加速度信号(第1加速度信号)AccYに対して移動平均を用いた平滑化処理を行う(ステップS21)。
具体的には、CPU11は、前後方向の加速度信号AccYに対して、タップ数が11~15(ここで、タップ数はサンプリング周波数が200Hzであって、サンプリング周期が5msである場合のサンプル数であって、移動平均を算出する期間が対象とする信号の前後25~35msの期間(第1期間)である場合に対応する)の三角移動平均(第一の移動平均)を算出し、当該三角移動平均による平滑化処理後の第1信号(以下、FAccY_2と称す)を求めるとともに、タップ数が3~5(タップ数はサンプリング周波数が200Hzである場合のサンプル数であって、移動平均を算出する期間が対象とする信号の前後5~10msの期間(第2期間)である場合に対応する)の三角移動平均(第二の移動平均)を算出し、当該三角移動平均による平滑化処理後の第2信号(以下、FAccY_1と称する)を求める。ここで、三角移動平均は対象とする信号のノイズを低減する効果を有するものであり、周知の手法である。この三角移動平均による平滑化処理においては、タップ数(サンプル数)を多くする程、信号が平滑化される効果が大きくなる。
As shown in FIG. 6, when the take-off timing setting process is executed, the
Specifically, the
次いで、CPU11は、変数nを、サンプリング周期(例えば、5ms)毎のサンプリングタイミングに、時間の経過に応じて順次付した番号として、第二分割領域(上述の図5における線P4、P5間、又は、線P5、P6間の第二分割領域と同様に設定される領域であり、図7の線L1,L2間の領域)のうちの後半部分において、FAccY_2が負から正、すなわち加速から減速へと変化するタイミング(プラスゼロクロスタイミング;n=ZC)を探索する(ステップS22)。そして、CPU11は、探索して取得した上記タイミング(ZC)を第二基準タイミングとして設定する。図7~図10では、第二基準タイミングを線LZCで示している。
ここで、プラスゼロクロスタイミング(ZC)を探索するに際して、図8の破線の丸で囲った領域に示すように、離地前にも、AccYの値がノイズや体の動き方によって負から正に急峻に変化するタイミングが発生してしまう場合がある。そして、タップ数が比較的小さいFAccY_1ではこの急峻な変化が残っていて、同様に負から正に急峻に変化する。これに対して、図8に示すように、タップ数が比較的大きいFAccY_2では、AccYやFAccY_1では負から正に急峻に変化する場合であっても、この急峻な変化が緩和されて、負から正に変化するタイミングは現れないようになる。そこで、本実施形態では、タップ数を比較的大きくしたFAccY_2を用いることによって、プラスゼロクロスタイミング(ZC)を適正に探索することができるようにしている。なお、上記のタップ数はサンプリング周波数が200Hzでサンプリング周期が5msの場合であり、タップ数は加速度信号のサンプリング周波数によって変化する。また、サンプリング数、サンプリング期間は上記の値に限定されるものではなく、上記の値の近傍であればよい。
Next, the
Here, when searching for the plus zero cross timing (ZC), as shown in the area circled by the dashed line in FIG. There may be times when the timing changes abruptly. In FAccY_1, which has a relatively small number of taps, this sharp change remains, and likewise sharply changes from negative to positive. On the other hand, as shown in FIG. 8, in FAccY_2, which has a relatively large number of taps, even if AccY or FAccY_1 sharply changes from negative to positive, this sharp change is moderated, and from negative to A positive change timing does not appear. Therefore, in this embodiment, by using FAccY_2 with a relatively large number of taps, it is possible to properly search for plus zero cross timing (ZC). The number of taps described above is for the case where the sampling frequency is 200 Hz and the sampling period is 5 ms, and the number of taps varies depending on the sampling frequency of the acceleration signal. Also, the number of samplings and the sampling period are not limited to the above values, and may be in the vicinity of the above values.
次いで、CPU11は、第二分割領域(図7の線L1,L2で分割された領域)のうちの後半部分において、FAccY_2が極大値となるタイミング(LMX)を探索する(ステップS23)。そして、CPU11は、上記タイミング(LMX)を第三基準タイミングとして設定する。図7~図10では、第三基準タイミングを線LLMXで示している。
Next, the
次いで、CPU11は、第二基準タイミングと第三基準タイミングとの間、すなわち線LZC,LLMXで分割された探索期間において、先ず、第二基準タイミングから1サンプリング周期後のサンプリングタイミング(n=ZC+1、ステップS24)から第三基準タイミング(LMX)の間のサンプリング周期毎のFAccY_1の値の、FAccY_1の1サンプリング周期前の値に対する差分(FAccY_1(n)-FAccY_1(n-1))を算出し、当該差分の値が予め定められた閾値TH未満であるか否かを判定する(ステップS25)。ここで、ステップS25の閾値処理は、例えば、ノイズや体の固有の動き等の影響によって、第二基準タイミングの後、極大値が一気に現れる場合や、途中で変曲点が見られる波形の後に極大値が現れる場合に、離地タイミングを正確に特定できるようにすることを目的としてなされている。また、当該閾値処理では、AccYのデータに含まれているノイズの影響を抑制するため、FAccY_1を用いている。ここで、閾値THは、0m/s2に近い値(例えば、0.5m/s2)とする。なお、閾値THは、FAccY_1の極大値に応じて段階的に設定しても良い。例えば、FAccY_1の極大値が5m/s2未満の場合は0.5m/s2とし、当該極大値が5m/s2以上の場合は1.0m/s2とする。
Next , the
ステップS25において、上記差分が閾値TH未満でないと判定された場合(ステップS25;NO)、CPU11は、上記変数nを1インクリメントし(ステップS26)、このときの変数nが示すサンプリングタイミングが第三基準タイミング(LMX)であるか否かを判定する(ステップS27)。
ステップS27において、このときの変数nが示すサンプリングタイミングが第三基準タイミング(LMX)でないと判定された場合(ステップS27;NO)、ステップS25へ戻り、CPU11は、ステップS25以降の処理を繰り返し行う。
一方、ステップS27において、このときの変数nが示すサンプリングタイミングが第三基準タイミング(LMX)であると判定された場合(ステップS27;YES)、すなわち、第二基準タイミング(ZC)と第三基準タイミング(LMX)との間において、上記差分が閾値TH未満であるという条件が満たされなかった場合、CPU11は、図9に示すように、当該第三基準タイミング(LMX)を離地タイミングとして設定し(ステップS28)、離地タイミング設定処理を終了する。
When it is determined in step S25 that the difference is not less than the threshold TH (step S25; NO), the
If it is determined in step S27 that the sampling timing indicated by the variable n at this time is not the third reference timing (LMX) (step S27; NO), the process returns to step S25, and the
On the other hand, if it is determined in step S27 that the sampling timing indicated by the variable n at this time is the third reference timing (LMX) (step S27; YES), that is, the second reference timing (ZC) and the third reference timing 9, the
また、ステップS25において、上記差分が閾値TH未満であると判定された場合(ステップS25;YES)、CPU11は、このときの変数nが示すサンプリングタイミングにおける上下方向の加速度信号AccZの値が所定値C1未満であり、且つ、FAccY_1の値が特定値C2以上であるか否かを判定する(ステップS29)。
ステップS29の判定処理でAccZの値が所定値C1未満であるか否かを判定しているのは、足が地面に設置している間は、AccZの値が正側すなわち上向きになっており、AccZの値が所定値C1以上である場合(例えば、図9の破線の丸で囲った領域参照)は、足はまだ地面に接していると想定されるためである。ここで、所定値C1は、重力加速度9.80665m/s2よりも若干大きい値(例えば、12m/s2)とする。
また、ステップS29の判定処理でFAccY_1の値が特定値C2以上であるか否かを判定しているのは、FAccY_1の極大値に対して、FAccY_1の値が非常に小さい場合(図10の破線の丸で囲った領域参照)は、そのタイミングにおいてAccYの上昇率が0になっていたとしても、まだ足が地面から離れていないと想定されるためであり、離地タイミングでは、比較的大きな速度の変化(減少)が生じると想定されるためである。ここで、特定値C2は、第二基準タイミング(ZC)から第二分割領域の後端(例えば、図7の線L2参照)までの範囲におけるFAccY_1の値の最大値に所定の係数(例えば、40~60%)を掛けた値とする。
If it is determined in step S25 that the difference is less than the threshold TH (step S25; YES), the
The reason why it is determined whether or not the value of AccZ is less than the predetermined value C1 in the determination processing of step S29 is that the value of AccZ is on the positive side, that is, upward while the foot is on the ground. , AccZ is equal to or greater than the predetermined value C1 (see, for example, the area circled by the dashed line in FIG. 9), it is assumed that the foot is still in contact with the ground. Here, the predetermined value C1 is set to a value slightly larger than the gravitational acceleration of 9.80665 m/s 2 (for example, 12 m/s 2 ).
Further, in the determination processing in step S29, it is determined whether or not the value of FAccY_1 is equal to or greater than the specific value C2 when the value of FAccY_1 is extremely small with respect to the maximum value of FAccY_1 (broken line in FIG. 10). ) is because even if the rate of increase of AccY is 0 at that timing, it is assumed that the foot has not yet left the ground. This is because it is assumed that a change (decrease) in speed occurs. Here, the specific value C2 is a predetermined coefficient (for example, 40 to 60%).
ステップS29において、上記判定条件を満たしていないと判定された場合(ステップS29;NO)、ステップS26へ移行し、CPU11は、それ以降の処理を行う。
一方、ステップS29において、上記判定条件を満たしていると判定された場合(ステップS29;YES)、CPU11は、このときの変数nが示すサンプリングタイミング(図8及び図10参照)を離地タイミングとして設定し(ステップS30)、離地タイミング設定処理を終了する。
In step S29, when it is determined that the above determination condition is not satisfied (step S29; NO), the
On the other hand, if it is determined in step S29 that the determination condition is satisfied (step S29; YES), the
上述したように、CPU11は、着地タイミング設定処理(ステップS1)、最下点タイミングの設定処理(ステップS2)、離地タイミング設定処理(ステップS3)及び最高点タイミングの設定処理(ステップS4)を実行することにより、例えば、図11に示すように、一方の足が地面に触れた接地時(着地タイミング)、この足の接地中に腰が最も低い位置を通過した最下点時(最下点タイミング)、この足が地面から離れた離地時(離地タイミング)、及び、この足が地面から離れた後、腰が最も高い位置を通過した最高点時(最高点タイミング)、並びに、逆の足が地面に触れた逆足接地時(着地タイミング)、この足の接地中に腰が最も低い位置を通過した逆足最下点時(最下点タイミング)、この足が地面から離れた逆足離地時(離地タイミング)、及び、この足が地面から離れた後、腰が最も高い位置を通過した逆足最高点時(最高点タイミング)を検出(抽出)することができる。
As described above, the
[動作解析処理]
次に、図12を用いて、動作解析装置1により実行される動作解析処理について説明する。図12は、動作解析処理の流れを示すフローチャートである。
[Motion analysis processing]
Next, motion analysis processing executed by the
図12に示すように、まず、CPU11は、操作部14を介して、ユーザー所望の映像データの指定がなされたか否かを判定する(ステップS31)。
As shown in FIG. 12, first, the
ステップS31において、ユーザー所望の映像データの指定がなされていないと判定された場合(ステップS31;NO)、CPU11は、ユーザー所望の映像データの指定がなされるまでの間、ステップS31の判定処理を繰り返し行う。
一方、ステップS31において、ユーザー所望の映像データの指定がなされたと判定された場合(ステップS31;YES)、CPU11は、指定された映像データを記憶部13の映像記憶部(図示省略)から取得する(ステップS32)。
If it is determined in step S31 that the image data desired by the user has not been specified (step S31; NO), the
On the other hand, if it is determined in step S31 that the user's desired video data has been designated (step S31; YES), the
次いで、CPU11は、手本映像データを記憶部13の手本映像記憶部(図示省略)から取得する(ステップS33)。
Next, the
次いで、CPU11は、ステップS32で取得した映像データに基づいて映像の被写体のサイズを補正することにより、当該映像の被写体のサイズと、ステップS33で取得した手本映像データの手本映像の被写体のサイズとを合わせる映像サイズ補正処理を行う(ステップS34)。なお、映像サイズ補正処理では、例えば、ステップS33で取得した手本映像データに基づいて手本映像の被写体のサイズを補正することにより、上記映像の被写体のサイズと、当該手本映像の被写体のサイズとを合わせるようにしてもよい。また、上記映像と上記手本映像のそれぞれの被写体のサイズを互いに補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせるようにしてもよい。
Next, the
次いで、CPU11は、操作部14を介して、特定の動作タイミングの指定がなされたか否かを判定する(ステップS35)。ここで、特定の動作タイミングとは、ランニングを行っている際に周期的に出現するタイミング(局面)であり、具体的には、上述の測定処理によって検出された左足が地面に触れた接地時(着地タイミング)、この足の接地中に腰が最も低い位置を通過した最下点時(最下点タイミング)、この足が地面から離れた離地時(離地タイミング)、及び、この足が地面から離れた後、腰が最も高い位置を通過した最高点時(最高点タイミング)、並びに、右足が地面に触れた逆足接地時(着地タイミング)、この足の接地中に腰が最も低い位置を通過した逆足最下点時(最下点タイミング)、この足が地面から離れた逆足離地時(離地タイミング)、及び、この足が地面から離れた後、腰が最も高い位置を通過した逆足最高点時(最高点タイミング)である。
Next, the
ステップS35において、特定の動作タイミングの指定がなされていないと判定された場合(ステップS35;NO)、CPU11は、特定の動作タイミングの指定がなされるまでの間、ステップS35の判定処理を繰り返し行う。
一方、ステップS35において、特定の動作タイミングの指定がなされたと判定された場合(ステップS35;YES)、CPU11は、指定された特定の動作タイミングの画像(フレーム画像)を、ステップS32で取得した映像データの映像から抽出する(ステップS36)。例えば、特定の動作タイミングとして、左足による着地タイミングが指定された場合、CPU11は、ステップS32で取得した映像データと対応付けられて記憶されている加速度信号データから当該左足による着地タイミングとして検出されたタイミングを特定し、このタイミングに撮影された画像(フレーム画像)を当該映像データの映像から抽出する。
If it is determined in step S35 that the specific operation timing is not designated (step S35; NO), the
On the other hand, if it is determined in step S35 that the specific operation timing has been specified (step S35; YES), the
次いで、CPU11は、指定された特定の動作タイミングの画像(フレーム画像)を、ステップS33で取得した手本映像データの手本映像から抽出する(ステップS37)。例えば、特定の動作タイミングとして、左足による着地タイミングが指定された場合、CPU11は、ステップS33で取得した手本映像データと対応付けられて記憶されている加速度信号データから当該左足による着地タイミングとして検出されたタイミングを特定し、このタイミングに撮影された画像(フレーム画像)を当該手本映像データの手本映像から抽出する。
Next, the
次いで、CPU11は、ステップS36(又はステップS41)で抽出された特定の動作タイミングの画像G1(図13参照)と、ステップS37で抽出された特定の動作タイミングの画像G2(図13参照)と、に基づいて動作解析を行う(ステップS38)。具体的には、CPU11は、各画像G1,G2からそれぞれの被写体の関節点を抽出し、抽出された各関節点の位置から各被写体の姿勢を推定する。そして、CPU11は、画像G2の被写体の姿勢に対する画像G1の被写体の姿勢の相違点を導出する。
Next, the
次いで、CPU11は、ステップS38での動作解析の結果として、ランニングフォーム比較画面20を表示部15に表示する(ステップS39)。
Next, the
図13は、ランニングフォーム比較画面20の一例を示す図である。
図13に示すように、ランニングフォーム比較画面20では、ステップS36(又はステップS41)で抽出された特定の動作タイミング(左足による着地タイミング)の画像G1と、ステップS37で抽出された特定の動作タイミング(左足による着地タイミング)の画像G2とが左右に並べられた状態で表示される。また、各画像G1,G2の下方のコメント欄Cには、ステップS38での動作解析の結果である画像G2の被写体の姿勢に対する画像G1の被写体の姿勢の相違点に対応するコメント(例えば、「着地タイミングの重心が後ろ重心になっています。左足の真上に重心がくるように心がけましょう。」)が表示されるようになっている。
FIG. 13 is a diagram showing an example of the running
As shown in FIG. 13, in the running
次いで、CPU11は、操作部14を介して、動作解析処理を継続する指示がなされたか否かを判定する(ステップS40)。
Next, the
ステップS40において、動作解析処理を継続する指示がなされたと判定された場合(ステップS40;YES)、CPU11は、指定された特定の動作タイミングの他の画像(フレーム画像)を、ステップS32で取得した映像データの映像から抽出する(ステップS41)。そして、CPU11は、処理をステップS38へ戻し、それ以降の処理を繰り返し行う。
一方、ステップS40において、動作解析処理を継続する指示がなされていないと判定された場合(ステップS40;NO)、CPU11は、操作部14を介して、動作解析処理を終了する指示がなされたか否かを判定する(ステップS42)。
If it is determined in step S40 that an instruction to continue the motion analysis process has been issued (step S40; YES), the
On the other hand, if it is determined in step S40 that an instruction to continue the motion analysis process has not been issued (step S40; NO), the
ステップS42において、動作解析処理を終了する指示がなされていないと判定された場合(ステップS42;NO)、CPU11は、処理をステップS40へ戻し、それ以降の処理を繰り返し行う。
一方、ステップS42において、動作解析処理を終了する指示がなされたと判定された場合(ステップS42;YES)、CPU11は、ランニングフォーム比較画面20に表示された各画像G1,G2とコメントを記憶部13に保存し(ステップS43)、動作解析処理を終了する。
When it is determined in step S42 that an instruction to end the motion analysis process has not been issued (step S42; NO), the
On the other hand, if it is determined in step S42 that an instruction to end the motion analysis process has been issued (step S42; YES), the
以上のように、動作解析装置1によれば、ランニングを行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングの画像(フレーム画像)G1を抽出し、当該特定の動作タイミングの画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングの画像(フレーム画像)G2を抽出し、それぞれの画像G1,G2を互いに比較可能な態様で表示部15に表示させるので、特定の動作タイミングにおける画像G1,G2の比較を簡便に行うことができる。
As described above, according to the
また、動作解析装置1によれば、映像の撮影時にユーザーに装着されたセンサー装置2から取得され、当該映像と同期が取れている加速度信号データがある場合、当該加速度信号データから周期的に出現する特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影された画像G1を映像から抽出するので、特定の動作タイミングにおける画像G1を的確に抽出することができる。
Further, according to the
また、動作解析装置1によれば、ランニングフォーム比較画面20に表示される各画像G1,G2を比較し、比較の結果を当該ランニングフォーム比較画面20においてコメントとして表示(報知)するので、動作解析の対象ランナーと手本となるランナーとの違いを分かりやすくことができる。
Further, according to the
また、動作解析装置1によれば、映像の被写体のサイズを補正することにより、当該映像の被写体のサイズと手本映像の被写体のサイズとを合わせ、映像の被写体のサイズと手本映像の被写体のサイズとが合わせられた後の当該映像から特定の動作タイミングの画像G1を抽出するので、ランニングフォーム比較画面20において各画像G1,G2を比べやすくすることができる。
Further, according to the
以上、本発明を実施形態に基づいて具体的に説明してきたが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態において、周期的な動作の繰り返しから成る運動としてランニングを一例に挙げて説明を行ったが、当該運動はランニングに限定されるものではなく、ウォーキング、水泳、スキー、スケート、自転車などの運動を対象としてもよい。
Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above embodiments, and can be modified without departing from the scope of the invention.
For example, in the above embodiments, running was described as an example of exercise consisting of repetition of periodic motions, but the exercise is not limited to running, and includes walking, swimming, skiing, skating, and cycling. Such exercise may be targeted.
また、上記実施形態において、動作解析装置1により特定の動作タイミングの画像G1,G2を抽出するようにしたが、例えば、動作解析処理のステップS36において画像G1を抽出する際に、この画像G1の前後に撮影された所定数の画像を抽出し、また、ステップS37において画像G2を抽出する際に、この画像G2の前後に撮影された所定数の画像を抽出し、ランニングフォーム比較画面20において、これらの画像を互いに比較可能な態様で表示させるようにしてもよい。
Further, in the above-described embodiment, the
また、上記実施形態において、例えば、記憶部13の映像記憶部に記憶されている映像データに対応付けられている加速度信号データと、手本映像記憶部に記憶されている手本映像データに対応付けられている加速度信号データと、を特定の動作タイミングにおけるデータ同士で比較した際、各データに顕著な違いが現れている場合、この動作タイミングにおける画像を映像データの映像と手本映像データの手本映像とからそれぞれ抽出し、抽出された各画像を比較可能な態様で表示部15に表示させるようにしてもよい。
Further, in the above embodiment, for example, the acceleration signal data associated with the video data stored in the video storage unit of the
また、上記実施形態において、動作解析装置1によって動作解析を行う映像データに加速度信号データが対応付けられていない場合、当該映像データの映像の各画像(フレーム画像)に対して被写体の姿勢の推定処理を行うことによって、特定の動作タイミングにお ける画像を抽出するようにしてもよい。
Further, in the above-described embodiment, if acceleration signal data is not associated with video data for which motion analysis is performed by the
また、上記実施形態において、動作解析装置1は、ランニングフォーム比較画面20を表示部15に表示するようにしたが、例えば、外部の機器の表示部(図示省略)にランニングフォーム比較画面20を表示させるようにしてもよい。
In the above embodiment, the
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部13にフラッシュメモリ、EEPROM、HDDを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も本発明に適用される。
In the above description, an example of using a flash memory, an EEPROM, and an HDD as a computer-readable medium for the program according to the present invention has been disclosed as the
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
<請求項1>
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第1の抽出手段と、
前記第1の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出手段と、
前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
を備えることを特徴とする動作解析装置。
<請求項2>
前記第1の抽出手段は、前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータがある場合、当該センシングデータから周期的に出現する前記特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影されたフレーム画像を前記映像から抽出する、
ことを特徴とする請求項1に記載の動作解析装置。
<請求項3>
前記第1の抽出手段及び前記第2の抽出手段のそれぞれは、前記特定の動作タイミングのフレーム画像に加え当該フレーム画像の前後に撮影された所定数のフレーム画像を抽出し、
前記表示制御手段は、前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれの各フレーム画像を互いに比較可能な態様で表示手段に表示させる、
ことを特徴とする請求項1又は2に記載の動作解析装置。
<請求項4>
前記表示手段に表示される前記映像のフレーム画像と前記手本映像のフレーム画像とを比較する比較手段と、
前記比較手段による比較の結果を報知する報知手段と、
を備えることを特徴とする請求項1~3のいずれか一項に記載の動作解析装置。
<請求項5>
前記映像の被写体と前記手本映像の被写体とのうちの少なくともいずれか一方のサイズを補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせる補正手段を備え、
前記第1の抽出手段は、前記補正手段によって前記映像の被写体のサイズと前記手本映像の被写体のサイズとが合わせられた後の当該映像から前記特定の動作タイミングのフレーム画像を抽出する、
ことを特徴とする請求項1~4のいずれか一項に記載の動作解析装置。
<請求項6>
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第1の抽出工程と、
前記第1の抽出工程によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出工程と、
前記第1の抽出工程と前記第2の抽出工程とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御工程と、
を含むことを特徴とする動作解析方法。
<請求項7>
コンピュータを、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第1の抽出手段、
前記第1の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出手段、
前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
Although embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims originally attached to the application form of this application is additionally described below. The claim numbers of the claims described in the supplementary notes are as in the claims originally attached to the request of this application.
[Appendix]
<Claim 1>
a first extracting means for extracting a frame image of a specific movement timing that periodically appears from a video image of a user who is exercising consisting of repeating periodic movements;
a second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed; ,
display control means for causing a display means to display the respective frame images extracted by the first extraction means and the second extraction means in a mutually comparable manner;
A motion analysis device comprising:
<Claim 2>
The first extracting means obtains from a motion sensor worn by the user when the video is captured, and if there is sensing data synchronized with the video, the identification periodically appears from the sensing data. and extracting a frame image captured at the specific operation timing from the video;
The motion analysis apparatus according to
<Claim 3>
each of the first extracting means and the second extracting means extracts a predetermined number of frame images captured before and after the frame image at the specific operation timing in addition to the frame image at the specific operation timing;
The display control means causes the display means to display each frame image extracted by the first extraction means and the second extraction means in a mutually comparable manner.
The motion analysis apparatus according to
<Claim 4>
comparison means for comparing the frame image of the video displayed on the display means with the frame image of the model video;
a notification means for notifying the result of comparison by the comparison means;
The motion analysis device according to any one of
<Claim 5>
correcting means for matching the size of the subject of the video image with the size of the subject of the model video by correcting the size of at least one of the subject of the video image and the subject of the model video;
The first extracting means extracts a frame image of the specific operation timing from the image after the size of the subject of the image and the size of the subject of the model image are matched by the correcting means.
The motion analysis device according to any one of
<Claim 6>
a first extraction step of extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movement;
a second extracting step of, when the frame image of the specific action timing is extracted by the first extracting step, extracting the frame image of the specific action timing from a predetermined model image continuously photographed; ,
a display control step of displaying the respective frame images extracted by the first extraction step and the second extraction step on a display means in a mutually comparable manner;
A motion analysis method comprising:
<Claim 7>
the computer,
A first extracting means for extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movements;
second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed;
display control means for displaying the respective frame images extracted by the first extraction means and the second extraction means on a display means in a mutually comparable manner;
A program characterized by functioning as
1 動作解析装置
11 CPU(第1の抽出手段、第2の抽出手段、表示制御手段、比較手段、報知手段、補正手段)
15 表示部(表示手段)
1
15 display unit (display means)
Claims (8)
前記第1の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出手段と、
前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較手段と、
を備え、
前記比較手段の比較結果に基づいて、前記第1の抽出手段、前記第2の抽出手段は、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出し、前記表示制御手段は、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させることを特徴とする動作解析装置。 a first extracting means for extracting a frame image of a specific movement timing that periodically appears from a video image of a user who is exercising consisting of repeating periodic movements;
a second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed; ,
display control means for causing a display means to display the respective frame images extracted by the first extraction means and the second extraction means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. a comparison means for comparing data;
with
Based on the comparison result of the comparing means, the first extracting means and the second extracting means respectively extract frame images at the specific operation timing from the video and the model video, and control the display. The motion analysis device, wherein the means causes a display means to display each of the extracted frame images in a mutually comparable manner .
ことを特徴とする請求項1に記載の動作解析装置。 The first extracting means obtains from a motion sensor worn by the user when the video is captured, and if there is sensing data synchronized with the video, the identification periodically appears from the sensing data. and extracting a frame image captured at the specific operation timing from the video;
The motion analysis apparatus according to claim 1, characterized in that:
前記表示制御手段は、前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれの各フレーム画像を互いに比較可能な態様で表示手段に表示させる、
ことを特徴とする請求項1又は2に記載の動作解析装置。 each of the first extracting means and the second extracting means extracts a predetermined number of frame images captured before and after the frame image at the specific operation timing in addition to the frame image at the specific operation timing;
The display control means causes the display means to display each frame image extracted by the first extraction means and the second extraction means in a mutually comparable manner.
The motion analysis apparatus according to claim 1 or 2, characterized in that:
前記比較手段による比較の結果を報知する報知手段と、
を備えることを特徴とする請求項1~3のいずれか一項に記載の動作解析装置。 comparison means for comparing the frame image of the video displayed on the display means with the frame image of the model video;
a notification means for notifying the result of comparison by the comparison means;
The motion analysis device according to any one of claims 1 to 3, comprising:
前記第1の抽出手段は、前記補正手段によって前記映像の被写体のサイズと前記手本映像の被写体のサイズとが合わせられた後の当該映像から前記特定の動作タイミングのフレーム画像を抽出する、
ことを特徴とする請求項1~4のいずれか一項に記載の動作解析装置。 correcting means for matching the size of the subject of the video image with the size of the subject of the model video by correcting the size of at least one of the subject of the video image and the subject of the model video;
The first extracting means extracts a frame image of the specific operation timing from the image after the size of the subject of the image and the size of the subject of the model image are matched by the correcting means.
The motion analysis device according to any one of claims 1 to 4, characterized in that:
前記第1の抽出工程によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出工程と、
前記第1の抽出工程と前記第2の抽出工程とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御工程と、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較工程と、
を含み、
前記比較工程での比較結果に基づいて、前記第1の抽出工程、前記第2の抽出工程により、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出し、前記表示制御工程により、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させる
ことを特徴とする動作解析方法。 a first extraction step of extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movement;
a second extracting step of, when the frame image of the specific action timing is extracted by the first extracting step, extracting the frame image of the specific action timing from a predetermined model image continuously photographed; ,
a display control step of displaying the respective frame images extracted by the first extraction step and the second extraction step on a display means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. A comparison step of comparing data with each other;
including
Based on the comparison result of the comparison step, frame images at the specific operation timing are extracted from the video and the model video by the first extraction step and the second extraction step, respectively, and are displayed. The control step causes the display means to display the extracted frame images in a manner in which they can be compared with each other.
A motion analysis method characterized by:
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第1の抽出手段、
前記第1の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第2の抽出手段、
前記第1の抽出手段と前記第2の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較手段と、
として機能させ、
前記比較手段の比較結果に基づいて、前記第1の抽出手段、前記第2の抽出手段は、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出させ、前記表示制御手段は、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させる
ことを特徴とするプログラム。 the computer,
A first extracting means for extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movements;
second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed;
display control means for displaying the respective frame images extracted by the first extraction means and the second extraction means on a display means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. a comparison means for comparing data;
function as
Based on the comparison result of the comparison means, the first extraction means and the second extraction means extract frame images at the specific operation timing from the video and the model video, respectively, and control the display. The means causes the display means to display the respective extracted frame images in a mutually comparable manner.
A program characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019081528A JP7275807B2 (en) | 2019-04-23 | 2019-04-23 | Motion analysis device, motion analysis method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019081528A JP7275807B2 (en) | 2019-04-23 | 2019-04-23 | Motion analysis device, motion analysis method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020175047A JP2020175047A (en) | 2020-10-29 |
JP2020175047A5 JP2020175047A5 (en) | 2022-04-21 |
JP7275807B2 true JP7275807B2 (en) | 2023-05-18 |
Family
ID=72937486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019081528A Active JP7275807B2 (en) | 2019-04-23 | 2019-04-23 | Motion analysis device, motion analysis method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7275807B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023219049A1 (en) * | 2022-05-13 | 2023-11-16 | 京セラ株式会社 | Motion analysis system and motion analysis method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6514081B1 (en) | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
JP2005237494A (en) | 2004-02-24 | 2005-09-08 | Nihon Knowledge Kk | Actual action analysis system and program |
US20100015585A1 (en) | 2006-10-26 | 2010-01-21 | Richard John Baker | Method and apparatus for providing personalised audio-visual instruction |
US20110293239A1 (en) | 2010-05-31 | 2011-12-01 | Casio Computer Co., Ltd. | Moving image reproducing apparatus, moving image reproducing method and recording medium |
JP2015119833A (en) | 2013-12-24 | 2015-07-02 | カシオ計算機株式会社 | Exercise support system, exercise support method, and exercise support program |
JP2016063867A5 (en) | 2014-09-22 | 2017-11-02 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016063867A (en) | 2014-09-22 | 2016-04-28 | カシオ計算機株式会社 | Drawing device, drawing method, and program |
-
2019
- 2019-04-23 JP JP2019081528A patent/JP7275807B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6514081B1 (en) | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
JP2005237494A (en) | 2004-02-24 | 2005-09-08 | Nihon Knowledge Kk | Actual action analysis system and program |
US20100015585A1 (en) | 2006-10-26 | 2010-01-21 | Richard John Baker | Method and apparatus for providing personalised audio-visual instruction |
US20110293239A1 (en) | 2010-05-31 | 2011-12-01 | Casio Computer Co., Ltd. | Moving image reproducing apparatus, moving image reproducing method and recording medium |
US9264651B2 (en) | 2010-05-31 | 2016-02-16 | Casio Computer Co., Ltd. | Moving image reproducing apparatus capable of adjusting display position of indicator for motion analysis based on displacement information of frames, and moving image reproducing method and recording medium for same |
JP2015119833A (en) | 2013-12-24 | 2015-07-02 | カシオ計算機株式会社 | Exercise support system, exercise support method, and exercise support program |
JP2016063867A5 (en) | 2014-09-22 | 2017-11-02 |
Also Published As
Publication number | Publication date |
---|---|
JP2020175047A (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9599635B2 (en) | Motion analysis apparatus and motion analysis method | |
US11571141B2 (en) | Walking support system, walking support method, and walking support program | |
US20200193866A1 (en) | Non-transitory computer readable recording medium, practice assist method, and practice assist system | |
CN111093782A (en) | Scoring method, scoring program, and scoring device | |
WO2019116495A1 (en) | Technique recognition program, technique recognition method, and technique recognition system | |
CN105229666A (en) | Motion analysis in 3D rendering | |
KR20160046495A (en) | Method and device to display screen in response to event related to external obejct | |
US10694980B2 (en) | Exercise support device, exercise support method and exercise support program | |
KR20180096241A (en) | Method and apparatus for walking assistance | |
Hwang et al. | Real-time gait analysis using a single head-worn inertial measurement unit | |
JP7215515B2 (en) | Analysis device, analysis method and program | |
JP2015149051A (en) | Input device, input method, and input program | |
JP2015166816A (en) | Display device, display control program, and display control method | |
JP3927340B2 (en) | Method and apparatus for determining balance ability | |
JP7275807B2 (en) | Motion analysis device, motion analysis method and program | |
WO2017213124A1 (en) | Rehabilitation assistance control device and computer program | |
JP2008516319A (en) | Display control method using portable device having image sensor | |
KR20170073541A (en) | Device and system for monitoring micturition or ejaculation based on user's posture or change in posture, method of monitoring micturition or ejaculation, and computer-readable recording medium for implementing same method | |
JP6690343B2 (en) | Measuring device, measuring method, and measuring program | |
JP7275811B2 (en) | Video output device, video output method and program | |
CN114296539B (en) | Direction prediction method, virtual reality device and non-transitory computer readable medium | |
JP7255340B2 (en) | MOTION DATA ACQUISITION DEVICE, MOTION DATA OUTPUT METHOD, PROGRAM AND MOTION DATA PROCESSING SYSTEM | |
JP2016209180A (en) | Swing analyzer, swing analysis system, swing analysis program and recording medium | |
JP2018161529A (en) | Rehabilitation support device | |
WO2021192905A1 (en) | Guide method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220412 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7275807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |