JP7275807B2

JP7275807B2 - Motion analysis device, motion analysis method and program

Info

Publication number: JP7275807B2
Application number: JP2019081528A
Authority: JP
Inventors: 正雄三本木
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2019-04-23
Filing date: 2019-04-23
Publication date: 2023-05-18
Anticipated expiration: 2039-04-23
Also published as: JP2020175047A

Description

本発明は、動作解析装置、動作解析方法及びプログラムに関する。 The present invention relates to a motion analysis device, a motion analysis method, and a program.

従来、実施者が技能（例えば、ゴルフ）に関する身体動作（例えば、ゴルフのスイング）を行いながら、自分（実施者）の動きと規範技能者の動きとを比較検討し、規範技能者の動きを的確に再現できているかどうかを自分自身で確認することができる身体技能習得支援装置が開示されている（例えば、特許文献１参照）。 Conventionally, while performing a physical action (e.g. golf swing) related to a skill (e.g. golf), the performer compares and examines the movement of himself (the performer) with the movement of the standard skilled person, and compares the movement of the standard skilled person. A physical skill acquisition support device has been disclosed that allows oneself to confirm whether or not a physical skill has been accurately reproduced (see, for example, Patent Literature 1).

特開２０１１－１５２３３３号公報JP 2011-152333 A

しかしながら、上記特許文献１に開示されている身体技能習得支援装置では、特定の動作タイミングにおける動きを比較検討しようとした場合、実施者の操作に基づいて身体動作情報と技能情報とから当該特定の動作タイミングの画像をそれぞれ指定しなければならないため面倒であるという問題がある。 However, in the physical skill acquisition support device disclosed in Patent Document 1, when trying to compare and examine movements at specific movement timings, the specific movement information and skill information are obtained based on the operator's operation. There is a problem that it is troublesome because it is necessary to specify each image of operation timing.

本発明は、このような問題に鑑みてなされたものであり、特定の動作タイミングにおける画像の比較を簡便に行うことを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and it is an object of the present invention to easily compare images at specific operation timings.

上記課題を解決するため、本発明に係る動作解析装置は、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段と、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較手段と、
を備え、
前記比較手段の比較結果に基づいて、前記第１の抽出手段、前記第２の抽出手段は、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出し、前記表示制御手段は、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させることを特徴とする。 In order to solve the above problems, the motion analysis device according to the present invention includes:
a first extracting means for extracting a frame image of a specific movement timing that periodically appears from a video image of a user who is exercising consisting of repeating periodic movements;
a second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed; ,
display control means for causing a display means to display the respective frame images extracted by the first extraction means and the second extraction means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. a comparison means for comparing data;
with
Based on the comparison result of the comparing means, the first extracting means and the second extracting means respectively extract frame images at the specific operation timing from the video and the model video, and control the display. The means is characterized by causing the display means to display the respective extracted frame images in a manner in which they can be compared with each other .

本発明によれば、特定の動作タイミングにおける画像の比較を簡便に行うことができる。 According to the present invention, it is possible to easily compare images at specific operation timings.

動作解析装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a motion analysis device; FIG. センサー装置２をユーザーが装着した状態を示す図である。2 is a diagram showing a state in which a user wears the sensor device 2. FIG. 測定処理の流れを示すフローチャートである。4 is a flowchart showing the flow of measurement processing; 着地タイミング設定処理の流れを示すフローチャートである。7 is a flowchart showing the flow of landing timing setting processing; 前後方向、左右方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。4 is a graph showing an example of part of waveforms of acceleration signals in the longitudinal direction, the lateral direction, and the vertical direction; 離地タイミング設定処理の流れを示すフローチャートである。7 is a flow chart showing the flow of take-off timing setting processing. 前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。5 is a graph showing an example of part of waveforms of acceleration signals in the longitudinal direction and the vertical direction; 図７に示すグラフのうち、２８．９秒から２９．１秒の間の一部分を拡大したグラフである。8 is an enlarged graph of a portion of the graph shown in FIG. 7 from 28.9 seconds to 29.1 seconds; 前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。5 is a graph showing an example of part of waveforms of acceleration signals in the longitudinal direction and the vertical direction; 前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。5 is a graph showing an example of part of waveforms of acceleration signals in the longitudinal direction and the vertical direction; 前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。5 is a graph showing an example of part of waveforms of acceleration signals in the longitudinal direction and the vertical direction; 動作解析処理の流れを示すフローチャートである。4 is a flowchart showing the flow of motion analysis processing; ランニングフォーム比較画面の一例を示す図である。It is a figure which shows an example of a running form comparison screen.

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the present invention is not limited to the illustrated examples.

≪動作解析装置１の構成≫
本実施形態の動作解析装置１は、周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から当該ユーザーの動作を解析するための装置である。以下では、周期的な動作の繰り返しから成る運動としてランニングを例に挙げて説明を行う。 <<Configuration of motion analysis device 1>>
The motion analysis device 1 of the present embodiment is a device for analyzing motions of a user who is exercising, which consists of repeating periodic motions, by continuously capturing images of the user. In the following description, running is taken as an example of exercise consisting of repetition of periodic motions.

図１は、本発明を適用した一実施形態の動作解析装置１の概略構成を示すブロック図である。
図１に示すように、動作解析装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、記憶部１３と、操作部１４と、表示部１５と、通信部１６とを備える。 FIG. 1 is a block diagram showing a schematic configuration of a motion analysis device 1 of one embodiment to which the present invention is applied.
As shown in FIG. 1, the motion analysis apparatus 1 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a storage section 13, an operation section 14, a display section 15, and a communication section 16. Prepare.

ＣＰＵ（第１の抽出手段、第２の抽出手段、表示制御手段、比較手段、報知手段、補正手段）１１は、動作解析装置１の各部を制御する。ＣＰＵ１１は、記憶部１３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭ１２に展開し、当該プログラムとの協働で各種処理を実行する。 A CPU (first extraction means, second extraction means, display control means, comparison means, notification means, correction means) 11 controls each part of the motion analysis apparatus 1 . The CPU 11 reads a designated program out of the system programs and application programs stored in the storage unit 13, develops it in the RAM 12, and executes various processes in cooperation with the program.

ＲＡＭ１２は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。 The RAM 12 is a volatile memory and forms a work area for temporarily storing various data and programs.

記憶部１３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＨＤＤ（Hard Disk Drive）などにより構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムやアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。 The storage unit 13 is configured by, for example, a flash memory, an EEPROM (Electrically Erasable Programmable ROM), an HDD (Hard Disk Drive), or the like. The storage unit 13 stores system programs and application programs executed by the CPU 11, data necessary for executing these programs, and the like.

また、記憶部１３には、所定の映像データを記憶するための映像記憶部（図示省略）が設けられている。所定の映像データとは、例えば、トレッドミルを用いてランニングを行っているユーザーを連続的に撮影した映像に関する映像データである。この映像記憶部に上記映像データが記憶される際、当該映像データの映像の撮影時にユーザーに装着されたセンサー装置２（後述）から取得され、当該映像と同期が取れている加速度信号データ（センシングデータ）と、ユーザーのランニング動作におけるサイクル（周期）の各局面（着地タイミング、最下点タイミング、離地タイミング、最高点タイミング等）のデータとがそれぞれ対応付けられて記憶される。このランニング動作におけるサイクル（周期）の各局面のデータは、動作解析装置１により測定処理（後述）が実行されることによって算出されるデータである。 Further, the storage unit 13 is provided with a video storage unit (not shown) for storing predetermined video data. Predetermined image data is, for example, image data relating to images of a user running on a treadmill, which are continuously captured. When the image data is stored in the image storage unit, acceleration signal data (sensing signal data) acquired from a sensor device 2 (described later) worn by the user when the image of the image data is captured and synchronized with the image. data) and data of each phase (landing timing, lowest point timing, takeoff timing, highest point timing, etc.) of the cycle (period) of the user's running motion are stored in association with each other. The data of each aspect of the cycle (cycle) in this running motion is data calculated by executing a measurement process (described later) by the motion analysis device 1 .

また、記憶部１３には、所定の手本映像データを記憶するための手本映像記憶部（図示省略）が設けられている。ここで、所定の手本映像データとは、手本となるランナーがトレッドミルを用いてランニングを行っている様子を連続的に撮影した手本映像に関する映像データである。この所定の手本映像データは、上述した所定の映像データと同様に、当該手本映像データの映像の撮影時に手本となるランナーに装着されたセンサー装置２（後述）から取得され、当該映像と同期が取れている加速度信号データ（センシングデータ）と、当該ランナーのランニング動作におけるサイクル（周期）の各局面のデータとがそれぞれ対応付けられて手本映像記憶部に記憶される。 The storage unit 13 is also provided with a model image storage unit (not shown) for storing predetermined model image data. Here, the predetermined model video data is video data relating to a model video in which a model runner is continuously photographed running on a treadmill. This predetermined model image data is acquired from a sensor device 2 (described later) attached to a runner that serves as a model when the image of the model image data is captured, in the same manner as the predetermined image data described above. Acceleration signal data (sensing data) synchronized with the running motion of the runner are associated with each phase of the cycle (cycle) and stored in the model image storage unit.

また、記憶部１３には、後述する動作解析処理（図１２参照）が実行された際、動作解析の結果として報知されるコメントを記憶したコメントテーブル（図示省略）が設けられている。このコメントテーブルには、例えば、ランニング動作におけるサイクル（周期）の局面（動作タイミング）ごとに「動作解析の対象となるランナーの姿勢と手本となるランナーの姿勢の相違点」、「コメント」等の項目が設けられており、これらの項目に関するデータが互いに対応付けられて記憶されるようになっている。 The storage unit 13 is also provided with a comment table (not shown) that stores comments notified as a result of motion analysis when motion analysis processing (see FIG. 12), which will be described later, is executed. In this comment table, for example, for each phase (motion timing) of the cycle (period) in the running motion, there are "differences between the posture of the runner to be analyzed and the posture of the model runner", "comments", etc. are provided, and data relating to these items are stored in association with each other.

ここで、図２を用いて、上記センサー装置２について説明する。図２は、センサー装置２をユーザーが装着した状態を示す図である。
図２に示すように、センサー装置２は、本体部２Ａと、ベルト部２Ｂとを有しており、ベルト部２Ｂによって、ユーザーの腰の位置で本体部２Ａが固定されている。ここで、左右方向をＸ軸とし、前後方向をＹ軸とし、上下方向をＺ軸とする。Ｘ軸においては左手方向を正、右手方向を負とする。Ｙ軸においては進行方向逆向きを正とし、進行方向を負とする。Ｚ軸においては上方向を正、下方向を負とする。センサー装置２は、加速度センサー（図示省略）を備えており、この加速度センサーによって出力される３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度信号データ（センシングデータ）をランニング動作時に逐次記録可能となっている。 Here, the sensor device 2 will be described with reference to FIG. FIG. 2 is a diagram showing a state in which a user wears the sensor device 2. As shown in FIG.
As shown in FIG. 2, the sensor device 2 has a body portion 2A and a belt portion 2B, and the body portion 2A is fixed at the waist of the user by the belt portion 2B. Here, the horizontal direction is the X-axis, the front-rear direction is the Y-axis, and the vertical direction is the Z-axis. On the X-axis, the left-hand direction is positive and the right-hand direction is negative. On the Y axis, the direction opposite to the direction of travel is positive, and the direction of travel is negative. On the Z axis, the upward direction is positive and the downward direction is negative. The sensor device 2 is provided with an acceleration sensor (not shown), and sequentially records acceleration signal data (sensing data) in the three-axis (X-axis, Y-axis, Z-axis) directions output by the acceleration sensor during running. It is possible.

操作部１４は、例えば、タッチパネルを備え、ユーザーからのタッチ入力を受け付け、その操作情報をＣＰＵ１１に出力する。
タッチパネルは、表示部１５と一体となって形成され、例えば、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、ユーザーによる表示部１５上の接触位置のＸＹ座標を検出する。そして、タッチパネルは、接触位置のＸＹ座標に係る位置信号をＣＰＵ１１に出力する。 The operation unit 14 includes, for example, a touch panel, receives touch input from the user, and outputs the operation information to the CPU 11 .
The touch panel is formed integrally with the display unit 15, and the XY coordinates of the touch position on the display unit 15 by the user can be changed by various methods such as a capacitance method, a resistive film method, and an ultrasonic surface acoustic wave method. To detect. Then, the touch panel outputs a position signal related to the XY coordinates of the contact position to the CPU 11 .

表示部（表示手段）１５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に従い各種表示を行う。 A display unit (display means) 15 is composed of an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or the like, and performs various displays according to display information instructed by the CPU 11 .

通信部１６は、モデム、ルータ、ネットワークカード等により構成される。通信部１６は、通信ネットワークを介して接続された外部機器とのデータ送受信を行う。 The communication unit 16 is composed of a modem, router, network card, and the like. The communication unit 16 transmits and receives data to and from an external device connected via a communication network.

≪動作解析装置１の動作≫
［測定処理］
次に、図３～図１１を用いて、動作解析装置１により実行される測定処理について説明する。 <<Operation of motion analysis device 1>>
[Measurement processing]
Next, measurement processing executed by the motion analysis apparatus 1 will be described with reference to FIGS. 3 to 11. FIG.

図３は、測定処理の流れを示すフローチャートである。
なお、図５及び図７～図１１は、前後方向、左右方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。以下の説明では、上記測定処理に加速度信号の波形がどう用いられているかを、図５及び図７～図１１を参照して説明する。また、本実施形態では、図５及び図７～図１１に示す部分にのみ上記測定処理が施される場合を例示して説明するが、当該測定処理は、前後方向、左右方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。 FIG. 3 is a flowchart showing the flow of measurement processing.
5 and 7 to 11 are graphs showing exemplary waveforms of acceleration signals in the longitudinal direction, the lateral direction, and the vertical direction. In the following description, how the waveform of the acceleration signal is used in the measurement process will be described with reference to FIGS. 5 and 7 to 11. FIG. Further, in the present embodiment, a case where the above-described measurement processing is performed only on the portions shown in FIGS. 5 and 7 to 11 will be described as an example. Execution is performed on the entire waveform of each acceleration signal.

図３に示すように、上記測定処理が実行されると、ＣＰＵ１１は、まず、着地タイミング設定処理を行う（ステップＳ１）。ここで、着地タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面に触れたタイミングを指す。なお、着地タイミング設定処理の詳細については後述する。 As shown in FIG. 3, when the measurement process is executed, the CPU 11 first performs a landing timing setting process (step S1). Here, the landing timing is one aspect of the cycle in the running motion, and refers to the timing at which the running user's foot (one foot) touches the ground. Details of the landing timing setting process will be described later.

次いで、ＣＰＵ１１は、最下点タイミングの設定を行う（ステップＳ２）。具体的には、ＣＰＵ１１は、後述する高さ位置波形Ｔの極小値Ｔ_ｍｉｎ（図５参照）を示すタイミングを最下点タイミングとして設定する。ここで、最下点タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面に触れている間において、腰が最も低い位置を通過したタイミングを指す。 Next, the CPU 11 sets the lowest point timing (step S2). Specifically, the CPU 11 sets the timing at which the height position waveform T, which will be described later, shows a minimum value T _min (see FIG. 5) as the lowest point timing. Here, the lowest point timing is one phase of the cycle in the running motion, and is the timing when the hips pass the lowest position while the user's foot (one foot) is in contact with the ground. Point.

次いで、ＣＰＵ１１は、離地タイミング設定処理を行う（ステップＳ３）。ここで、離地タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面から離れたタイミングを指す。なお、離地タイミング設定処理の詳細については後述する。 Next, the CPU 11 performs take-off timing setting processing (step S3). Here, the take-off timing is one aspect of the cycle in the running motion, and refers to the timing when the running user's foot (one foot) leaves the ground. Details of the take-off timing setting process will be described later.

次いで、ＣＰＵ１１は、最高点タイミングの設定を行う（ステップＳ４）。具体的には、ＣＰＵ１１は、後述する高さ位置波形Ｔの極大値Ｔ_ｍａｘ（図５参照）を示すタイミングを最高点タイミングとして設定する。ここで、最高点タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面から離れた後、腰が最も高い位置を通過したタイミングを指す。 Next, the CPU 11 sets the highest point timing (step S4). Specifically, the CPU 11 sets the timing at which the height position waveform T, which will be described later, exhibits a maximum value T _max (see FIG. 5) as the maximum point timing. Here, the highest point timing is one aspect of the cycle in the running motion, and refers to the timing when the user's hips pass the highest position after the foot (one foot) of the running user leaves the ground.

次いで、ＣＰＵ１１は、着地タイミング設定処理によって設定された着地タイミングと、離地タイミング設定処理によって設定された離地タイミングと、の差分の時間を接地時間として算出する（ステップＳ５）。
これにより、ランニング動作におけるサイクルの各局面のデータ（着地タイミング、最下点タイミング、離地タイミング、最高点タイミング、及び接地時間）が算出されて、ＣＰＵ１１は測定処理を終了する。 Next, the CPU 11 calculates the difference between the landing timing set by the landing timing setting process and the takeoff timing set by the takeoff timing setting process as the ground contact time (step S5).
As a result, the data of each aspect of the cycle in the running motion (landing timing, lowest point timing, take-off timing, highest point timing, and contact time) are calculated, and the CPU 11 ends the measurement process.

次に、上記の測定処理における着地タイミング設定処理（ステップＳ１）の詳細について説明する。
図４は、着地タイミング設定処理の流れを示すフローチャートである。
図５は、前後方向、左右方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。以下の説明では、着地タイミング設定処理に加速度信号の波形がどう用いられているかを、図５を参照して説明する。また、本実施形態では、図５に示す部分にのみ着地タイミング設定処理が施される場合を例示して説明するが、着地タイミング設定処理は、前後方向、左右方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。 Next, details of the landing timing setting process (step S1) in the above measurement process will be described.
FIG. 4 is a flowchart showing the flow of landing timing setting processing.
FIG. 5 is a graph showing exemplary waveforms of acceleration signals in the longitudinal direction, the lateral direction, and the vertical direction. In the following description, how the acceleration signal waveform is used in the landing timing setting process will be described with reference to FIG. Further, in the present embodiment, the case where the landing timing setting process is applied only to the portion shown in FIG. 5 will be described as an example. is executed for the entire waveform.

図４に示すように、着地タイミング設定処理が実行されると、ＣＰＵ１１は、まず、上下方向の加速度信号（第２加速度信号）ＡｃｃＺ１に対して例えば移動平均等の周知の平滑化処理を行う（ステップＳ１１）。
次いで、ＣＰＵ１１は、平滑化後の上下方向の加速度信号ＡｃｃＺ２の波形の極大値Ｚ_ｍａｘを求め、この極大値Ｚ_ｍａｘを示すタイミングを基準タイミング（第四基準タイミング）として時間軸を分割する（ステップＳ１２）。図５では、極大値Ｚ_ｍａｘに基づいて線Ｐ１，Ｐ２，Ｐ３で時間軸を分割している。この線Ｐ１と，線Ｐ２の間の分割領域、線Ｐ２と線Ｐ３との間の分割領域を第一分割領域Ｒ１と称す。 As shown in FIG. 4, when the landing timing setting process is executed, the CPU 11 first performs a well-known smoothing process such as moving average on the vertical acceleration signal (second acceleration signal) AccZ1 ( step S11).
Next, the CPU 11 obtains the maximum value _Zmax of the waveform of the smoothed vertical acceleration signal AccZ2, and divides the time axis using the timing indicating this maximum value _Zmax as a reference timing (fourth reference timing) (step S12). In FIG. 5, the time axis is divided by lines P1, P2, and P3 based on the maximum value _Zmax . A divided area between the lines P1 and P2 and a divided area between the lines P2 and P3 are called a first divided area R1.

次いで、ＣＰＵ１１は、平滑化前の上下方向の加速度信号ＡｃｃＺ１を第一分割領域Ｒ１毎に二度積分することで、センサー装置２の高さ位置を表す高さ位置波形Ｔを求める（ステップＳ１３）。
次いで、ＣＰＵ１１は、各第一分割領域Ｒ１内にある高さ位置波形Ｔの極大値Ｔ_ｍａｘを示すタイミングを基準タイミング（第一基準タイミング）として時間軸を分割する。図５では、極大値Ｔ_ｍａｘに基づいて線Ｐ４，Ｐ５，Ｐ６で時間軸を分割している。この線Ｐ４，Ｐ５，Ｐ６を歩の切れ目（例えば奇数歩目と偶数歩目の境界）に設定する（ステップＳ１４）。この線Ｐ４，Ｐ５，Ｐ６で分割された領域を第二分割領域と称す。なお、説明の便宜上、以下においては、連続する二つの第二分割領域のうち、先(時間的に前)の方を「先の第二分割領域Ｒ２１」とし、後（時間的に後）の方を「後の第二分割領域Ｒ２２」とする。 Next, the CPU 11 obtains a height position waveform T representing the height position of the sensor device 2 by twice integrating the vertical acceleration signal AccZ1 before smoothing for each first divided region R1 (step S13). .
Next, the CPU 11 divides the time axis using the timing indicating the maximum value _Tmax of the height position waveform T in each first divided region R1 as the reference timing (first reference timing). In FIG. 5, the time axis is divided by lines P4, P5 and P6 based on the maximum value _Tmax . These lines P4, P5, and P6 are set at the boundary between steps (for example, the boundary between odd-numbered steps and even-numbered steps) (step S14). The areas divided by these lines P4, P5, and P6 are called second divided areas. For convenience of explanation, in the following, of the two continuous second divided regions, the earlier (earlier in terms of time) is referred to as the “earlier second divided region R21”, and the later (later in terms of time) The second divided region R22 will be referred to as the "later second divided region R22".

次いで、ＣＰＵ１１は、各第二分割領域Ｒ２１，Ｒ２２のうち前半部分（例えば歩の切れ目（線Ｐ４，Ｐ５）から、平滑化後の上下方向の加速度信号ＡｃｃＺ２の波形の極大値位置（線Ｐ２，Ｐ３））内において、前後方向の加速度信号（第１加速度信号）ＡｃｃＹの波形の正の極大値を探索する（ステップＳ１５）。
図５では、先の第二分割領域Ｒ２１に正の極大値Ｙ_ｍａｘが一つあり、後の第二分割領域Ｒ２２に正の極大値Ｙ_ｍａｘが二つある場合を例示している。 Next, the CPU 11 selects the maximum value position (lines P2, In P3)), the positive maximum value of the waveform of the longitudinal acceleration signal (first acceleration signal) AccY is searched (step S15).
FIG. 5 illustrates a case where the preceding second divided region R21 has one positive maximum value Y _max and the subsequent second divided region R22 has two positive maximum values Y _max .

次いで、ＣＰＵ１１は、各第二分割領域Ｒ２１，Ｒ２２の前半部分にある正の極大値Ｙ_ｍａｘが一つであるか否かを判断し、一つである場合にはその正の極大値Ｙ_ｍａｘを特定しステップＳ１８に移行し、二つ以上である場合にはステップＳ１７に移行する（ステップＳ１６）。
ここで、着地時においてはその着地動作による衝撃によって減速するために、前後方向の加速度信号ＡｃｃＹの波形には正の値にピーク（極大値）が生じることになる。この正の極大値Ｙ_ｍａｘが、進行方向に対して減速を示す極値である。
しかし、走り方や速度によっては同様のピークが複数生じることもある。換言すると、着地時においては前後方向の加速度信号ＡｃｃＹの波形に少なくとも一つは正の極大値が生じることになる。このため、ステップＳ１６では、正の極大値が一つであるか否かを判断している。なお、本実施形態では、前後方向の加速度信号ＡｃｃＹは、進行方向逆向きを正とし、進行方向を負としているため、前後方向の加速度信号ＡｃｃＹの波形における減速を示す極値が正の極大値Ｙ_ｍａｘとなっているが、正負が逆の場合は減速を示す極値が負の極小値となる。 Next, the CPU 11 determines whether there is one positive maximum value Y _max in the first half of each of the second divided regions R21 and R22, and if there is one, the positive maximum value Y _max is specified and the process proceeds to step S18, and when there are two or more, the process proceeds to step S17 (step S16).
Here, since the vehicle is decelerated by the impact caused by the landing motion at the time of landing, the waveform of the acceleration signal AccY in the longitudinal direction has a positive value peak (maximum value). This positive maximum value Y _max is the extreme value indicating deceleration with respect to the traveling direction.
However, depending on the running style and speed, multiple similar peaks may occur. In other words, at the time of landing, at least one positive maximum value occurs in the waveform of the longitudinal acceleration signal AccY. Therefore, in step S16, it is determined whether or not there is one positive maximum value. In the present embodiment, the acceleration signal AccY in the longitudinal direction has a positive value in the opposite direction of travel and a negative value in the direction of travel. Y _max , but if the sign is reversed, the extreme value indicating deceleration will be the minimum negative value.

ステップＳ１７では、ＣＰＵ１１は、左右方向の加速度信号ＡｃｃＸの波形に基づいて複数の正の極大値Ｙ_ｍａｘから一つ特定する。例えば、走行による着地時においては、片足だけが着地することになるため、上体は左右方向に傾くことになる。このとき、無意識のうちに体勢を整えるために、左右方向に上体が揺れ動くことになる。つまり、左右方向の加速度信号ＡｃｃＸの波形においては、着地時に左右のブレを示す波形が現れることになる。この波形を基にすれば、着地時を特定することが可能である。
具体的には、ＣＰＵ１１は、後の第二分割領域Ｒ２２の前半部分内において、所定間隔内に左右方向の加速度信号ＡｃｃＸの波形の極値Ｘ_ｍ１，Ｘ_ｍ２，Ｘ_ｍ３が三つ存在し、なおかつ当該三つの極値Ｘ_ｍ１，Ｘ_ｍ２，Ｘ_ｍ３のうち隣接する極値Ｘ_ｍ１，Ｘ_ｍ２，Ｘ_ｍ３の差分が所定値以上であると、左右のブレを示す波形として認定する。そして、ＣＰＵ１１は三つの極値Ｘ_ｍ１，Ｘ_ｍ２，Ｘ_ｍ３のうち最初に発生した極値Ｘ_ｍ１に近い正の極大値Ｙ_ｍａｘを特定する。
なお、「所定間隔」や、「所定値」については、実験やシミュレーションなどにより得られた値が用いられる。具体的には所定間隔としては４０～１００ｍｓの範囲に収まる値が好ましく、７０ｍｓがより好ましい。また、所定値としては５～１５ｍ/ｓ^２の範囲に収まる値が好ましく、１０ｍ/ｓ^２がより好ましい。 In step S17, the CPU 11 identifies one of a plurality of positive maximum values _Ymax based on the waveform of the lateral acceleration signal AccX. For example, when the robot lands on the ground while running, only one foot lands on the ground, so the upper body tilts in the horizontal direction. At this time, the upper body swings in the horizontal direction in order to adjust the posture unconsciously. In other words, in the waveform of the acceleration signal AccX in the left-right direction, a waveform indicating left-right shake appears at the time of landing. Based on this waveform, it is possible to identify the time of landing.
Specifically, the CPU 11 determines that three extreme values X _m1 , X _m2 , and X _m3 of the waveform of the lateral acceleration signal AccX exist within a predetermined interval in the first half of the second divided region R22, Moreover, if the difference between the adjacent extreme values _Xm1 , _Xm2 , _Xm3 among the three extreme values _Xm1 , _Xm2 , _Xm3 is equal to or greater than a predetermined value, the waveform is recognized as a waveform indicating lateral blurring. Then, the CPU 11 specifies the positive maximum value Y _max closest to the first generated extreme value X _m1 among the three extreme values X _m1 , X _m2 and X _m3 .
As for the "predetermined interval" and the "predetermined value", values obtained through experiments, simulations, or the like are used. Specifically, the predetermined interval is preferably a value within the range of 40 to 100 ms, more preferably 70 ms. The predetermined value is preferably within the range of 5 to 15 m/s ² , more preferably 10 m/s ² .

次いで、ＣＰＵ１１は、特定した正の極大値Ｙ_ｍａｘの位置（時間）を着地タイミングとして設定し（ステップＳ１８）、着地タイミング設定処理を終了する。 Next, the CPU 11 sets the position (time) of the specified positive maximum value Y _max as the landing timing (step S18), and ends the landing timing setting process.

次に、上記の測定処理における離地タイミング設定処理（ステップＳ３）の詳細について説明する。
図６は、離地タイミング設定処理の流れを示すフローチャートである。
図７、図９、図１０は、前後方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
図８は、図７に示すグラフのうち、２８．９秒から２９．１秒の間の一部分を拡大したグラフである。
以下の説明では、離地タイミング設定処理に加速度信号の波形がどう用いられているかを、図７～図１０を参照して説明する。また、本実施形態では、図７～図１０に示す部分にのみ離地タイミング設定処理が施される場合を例示して説明するが、離地タイミング設定処理は、前後方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。 Next, details of the take-off timing setting process (step S3) in the above measurement process will be described.
FIG. 6 is a flowchart showing the flow of takeoff timing setting processing.
7, 9, and 10 are graphs showing exemplary waveforms of longitudinal and vertical acceleration signals.
FIG. 8 is an enlarged graph of a portion of the graph shown in FIG. 7 between 28.9 seconds and 29.1 seconds.
In the following description, how the waveform of the acceleration signal is used in the take-off timing setting process will be described with reference to FIGS. 7 to 10. FIG. Further, in this embodiment, a case where the take-off timing setting process is applied only to the portions shown in FIGS. 7 to 10 will be described as an example. Execution is performed on the entire waveform of the acceleration signal.

図６に示すように、離地タイミング設定処理が実行されると、ＣＰＵ１１は、まず、前後方向の加速度信号（第１加速度信号）ＡｃｃＹに対して移動平均を用いた平滑化処理を行う（ステップＳ２１）。
具体的には、ＣＰＵ１１は、前後方向の加速度信号ＡｃｃＹに対して、タップ数が１１～１５（ここで、タップ数はサンプリング周波数が２００Ｈｚであって、サンプリング周期が５ｍｓである場合のサンプル数であって、移動平均を算出する期間が対象とする信号の前後２５～３５ｍｓの期間（第１期間）である場合に対応する）の三角移動平均（第一の移動平均）を算出し、当該三角移動平均による平滑化処理後の第１信号（以下、ＦＡｃｃＹ_２と称す）を求めるとともに、タップ数が３～５（タップ数はサンプリング周波数が２００Ｈｚである場合のサンプル数であって、移動平均を算出する期間が対象とする信号の前後５～１０ｍｓの期間（第２期間）である場合に対応する）の三角移動平均（第二の移動平均）を算出し、当該三角移動平均による平滑化処理後の第２信号（以下、ＦＡｃｃＹ_１と称する）を求める。ここで、三角移動平均は対象とする信号のノイズを低減する効果を有するものであり、周知の手法である。この三角移動平均による平滑化処理においては、タップ数（サンプル数）を多くする程、信号が平滑化される効果が大きくなる。 As shown in FIG. 6, when the take-off timing setting process is executed, the CPU 11 first performs a smoothing process using a moving average on the longitudinal acceleration signal (first acceleration signal) AccY (step S21).
Specifically, the CPU 11 sets the number of taps to 11 to 15 for the acceleration signal AccY in the longitudinal direction (here, the number of taps is the number of samples when the sampling frequency is 200 Hz and the sampling period is 5 ms). and the period for calculating the moving average corresponds to a period of 25 to 35 ms before and after the target signal (first period)). The first signal after smoothing processing by moving average (hereinafter referred to as FAccY_2) is obtained, and the number of taps is 3 to 5 (the number of taps is the number of samples when the sampling frequency is 200 Hz, and the moving average is calculated Calculate the triangular moving average (second moving average) of the period 5 to 10 ms before and after the target signal (second period), and after smoothing processing by the triangular moving average A second signal (hereinafter referred to as FAccY_1) is obtained. Here, the triangular moving average has the effect of reducing noise in the target signal, and is a well-known technique. In the smoothing process using the triangular moving average, the greater the number of taps (the number of samples), the greater the signal smoothing effect.

次いで、ＣＰＵ１１は、変数ｎを、サンプリング周期（例えば、５ｍｓ）毎のサンプリングタイミングに、時間の経過に応じて順次付した番号として、第二分割領域（上述の図５における線Ｐ４、Ｐ５間、又は、線Ｐ５、Ｐ６間の第二分割領域と同様に設定される領域であり、図７の線Ｌ１，Ｌ２間の領域）のうちの後半部分において、ＦＡｃｃＹ_２が負から正、すなわち加速から減速へと変化するタイミング（プラスゼロクロスタイミング；ｎ＝ＺＣ）を探索する（ステップＳ２２）。そして、ＣＰＵ１１は、探索して取得した上記タイミング（ＺＣ）を第二基準タイミングとして設定する。図７～図１０では、第二基準タイミングを線Ｌ_ＺＣで示している。
ここで、プラスゼロクロスタイミング（ＺＣ）を探索するに際して、図８の破線の丸で囲った領域に示すように、離地前にも、ＡｃｃＹの値がノイズや体の動き方によって負から正に急峻に変化するタイミングが発生してしまう場合がある。そして、タップ数が比較的小さいＦＡｃｃＹ_１ではこの急峻な変化が残っていて、同様に負から正に急峻に変化する。これに対して、図８に示すように、タップ数が比較的大きいＦＡｃｃＹ_２では、ＡｃｃＹやＦＡｃｃＹ_１では負から正に急峻に変化する場合であっても、この急峻な変化が緩和されて、負から正に変化するタイミングは現れないようになる。そこで、本実施形態では、タップ数を比較的大きくしたＦＡｃｃＹ_２を用いることによって、プラスゼロクロスタイミング（ＺＣ）を適正に探索することができるようにしている。なお、上記のタップ数はサンプリング周波数が２００Ｈｚでサンプリング周期が５ｍｓの場合であり、タップ数は加速度信号のサンプリング周波数によって変化する。また、サンプリング数、サンプリング期間は上記の値に限定されるものではなく、上記の値の近傍であればよい。 Next, the CPU 11 sets the variable n to the sampling timing of each sampling period (for example, 5 ms) as a number sequentially assigned according to the passage of time, and the second divided area (between the lines P4 and P5 in FIG. 5 described above, Alternatively, in the second half of the area between lines L1 and L2 in FIG. 7), which is set in the same manner as the second divided area between lines P5 and P6, FAccY_2 changes from negative to positive, that is, from acceleration to deceleration. (plus zero cross timing; n=ZC) (step S22). Then, the CPU 11 sets the timing (ZC) obtained by searching as the second reference timing. 7 to 10, the second reference timing is indicated by line _LZC .
Here, when searching for the plus zero cross timing (ZC), as shown in the area circled by the dashed line in FIG. There may be times when the timing changes abruptly. In FAccY_1, which has a relatively small number of taps, this sharp change remains, and likewise sharply changes from negative to positive. On the other hand, as shown in FIG. 8, in FAccY_2, which has a relatively large number of taps, even if AccY or FAccY_1 sharply changes from negative to positive, this sharp change is moderated, and from negative to A positive change timing does not appear. Therefore, in this embodiment, by using FAccY_2 with a relatively large number of taps, it is possible to properly search for plus zero cross timing (ZC). The number of taps described above is for the case where the sampling frequency is 200 Hz and the sampling period is 5 ms, and the number of taps varies depending on the sampling frequency of the acceleration signal. Also, the number of samplings and the sampling period are not limited to the above values, and may be in the vicinity of the above values.

次いで、ＣＰＵ１１は、第二分割領域（図７の線Ｌ１，Ｌ２で分割された領域）のうちの後半部分において、ＦＡｃｃＹ_２が極大値となるタイミング（ＬＭＸ）を探索する（ステップＳ２３）。そして、ＣＰＵ１１は、上記タイミング（ＬＭＸ）を第三基準タイミングとして設定する。図７～図１０では、第三基準タイミングを線Ｌ_ＬＭＸで示している。 Next, the CPU 11 searches for the timing (LMX) at which FAccY_2 reaches the maximum value in the latter half of the second divided area (area divided by lines L1 and L2 in FIG. 7) (step S23). Then, the CPU 11 sets the timing (LMX) as the third reference timing. In FIGS. 7-10, the third reference timing is indicated by line _LLMX .

次いで、ＣＰＵ１１は、第二基準タイミングと第三基準タイミングとの間、すなわち線Ｌ_ＺＣ，Ｌ_ＬＭＸで分割された探索期間において、先ず、第二基準タイミングから１サンプリング周期後のサンプリングタイミング（ｎ＝ＺＣ＋１、ステップＳ２４）から第三基準タイミング（ＬＭＸ）の間のサンプリング周期毎のＦＡｃｃＹ_１の値の、ＦＡｃｃＹ_１の１サンプリング周期前の値に対する差分（ＦＡｃｃＹ_１（ｎ）－ＦＡｃｃＹ_１（ｎ－１））を算出し、当該差分の値が予め定められた閾値ＴＨ未満であるか否かを判定する（ステップＳ２５）。ここで、ステップＳ２５の閾値処理は、例えば、ノイズや体の固有の動き等の影響によって、第二基準タイミングの後、極大値が一気に現れる場合や、途中で変曲点が見られる波形の後に極大値が現れる場合に、離地タイミングを正確に特定できるようにすることを目的としてなされている。また、当該閾値処理では、ＡｃｃＹのデータに含まれているノイズの影響を抑制するため、ＦＡｃｃＹ_１を用いている。ここで、閾値ＴＨは、０ｍ／ｓ^２に近い値（例えば、０．５ｍ／ｓ^２）とする。なお、閾値ＴＨは、ＦＡｃｃＹ_１の極大値に応じて段階的に設定しても良い。例えば、ＦＡｃｃＹ_１の極大値が５ｍ／ｓ^２未満の場合は０．５ｍ／ｓ^２とし、当該極大値が５ｍ／ｓ^２以上の場合は１．０ｍ／ｓ^２とする。 _Next , the CPU 11 first sets the sampling timing ( _n = ZC+1, Step S24) Calculate the difference (FAccY_1(n)-FAccY_1(n-1)) of the value of FAccY_1 for each sampling period from the third reference timing (LMX) to the value of FAccY_1 one sampling period before. Then, it is determined whether or not the value of the difference is less than a predetermined threshold TH (step S25). Here, the threshold value processing in step S25 is performed when, for example, the maximum value appears at once after the second reference timing due to the influence of noise or the unique movement of the body, or when the waveform has an inflection point in the middle. This is done for the purpose of being able to accurately identify the take-off timing when a local maximum appears. Further, in the threshold processing, FAccY_1 is used in order to suppress the influence of noise contained in AccY data. Here, the threshold TH is set to a value close to 0 m/s ² (for example, 0.5 m/s ² ). Note that the threshold TH may be set stepwise according to the maximum value of FAccY_1. For example, when the maximum value of FAccY_1 is less than 5 m/ ^s2 , it is set to 0.5 m/ ^s2 , and when the maximum value is 5 m/ ^s2 or more, it is set to 1.0 m/ ^s2 .

ステップＳ２５において、上記差分が閾値ＴＨ未満でないと判定された場合（ステップＳ２５；ＮＯ）、ＣＰＵ１１は、上記変数ｎを１インクリメントし（ステップＳ２６）、このときの変数ｎが示すサンプリングタイミングが第三基準タイミング（ＬＭＸ）であるか否かを判定する（ステップＳ２７）。
ステップＳ２７において、このときの変数ｎが示すサンプリングタイミングが第三基準タイミング（ＬＭＸ）でないと判定された場合（ステップＳ２７；ＮＯ）、ステップＳ２５へ戻り、ＣＰＵ１１は、ステップＳ２５以降の処理を繰り返し行う。
一方、ステップＳ２７において、このときの変数ｎが示すサンプリングタイミングが第三基準タイミング（ＬＭＸ）であると判定された場合（ステップＳ２７；ＹＥＳ）、すなわち、第二基準タイミング（ＺＣ）と第三基準タイミング（ＬＭＸ）との間において、上記差分が閾値ＴＨ未満であるという条件が満たされなかった場合、ＣＰＵ１１は、図９に示すように、当該第三基準タイミング（ＬＭＸ）を離地タイミングとして設定し（ステップＳ２８）、離地タイミング設定処理を終了する。 When it is determined in step S25 that the difference is not less than the threshold TH (step S25; NO), the CPU 11 increments the variable n by 1 (step S26), and the sampling timing indicated by the variable n at this time is the third sampling timing. It is determined whether or not it is the reference timing (LMX) (step S27).
If it is determined in step S27 that the sampling timing indicated by the variable n at this time is not the third reference timing (LMX) (step S27; NO), the process returns to step S25, and the CPU 11 repeats the processes after step S25. .
On the other hand, if it is determined in step S27 that the sampling timing indicated by the variable n at this time is the third reference timing (LMX) (step S27; YES), that is, the second reference timing (ZC) and the third reference timing 9, the CPU 11 sets the third reference timing (LMX) as the take-off timing, as shown in FIG. (step S28), and the take-off timing setting process ends.

また、ステップＳ２５において、上記差分が閾値ＴＨ未満であると判定された場合（ステップＳ２５；ＹＥＳ）、ＣＰＵ１１は、このときの変数ｎが示すサンプリングタイミングにおける上下方向の加速度信号ＡｃｃＺの値が所定値Ｃ１未満であり、且つ、ＦＡｃｃＹ_１の値が特定値Ｃ２以上であるか否かを判定する（ステップＳ２９）。
ステップＳ２９の判定処理でＡｃｃＺの値が所定値Ｃ１未満であるか否かを判定しているのは、足が地面に設置している間は、ＡｃｃＺの値が正側すなわち上向きになっており、ＡｃｃＺの値が所定値Ｃ１以上である場合（例えば、図９の破線の丸で囲った領域参照）は、足はまだ地面に接していると想定されるためである。ここで、所定値Ｃ１は、重力加速度９．８０６６５ｍ／ｓ^２よりも若干大きい値（例えば、１２ｍ／ｓ^２）とする。
また、ステップＳ２９の判定処理でＦＡｃｃＹ_１の値が特定値Ｃ２以上であるか否かを判定しているのは、ＦＡｃｃＹ_１の極大値に対して、ＦＡｃｃＹ_１の値が非常に小さい場合（図１０の破線の丸で囲った領域参照）は、そのタイミングにおいてＡｃｃＹの上昇率が０になっていたとしても、まだ足が地面から離れていないと想定されるためであり、離地タイミングでは、比較的大きな速度の変化（減少）が生じると想定されるためである。ここで、特定値Ｃ２は、第二基準タイミング（ＺＣ）から第二分割領域の後端（例えば、図７の線Ｌ２参照）までの範囲におけるＦＡｃｃＹ_１の値の最大値に所定の係数（例えば、４０～６０％）を掛けた値とする。 If it is determined in step S25 that the difference is less than the threshold TH (step S25; YES), the CPU 11 determines that the value of the vertical acceleration signal AccZ at the sampling timing indicated by the variable n at this time is a predetermined value. It is determined whether or not it is less than C1 and the value of FAccY_1 is greater than or equal to a specific value C2 (step S29).
The reason why it is determined whether or not the value of AccZ is less than the predetermined value C1 in the determination processing of step S29 is that the value of AccZ is on the positive side, that is, upward while the foot is on the ground. , AccZ is equal to or greater than the predetermined value C1 (see, for example, the area circled by the dashed line in FIG. 9), it is assumed that the foot is still in contact with the ground. Here, the predetermined value C1 is set to a value slightly larger than the gravitational acceleration of 9.80665 m/s ² (for example, 12 m/s ² ).
Further, in the determination processing in step S29, it is determined whether or not the value of FAccY_1 is equal to or greater than the specific value C2 when the value of FAccY_1 is extremely small with respect to the maximum value of FAccY_1 (broken line in FIG. 10). ) is because even if the rate of increase of AccY is 0 at that timing, it is assumed that the foot has not yet left the ground. This is because it is assumed that a change (decrease) in speed occurs. Here, the specific value C2 is a predetermined coefficient (for example, 40 to 60%).

ステップＳ２９において、上記判定条件を満たしていないと判定された場合（ステップＳ２９；ＮＯ）、ステップＳ２６へ移行し、ＣＰＵ１１は、それ以降の処理を行う。
一方、ステップＳ２９において、上記判定条件を満たしていると判定された場合（ステップＳ２９；ＹＥＳ）、ＣＰＵ１１は、このときの変数ｎが示すサンプリングタイミング（図８及び図１０参照）を離地タイミングとして設定し（ステップＳ３０）、離地タイミング設定処理を終了する。 In step S29, when it is determined that the above determination condition is not satisfied (step S29; NO), the CPU 11 proceeds to step S26, and the CPU 11 performs subsequent processing.
On the other hand, if it is determined in step S29 that the determination condition is satisfied (step S29; YES), the CPU 11 sets the sampling timing (see FIGS. 8 and 10) indicated by the variable n at this time as the take-off timing. setting (step S30), and the take-off timing setting process ends.

上述したように、ＣＰＵ１１は、着地タイミング設定処理（ステップＳ１）、最下点タイミングの設定処理（ステップＳ２）、離地タイミング設定処理（ステップＳ３）及び最高点タイミングの設定処理（ステップＳ４）を実行することにより、例えば、図１１に示すように、一方の足が地面に触れた接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した最下点時（最下点タイミング）、この足が地面から離れた離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した最高点時（最高点タイミング）、並びに、逆の足が地面に触れた逆足接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した逆足最下点時（最下点タイミング）、この足が地面から離れた逆足離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した逆足最高点時（最高点タイミング）を検出（抽出）することができる。 As described above, the CPU 11 performs the landing timing setting process (step S1), the lowest point timing setting process (step S2), the take-off timing setting process (step S3), and the highest point timing setting process (step S4). By executing this, for example, as shown in FIG. point timing), when this foot leaves the ground (takeoff timing), and after this foot leaves the ground, when the waist passes the highest point (highest point timing), and When the opposite foot touches the ground (landing timing), when the opposite foot passes the lowest point while this foot touches the ground (lowest point timing), this foot leaves the ground It is possible to detect (extract) the time of the wrong foot taking off (takeoff timing) and the time of the wrong foot highest point (highest point timing) when the waist passes the highest position after this foot leaves the ground. .

［動作解析処理］
次に、図１２を用いて、動作解析装置１により実行される動作解析処理について説明する。図１２は、動作解析処理の流れを示すフローチャートである。 [Motion analysis processing]
Next, motion analysis processing executed by the motion analysis apparatus 1 will be described with reference to FIG. FIG. 12 is a flowchart showing the flow of motion analysis processing.

図１２に示すように、まず、ＣＰＵ１１は、操作部１４を介して、ユーザー所望の映像データの指定がなされたか否かを判定する（ステップＳ３１）。 As shown in FIG. 12, first, the CPU 11 determines whether or not video data desired by the user has been designated via the operation unit 14 (step S31).

ステップＳ３１において、ユーザー所望の映像データの指定がなされていないと判定された場合（ステップＳ３１；ＮＯ）、ＣＰＵ１１は、ユーザー所望の映像データの指定がなされるまでの間、ステップＳ３１の判定処理を繰り返し行う。
一方、ステップＳ３１において、ユーザー所望の映像データの指定がなされたと判定された場合（ステップＳ３１；ＹＥＳ）、ＣＰＵ１１は、指定された映像データを記憶部１３の映像記憶部（図示省略）から取得する（ステップＳ３２）。 If it is determined in step S31 that the image data desired by the user has not been specified (step S31; NO), the CPU 11 continues the determination process of step S31 until the image data desired by the user is specified. Repeat.
On the other hand, if it is determined in step S31 that the user's desired video data has been designated (step S31; YES), the CPU 11 acquires the designated video data from the video storage section (not shown) of the storage section 13. (Step S32).

次いで、ＣＰＵ１１は、手本映像データを記憶部１３の手本映像記憶部（図示省略）から取得する（ステップＳ３３）。 Next, the CPU 11 acquires the model video data from the model video storage unit (not shown) of the storage unit 13 (step S33).

次いで、ＣＰＵ１１は、ステップＳ３２で取得した映像データに基づいて映像の被写体のサイズを補正することにより、当該映像の被写体のサイズと、ステップＳ３３で取得した手本映像データの手本映像の被写体のサイズとを合わせる映像サイズ補正処理を行う（ステップＳ３４）。なお、映像サイズ補正処理では、例えば、ステップＳ３３で取得した手本映像データに基づいて手本映像の被写体のサイズを補正することにより、上記映像の被写体のサイズと、当該手本映像の被写体のサイズとを合わせるようにしてもよい。また、上記映像と上記手本映像のそれぞれの被写体のサイズを互いに補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせるようにしてもよい。 Next, the CPU 11 corrects the size of the subject of the image based on the image data acquired in step S32, thereby matching the size of the subject of the image and the subject of the model image of the model image data acquired in step S33. Image size correction processing is performed to match the size (step S34). In the image size correction process, for example, by correcting the size of the subject of the model image based on the model image data acquired in step S33, the size of the subject of the image and the size of the subject of the model image are corrected. You may make it match|combine with a size. Further, the size of the subject of the image and the size of the subject of the model image may be matched by mutually correcting the sizes of the subjects of the image and the model image.

次いで、ＣＰＵ１１は、操作部１４を介して、特定の動作タイミングの指定がなされたか否かを判定する（ステップＳ３５）。ここで、特定の動作タイミングとは、ランニングを行っている際に周期的に出現するタイミング（局面）であり、具体的には、上述の測定処理によって検出された左足が地面に触れた接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した最下点時（最下点タイミング）、この足が地面から離れた離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した最高点時（最高点タイミング）、並びに、右足が地面に触れた逆足接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した逆足最下点時（最下点タイミング）、この足が地面から離れた逆足離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した逆足最高点時（最高点タイミング）である。 Next, the CPU 11 determines whether or not a specific operation timing has been designated via the operation unit 14 (step S35). Here, the specific motion timing is the timing (phase) that appears periodically during running. (landing timing), the lowest point when the waist passes the lowest position while this foot touches the ground (lowest point timing), the time when this foot leaves the ground (takeoff timing), and this foot After leaving the ground, when the waist passes the highest point (highest point timing), and when the right foot touches the ground and touches the ground with the opposite foot (landing timing), the hip is the highest At the time of the lowest point of the reverse foot passing through the low position (lowest point timing), at the time of the reverse foot leaving the ground (takeoff timing), and after this foot leaves the ground, the hips are at the lowest point. It is the time of the highest point of the bad foot that passed the high position (highest point timing).

ステップＳ３５において、特定の動作タイミングの指定がなされていないと判定された場合（ステップＳ３５；ＮＯ）、ＣＰＵ１１は、特定の動作タイミングの指定がなされるまでの間、ステップＳ３５の判定処理を繰り返し行う。
一方、ステップＳ３５において、特定の動作タイミングの指定がなされたと判定された場合（ステップＳ３５；ＹＥＳ）、ＣＰＵ１１は、指定された特定の動作タイミングの画像（フレーム画像）を、ステップＳ３２で取得した映像データの映像から抽出する（ステップＳ３６）。例えば、特定の動作タイミングとして、左足による着地タイミングが指定された場合、ＣＰＵ１１は、ステップＳ３２で取得した映像データと対応付けられて記憶されている加速度信号データから当該左足による着地タイミングとして検出されたタイミングを特定し、このタイミングに撮影された画像（フレーム画像）を当該映像データの映像から抽出する。 If it is determined in step S35 that the specific operation timing is not designated (step S35; NO), the CPU 11 repeats the determination process of step S35 until the specific operation timing is designated. .
On the other hand, if it is determined in step S35 that the specific operation timing has been specified (step S35; YES), the CPU 11 converts the image (frame image) of the specified specific operation timing into the image acquired in step S32. Data is extracted from the image (step S36). For example, when the landing timing of the left foot is designated as the specific motion timing, the CPU 11 detects the landing timing of the left foot from the acceleration signal data stored in association with the video data acquired in step S32. Timing is specified, and an image (frame image) shot at this timing is extracted from the video of the video data.

次いで、ＣＰＵ１１は、指定された特定の動作タイミングの画像（フレーム画像）を、ステップＳ３３で取得した手本映像データの手本映像から抽出する（ステップＳ３７）。例えば、特定の動作タイミングとして、左足による着地タイミングが指定された場合、ＣＰＵ１１は、ステップＳ３３で取得した手本映像データと対応付けられて記憶されている加速度信号データから当該左足による着地タイミングとして検出されたタイミングを特定し、このタイミングに撮影された画像（フレーム画像）を当該手本映像データの手本映像から抽出する。 Next, the CPU 11 extracts an image (frame image) of the designated specific operation timing from the model video of the model video data acquired in step S33 (step S37). For example, when the landing timing of the left foot is designated as the specific motion timing, the CPU 11 detects the landing timing of the left foot from the acceleration signal data stored in association with the model video data acquired in step S33. The timing is specified, and an image (frame image) shot at this timing is extracted from the model video of the model video data.

次いで、ＣＰＵ１１は、ステップＳ３６（又はステップＳ４１）で抽出された特定の動作タイミングの画像Ｇ１（図１３参照）と、ステップＳ３７で抽出された特定の動作タイミングの画像Ｇ２（図１３参照）と、に基づいて動作解析を行う（ステップＳ３８）。具体的には、ＣＰＵ１１は、各画像Ｇ１，Ｇ２からそれぞれの被写体の関節点を抽出し、抽出された各関節点の位置から各被写体の姿勢を推定する。そして、ＣＰＵ１１は、画像Ｇ２の被写体の姿勢に対する画像Ｇ１の被写体の姿勢の相違点を導出する。 Next, the CPU 11 generates an image G1 (see FIG. 13) of the specific action timing extracted in step S36 (or step S41), an image G2 (see FIG. 13) of the specific action timing extracted in step S37, (step S38). Specifically, the CPU 11 extracts the joint points of each subject from each of the images G1 and G2, and estimates the posture of each subject from the positions of the extracted joint points. Then, the CPU 11 derives the difference between the posture of the subject in the image G1 and the posture of the subject in the image G2.

次いで、ＣＰＵ１１は、ステップＳ３８での動作解析の結果として、ランニングフォーム比較画面２０を表示部１５に表示する（ステップＳ３９）。 Next, the CPU 11 displays the running form comparison screen 20 on the display unit 15 as a result of the motion analysis in step S38 (step S39).

図１３は、ランニングフォーム比較画面２０の一例を示す図である。
図１３に示すように、ランニングフォーム比較画面２０では、ステップＳ３６（又はステップＳ４１）で抽出された特定の動作タイミング（左足による着地タイミング）の画像Ｇ１と、ステップＳ３７で抽出された特定の動作タイミング（左足による着地タイミング）の画像Ｇ２とが左右に並べられた状態で表示される。また、各画像Ｇ１，Ｇ２の下方のコメント欄Ｃには、ステップＳ３８での動作解析の結果である画像Ｇ２の被写体の姿勢に対する画像Ｇ１の被写体の姿勢の相違点に対応するコメント（例えば、「着地タイミングの重心が後ろ重心になっています。左足の真上に重心がくるように心がけましょう。」）が表示されるようになっている。 FIG. 13 is a diagram showing an example of the running form comparison screen 20. As shown in FIG.
As shown in FIG. 13, in the running form comparison screen 20, an image G1 of the specific movement timing (the landing timing of the left foot) extracted in step S36 (or step S41) and the specific movement timing extracted in step S37. (Landing timing of the left foot) and the image G2 are displayed in a state of being arranged side by side. In addition, in the comment column C under each of the images G1 and G2, a comment corresponding to the difference between the posture of the subject in the image G1 and the posture of the subject in the image G2, which is the result of the motion analysis in step S38 (for example, " The center of gravity at the landing timing is the back center of gravity. Try to keep the center of gravity right above your left foot.") is displayed.

次いで、ＣＰＵ１１は、操作部１４を介して、動作解析処理を継続する指示がなされたか否かを判定する（ステップＳ４０）。 Next, the CPU 11 determines whether or not an instruction to continue the motion analysis process has been given via the operation unit 14 (step S40).

ステップＳ４０において、動作解析処理を継続する指示がなされたと判定された場合（ステップＳ４０；ＹＥＳ）、ＣＰＵ１１は、指定された特定の動作タイミングの他の画像（フレーム画像）を、ステップＳ３２で取得した映像データの映像から抽出する（ステップＳ４１）。そして、ＣＰＵ１１は、処理をステップＳ３８へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ４０において、動作解析処理を継続する指示がなされていないと判定された場合（ステップＳ４０；ＮＯ）、ＣＰＵ１１は、操作部１４を介して、動作解析処理を終了する指示がなされたか否かを判定する（ステップＳ４２）。 If it is determined in step S40 that an instruction to continue the motion analysis process has been issued (step S40; YES), the CPU 11 acquires another image (frame image) of the designated specific motion timing in step S32. It is extracted from the image of the image data (step S41). Then, the CPU 11 returns the processing to step S38, and repeats the subsequent processing.
On the other hand, if it is determined in step S40 that an instruction to continue the motion analysis process has not been issued (step S40; NO), the CPU 11 determines whether an instruction to end the motion analysis process has been issued via the operation unit 14. (step S42).

ステップＳ４２において、動作解析処理を終了する指示がなされていないと判定された場合（ステップＳ４２；ＮＯ）、ＣＰＵ１１は、処理をステップＳ４０へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ４２において、動作解析処理を終了する指示がなされたと判定された場合（ステップＳ４２；ＹＥＳ）、ＣＰＵ１１は、ランニングフォーム比較画面２０に表示された各画像Ｇ１，Ｇ２とコメントを記憶部１３に保存し（ステップＳ４３）、動作解析処理を終了する。 When it is determined in step S42 that an instruction to end the motion analysis process has not been issued (step S42; NO), the CPU 11 returns the process to step S40 and repeats the processes thereafter.
On the other hand, if it is determined in step S42 that an instruction to end the motion analysis process has been issued (step S42; YES), the CPU 11 stores the images G1 and G2 displayed on the running form comparison screen 20 and the comments in the storage unit 13. (step S43), and the motion analysis process ends.

以上のように、動作解析装置１によれば、ランニングを行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングの画像（フレーム画像）Ｇ１を抽出し、当該特定の動作タイミングの画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングの画像（フレーム画像）Ｇ２を抽出し、それぞれの画像Ｇ１，Ｇ２を互いに比較可能な態様で表示部１５に表示させるので、特定の動作タイミングにおける画像Ｇ１，Ｇ２の比較を簡便に行うことができる。 As described above, according to the motion analysis device 1, an image (frame image) G1 at a specific motion timing that appears periodically is extracted from a video image of a user who is running and captured continuously. When an image of motion timing is extracted, an image (frame image) G2 of the specific motion timing is extracted from a predetermined model image continuously photographed, and the respective images G1 and G2 can be compared with each other. is displayed on the display unit 15, it is possible to easily compare the images G1 and G2 at specific operation timings.

また、動作解析装置１によれば、映像の撮影時にユーザーに装着されたセンサー装置２から取得され、当該映像と同期が取れている加速度信号データがある場合、当該加速度信号データから周期的に出現する特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影された画像Ｇ１を映像から抽出するので、特定の動作タイミングにおける画像Ｇ１を的確に抽出することができる。 Further, according to the motion analysis device 1, when there is acceleration signal data that is acquired from the sensor device 2 worn by the user when the image is captured and is synchronized with the image, the motion analysis device 1 periodically appears from the acceleration signal data. Since the specific motion timing is extracted and the image G1 captured at the specific motion timing is extracted from the video, the image G1 at the specific motion timing can be accurately extracted.

また、動作解析装置１によれば、ランニングフォーム比較画面２０に表示される各画像Ｇ１，Ｇ２を比較し、比較の結果を当該ランニングフォーム比較画面２０においてコメントとして表示（報知）するので、動作解析の対象ランナーと手本となるランナーとの違いを分かりやすくことができる。 Further, according to the motion analysis device 1, the images G1 and G2 displayed on the running form comparison screen 20 are compared, and the result of the comparison is displayed (notified) as a comment on the running form comparison screen 20, so that motion analysis can be performed. It is possible to make it easy to understand the difference between the target runner and the model runner.

また、動作解析装置１によれば、映像の被写体のサイズを補正することにより、当該映像の被写体のサイズと手本映像の被写体のサイズとを合わせ、映像の被写体のサイズと手本映像の被写体のサイズとが合わせられた後の当該映像から特定の動作タイミングの画像Ｇ１を抽出するので、ランニングフォーム比較画面２０において各画像Ｇ１，Ｇ２を比べやすくすることができる。 Further, according to the motion analysis device 1, by correcting the size of the subject of the image, the size of the subject of the image and the size of the subject of the model image are matched, and the size of the subject of the image and the size of the subject of the model image are adjusted. Since the image G1 of the specific motion timing is extracted from the image after the size is adjusted, it is possible to easily compare the images G1 and G2 on the running form comparison screen 20. FIG.

以上、本発明を実施形態に基づいて具体的に説明してきたが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態において、周期的な動作の繰り返しから成る運動としてランニングを一例に挙げて説明を行ったが、当該運動はランニングに限定されるものではなく、ウォーキング、水泳、スキー、スケート、自転車などの運動を対象としてもよい。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above embodiments, and can be modified without departing from the scope of the invention.
For example, in the above embodiments, running was described as an example of exercise consisting of repetition of periodic motions, but the exercise is not limited to running, and includes walking, swimming, skiing, skating, and cycling. Such exercise may be targeted.

また、上記実施形態において、動作解析装置１により特定の動作タイミングの画像Ｇ１，Ｇ２を抽出するようにしたが、例えば、動作解析処理のステップＳ３６において画像Ｇ１を抽出する際に、この画像Ｇ１の前後に撮影された所定数の画像を抽出し、また、ステップＳ３７において画像Ｇ２を抽出する際に、この画像Ｇ２の前後に撮影された所定数の画像を抽出し、ランニングフォーム比較画面２０において、これらの画像を互いに比較可能な態様で表示させるようにしてもよい。 Further, in the above-described embodiment, the motion analysis apparatus 1 extracts the images G1 and G2 at specific motion timings. A predetermined number of images shot before and after are extracted, and when extracting the image G2 in step S37, a predetermined number of images shot before and after this image G2 are extracted, and on the running form comparison screen 20, These images may be displayed in a manner that allows them to be compared with each other.

また、上記実施形態において、例えば、記憶部１３の映像記憶部に記憶されている映像データに対応付けられている加速度信号データと、手本映像記憶部に記憶されている手本映像データに対応付けられている加速度信号データと、を特定の動作タイミングにおけるデータ同士で比較した際、各データに顕著な違いが現れている場合、この動作タイミングにおける画像を映像データの映像と手本映像データの手本映像とからそれぞれ抽出し、抽出された各画像を比較可能な態様で表示部１５に表示させるようにしてもよい。 Further, in the above embodiment, for example, the acceleration signal data associated with the video data stored in the video storage unit of the storage unit 13 and the model video data stored in the model video storage unit. When the attached acceleration signal data is compared with the data at specific operation timings, if there is a significant difference in each data, the image at this operation timing is the image of the video data and the model video data. The images may be extracted from the model video and the extracted images may be displayed on the display unit 15 in a comparable manner.

また、上記実施形態において、動作解析装置１によって動作解析を行う映像データに加速度信号データが対応付けられていない場合、当該映像データの映像の各画像（フレーム画像）に対して被写体の姿勢の推定処理を行うことによって、特定の動作タイミングにおける画像を抽出するようにしてもよい。 Further, in the above-described embodiment, if acceleration signal data is not associated with video data for which motion analysis is performed by the motion analysis apparatus 1, the pose of the subject is estimated for each image (frame image) of the video data. By performing processing, images at specific operation timings may be extracted.

また、上記実施形態において、動作解析装置１は、ランニングフォーム比較画面２０を表示部１５に表示するようにしたが、例えば、外部の機器の表示部（図示省略）にランニングフォーム比較画面２０を表示させるようにしてもよい。 In the above embodiment, the motion analysis device 1 displays the running form comparison screen 20 on the display unit 15. For example, the running form comparison screen 20 is displayed on the display unit (not shown) of an external device. You can let it run.

以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３にフラッシュメモリ、ＥＥＰＲＯＭ、ＨＤＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。 In the above description, an example of using a flash memory, an EEPROM, and an HDD as a computer-readable medium for the program according to the present invention has been disclosed as the storage unit 13, but the present invention is not limited to this example. A portable recording medium can be applied as another computer-readable medium. A carrier wave is also applied to the present invention as a medium for providing program data according to the present invention via a communication line.

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
＜請求項１＞
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段と、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
を備えることを特徴とする動作解析装置。
＜請求項２＞
前記第１の抽出手段は、前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータがある場合、当該センシングデータから周期的に出現する前記特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影されたフレーム画像を前記映像から抽出する、
ことを特徴とする請求項１に記載の動作解析装置。
＜請求項３＞
前記第１の抽出手段及び前記第２の抽出手段のそれぞれは、前記特定の動作タイミングのフレーム画像に加え当該フレーム画像の前後に撮影された所定数のフレーム画像を抽出し、
前記表示制御手段は、前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれの各フレーム画像を互いに比較可能な態様で表示手段に表示させる、
ことを特徴とする請求項１又は２に記載の動作解析装置。
＜請求項４＞
前記表示手段に表示される前記映像のフレーム画像と前記手本映像のフレーム画像とを比較する比較手段と、
前記比較手段による比較の結果を報知する報知手段と、
を備えることを特徴とする請求項１～３のいずれか一項に記載の動作解析装置。
＜請求項５＞
前記映像の被写体と前記手本映像の被写体とのうちの少なくともいずれか一方のサイズを補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせる補正手段を備え、
前記第１の抽出手段は、前記補正手段によって前記映像の被写体のサイズと前記手本映像の被写体のサイズとが合わせられた後の当該映像から前記特定の動作タイミングのフレーム画像を抽出する、
ことを特徴とする請求項１～４のいずれか一項に記載の動作解析装置。
＜請求項６＞
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出工程と、
前記第１の抽出工程によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出工程と、
前記第１の抽出工程と前記第２の抽出工程とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御工程と、
を含むことを特徴とする動作解析方法。
＜請求項７＞
コンピュータを、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。 Although embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims originally attached to the application form of this application is additionally described below. The claim numbers of the claims described in the supplementary notes are as in the claims originally attached to the request of this application.
[Appendix]
<Claim 1>
a first extracting means for extracting a frame image of a specific movement timing that periodically appears from a video image of a user who is exercising consisting of repeating periodic movements;
a second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed; ,
display control means for causing a display means to display the respective frame images extracted by the first extraction means and the second extraction means in a mutually comparable manner;
A motion analysis device comprising:
<Claim 2>
The first extracting means obtains from a motion sensor worn by the user when the video is captured, and if there is sensing data synchronized with the video, the identification periodically appears from the sensing data. and extracting a frame image captured at the specific operation timing from the video;
The motion analysis apparatus according to claim 1, characterized in that:
<Claim 3>
each of the first extracting means and the second extracting means extracts a predetermined number of frame images captured before and after the frame image at the specific operation timing in addition to the frame image at the specific operation timing;
The display control means causes the display means to display each frame image extracted by the first extraction means and the second extraction means in a mutually comparable manner.
The motion analysis apparatus according to claim 1 or 2, characterized in that:
<Claim 4>
comparison means for comparing the frame image of the video displayed on the display means with the frame image of the model video;
a notification means for notifying the result of comparison by the comparison means;
The motion analysis device according to any one of claims 1 to 3, comprising:
<Claim 5>
correcting means for matching the size of the subject of the video image with the size of the subject of the model video by correcting the size of at least one of the subject of the video image and the subject of the model video;
The first extracting means extracts a frame image of the specific operation timing from the image after the size of the subject of the image and the size of the subject of the model image are matched by the correcting means.
The motion analysis device according to any one of claims 1 to 4, characterized in that:
<Claim 6>
a first extraction step of extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movement;
a second extracting step of, when the frame image of the specific action timing is extracted by the first extracting step, extracting the frame image of the specific action timing from a predetermined model image continuously photographed; ,
a display control step of displaying the respective frame images extracted by the first extraction step and the second extraction step on a display means in a mutually comparable manner;
A motion analysis method comprising:
<Claim 7>
the computer,
A first extracting means for extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movements;
second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed;
display control means for displaying the respective frame images extracted by the first extraction means and the second extraction means on a display means in a mutually comparable manner;
A program characterized by functioning as

１動作解析装置
１１ＣＰＵ（第１の抽出手段、第２の抽出手段、表示制御手段、比較手段、報知手段、補正手段）
１５表示部（表示手段） 1 motion analysis device 11 CPU (first extraction means, second extraction means, display control means, comparison means, notification means, correction means)
15 display unit (display means)

Claims

周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段と、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較手段と、
を備え、
前記比較手段の比較結果に基づいて、前記第１の抽出手段、前記第２の抽出手段は、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出し、前記表示制御手段は、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させることを特徴とする動作解析装置。 a first extracting means for extracting a frame image of a specific movement timing that periodically appears from a video image of a user who is exercising consisting of repeating periodic movements;
a second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed; ,
display control means for causing a display means to display the respective frame images extracted by the first extraction means and the second extraction means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. a comparison means for comparing data;
with
Based on the comparison result of the comparing means, the first extracting means and the second extracting means respectively extract frame images at the specific operation timing from the video and the model video, and control the display. The motion analysis device, wherein the means causes a display means to display each of the extracted frame images in a mutually comparable manner .

前記第１の抽出手段は、前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータがある場合、当該センシングデータから周期的に出現する前記特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影されたフレーム画像を前記映像から抽出する、
ことを特徴とする請求項１に記載の動作解析装置。 The first extracting means obtains from a motion sensor worn by the user when the video is captured, and if there is sensing data synchronized with the video, the identification periodically appears from the sensing data. and extracting a frame image captured at the specific operation timing from the video;
The motion analysis apparatus according to claim 1, characterized in that:

前記第１の抽出手段及び前記第２の抽出手段のそれぞれは、前記特定の動作タイミングのフレーム画像に加え当該フレーム画像の前後に撮影された所定数のフレーム画像を抽出し、
前記表示制御手段は、前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれの各フレーム画像を互いに比較可能な態様で表示手段に表示させる、
ことを特徴とする請求項１又は２に記載の動作解析装置。 each of the first extracting means and the second extracting means extracts a predetermined number of frame images captured before and after the frame image at the specific operation timing in addition to the frame image at the specific operation timing;
The display control means causes the display means to display each frame image extracted by the first extraction means and the second extraction means in a mutually comparable manner.
The motion analysis apparatus according to claim 1 or 2, characterized in that:

前記表示手段に表示される前記映像のフレーム画像と前記手本映像のフレーム画像とを比較する比較手段と、
前記比較手段による比較の結果を報知する報知手段と、
を備えることを特徴とする請求項１～３のいずれか一項に記載の動作解析装置。 comparison means for comparing the frame image of the video displayed on the display means with the frame image of the model video;
a notification means for notifying the result of comparison by the comparison means;
The motion analysis device according to any one of claims 1 to 3, comprising:

前記映像の被写体と前記手本映像の被写体とのうちの少なくともいずれか一方のサイズを補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせる補正手段を備え、
前記第１の抽出手段は、前記補正手段によって前記映像の被写体のサイズと前記手本映像の被写体のサイズとが合わせられた後の当該映像から前記特定の動作タイミングのフレーム画像を抽出する、
ことを特徴とする請求項１～４のいずれか一項に記載の動作解析装置。 correcting means for matching the size of the subject of the video image with the size of the subject of the model video by correcting the size of at least one of the subject of the video image and the subject of the model video;
The first extracting means extracts a frame image of the specific operation timing from the image after the size of the subject of the image and the size of the subject of the model image are matched by the correcting means.
The motion analysis device according to any one of claims 1 to 4, characterized in that:

前記周期的な動作の繰り返しから成る運動とはランニングであり、前記特定の動作タイミングとは、予め設定されたユーザーの足の着地タイミングであることを特徴とする請求項１～５の何れか一項に記載の動作解析装置。 6. The exercise according to any one of claims 1 to 5, wherein the exercise consisting of repetition of periodic movements is running, and the specific movement timing is preset timing of landing of the user's foot. The motion analysis device according to the item.

周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出工程と、
前記第１の抽出工程によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出工程と、
前記第１の抽出工程と前記第２の抽出工程とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御工程と、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較工程と、
を含み、
前記比較工程での比較結果に基づいて、前記第１の抽出工程、前記第２の抽出工程により、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出し、前記表示制御工程により、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させる
ことを特徴とする動作解析方法。 a first extraction step of extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movement;
a second extracting step of, when the frame image of the specific action timing is extracted by the first extracting step, extracting the frame image of the specific action timing from a predetermined model image continuously photographed; ,
a display control step of displaying the respective frame images extracted by the first extraction step and the second extraction step on a display means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. A comparison step of comparing data with each other;
including
Based on the comparison result of the comparison step, frame images at the specific operation timing are extracted from the video and the model video by the first extraction step and the second extraction step, respectively, and are displayed. The control step causes the display means to display the extracted frame images in a manner in which they can be compared with each other.
A motion analysis method characterized by:

コンピュータを、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段、
前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータと、前記手本映像に対応付けられているセンシングデータと、を前記特定の動作タイミングにおけるデータ同士で比較する比較手段と、
として機能させ、
前記比較手段の比較結果に基づいて、前記第１の抽出手段、前記第２の抽出手段は、前記特定の動作タイミングにおけるフレーム画像を前記映像と前記手本映像とからそれぞれ抽出させ、前記表示制御手段は、抽出されたそれぞれの前記フレーム画像を互いに比較可能な態様で表示手段に表示させる
ことを特徴とするプログラム。 the computer,
A first extracting means for extracting a frame image of a particular movement timing that periodically appears from a video image of a user who is exercising, which consists of repeating periodic movements;
second extracting means for extracting, when the first extracting means extracts the frame image of the specific action timing, the frame image of the specific action timing from a predetermined model image continuously photographed;
display control means for displaying the respective frame images extracted by the first extraction means and the second extraction means on a display means in a mutually comparable manner;
Sensing data acquired from a motion sensor worn by the user when the image is captured and synchronized with the image, and sensing data associated with the model image, at the specific operation timing. a comparison means for comparing data;
function as
Based on the comparison result of the comparison means, the first extraction means and the second extraction means extract frame images at the specific operation timing from the video and the model video, respectively, and control the display. The means causes the display means to display the respective extracted frame images in a mutually comparable manner.
A program characterized by