JP3403363B2 - 3D continuous motion verification system - Google Patents
3D continuous motion verification systemInfo
- Publication number
- JP3403363B2 JP3403363B2 JP31070399A JP31070399A JP3403363B2 JP 3403363 B2 JP3403363 B2 JP 3403363B2 JP 31070399 A JP31070399 A JP 31070399A JP 31070399 A JP31070399 A JP 31070399A JP 3403363 B2 JP3403363 B2 JP 3403363B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- segment
- continuous motion
- comparison
- continuous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【産業上の利用分野】この発明は3次元連続動作の検定
装置に関し、特にたとえばオペレータの連続動作を基準
動作と比較し、その近似度を評価する、3次元連続動作
の検定装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a verification device for three-dimensional continuous motion, and more particularly to a verification device for three-dimensional continuous motion which compares the continuous motion of an operator with a reference motion and evaluates the degree of approximation.
【0002】[0002]
【従来の技術】この種の従来の3次元連続動作の検定装
置の一例が、平成7年7月25日付で出願公開された特
開平7−185131号[A63F 9/22]公報に
開示されている。このテレビ遊戯システムでは、身体の
各部位にマーカーが付された遊戯者をビデオカメラを用
いて所定周期で撮像し、撮像した撮像画像からマーカー
の運動位置が検出される。このマーカーの運動位置から
ゲームキャラクタの表示位置および表示姿勢が演算さ
れ、この表示姿勢に基づき所定の姿勢のゲームキャラク
タの画像が演算された表示位置に対応する表示画面上に
表示される。このように、遊戯者を撮像する毎にゲーム
キャラクタの表示制御を実行し、ゲームキャラクタを遊
戯者の動きに対応して動作させていた。2. Description of the Related Art An example of a conventional three-dimensional continuous motion test apparatus of this type is disclosed in Japanese Patent Application Laid-Open No. 7-185131 [A63F 9/22] published on July 25, 1995. There is. In this television play system, a player whose markers are attached to each body part is imaged at a predetermined cycle using a video camera, and the movement position of the marker is detected from the imaged image. The display position and display attitude of the game character are calculated from the movement position of the marker, and an image of the game character having a predetermined attitude is displayed on the display screen corresponding to the calculated display position based on this display attitude. Thus, the display control of the game character is executed every time the player is imaged, and the game character is operated in response to the movement of the player.
【0003】[0003]
【発明が解決しようとする課題】しかし、この従来技術
では、所定周期で遊戯者を撮像し、撮像したときの遊戯
者の姿勢に基づいて遊戯者の動作を検出するため、遊戯
者が極端な動きをした場合には、その動作を推定するの
は困難であった。つまり、動作を正確に認識するのが困
難であり、この従来技術を連続した動作を検定するよう
な装置に適用した場合には、動作を正確に検定すること
ができなかった。However, in this prior art, since the player is imaged at a predetermined cycle and the motion of the player is detected based on the posture of the player when the image is taken, the player is extremely extreme. When making a motion, it was difficult to estimate the motion. That is, it is difficult to accurately recognize a motion, and when this conventional technique is applied to a device that tests a continuous motion, the motion cannot be accurately tested.
【0004】それゆえに、この発明の主たる目的は、動
作を正確に検定することができる、新規な3次元動作の
検定装置を提供することである。Therefore, a main object of the present invention is to provide a new three-dimensional motion inspection apparatus capable of accurately inspecting motion.
【0005】[0005]
【課題を解決するための手段】この発明は、複数の視点
から撮影した複数の画像に基づいて実時間での人物の連
続動作を検出する動作検出手段、動作検出手段で検出し
た連続動作を基準動作とセグメント毎に比較する比較手
段、および比較手段の比較結果に基づいて基準動作に対
応する連続動作の近似度を検定する検定手段を備える、
3次元連続動作の検定装置において、セグメント毎の比
較のために、実時間で取得される基準動作を適切な境界
で分割する分割手段をさらに備え、その分割手段は、所
定期間毎に設定される変動許容範囲において、評価値が
最も高い検出結果が得られる時点を境界とするようにし
たことを特徴とする、3次元連続動作の検定装置であ
る。According to the present invention, a motion detecting means for detecting a continuous motion of a person in real time based on a plurality of images photographed from a plurality of viewpoints, and a continuous motion detected by the motion detecting means is used as a reference. Comparing means for comparing the motion with each segment, and a verification means for testing the approximation degree of the continuous motion corresponding to the reference motion based on the comparison result of the comparing means,
The ratio of each segment in the three-dimensional continuous motion tester
For comparison, the reference motion acquired in real time is applied to the appropriate boundary.
Further, a dividing means for dividing by
Within the allowable fluctuation range set for each fixed period, the evaluation value
Use the boundary as the point when the highest detection result is obtained.
It is a verification apparatus for three-dimensional continuous motion characterized by the above.
【0006】[0006]
【作用】この発明の3次元動作検定装置では、動作検出
手段がたとえば複数のカメラを用いて複数の視点から撮
影した複数の画像に基づいて実時間での人物(オペレー
タ)の連続動作を検出する。オペレータの連続動作は、
基準動作とセグメント毎に比較される。検定手段が、連
続動作と基準動作との比較結果に基づいて、基準動作に
対する連続動作の近似度を検定する。セグメント毎に基
準動作とオペレータの連続動作とを比較するので、動作
を正確に判定することができる。そして、比較手段にお
けるセグメント毎の比較のために分割手段を設け、その
分割手段が、実時間で取得される基準動作に対応するモ
ーションデータを適切な境界でセグメントに分割する。
このとき、分割手段は、実時間で取得される基準動作に
対応するモーションデータを、所定の時間間隔を基準に
して設定される変動許容範囲の中で最も検出結果の評価
値が高い時点を境界として分割する。つまり、分割手段
によって基準動作を自動でセグメントに分割することが
できる。 In the three-dimensional motion verification apparatus of the present invention, the motion detecting means detects a continuous motion of a person (operator) in real time based on a plurality of images taken from a plurality of viewpoints by using a plurality of cameras, for example. . The continuous operation of the operator is
It is compared with the reference motion segment by segment. The verification means tests the degree of approximation of the continuous motion to the standard motion based on the result of comparison between the continuous motion and the standard motion. Since the reference motion and the continuous motion of the operator are compared for each segment, the motion can be accurately determined. And, in comparison means
A dividing means is provided for each segment comparison.
The dividing means is a model that corresponds to the reference motion acquired in real time.
Partition the segmentation data at appropriate boundaries.
At this time, the dividing means is based on the reference motion acquired in real time.
Corresponding motion data based on a predetermined time interval
Of the most allowable detection results within the allowable variation range set by
It divides when the value is high as a boundary. That is, the dividing means
It is possible to automatically divide the reference motion into segments by
it can.
【0007】たとえば、表示手段が検定結果を可視表示
するので、オペレータはどの程度CGキャラクタの動作
に近似しているかを知ることができる。また、どの程度
上達したかを確かめることができる。For example, since the display means visually displays the test result, the operator can know to what degree the motion of the CG character is approximated. You can also see how much you have improved.
【0008】[0008]
【0009】[0009]
【0010】[0010]
【0011】[0011]
【0012】また、比較手段は、DPマッチング法で、
基準動作と連続動作とを比較するので、時間軸を変換し
て純粋に動作のみを比較することができる。The comparison means is a DP matching method,
Since the reference motion and the continuous motion are compared, it is possible to convert the time axis and compare only the motions.
【0013】さらに、単位検定手段がセグメント毎に近
似度を検定し、総合検定手段が、全セグメントをまとめ
た近似度を検定するので、セグメント単位のスコアおよ
び全部のスコアを知ることができる。Furthermore, the unit test means tests the degree of approximation for each segment, and the comprehensive test means tests the degree of approximation of all the segments. Therefore, it is possible to know the score of each segment and the total score.
【0014】[0014]
【発明の効果】この発明によれば、セグメント毎に連続
動作と基準動作とを比較するので、動作を正確に判定す
ることができる。According to the present invention, since the continuous motion and the reference motion are compared for each segment, the motion can be accurately determined.
【0015】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。The above-mentioned objects, other objects, features and advantages of the present invention will become more apparent from the detailed description of the following embodiments made with reference to the drawings.
【0016】[0016]
【実施例】図1を参照して、この実施例の3次元連続動
作検定装置を用いたシステム(以下、単に「システム」
という。)10は、カラーカメラ(以下、単に「カメ
ラ」という。)12〜22を含む。カメラ12〜16は
第1モーションキャプチャシステム24に接続され、カ
メラ18〜22は第2モーションキャプチャシステム3
2に接続される。第1モーションキャプチャシステム2
4は、第1セグメント分割装置26に接続されるととも
に、スイッチSW1の入力端子S1にも接続される。第
1セグメント分割装置26は、第1モーションデータ記
憶装置28に接続される。第1モーションデータ記憶装
置28は、スイッチSW1の入力端子S2に接続される
とともに、3次元連続動作検定装置(以下、単に「動作
検定装置」という。)38にも接続される。スイッチS
W1の出力端子S3は第1画像生成装置30に接続され
る。EXAMPLES Referring to FIG. 1, a system using the three-dimensional continuous motion test apparatus of this example (hereinafter, simply referred to as "system").
Say. ) 10 includes color cameras (hereinafter, simply referred to as “cameras”) 12 to 22. The cameras 12 to 16 are connected to the first motion capture system 24, and the cameras 18 to 22 are connected to the second motion capture system 3.
Connected to 2. First motion capture system 2
4 is connected to the first segment dividing device 26 and also to the input terminal S1 of the switch SW1. The first segment dividing device 26 is connected to the first motion data storage device 28. The first motion data storage device 28 is connected to the input terminal S2 of the switch SW1 and also to a three-dimensional continuous motion verification device (hereinafter, simply referred to as “motion verification device”) 38. Switch S
The output terminal S3 of W1 is connected to the first image generation device 30.
【0017】また、第2モーションキャプチャシステム
32は、第2セグメント分割装置34に接続されるとと
もに、第2画像生成装置36にも接続される。第2セグ
メント分割装置34は、動作検定装置38に接続され
る。第1画像生成装置30,第2画像生成装置36およ
び動作検定装置38は、モニタ40に接続される。The second motion capture system 32 is connected to the second segment dividing device 34 and also to the second image generating device 36. The second segment dividing device 34 is connected to the motion verification device 38. The first image generation device 30, the second image generation device 36, and the motion verification device 38 are connected to the monitor 40.
【0018】このシステム10では、基準動作をするオ
ペレータ以外の人物たとえばインストラクタがカメラ1
2〜16で撮影され、基準動作をまねて連続動作をする
オペレータがカメラ18〜22で撮影される。また、カ
メラ12〜22は、人物の正面、側面および上面(立
面)から撮影するために設けられる。なお、カメラ12
および18が正面用であり、カメラ14および20が側
面用であり、カメラ16および22が立面用である。イ
ンストラクタ側のカメラ12〜16で撮影された映像に
対応するカラー画像が、第1モーションキャプチャシス
テム24に与えられる。また、オペレータ側のカメラ1
8〜22で撮影された映像に対応するカラー画像が、第
2モーションキャプチャシステム32に与えられる。In this system 10, a person other than the operator performing the reference operation, for example, an instructor, is used as the camera 1.
2 to 16 are photographed, and the operator who imitates the reference movement and performs continuous movement is photographed by the cameras 18 to 22. In addition, the cameras 12 to 22 are provided for taking images from the front, side, and top (upright) of a person. The camera 12
And 18 are for the front, cameras 14 and 20 are for the side, and cameras 16 and 22 are for the elevation. Color images corresponding to the images captured by the cameras 12 to 16 on the instructor side are provided to the first motion capture system 24. Also, the camera 1 on the operator side
Color images corresponding to the video images captured in 8 to 22 are provided to the second motion capture system 32.
【0019】図2に示すように、第1キャプチャシステ
ム24と第2モーションキャプチャシステム32とは同
じ構成から成っている。つまり、カメラ12〜16(ま
たは18〜22)に対応して、画像処理装置50〜54
が設けられる。画像処理装置50〜54は、3次元座標
算出装置56に接続される。画像処理装置50〜54
は、それぞれパソコン程度の処理能力を有するコンピュ
ータであり、カメラ12〜16(または18〜22)か
ら出力されたカラー画像を処理して各画像上における身
体の特徴点、すなわち頭頂点、手先、肘、膝等の特徴的
な身体の部位の2次元座標を検出する。なお、画像処理
装置50〜54は、時分割的に処理することによって1
台のより高性能のコンピュータを共有することによって
個別のコンピュータを代替えすることができる。As shown in FIG. 2, the first capture system 24 and the second motion capture system 32 have the same structure. That is, the image processing devices 50 to 54 corresponding to the cameras 12 to 16 (or 18 to 22).
Is provided. The image processing devices 50 to 54 are connected to the three-dimensional coordinate calculation device 56. Image processing devices 50 to 54
Is a computer having a processing capability of a personal computer, processes color images output from the cameras 12 to 16 (or 18 to 22), and characterizes the body on each image, that is, head vertex, hand, elbow. , Two-dimensional coordinates of characteristic body parts such as knees are detected. It should be noted that the image processing devices 50 to 54 perform the processing in a time-division manner to
Individual computers can be replaced by sharing two more powerful computers.
【0020】画像処理装置50〜54で得られた特徴点
の2次元座標の情報が、3次元座標算出装置56に与え
られる。この3次元座標算出装置56もまた、パソコン
程度の処理能力を有する1台のコンピュータであり、本
件出願人により先に出願された特願平11−11164
5号において開示されているように、特徴点の2次元座
標を三角測量の原理で3次元に復元するとともに、復元
したデータ(3次元座標データ)が妥当であるかどうか
を、たとえば初期的に設定されている人物の身体データ
に基づいて検証する。言い換えると、複数の視点から得
られるカラー画像、つまり正面、側面および立面に対応
するカラー画像に基づいて、オペレータまたはインスト
ラクタの3次元的な姿勢(3次元姿勢)が推定される。
このように推定された3次元姿勢のデータ(姿勢デー
タ)が、3次元座標算出装置56、つまり第1モーショ
ンキャプチャシステム24および第2モーションキャプ
チャシステム32から出力される。Information on the two-dimensional coordinates of the characteristic points obtained by the image processing devices 50 to 54 is given to the three-dimensional coordinate calculation device 56. The three-dimensional coordinate calculating device 56 is also a computer having a processing capacity of a personal computer, and the Japanese Patent Application No. 11-11164 previously filed by the applicant of the present application.
As disclosed in No. 5, two-dimensional coordinates of feature points are restored to three-dimensional by the principle of triangulation, and whether the restored data (three-dimensional coordinate data) is valid or not is initially determined, for example. Verification is performed based on the set physical data of the person. In other words, the three-dimensional posture (three-dimensional posture) of the operator or the instructor is estimated based on the color images obtained from a plurality of viewpoints, that is, the color images corresponding to the front face, the side face, and the elevation face.
The three-dimensional posture data (posture data) thus estimated is output from the three-dimensional coordinate calculation device 56, that is, the first motion capture system 24 and the second motion capture system 32.
【0021】第1モーションキャプチャシステム24か
ら出力された姿勢データが、第1セグメント分割装置2
6に与えられるとともに、スイッチSW1を介して第1
画像生成装置30に与えられる。第1セグメント分割装
置26もまた、パソコン程度の処理能力を有する1台の
コンピュータであり、第1モーションキャプチャシステ
ム24から連続して与えられる姿勢データ(モーション
データ)をセグメントに分割する。The posture data output from the first motion capture system 24 is used as the first segment dividing device 2
6 through the switch SW1 to the first
It is given to the image generation device 30. The first segment dividing device 26 is also one computer having a processing capability of a personal computer, and divides the posture data (motion data) continuously given from the first motion capture system 24 into segments.
【0022】たとえば、予め取得された基準動作に対応
するモーションデータを、図3(A)に示すように、任
意の時間間隔T1,T2,…,T5のセグメントに手作
業で分割する。また、予め取得された基準動作に対応す
るモーションデータを、図3(B)に示すように、所定
の時間間隔Tのセグメントに分割する。この実施例で
は、連続する動作を検出するため、時間間隔Tは2〜5
秒の間で設定される。なお、これら2つの分割方法で
は、予め基準動作を取得するので、図1に示すカメラ1
2〜16および第1モーションキャプチャシステム24
は別途設けてもよく、また第1セグメント分割装置26
は省略することができる。つまり、セグメントに分割さ
れたモーションデータ(分割データ)を第1モーション
データ記憶装置28に与えるようにすればよい。For example, the motion data corresponding to the previously acquired reference motion is manually divided into segments at arbitrary time intervals T1, T2, ..., T5, as shown in FIG. 3 (A). Further, the motion data corresponding to the reference motion acquired in advance is divided into segments of a predetermined time interval T, as shown in FIG. In this embodiment, since the continuous motion is detected, the time interval T is 2-5.
Set between seconds. In these two division methods, the reference motion is acquired in advance, so the camera 1 shown in FIG.
2-16 and the first motion capture system 24
May be provided separately, and the first segment dividing device 26
Can be omitted. That is, the motion data (divided data) divided into the segments may be given to the first motion data storage device 28.
【0023】さらに、図3(C)に示すように、所定の
時間間隔Tを基準にして、その前後の微小時間dtで決定
される変動許容範囲(T−dt〜T+dt)内でセグメント
の境界を決定することができる。つまり、この変動許容
範囲(T−dt〜T+dt)で最も評価値が高い検出結果が
得られる時点がセグメントの境界に決定される。したが
って、基準動作に対応するモーションデータに基づいて
自動で境界を検出し、セグメントに分割をすることがで
きる。Further, as shown in FIG. 3 (C), with reference to the predetermined time interval T, the boundary of the segment within the allowable fluctuation range (T-dt to T + dt) determined by the minute time dt before and after the predetermined time interval T. Can be determined. In other words, the time point at which the detection result with the highest evaluation value is obtained within this variation allowable range (T-dt to T + dt) is determined as the segment boundary. Therefore, it is possible to automatically detect the boundary based on the motion data corresponding to the reference motion and divide it into segments.
【0024】具体的には、図4に示すフロー図に従って
処理される。つまり、第1セグメント分割装置26がセ
グメントの分割処理を開始すると、ステップS1で時間
tおよびセグメント数nを初期化する。つまり、t=0
およびn=1に設定する。続くステップS3では、評価
値の最大値max および時間インデックスtindex を初期
化する。つまり、max =0およびtindex =0に設定す
る。さらに、ステップS5で、ループカウンタのカウン
ト値iを初期化する。具体的には、i=t+T−dtに設
定する。続くステップS7では、最大値max が評価値E
(i)より大きいかどうかを判断する。ステップS7で
“YES”であれば、つまり最大値maxが評価値E
(i)より大きければ、そのままステップS11に進
む。Specifically, the processing is performed according to the flow chart shown in FIG. That is, when the first segment dividing device 26 starts the segment dividing process, the time t and the segment number n are initialized in step S1. That is, t = 0
And n = 1. In the following step S3, the maximum evaluation value max and the time index tindex are initialized. That is, max = 0 and tindex = 0 are set. Further, in step S5, the count value i of the loop counter is initialized. Specifically, i = t + T-dt is set. In the following step S7, the maximum value max is the evaluation value E.
(I) Determine if it is greater than. If “YES” in the step S7, that is, the maximum value max is the evaluation value E.
If it is larger than (i), the process directly proceeds to step S11.
【0025】一方、ステップS7で“NO”であれば、
つまり最大値max が評価値E(i)より小さければ、ス
テップS9で最大値max に評価値E(i)を代入し、時
間インデックスtindex にカウント値iを代入して、ス
テップS11に進む。ステップS11でカウント値iが
t+T+dtより大きいかどうかを判断する。ステップS
11で“NO”であれば、変動許容範囲をすべて検索し
ていないと判断し、ステップS7に戻る。一方、ステッ
プS11で“YES”であれば、変動範囲をすべて検索
したと判断し、ステップS13に進む。On the other hand, if "NO" in the step S7,
That is, if the maximum value max is smaller than the evaluation value E (i), the evaluation value E (i) is substituted for the maximum value max and the count value i is substituted for the time index tindex in step S9, and the process proceeds to step S11. In step S11, it is determined whether the count value i is larger than t + T + dt. Step S
If “NO” in 11, it is determined that all allowable fluctuation ranges have not been searched, and the process returns to step S7. On the other hand, if “YES” in the step S11, it is determined that all the variation ranges have been searched, and the process proceeds to a step S13.
【0026】ステップS13では、モーションデータの
境界、つまりセグメントをM(t)からM(tindex )
までの期間に決定する。続くステップS15では、時間
tに時間インデックスtindex を代入し、セグメント数
nをインクリメントして、ステップS17に進む。ステ
ップS17では、時間tと所定時間Tとの和がモーショ
ンデータの時間長さ、つまりシーケンスの長さLより大
きいかどうかを判断する。ステップS17で“NO”で
あれば、全モーションデータをセグメントに分割してい
ないと判断し、ステップS3に戻る。一方、ステップS
17で“YES”であれば、全モーションデータをセグ
メントに分割したと判断し、ステップS19で最終セグ
メントを作成して、処理を終了する。つまり、最終セグ
メントに対応するモーションデータは、その最終セグメ
ントの長さよりも短い場合があるため、モーションデー
タに対応する長さにセグメントが短くされる。In step S13, the boundary of the motion data, that is, the segment is changed from M (t) to M (tindex).
Up to the period. In the following step S15, the time index tindex is substituted for the time t, the number of segments n is incremented, and the process proceeds to step S17. In step S17, it is determined whether the sum of the time t and the predetermined time T is longer than the time length of the motion data, that is, the length L of the sequence. If "NO" in the step S17, it is determined that all motion data are not divided into segments, and the process returns to the step S3. On the other hand, step S
If “YES” in 17, it is determined that all the motion data are divided into segments, a final segment is created in step S19, and the process ends. That is, since the motion data corresponding to the final segment may be shorter than the length of the final segment, the segment is shortened to the length corresponding to the motion data.
【0027】第1セグメント分割装置26から出力され
た基準動作の分割データが、第1モーションデータ記憶
装置28に与えられる。また、同様の方法で、第2モー
ションキャプチャシステム32から出力されたオペレー
タの連続動作のモーションデータが第2セグメント分割
装置34でセグメントに分割される。言い換えれば、連
続動作に対応する分割データが生成される。基準動作お
よび連続動作に対応する分割データが、動作検定装置3
8の指示に従って読み出される。したがって、基準動作
に対応する分割データは、動作検定装置38に与えられ
るとともに、スイッチSW1を介して第1画像生成装置
30に与えられる。また、連続動作に対応する分割デー
タが、動作検定装置38に与えられる。The division data of the reference motion output from the first segment division device 26 is given to the first motion data storage device 28. In the same manner, the motion data of the continuous motion of the operator output from the second motion capture system 32 is divided into segments by the second segment dividing device 34. In other words, divided data corresponding to continuous operation is generated. The divided data corresponding to the standard motion and the continuous motion is the motion verification device 3
It is read according to the instruction of 8. Therefore, the divided data corresponding to the reference motion is supplied to the motion verification device 38 and the first image generation device 30 via the switch SW1. Further, the divided data corresponding to the continuous motion is given to the motion verification device 38.
【0028】動作検定装置38もまた、パソコン程度の
処理能力を有する1台のコンピュータであり、基準動作
と連続動作とを比較する。そして、比較結果に基づい
て、連続動作が基準動作に近似している度合いを評価す
る。さらに、評価した結果をモニタ40を用いて表示す
る。たとえば、近似している度合いを割合で表示した
り、またその割合を点数で表示したり、さらに所定のレ
ベル(ランクA,B,C,DおよびE)で表示すること
ができる。なお、近似割合または点数と所定のレベルと
の両方で表示するようにしてもよい。The motion verification device 38 is also a computer having a processing capacity of a personal computer, and compares the standard motion and the continuous motion. Then, based on the comparison result, the degree to which the continuous motion approximates the reference motion is evaluated. Further, the evaluation result is displayed on the monitor 40. For example, the degree of approximation can be displayed as a ratio, the ratio can be displayed as a score, and further can be displayed at a predetermined level (ranks A, B, C, D and E). It is also possible to display both the approximation ratio or the score and a predetermined level.
【0029】第1画像生成装置30は、第1モーション
キャプチャシステム24または第1モーションデータ記
憶装置28から出力された基準動作に対応するモーショ
ンデータの分割データに基づいて、コンピュータグラフ
ィック(CG)の手法により「アバタ」と呼ばれるイン
ストラクタの人物画像を仮想3次元環境内に再現または
再生する。したがって、インストラクタの基準動作が、
CGキャラクタによってモニタ40上に表示(再現)さ
れる。また、スイッチSW1は、自由に切り換えられ、
第1モーションキャプチャシステム24の出力または第
1モーションデータの出力が選択される。具体的には、
実時間でインストラクタの基準動作を取得する場合に
は、スイッチSW1は入力端子S1側に接続され、第1
モーションキャプチャシステム24の出力が選択され
る。一方、予め記憶したインストラクタの基準動作と実
時間のオペレータの連続動作とを比較する場合には、ス
イッチSW1は入力端子S2側に接続され、第1モーシ
ョンデータ記憶装置28の出力が選択される。The first image generation device 30 uses a computer graphics (CG) method based on the divided data of the motion data corresponding to the reference motion output from the first motion capture system 24 or the first motion data storage device 28. The person image of the instructor called "avatar" is reproduced or reproduced in the virtual three-dimensional environment. Therefore, the reference motion of the instructor is
It is displayed (reproduced) on the monitor 40 by the CG character. Further, the switch SW1 can be freely switched,
The output of the first motion capture system 24 or the output of the first motion data is selected. In particular,
When acquiring the reference motion of the instructor in real time, the switch SW1 is connected to the input terminal S1 side,
The output of the motion capture system 24 is selected. On the other hand, when comparing the pre-stored reference motion of the instructor and the continuous motion of the operator in real time, the switch SW1 is connected to the input terminal S2 side and the output of the first motion data storage device 28 is selected.
【0030】また、第2画像生成装置36は、第2モー
ションキャプチャシステム32から出力されたモーショ
ンデータに基づいて、第1画像生成装置30と同様にし
て、オペレータの人物画像を仮想3次元環境内に再現ま
たは再生する。したがって、オペレータの連続動作をC
Gキャラクタによってモニタ40上に表示することがで
きる。Further, the second image generating device 36, based on the motion data output from the second motion capture system 32, in the same manner as the first image generating device 30, the operator's human image in the virtual three-dimensional environment. Reproduce or play. Therefore, the continuous operation of the operator is C
It can be displayed on the monitor 40 by the G character.
【0031】上述のように、インストラクタの基準動作
とオペレータの連続動作とを比較し、比較結果を評価す
る。この比較および評価の処理は2通りがある。第1の
方法は、図5および図6に示すような、予め取得された
基準動作に対応するモーションデータを用いて比較する
方法である。また、第2の方法は、図8〜図10で示す
ような、実時間で所得した基準動作に対応するモーショ
ンデータを用いて比較する方法である。つまり、図4を
用いて説明したように自動でセグメントの境界を決定し
て、セグメントを分割する方法が採用される。As described above, the reference motion of the instructor and the continuous motion of the operator are compared, and the comparison result is evaluated. There are two processes for this comparison and evaluation. The first method is a method of using motion data corresponding to a previously acquired reference motion as shown in FIGS. 5 and 6 for comparison. Further, the second method is a method of making a comparison using motion data corresponding to the reference motion earned in real time as shown in FIGS. 8 to 10. That is, as described with reference to FIG. 4, the method of automatically determining the boundaries of the segments and dividing the segments is adopted.
【0032】具体的に説明すると、まず第1の方法で
は、図5に示すように、動作検定装置38が比較および
評価の処理を開始すると、ステップS31で、速度むら
パスの線形性(以下、単に「線形性」という。)Psを
初期化する。つまり、図7に示すように、DPマッチン
グの処理で実線で示したオペレータの連続動作に該当す
るパス(入力データS)と点線で示すインストラクタの
基準動作に該当する教師データTとの間に生じる速度む
らの初期値が設定される。Ps(0,1,...,N)
=0に設定する。続くステップS33で、セグメント数
nを初期化する。つまり、n=1に設定する。そして、
ステップS35で、1セグメント内の時間tをカウント
するカウンタをリセット(t=0)して、スタートす
る。次に、ステップS37で、第1モーションデータ記
憶装置28に指示して、基準動作の分割データ(教師デ
ータT(n,t))を読み出し、教師データT(n,
t)に従って基準動作をするCGキャラクタをモニタ4
0に表示する。ステップS39では、第2セグメント分
割装置34を指示して、オペレータの分割データ(入力
データS(t))を取り込む。続くステップS41で
は、セグメントに対応する時間間隔L(n)より時間t
が大きいかどうかを判断する。つまり、1セグメントに
対応する時間が経過したかどうかを判断する。ステップ
S41で“NO”であれば、1セグメントに対応する時
間間隔L(n)が経過していないと判断し、ステップS
37に戻る。一方、ステップS41で“YES”であれ
ば、1セグメントに対応する時間間隔L(n)が経過し
たと判断し、ステップS43でDPマッチング法により
距離値D(n)とパスP(t)とを算出する。ここで、
距離値D(n)は、時間軸を変換した後の教師データT
(n,t)と入力データS(t)との誤差分である。More specifically, first, in the first method, as shown in FIG. 5, when the motion verification device 38 starts the process of comparison and evaluation, in step S31, the linearity of the velocity unevenness path (hereinafter, (It is simply called "linearity".) Initialize Ps. That is, as shown in FIG. 7, it occurs between the path (input data S) corresponding to the continuous motion of the operator indicated by the solid line in the DP matching process and the teacher data T corresponding to the reference motion of the instructor indicated by the dotted line. The initial value of speed unevenness is set. Ps (0,1, ..., N)
Set to = 0. In the following step S33, the number of segments n is initialized. That is, n = 1 is set. And
In step S35, the counter that counts the time t in one segment is reset (t = 0) and started. Next, in step S37, the first motion data storage device 28 is instructed to read the divided data (teacher data T (n, t)) of the reference motion, and the teacher data T (n, t
Monitor the CG character that performs the standard motion according to t) 4
Display at 0. In step S39, the second segment division device 34 is instructed to take in the division data (input data S (t)) of the operator. In the following step S41, time t is calculated from the time interval L (n) corresponding to the segment.
To determine if is large. That is, it is determined whether or not the time corresponding to one segment has elapsed. If "NO" in the step S41, it is determined that the time interval L (n) corresponding to one segment has not elapsed, and the step S41
Return to 37. On the other hand, if “YES” in the step S41, it is determined that the time interval L (n) corresponding to one segment has elapsed, and the distance value D (n) and the path P (t) are determined by the DP matching method in a step S43. To calculate. here,
The distance value D (n) is the teacher data T after the time axis is converted.
It is an error amount between (n, t) and the input data S (t).
【0033】図6に示すように、続くステップS45で
は、ループカウンタをリセット(t=0)して、スター
トする。ステップS47では、時間tにおける速度むら
Ps(n)を計算する。具体的には、数1に従って速度
むらを算出する。As shown in FIG. 6, in a succeeding step S45, the loop counter is reset (t = 0) and started. In step S47, speed unevenness Ps (n) at time t is calculated. Specifically, the speed unevenness is calculated according to the equation 1.
【0034】[0034]
【数1】Ps(n)=Ps(n)+|P(t)−t|
なお、P(t)は速度むらを含んだパスの値であり、教
師データT(n,t)と入力データS(t)とが完全に
一致した場合にはP(t)=tとなる。つまり、傾きが
tとなる場合がパスの理想的な値である。## EQU1 ## Ps (n) = Ps (n) + | P (t) -t | where P (t) is the value of the path including the velocity unevenness, and is input as the teacher data T (n, t). When the data S (t) completely matches, P (t) = t. That is, the case where the inclination is t is the ideal value of the path.
【0035】続くステップS49では、時間tが1セグ
メントに対応する時間間隔L(n)より大きいかどうか
を判断する。つまり、1セグメントに対応する時間間隔
L(n)が経過したかどうかを判断する。ステップS4
9で“NO”であれば、1セグメントに対応する時間間
隔L(n)が経過していないと判断して、ステップS4
7に戻る。一方、ステップS49で“YES”であれ
ば、1セグメントに対応する時間L(n)が経過したと
判断し、ステップS51で1セグメント内の評価値(ス
コア)Tsを計算する。具体的には、数2に従って計算
する。ただし、aおよびbは重み係数であり、セグメン
トの長さ等に応じて設定される。In a succeeding step S49, it is determined whether or not the time t is larger than the time interval L (n) corresponding to one segment. That is, it is determined whether the time interval L (n) corresponding to one segment has elapsed. Step S4
If "NO" in 9, it is determined that the time interval L (n) corresponding to one segment has not elapsed, and step S4
Return to 7. On the other hand, if “YES” in the step S49, it is determined that the time L (n) corresponding to one segment has elapsed, and an evaluation value (score) Ts in one segment is calculated in a step S51. Specifically, the calculation is performed according to Equation 2. However, a and b are weighting factors and are set according to the length of the segment and the like.
【0036】[0036]
【数2】Ts=a*D(n)+b*Ps(n) ただし、a+b=1である。[Formula 2] Ts = a * D (n) + b * Ps (n) However, a + b = 1.
【0037】数2から分かるように、スコアTsは距離
値D(n)とパスPs(n)とによって表されるため、
数2で示すTsの値が小さい程、オペレータの連続動作
がインストラクタの基準動作に近似していることにな
る。As can be seen from Equation 2, the score Ts is represented by the distance value D (n) and the path Ps (n),
The smaller the value of Ts shown in Expression 2, the closer the continuous motion of the operator is to the reference motion of the instructor.
【0038】1セグメントのスコアTsを算出すると、
ステップS53でセグメント数をインクリメント(n=
n+1)して、ステップS55でセグメント数nが総セ
グメント数Nより大きいかどうかを判断する。つまり、
全セグメントについて比較および評価を実行したかどう
かを判断する。ステップS55で“NO”であれば、全
セグメントについて比較および評価が終了していないと
判断し、そのままステップS35に戻る。つまり、次の
セグメントについての比較および評価を実行する。一
方、ステップS55で“YES”であれば、全セグメン
トについての比較および評価の処理が終了したと判断
し、ステップS57で全体のスコア(トータルスコア)
を算出する。具体的には、数3に従ってトータルスコア
(TotalScore) を算出する。When the score Ts for one segment is calculated,
Increment the number of segments (n =
n + 1), and it is determined in step S55 whether the segment number n is larger than the total segment number N. That is,
Determine whether comparisons and assessments have been performed for all segments. If "NO" in the step S55, it is determined that the comparison and evaluation have not been completed for all the segments, and the process directly returns to the step S35. That is, the comparison and evaluation for the next segment is performed. On the other hand, if “YES” in the step S55, it is determined that the comparison and evaluation processes for all the segments are completed, and a total score (total score) in a step S57.
To calculate. Specifically, the total score (TotalScore) is calculated according to Equation 3.
【0039】[0039]
【数3】TotalScore=Σ{Ts(n)*L
(n)/ΣL(n)}
このように、重みをつけてセグメント毎にスコアを算出
し、それらを平均してトータルスコアを算出するので、
重みづけをせずにセグメント毎のスコアを平均した場合
よりも適正な評価をすることができる。この算出したト
ータルスコアに応じて、点数およびレベルが決定され
る。なお、上述のように、Ts(n)が小さい程、オペ
レータの連続動作が基準動作に近似しているため、トー
タルスコアが小さい程、点数およびレベルが高くなる。
また、スコアは身体の全体の動作について算出するよう
にしたが、身体の各部位についてのスコアを表示するよ
うにしてもよい。## EQU00003 ## TotalScore = .SIGMA. {Ts (n) * L
(N) / ΣL (n)} In this way, the weight is weighted to calculate the score for each segment, and these are averaged to calculate the total score.
Appropriate evaluation can be performed as compared with the case of averaging scores for each segment without weighting. The score and level are determined according to the calculated total score. As described above, as Ts (n) is smaller, the continuous motion of the operator is closer to the standard motion. Therefore, the smaller the total score, the higher the score and level.
Further, although the score is calculated for the entire movement of the body, the score for each part of the body may be displayed.
【0040】また、第2の方法では、図8に示すよう
に、比較および評価の処理が開始すると、ステップS7
1で各変数を初期化する。具体的には、線形性Ps
(0,1,...,N)=0,入力データの開始位置S
p=0,セグメント数n=1,教師データT(t)の開
始位置Tp=0および1シーケンスにかかる時間t=0
に設定する。続くステップS73では、セグメントの境
界Outを初期化する。つまり、Out=Tp+L
(n)に設定する。ステップS75では、時間tが教師
データT(t)のセグメントに対応する時間間隔L
(n)の総和より大きいかどうかを判断する。つまり、
全ての教師データT(t)を提示したかどうかを判断す
る。ステップS75で“NO”であれば、残りの教師デ
ータT(t)があると判断し、ステップS77で教師デ
ータT(t)を提示して、ステップS79に進む。一
方、ステップS75で“YES”であれば、全ての教師
データT(t)を提示したと判断し、そのままステップ
S79に進む。Further, in the second method, as shown in FIG. 8, when the comparison and evaluation processes are started, step S7 is performed.
1 initializes each variable. Specifically, the linearity Ps
(0, 1, ..., N) = 0, start position S of input data
p = 0, number of segments n = 1, start position Tp = 0 of teacher data T (t), and time t = 0 required for one sequence
Set to. In a succeeding step S73, the boundary Out of the segment is initialized. That is, Out = Tp + L
Set to (n). In step S75, the time interval L corresponding to the segment of the teacher data T (t) at time t
It is determined whether it is larger than the sum of (n). That is,
It is determined whether all the teacher data T (t) have been presented. If “NO” in the step S75, it is determined that there is remaining teacher data T (t), the teacher data T (t) is presented in a step S77, and the process proceeds to a step S79. On the other hand, if “YES” in the step S75, it is determined that all the teacher data T (t) have been presented, and the process directly proceeds to the step S79.
【0041】ステップS79では入力データS(t)を
取り込み、ステップS81では時間tがOut+dtよ
り大きいかどうかを判断する。すなわち、シーケンスの
範囲を越えているかどうかを判断する。ステップS81
で“NO”であれば、つまりシーケンスの範囲を越えて
いなければ、ステップS75に戻る。一方、ステップS
81で“YES”であれば、つまりシーケンスの範囲を
越えていれば、ステップS83で変数minおよび時間
インデックスindex を初期化する。つまり、min=最
大値、およびindex =0にする。In step S79, the input data S (t) is fetched, and in step S81, it is determined whether or not the time t is larger than Out + dt. That is, it is determined whether the sequence range is exceeded. Step S81
If “NO” in S, that is, if the sequence range is not exceeded, the process returns to step S75. On the other hand, step S
If "YES" in 81, that is, if it exceeds the range of the sequence, the variable min and the time index index are initialized in step S83. That is, min = maximum value and index = 0.
【0042】図9に示すように、続くステップS85で
はループカウンタのカウント値eをOut−dtに設定
(リセット)してスタートする。次にステップS87で
は、変数minが時間eに対する入力データS(e)と
同じく教師データT(e)との差の絶対値より大きいか
どうかを判断する。ステップS87で“NO”であれ
ば、つまり差の絶対値が変数minより小さければ、そ
のままステップS91に進む。一方、ステップS87で
“YES”であれば、ステップS89で変数minに差
の絶対値を代入し、時間インデックスindex にその時の
カウント値eを代入して、ステップS91に進む。この
ように、教師データと入力データとの間で、もっともマ
ッチングが取れている(差分が最小となる)場合に、つ
まり評価値が高い場合にセグメントの境界とされる。As shown in FIG. 9, in a succeeding step S85, the count value e of the loop counter is set (reset) to Out-dt and the operation is started. Next, in step S87, it is determined whether or not the variable min is larger than the absolute value of the difference between the input data S (e) and the teacher data T (e) with respect to time e. If "NO" in the step S87, that is, if the absolute value of the difference is smaller than the variable min, the process directly proceeds to the step S91. On the other hand, if “YES” in the step S87, the absolute value of the difference is substituted in the variable min in the step S89, the count value e at that time is substituted in the time index index, and the process proceeds to the step S91. In this way, when the matching is best (minimum difference) between the teacher data and the input data, that is, when the evaluation value is high, the segment boundary is set.
【0043】ステップS91では、時間Tがシーケンス
の範囲を越えているかどうかを判断する。ステップS9
1で“NO”であれば、つまりシーケンスの範囲を越え
てなければ、ステップS87に戻る。一方、ステップS
91で“YES”であれば、つまりシーケンスの範囲を
越えていれば、ステップS93で距離値D(n)および
パスP(x)をT(Tp〜Out)とS(Sp〜index
)でDPマッチング法により算出する。続くステップ
S95では、時間Sqに時間インデックスindexから入
力データS(t)の開始時間Spを差し引いたものを代
入し、教師データT(t)と入力データS(t)との時
間差R(n)に時間間隔L(n)と時間Sqとの差分の
絶対値を代入する。つまり、時間軸が変換される。In step S91, it is determined whether the time T exceeds the sequence range. Step S9
If "NO" in 1, that is, if the sequence range is not exceeded, the process returns to step S87. On the other hand, step S
If “YES” in 91, that is, if it exceeds the range of the sequence, in step S93, the distance value D (n) and the path P (x) are set to T (Tp to Out) and S (Sp to index).
) Is calculated by the DP matching method. In a succeeding step S95, a value obtained by subtracting the start time Sp of the input data S (t) from the time index index is substituted for the time Sq, and the time difference R (n) between the teacher data T (t) and the input data S (t) is substituted. The absolute value of the difference between the time interval L (n) and the time Sq is substituted into. That is, the time axis is converted.
【0044】図10に示すように、続くステップS97
ではループカウンタのカウント値xをリセット(x=
0)およびスタートし、ステップS99では速度むらを
算出する。具体的には、数4に従って速度むらを算出す
る。As shown in FIG. 10, the following step S97
Then, reset the count value x of the loop counter (x =
0) and start, and speed unevenness is calculated in step S99. Specifically, the speed unevenness is calculated according to the equation (4).
【0045】[0045]
【数4】Ps(n)=Ps(n)+|P(x)−(x*
L)/Sq|
この場合には、予め取得した基準動作を用いる第1の方
法と異なり、教師データT(t)の傾きが1にならない
ので、図7から分かるように、最終項のような傾き
((x*L)/Sq)で理想値が示される。ただし、教
師データT(t)は、y=αx(α≠0,1)の関数で
ある。## EQU00004 ## Ps (n) = Ps (n) + | P (x)-(x *
L) / Sq | In this case, unlike the first method using the previously acquired reference motion, the gradient of the teacher data T (t) does not become 1. Therefore, as can be seen from FIG. The ideal value is shown by the slope ((x * L) / Sq). However, the teacher data T (t) is a function of y = αx (α ≠ 0, 1).
【0046】続いてステップS101では、ループカウ
ンタのカウント値xが時間Sqより大きいかどうかを判
断する。ステップ101で“NO”であれば、つまりカ
ウント値xが時間Sqより小さければ、ステップS99
に戻る。一方、ステップS101で“YES”であれ
ば、つまりカウント値xが時間Sqより大きければ、ス
テップS103で1セグメントのスコアTs(n)を算
出する。具体的には、数5に従って算出される。また、
上述と同様にa,bおよびcは重み係数である。Subsequently, in step S101, it is determined whether the count value x of the loop counter is larger than the time Sq. If “NO” in the step 101, that is, if the count value x is smaller than the time Sq, the step S99.
Return to. On the other hand, if “YES” in the step S101, that is, if the count value x is larger than the time Sq, the score Ts (n) of one segment is calculated in a step S103. Specifically, it is calculated according to Equation 5. Also,
Similar to the above, a, b and c are weighting factors.
【0047】[0047]
【数5】Ts(n)=a*D(n)+b*Ps(n)+
c*R(n)
ただし、a+b+c=1である。## EQU00005 ## Ts (n) = a * D (n) + b * Ps (n) +
c * R (n) where a + b + c = 1.
【0048】速度むらが算出されると、ステップS10
5で教師データの開始位置Tpが変更される。具体的に
は、評価したセグメントの時間間隔L(n)を開始位置
Tpに加算する。つまり、Tp=Tp+L(n)とす
る。続いて、ステップS107で、セグメント数をイン
クリメント(n=n+1)する。そして、ステップS1
09で、セグメント数nが全セグメント数Nより大きい
かどうかを判断する。つまり、全てのセグメントについ
て比較および評価の処理を実行したかどうかを判断す
る。ステップS109で“NO”であれば、残りのセグ
メントがあると判断して、ステップS73に戻る。一
方、ステップS109で“YES”であれば、全てのセ
グメントについて比較および評価の処理を実行したと判
断し、ステップS111でトータルスコアを算出して、
処理を終了する。具体的には、トータルスコアは数6に
従って算出される。When the speed unevenness is calculated, step S10
At 5, the start position Tp of the teacher data is changed. Specifically, the time interval L (n) of the evaluated segment is added to the start position Tp. That is, Tp = Tp + L (n). Succeedingly, in a step S107, the number of segments is incremented (n = n + 1). And step S1
At 09, it is determined whether the segment number n is larger than the total segment number N. That is, it is determined whether the comparison and evaluation processes have been executed for all the segments. If “NO” in the step S109, it is determined that there are remaining segments, and the process returns to the step S73. On the other hand, if “YES” in the step S109, it is determined that the comparison and evaluation processes have been executed for all the segments, and the total score is calculated in a step S111,
The process ends. Specifically, the total score is calculated according to equation 6.
【0049】[0049]
【数6】TotalScore=Σ{Ts(n)*L
(n)/ΣL(n)}
なお、第1の方法と同様に、トータルスコアに応じて点
数およびレベルが決定される。また、トータルスコアが
小さい程、点数およびレベルが高くなる。[Equation 6] TotalScore = Σ {Ts (n) * L
(N) / ΣL (n)} As in the first method, the score and level are determined according to the total score. Also, the smaller the total score, the higher the score and level.
【0050】このようなシステム10は、具体的には拳
法および太極拳などの型の練習装置、ダンスのレッスン
装置およびダンスのゲーム機などに適用できる。たとえ
ば、図11に示すように、ダンスのゲーム機に適用する
場合には、オペレータはカメラ18〜22が設置された
ゲーム機のたとえばステージに上がる。そして、所定の
料金を課金した後に、モニタ40に表示されるメニュー
に従って難易度(easy,standard,har
d)およびダンスする曲などを選択する。ゲームがスタ
ートすると、図12(A)に示すように、モニタ40に
は予め記憶された基準動作に応じてCGキャラクタが表
示され、これをオペレータがまねてダンスする。する
と、ダンス(連続動作)をするオペレータがカメラ18
〜22で撮影される。つまり、入力データが取得され
る。なお、図12(B)に示すように、モニタ40に基
準動作およびオペレータの連続動作を2画面分割表示す
るようにしてもよい。Such a system 10 can be applied to a practicing device such as a kempo or tai chi, a dance lesson device, a dance game machine, or the like. For example, as shown in FIG. 11, when applied to a dance game machine, the operator goes up to, for example, the stage of the game machine in which the cameras 18 to 22 are installed. Then, after charging a predetermined fee, according to the menu displayed on the monitor 40, the degree of difficulty (easy, standard, har
d) and the song to dance etc. When the game starts, as shown in FIG. 12 (A), a CG character is displayed on the monitor 40 according to a reference motion stored in advance, and the operator imitates this and dances. Then, the operator performing the dance (continuous motion) moves to the camera 18
Taken at ~ 22. That is, the input data is acquired. As shown in FIG. 12B, the standard motion and the continuous motion of the operator may be displayed on the monitor 40 in two screens.
【0051】また、ダンスを提示する場合やオペレータ
の連続動作を入力する場合に、選択した特定のリズムや
音楽を同時に提示し、動作の同期を促すシステムを追加
してもよい。Further, when presenting a dance or inputting a continuous motion of an operator, a system may be added in which a specific rhythm or music selected is simultaneously presented and the motion is synchronized.
【0052】そして、動作検定装置38が教師データと
入力データとをセグメント毎に比較し、セグメント毎の
点数を算出する。なお、上述した比較および評価の処理
では、各セグメントの点数等を算出しただけであるが、
このセグメント毎の点数をモニタ40を用いて表示する
ようにしてもよい。このような動作が繰り返し実行さ
れ、曲が終了すると、つまりシーケンス全体の比較およ
び評価の処理が終了すると、トータルスコアが算出され
る。このトータルスコアに応じて、点数が決定され、図
12(A)および(B)から分かるようにモニタ40の
一部に表示される。なお、上述のように、点数に加えて
レベル(ランクA,B,C,DおよびE)を表示するよ
うにしてもよい。Then, the motion verification device 38 compares the teacher data and the input data for each segment, and calculates the score for each segment. In the comparison and evaluation process described above, only the score of each segment is calculated,
The score for each segment may be displayed using the monitor 40. Such an operation is repeatedly executed, and when the music ends, that is, when the comparison and evaluation processing of the entire sequence ends, the total score is calculated. The score is determined according to the total score and is displayed on a part of the monitor 40 as can be seen from FIGS. 12 (A) and 12 (B). As described above, the level (rank A, B, C, D and E) may be displayed in addition to the score.
【0053】なお、このようにシステム10をダンスの
ゲーム機に適用した場合には、予め取得された基準動作
に対応する教師データを用いてCGキャラクタを表示す
るようにしたが、上述した他の装置などに適用する場合
には、実時間でインストラクタの基準動作を取得し、教
師データを提示するようにしてもよい。When the system 10 is applied to the dance game machine as described above, the CG character is displayed by using the teacher data corresponding to the reference motion acquired in advance. When applied to a device or the like, the reference motion of the instructor may be acquired in real time and the teacher data may be presented.
【0054】この実施例によれば、基準動作に対応する
教師データをセグメントに分割し、そのセグメント毎に
教師データとオペレータの連像動作に対応する入力デー
タとを比較するので、正確に動作を検定することができ
る。また、セグメント毎に異なる重みを付けるので、よ
り適切なトータルスコアを算出することができる。According to this embodiment, the teacher data corresponding to the reference motion is divided into segments, and the teacher data is compared with the input data corresponding to the continuous image motion of the operator for each segment. Can be tested. Moreover, since different weights are assigned to the respective segments, a more appropriate total score can be calculated.
【0055】なお、この実施例では、DPマッチング法
で基準動作と連像動作とを比較するようにしたが、HM
M(Hidden Markov Model)法やリカレントニューラルネ
ットワークを用いて比較するようにしてもよい。In this embodiment, the DP matching method is used to compare the reference motion and the continuous image motion.
The comparison may be performed using an M (Hidden Markov Model) method or a recurrent neural network.
【図1】この発明の一実施例を示す図解図である。FIG. 1 is an illustrative view showing one embodiment of the present invention.
【図2】図1実施例に示すモーションキャプチャシステ
ムを示す図解図である。2 is an illustrative view showing a motion capture system shown in FIG. 1 embodiment. FIG.
【図3】セグメント分割方法を示す図解図である。FIG. 3 is an illustrative view showing a segment division method.
【図4】図1実施例に示す第1セグメント分割装置の処
理を示す図解図である。FIG. 4 is an illustrative view showing a process of a first segment dividing device shown in FIG. 1 embodiment.
【図5】図1実施例に示す3次元動作検定装置の処理の
一部を示すフロー図である。FIG. 5 is a flowchart showing a part of the processing of the three-dimensional motion verification apparatus shown in FIG. 1 embodiment.
【図6】図1実施例に示す3次元動作検定装置の処理の
他の一部を示すフロー図である。FIG. 6 is a flowchart showing another part of the processing of the three-dimensional motion inspection apparatus shown in FIG. 1 embodiment.
【図7】DPマッチング法の処理を説明するための図解
図である。FIG. 7 is an illustrative view for explaining a process of the DP matching method.
【図8】図1実施例に示す3次元動作検定装置の他の処
理の一部を示すフロー図である。FIG. 8 is a flowchart showing a part of other processing of the three-dimensional motion verification apparatus shown in FIG. 1 embodiment.
【図9】図1実施例に示す3次元動作検定装置の他の処
理の他の一部を示すフロー図である。FIG. 9 is a flowchart showing another part of the other processing of the three-dimensional motion inspection apparatus shown in the embodiment in FIG. 1;
【図10】図1実施例に示す3次元動作検定装置の他の
処理のその他の一部を示すフロー図である。FIG. 10 is a flowchart showing another part of the other processing of the three-dimensional movement inspection device shown in the embodiment in FIG. 1;
【図11】図1実施例の具体例を示す図解図である。FIG. 11 is an illustrative view showing a specific example of the embodiment in FIG. 1;
【図12】図11の具体例のモニタの表示画面を示す図
解図である。12 is an illustrative view showing a display screen of a monitor of the concrete example of FIG. 11. FIG.
10 …システム 12,14,16,18,20,22 …カメラ 24 …第1モーションキャプチャシステム 26 …第1セグメント分割装置 28 …第1モーションデータ記憶装置 30 …第1画像生成装置 32 …第2モーションキャプチャシステム 34 …第2セグメント分割装置 36 …第2画像生成装置 38 …動作検定装置 40 …モニタ 50,52,54 …画像処理装置 56 …3次元座標算出装置 10 ... System 12, 14, 16, 18, 20, 22, ... Camera 24 ... 1st motion capture system 26 ... First segment dividing device 28 ... First motion data storage device 30 ... First image generating device 32 ... Second motion capture system 34 ... Second segment dividing device 36 ... Second image generating device 38. Motion verification device 40 ... Monitor 50, 52, 54 ... Image processing device 56 ... Three-dimensional coordinate calculation device
フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平9−245178(JP,A) 特開 平10−334270(JP,A) 特開 平7−302341(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 A63B 69/00 G06T 1/00 H04N 7/18 JICSTファイル(JOIS)Front page continuation (72) Inventor Atsushi Otani 5 Seiji-cho, Seika-cho, Soraku-gun, Kyoto Prefecture Mihiratani No. 5 ATR Co., Ltd. Intelligent Video Communications Laboratory (56) Reference JP-A-9-245178 (JP , A) JP 10-334270 (JP, A) JP 7-302341 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) G06T 7 /00-7/60 A63B 69/00 G06T 1/00 H04N 7/18 JISST file (JOIS)
Claims (4)
いて実時間での人物の連続動作を検出する動作検出手
段、前記動作検出手段で検出した連続動作を基準動作と
セグメント毎に比較する比較手段、および前記比較手段
の比較結果に基づいて基準動作に対応する前記連続動作
の近似度を検定する検定手段を備える、3次元連続動作
の検定装置において、 前記セグメント毎の比較のために、実時間で取得される
前記基準動作を適切な境界で分割する分割手段をさらに
備え、その分割手段は、所定期間毎に設定される変動許
容範囲において、評価値が最も高い検出結果が得られる
時点を前記境界とするようにしたことを特徴とする 、3
次元連続動作の検定装置。1. A motion detecting means for detecting a continuous motion of a person in real time based on a plurality of images taken from a plurality of viewpoints, and comparing the continuous motion detected by the motion detecting means with a reference motion for each segment. In a three-dimensional continuous motion test apparatus , which comprises a comparison unit and a verification unit that tests the degree of approximation of the continuous motion corresponding to the reference motion based on the comparison result of the comparison unit, for the comparison for each segment, Get in real time
A dividing means for dividing the reference motion at an appropriate boundary is further provided.
The dividing means is a variable permission set every predetermined period.
The detection result with the highest evaluation value is obtained in the range
3 is characterized in that the time point is set as the boundary.
Dimensional continuous motion tester.
示手段をさらに備える、請求項1記載の3次元連続動作
の検定装置。2. The inspection apparatus for three-dimensional continuous motion according to claim 1, further comprising display means for visually displaying an inspection result of said inspection means.
動作とをDPマッチング法で比較する、請求項1または
2記載の3次元連続動作の検定装置。3. The comparison means is configured to perform the continuous operation and the reference.
The three-dimensional continuous motion test apparatus according to claim 1 or 2 , which compares the motion with a motion by a DP matching method .
近似度を検定する単位検定手段、および前記連続動作の
全てについて前記近似度を検定する総合検定手段を含
む、請求項1ないし4のいずれかに記載の3次元連続動
作の検定装置。 4. The test means is configured to perform the test for each segment.
Unit test means for testing the degree of approximation, and the continuous motion
Includes comprehensive verification means for testing the above-mentioned approximations for all
A test apparatus for three-dimensional continuous motion according to claim 1 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31070399A JP3403363B2 (en) | 1999-11-01 | 1999-11-01 | 3D continuous motion verification system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31070399A JP3403363B2 (en) | 1999-11-01 | 1999-11-01 | 3D continuous motion verification system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001134767A JP2001134767A (en) | 2001-05-18 |
JP3403363B2 true JP3403363B2 (en) | 2003-05-06 |
Family
ID=18008464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31070399A Expired - Fee Related JP3403363B2 (en) | 1999-11-01 | 1999-11-01 | 3D continuous motion verification system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3403363B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4075670B2 (en) | 2003-04-09 | 2008-04-16 | トヨタ自動車株式会社 | Change information recognition apparatus and change information recognition method |
JP4594157B2 (en) * | 2005-04-22 | 2010-12-08 | 日本電信電話株式会社 | Exercise support system, user terminal device thereof, and exercise support program |
US8780119B2 (en) | 2005-08-26 | 2014-07-15 | Sony Corporation | Reconstruction render farm used in motion capture |
JP5515205B2 (en) * | 2007-09-19 | 2014-06-11 | 日本電気株式会社 | Video distribution system, server system, client system, video distribution method, and program |
JP4934629B2 (en) * | 2008-04-11 | 2012-05-16 | 株式会社コナミスポーツ&ライフ | Exercise management device, exercise management method, exercise management program, and exercise management system |
JP4504452B1 (en) * | 2009-01-15 | 2010-07-14 | 株式会社東芝 | Video viewing apparatus, video playback control method, and recording / playback program |
JP5983399B2 (en) * | 2012-12-28 | 2016-08-31 | ブラザー工業株式会社 | Information processing apparatus, information processing method, and program |
JP2014133015A (en) * | 2013-01-11 | 2014-07-24 | Akita Univ | Body motion learning support device |
JP2015186531A (en) * | 2014-03-26 | 2015-10-29 | 国立大学法人 東京大学 | Action information processing device and program |
JP2017055913A (en) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | Motion form determination device, determination method, determination program, and determination system |
TWI681798B (en) * | 2018-02-12 | 2020-01-11 | 莊龍飛 | Scoring method and system for exercise course and computer program product |
-
1999
- 1999-11-01 JP JP31070399A patent/JP3403363B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001134767A (en) | 2001-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6915701B2 (en) | Extraction program, extraction method and information processing equipment | |
JP6120837B2 (en) | How to analyze sports motion video | |
US10803762B2 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
CN105209136B (en) | Barycenter state vector for analyzing the user action in 3D rendering | |
CN105228709B (en) | For the signal analysis that repeats to detect and analyze | |
US7970176B2 (en) | Method and system for gesture classification | |
JP5858261B2 (en) | Virtual golf simulation apparatus, and sensing apparatus and sensing method used therefor | |
KR100430840B1 (en) | Exercise apparatus correcting position through motion comparison, Method of motion comparison and Record medium saving this method of motion comparison | |
CN113850248B (en) | Motion attitude evaluation method and device, edge calculation server and storage medium | |
AU2013215813B2 (en) | Virtual golf simulation apparatus and method for supporting generation of virtual green | |
TWI537767B (en) | System and method of multi-user coaching inside a tunable motion-sensing range | |
CN111480178B (en) | Storage medium storing skill recognition program, skill recognition method, and skill recognition system | |
JP3403363B2 (en) | 3D continuous motion verification system | |
CN105229666A (en) | Motion analysis in 3D rendering | |
WO2012128568A2 (en) | Virtual golf simulation device and sensing device and method used in same | |
WO2007035878A2 (en) | Method and apparatus for determining ball trajectory | |
JP2007301173A (en) | Stroked golf ball display device and program | |
JP2794018B2 (en) | Operation diagnostic device | |
JP7078577B2 (en) | Operational similarity evaluation device, method and program | |
KR20020011851A (en) | Simulation game system using machine vision and pattern-recognition | |
JP2018099452A (en) | Selection support device, selection support system, and selection support method | |
Pai et al. | Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine. | |
KR20150058111A (en) | Golf practice system for providing information on golf lesson and method for processing of information for providing golf lesson information using the system | |
KR20150025833A (en) | Golf practice system for providing information on golf lesson and method for processing of information for providing golf lesson information using the system | |
KR200239844Y1 (en) | Simulation game system using machine vision and pattern-recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030212 |
|
LAPS | Cancellation because of no payment of annual fees |