JP3403363B2 - ３次元連続動作の検定装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は３次元連続動作の検定
装置に関し、特にたとえばオペレータの連続動作を基準
動作と比較し、その近似度を評価する、３次元連続動作
の検定装置に関する。

【０００２】

【従来の技術】この種の従来の３次元連続動作の検定装
置の一例が、平成７年７月２５日付で出願公開された特
開平７−１８５１３１号［Ａ６３Ｆ ９／２２］公報に
開示されている。このテレビ遊戯システムでは、身体の
各部位にマーカーが付された遊戯者をビデオカメラを用
いて所定周期で撮像し、撮像した撮像画像からマーカー
の運動位置が検出される。このマーカーの運動位置から
ゲームキャラクタの表示位置および表示姿勢が演算さ
れ、この表示姿勢に基づき所定の姿勢のゲームキャラク
タの画像が演算された表示位置に対応する表示画面上に
表示される。このように、遊戯者を撮像する毎にゲーム
キャラクタの表示制御を実行し、ゲームキャラクタを遊
戯者の動きに対応して動作させていた。

【０００３】

【発明が解決しようとする課題】しかし、この従来技術
では、所定周期で遊戯者を撮像し、撮像したときの遊戯
者の姿勢に基づいて遊戯者の動作を検出するため、遊戯
者が極端な動きをした場合には、その動作を推定するの
は困難であった。つまり、動作を正確に認識するのが困
難であり、この従来技術を連続した動作を検定するよう
な装置に適用した場合には、動作を正確に検定すること
ができなかった。

【０００４】それゆえに、この発明の主たる目的は、動
作を正確に検定することができる、新規な３次元動作の
検定装置を提供することである。

【０００５】

【課題を解決するための手段】この発明は、複数の視点
から撮影した複数の画像に基づいて実時間での人物の連
続動作を検出する動作検出手段、動作検出手段で検出し
た連続動作を基準動作とセグメント毎に比較する比較手
段、および比較手段の比較結果に基づいて基準動作に対
応する連続動作の近似度を検定する検定手段を備える、
３次元連続動作の検定装置において、セグメント毎の比
較のために、実時間で取得される基準動作を適切な境界
で分割する分割手段をさらに備え、その分割手段は、所
定期間毎に設定される変動許容範囲において、評価値が
最も高い検出結果が得られる時点を境界とするようにし
たことを特徴とする、３次元連続動作の検定装置であ
る。

【０００６】

【作用】この発明の３次元動作検定装置では、動作検出
手段がたとえば複数のカメラを用いて複数の視点から撮
影した複数の画像に基づいて実時間での人物（オペレー
タ）の連続動作を検出する。オペレータの連続動作は、
基準動作とセグメント毎に比較される。検定手段が、連
続動作と基準動作との比較結果に基づいて、基準動作に
対する連続動作の近似度を検定する。セグメント毎に基
準動作とオペレータの連続動作とを比較するので、動作
を正確に判定することができる。そして、比較手段にお
けるセグメント毎の比較のために分割手段を設け、その
分割手段が、実時間で取得される基準動作に対応するモ
ーションデータを適切な境界でセグメントに分割する。
このとき、分割手段は、実時間で取得される基準動作に
対応するモーションデータを、所定の時間間隔を基準に
して設定される変動許容範囲の中で最も検出結果の評価
値が高い時点を境界として分割する。つまり、分割手段
によって基準動作を自動でセグメントに分割することが
できる。

【０００７】たとえば、表示手段が検定結果を可視表示
するので、オペレータはどの程度ＣＧキャラクタの動作
に近似しているかを知ることができる。また、どの程度
上達したかを確かめることができる。

【０００８】

【０００９】

【００１０】

【００１１】

【００１２】また、比較手段は、ＤＰマッチング法で、
基準動作と連続動作とを比較するので、時間軸を変換し
て純粋に動作のみを比較することができる。

【００１３】さらに、単位検定手段がセグメント毎に近
似度を検定し、総合検定手段が、全セグメントをまとめ
た近似度を検定するので、セグメント単位のスコアおよ
び全部のスコアを知ることができる。

【００１４】

【発明の効果】この発明によれば、セグメント毎に連続
動作と基準動作とを比較するので、動作を正確に判定す
ることができる。

【００１５】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００１６】

【実施例】図１を参照して、この実施例の３次元連続動
作検定装置を用いたシステム（以下、単に「システム」
という。）１０は、カラーカメラ（以下、単に「カメ
ラ」という。）１２〜２２を含む。カメラ１２〜１６は
第１モーションキャプチャシステム２４に接続され、カ
メラ１８〜２２は第２モーションキャプチャシステム３
２に接続される。第１モーションキャプチャシステム２
４は、第１セグメント分割装置２６に接続されるととも
に、スイッチＳＷ１の入力端子Ｓ１にも接続される。第
１セグメント分割装置２６は、第１モーションデータ記
憶装置２８に接続される。第１モーションデータ記憶装
置２８は、スイッチＳＷ１の入力端子Ｓ２に接続される
とともに、３次元連続動作検定装置（以下、単に「動作
検定装置」という。）３８にも接続される。スイッチＳ
Ｗ１の出力端子Ｓ３は第１画像生成装置３０に接続され
る。

【００１７】また、第２モーションキャプチャシステム
３２は、第２セグメント分割装置３４に接続されるとと
もに、第２画像生成装置３６にも接続される。第２セグ
メント分割装置３４は、動作検定装置３８に接続され
る。第１画像生成装置３０，第２画像生成装置３６およ
び動作検定装置３８は、モニタ４０に接続される。

【００１８】このシステム１０では、基準動作をするオ
ペレータ以外の人物たとえばインストラクタがカメラ１
２〜１６で撮影され、基準動作をまねて連続動作をする
オペレータがカメラ１８〜２２で撮影される。また、カ
メラ１２〜２２は、人物の正面、側面および上面（立
面）から撮影するために設けられる。なお、カメラ１２
および１８が正面用であり、カメラ１４および２０が側
面用であり、カメラ１６および２２が立面用である。イ
ンストラクタ側のカメラ１２〜１６で撮影された映像に
対応するカラー画像が、第１モーションキャプチャシス
テム２４に与えられる。また、オペレータ側のカメラ１
８〜２２で撮影された映像に対応するカラー画像が、第
２モーションキャプチャシステム３２に与えられる。

【００１９】図２に示すように、第１キャプチャシステ
ム２４と第２モーションキャプチャシステム３２とは同
じ構成から成っている。つまり、カメラ１２〜１６（ま
たは１８〜２２）に対応して、画像処理装置５０〜５４
が設けられる。画像処理装置５０〜５４は、３次元座標
算出装置５６に接続される。画像処理装置５０〜５４
は、それぞれパソコン程度の処理能力を有するコンピュ
ータであり、カメラ１２〜１６（または１８〜２２）か
ら出力されたカラー画像を処理して各画像上における身
体の特徴点、すなわち頭頂点、手先、肘、膝等の特徴的
な身体の部位の２次元座標を検出する。なお、画像処理
装置５０〜５４は、時分割的に処理することによって１
台のより高性能のコンピュータを共有することによって
個別のコンピュータを代替えすることができる。

【００２０】画像処理装置５０〜５４で得られた特徴点
の２次元座標の情報が、３次元座標算出装置５６に与え
られる。この３次元座標算出装置５６もまた、パソコン
程度の処理能力を有する１台のコンピュータであり、本
件出願人により先に出願された特願平１１−１１１６４
５号において開示されているように、特徴点の２次元座
標を三角測量の原理で３次元に復元するとともに、復元
したデータ（３次元座標データ）が妥当であるかどうか
を、たとえば初期的に設定されている人物の身体データ
に基づいて検証する。言い換えると、複数の視点から得
られるカラー画像、つまり正面、側面および立面に対応
するカラー画像に基づいて、オペレータまたはインスト
ラクタの３次元的な姿勢（３次元姿勢）が推定される。
このように推定された３次元姿勢のデータ（姿勢デー
タ）が、３次元座標算出装置５６、つまり第１モーショ
ンキャプチャシステム２４および第２モーションキャプ
チャシステム３２から出力される。

【００２１】第１モーションキャプチャシステム２４か
ら出力された姿勢データが、第１セグメント分割装置２
６に与えられるとともに、スイッチＳＷ１を介して第１
画像生成装置３０に与えられる。第１セグメント分割装
置２６もまた、パソコン程度の処理能力を有する１台の
コンピュータであり、第１モーションキャプチャシステ
ム２４から連続して与えられる姿勢データ（モーション
データ）をセグメントに分割する。

【００２２】たとえば、予め取得された基準動作に対応
するモーションデータを、図３（Ａ）に示すように、任
意の時間間隔Ｔ１，Ｔ２，…，Ｔ５のセグメントに手作
業で分割する。また、予め取得された基準動作に対応す
るモーションデータを、図３（Ｂ）に示すように、所定
の時間間隔Ｔのセグメントに分割する。この実施例で
は、連続する動作を検出するため、時間間隔Ｔは２〜５
秒の間で設定される。なお、これら２つの分割方法で
は、予め基準動作を取得するので、図１に示すカメラ１
２〜１６および第１モーションキャプチャシステム２４
は別途設けてもよく、また第１セグメント分割装置２６
は省略することができる。つまり、セグメントに分割さ
れたモーションデータ（分割データ）を第１モーション
データ記憶装置２８に与えるようにすればよい。

【００２３】さらに、図３（Ｃ）に示すように、所定の
時間間隔Ｔを基準にして、その前後の微小時間dtで決定
される変動許容範囲（Ｔ−dt〜Ｔ＋dt）内でセグメント
の境界を決定することができる。つまり、この変動許容
範囲（Ｔ−dt〜Ｔ＋dt）で最も評価値が高い検出結果が
得られる時点がセグメントの境界に決定される。したが
って、基準動作に対応するモーションデータに基づいて
自動で境界を検出し、セグメントに分割をすることがで
きる。

【００２４】具体的には、図４に示すフロー図に従って
処理される。つまり、第１セグメント分割装置２６がセ
グメントの分割処理を開始すると、ステップＳ１で時間
ｔおよびセグメント数ｎを初期化する。つまり、ｔ＝０
およびｎ＝１に設定する。続くステップＳ３では、評価
値の最大値max および時間インデックスｔindex を初期
化する。つまり、max ＝０およびｔindex ＝０に設定す
る。さらに、ステップＳ５で、ループカウンタのカウン
ト値ｉを初期化する。具体的には、ｉ＝ｔ＋Ｔ−dtに設
定する。続くステップＳ７では、最大値max が評価値Ｅ
（ｉ）より大きいかどうかを判断する。ステップＳ７で
“ＹＥＳ”であれば、つまり最大値maxが評価値Ｅ
（ｉ）より大きければ、そのままステップＳ１１に進
む。

【００２５】一方、ステップＳ７で“ＮＯ”であれば、
つまり最大値max が評価値Ｅ（ｉ）より小さければ、ス
テップＳ９で最大値max に評価値Ｅ（ｉ）を代入し、時
間インデックスｔindex にカウント値ｉを代入して、ス
テップＳ１１に進む。ステップＳ１１でカウント値ｉが
ｔ＋Ｔ＋dtより大きいかどうかを判断する。ステップＳ
１１で“ＮＯ”であれば、変動許容範囲をすべて検索し
ていないと判断し、ステップＳ７に戻る。一方、ステッ
プＳ１１で“ＹＥＳ”であれば、変動範囲をすべて検索
したと判断し、ステップＳ１３に進む。

【００２６】ステップＳ１３では、モーションデータの
境界、つまりセグメントをＭ（ｔ）からＭ（ｔindex ）
までの期間に決定する。続くステップＳ１５では、時間
ｔに時間インデックスｔindex を代入し、セグメント数
ｎをインクリメントして、ステップＳ１７に進む。ステ
ップＳ１７では、時間ｔと所定時間Ｔとの和がモーショ
ンデータの時間長さ、つまりシーケンスの長さＬより大
きいかどうかを判断する。ステップＳ１７で“ＮＯ”で
あれば、全モーションデータをセグメントに分割してい
ないと判断し、ステップＳ３に戻る。一方、ステップＳ
１７で“ＹＥＳ”であれば、全モーションデータをセグ
メントに分割したと判断し、ステップＳ１９で最終セグ
メントを作成して、処理を終了する。つまり、最終セグ
メントに対応するモーションデータは、その最終セグメ
ントの長さよりも短い場合があるため、モーションデー
タに対応する長さにセグメントが短くされる。

【００２７】第１セグメント分割装置２６から出力され
た基準動作の分割データが、第１モーションデータ記憶
装置２８に与えられる。また、同様の方法で、第２モー
ションキャプチャシステム３２から出力されたオペレー
タの連続動作のモーションデータが第２セグメント分割
装置３４でセグメントに分割される。言い換えれば、連
続動作に対応する分割データが生成される。基準動作お
よび連続動作に対応する分割データが、動作検定装置３
８の指示に従って読み出される。したがって、基準動作
に対応する分割データは、動作検定装置３８に与えられ
るとともに、スイッチＳＷ１を介して第１画像生成装置
３０に与えられる。また、連続動作に対応する分割デー
タが、動作検定装置３８に与えられる。

【００２８】動作検定装置３８もまた、パソコン程度の
処理能力を有する１台のコンピュータであり、基準動作
と連続動作とを比較する。そして、比較結果に基づい
て、連続動作が基準動作に近似している度合いを評価す
る。さらに、評価した結果をモニタ４０を用いて表示す
る。たとえば、近似している度合いを割合で表示した
り、またその割合を点数で表示したり、さらに所定のレ
ベル（ランクＡ，Ｂ，Ｃ，ＤおよびＥ）で表示すること
ができる。なお、近似割合または点数と所定のレベルと
の両方で表示するようにしてもよい。

【００２９】第１画像生成装置３０は、第１モーション
キャプチャシステム２４または第１モーションデータ記
憶装置２８から出力された基準動作に対応するモーショ
ンデータの分割データに基づいて、コンピュータグラフ
ィック（ＣＧ）の手法により「アバタ」と呼ばれるイン
ストラクタの人物画像を仮想３次元環境内に再現または
再生する。したがって、インストラクタの基準動作が、
ＣＧキャラクタによってモニタ４０上に表示（再現）さ
れる。また、スイッチＳＷ１は、自由に切り換えられ、
第１モーションキャプチャシステム２４の出力または第
１モーションデータの出力が選択される。具体的には、
実時間でインストラクタの基準動作を取得する場合に
は、スイッチＳＷ１は入力端子Ｓ１側に接続され、第１
モーションキャプチャシステム２４の出力が選択され
る。一方、予め記憶したインストラクタの基準動作と実
時間のオペレータの連続動作とを比較する場合には、ス
イッチＳＷ１は入力端子Ｓ２側に接続され、第１モーシ
ョンデータ記憶装置２８の出力が選択される。

【００３０】また、第２画像生成装置３６は、第２モー
ションキャプチャシステム３２から出力されたモーショ
ンデータに基づいて、第１画像生成装置３０と同様にし
て、オペレータの人物画像を仮想３次元環境内に再現ま
たは再生する。したがって、オペレータの連続動作をＣ
Ｇキャラクタによってモニタ４０上に表示することがで
きる。

【００３１】上述のように、インストラクタの基準動作
とオペレータの連続動作とを比較し、比較結果を評価す
る。この比較および評価の処理は２通りがある。第１の
方法は、図５および図６に示すような、予め取得された
基準動作に対応するモーションデータを用いて比較する
方法である。また、第２の方法は、図８〜図１０で示す
ような、実時間で所得した基準動作に対応するモーショ
ンデータを用いて比較する方法である。つまり、図４を
用いて説明したように自動でセグメントの境界を決定し
て、セグメントを分割する方法が採用される。

【００３２】具体的に説明すると、まず第１の方法で
は、図５に示すように、動作検定装置３８が比較および
評価の処理を開始すると、ステップＳ３１で、速度むら
パスの線形性（以下、単に「線形性」という。）Ｐｓを
初期化する。つまり、図７に示すように、ＤＰマッチン
グの処理で実線で示したオペレータの連続動作に該当す
るパス（入力データＳ）と点線で示すインストラクタの
基準動作に該当する教師データＴとの間に生じる速度む
らの初期値が設定される。Ｐｓ（０，１，．．．，Ｎ）
＝０に設定する。続くステップＳ３３で、セグメント数
ｎを初期化する。つまり、ｎ＝１に設定する。そして、
ステップＳ３５で、１セグメント内の時間ｔをカウント
するカウンタをリセット（ｔ＝０）して、スタートす
る。次に、ステップＳ３７で、第１モーションデータ記
憶装置２８に指示して、基準動作の分割データ（教師デ
ータＴ（ｎ，ｔ））を読み出し、教師データＴ（ｎ，
ｔ）に従って基準動作をするＣＧキャラクタをモニタ４
０に表示する。ステップＳ３９では、第２セグメント分
割装置３４を指示して、オペレータの分割データ（入力
データＳ（ｔ））を取り込む。続くステップＳ４１で
は、セグメントに対応する時間間隔Ｌ（ｎ）より時間ｔ
が大きいかどうかを判断する。つまり、１セグメントに
対応する時間が経過したかどうかを判断する。ステップ
Ｓ４１で“ＮＯ”であれば、１セグメントに対応する時
間間隔Ｌ（ｎ）が経過していないと判断し、ステップＳ
３７に戻る。一方、ステップＳ４１で“ＹＥＳ”であれ
ば、１セグメントに対応する時間間隔Ｌ（ｎ）が経過し
たと判断し、ステップＳ４３でＤＰマッチング法により
距離値Ｄ（ｎ）とパスＰ（ｔ）とを算出する。ここで、
距離値Ｄ（ｎ）は、時間軸を変換した後の教師データＴ
（ｎ，ｔ）と入力データＳ（ｔ）との誤差分である。

【００３３】図６に示すように、続くステップＳ４５で
は、ループカウンタをリセット（ｔ＝０）して、スター
トする。ステップＳ４７では、時間ｔにおける速度むら
Ｐｓ（ｎ）を計算する。具体的には、数１に従って速度
むらを算出する。

【００３４】

【数１】Ｐｓ（ｎ）＝Ｐｓ（ｎ）＋｜Ｐ（ｔ）−ｔ｜ なお、Ｐ（ｔ）は速度むらを含んだパスの値であり、教
師データＴ（ｎ，ｔ）と入力データＳ（ｔ）とが完全に
一致した場合にはＰ（ｔ）＝ｔとなる。つまり、傾きが
ｔとなる場合がパスの理想的な値である。

【００３５】続くステップＳ４９では、時間ｔが１セグ
メントに対応する時間間隔Ｌ（ｎ）より大きいかどうか
を判断する。つまり、１セグメントに対応する時間間隔
Ｌ（ｎ）が経過したかどうかを判断する。ステップＳ４
９で“ＮＯ”であれば、１セグメントに対応する時間間
隔Ｌ（ｎ）が経過していないと判断して、ステップＳ４
７に戻る。一方、ステップＳ４９で“ＹＥＳ”であれ
ば、１セグメントに対応する時間Ｌ（ｎ）が経過したと
判断し、ステップＳ５１で１セグメント内の評価値（ス
コア）Ｔｓを計算する。具体的には、数２に従って計算
する。ただし、ａおよびｂは重み係数であり、セグメン
トの長さ等に応じて設定される。

【００３６】

【数２】Ｔｓ＝ａ＊Ｄ（ｎ）＋ｂ＊Ｐｓ（ｎ） ただし、ａ＋ｂ＝１である。

【００３７】数２から分かるように、スコアＴｓは距離
値Ｄ（ｎ）とパスＰｓ（ｎ）とによって表されるため、
数２で示すＴｓの値が小さい程、オペレータの連続動作
がインストラクタの基準動作に近似していることにな
る。

【００３８】１セグメントのスコアＴｓを算出すると、
ステップＳ５３でセグメント数をインクリメント（ｎ＝
ｎ＋１）して、ステップＳ５５でセグメント数ｎが総セ
グメント数Ｎより大きいかどうかを判断する。つまり、
全セグメントについて比較および評価を実行したかどう
かを判断する。ステップＳ５５で“ＮＯ”であれば、全
セグメントについて比較および評価が終了していないと
判断し、そのままステップＳ３５に戻る。つまり、次の
セグメントについての比較および評価を実行する。一
方、ステップＳ５５で“ＹＥＳ”であれば、全セグメン
トについての比較および評価の処理が終了したと判断
し、ステップＳ５７で全体のスコア（トータルスコア）
を算出する。具体的には、数３に従ってトータルスコア
（TotalScore) を算出する。

【００３９】

【数３】ＴｏｔａｌＳｃｏｒｅ＝Σ｛Ｔｓ（ｎ）＊Ｌ
（ｎ）／ΣＬ（ｎ）｝ このように、重みをつけてセグメント毎にスコアを算出
し、それらを平均してトータルスコアを算出するので、
重みづけをせずにセグメント毎のスコアを平均した場合
よりも適正な評価をすることができる。この算出したト
ータルスコアに応じて、点数およびレベルが決定され
る。なお、上述のように、Ｔｓ（ｎ）が小さい程、オペ
レータの連続動作が基準動作に近似しているため、トー
タルスコアが小さい程、点数およびレベルが高くなる。
また、スコアは身体の全体の動作について算出するよう
にしたが、身体の各部位についてのスコアを表示するよ
うにしてもよい。

【００４０】また、第２の方法では、図８に示すよう
に、比較および評価の処理が開始すると、ステップＳ７
１で各変数を初期化する。具体的には、線形性Ｐｓ
（０，１，．．．，Ｎ）＝０，入力データの開始位置Ｓ
ｐ＝０，セグメント数ｎ＝１，教師データＴ（ｔ）の開
始位置Ｔｐ＝０および１シーケンスにかかる時間ｔ＝０
に設定する。続くステップＳ７３では、セグメントの境
界Ｏｕｔを初期化する。つまり、Ｏｕｔ＝Ｔｐ＋Ｌ
（ｎ）に設定する。ステップＳ７５では、時間ｔが教師
データＴ（ｔ）のセグメントに対応する時間間隔Ｌ
（ｎ）の総和より大きいかどうかを判断する。つまり、
全ての教師データＴ（ｔ）を提示したかどうかを判断す
る。ステップＳ７５で“ＮＯ”であれば、残りの教師デ
ータＴ（ｔ）があると判断し、ステップＳ７７で教師デ
ータＴ（ｔ）を提示して、ステップＳ７９に進む。一
方、ステップＳ７５で“ＹＥＳ”であれば、全ての教師
データＴ（ｔ）を提示したと判断し、そのままステップ
Ｓ７９に進む。

【００４１】ステップＳ７９では入力データＳ（ｔ）を
取り込み、ステップＳ８１では時間ｔがＯｕｔ＋ｄｔよ
り大きいかどうかを判断する。すなわち、シーケンスの
範囲を越えているかどうかを判断する。ステップＳ８１
で“ＮＯ”であれば、つまりシーケンスの範囲を越えて
いなければ、ステップＳ７５に戻る。一方、ステップＳ
８１で“ＹＥＳ”であれば、つまりシーケンスの範囲を
越えていれば、ステップＳ８３で変数ｍｉｎおよび時間
インデックスindex を初期化する。つまり、ｍｉｎ＝最
大値、およびindex ＝０にする。

【００４２】図９に示すように、続くステップＳ８５で
はループカウンタのカウント値ｅをＯｕｔ−ｄｔに設定
（リセット）してスタートする。次にステップＳ８７で
は、変数ｍｉｎが時間ｅに対する入力データＳ（ｅ）と
同じく教師データＴ（ｅ）との差の絶対値より大きいか
どうかを判断する。ステップＳ８７で“ＮＯ”であれ
ば、つまり差の絶対値が変数ｍｉｎより小さければ、そ
のままステップＳ９１に進む。一方、ステップＳ８７で
“ＹＥＳ”であれば、ステップＳ８９で変数ｍｉｎに差
の絶対値を代入し、時間インデックスindex にその時の
カウント値ｅを代入して、ステップＳ９１に進む。この
ように、教師データと入力データとの間で、もっともマ
ッチングが取れている（差分が最小となる）場合に、つ
まり評価値が高い場合にセグメントの境界とされる。

【００４３】ステップＳ９１では、時間Ｔがシーケンス
の範囲を越えているかどうかを判断する。ステップＳ９
１で“ＮＯ”であれば、つまりシーケンスの範囲を越え
てなければ、ステップＳ８７に戻る。一方、ステップＳ
９１で“ＹＥＳ”であれば、つまりシーケンスの範囲を
越えていれば、ステップＳ９３で距離値Ｄ（ｎ）および
パスＰ（ｘ）をＴ（Ｔｐ〜Ｏｕｔ）とＳ（Ｓｐ〜index
）でＤＰマッチング法により算出する。続くステップ
Ｓ９５では、時間Ｓｑに時間インデックスindexから入
力データＳ（ｔ）の開始時間Ｓｐを差し引いたものを代
入し、教師データＴ（ｔ）と入力データＳ（ｔ）との時
間差Ｒ（ｎ）に時間間隔Ｌ（ｎ）と時間Ｓｑとの差分の
絶対値を代入する。つまり、時間軸が変換される。

【００４４】図１０に示すように、続くステップＳ９７
ではループカウンタのカウント値ｘをリセット（ｘ＝
０）およびスタートし、ステップＳ９９では速度むらを
算出する。具体的には、数４に従って速度むらを算出す
る。

【００４５】

【数４】Ｐｓ（ｎ）＝Ｐｓ（ｎ）＋｜Ｐ（ｘ）−（ｘ＊
Ｌ）／Ｓｑ｜ この場合には、予め取得した基準動作を用いる第１の方
法と異なり、教師データＴ（ｔ）の傾きが１にならない
ので、図７から分かるように、最終項のような傾き
（（ｘ＊Ｌ）／Ｓｑ）で理想値が示される。ただし、教
師データＴ（ｔ）は、ｙ＝αｘ（α≠０，１）の関数で
ある。

【００４６】続いてステップＳ１０１では、ループカウ
ンタのカウント値ｘが時間Ｓｑより大きいかどうかを判
断する。ステップ１０１で“ＮＯ”であれば、つまりカ
ウント値ｘが時間Ｓｑより小さければ、ステップＳ９９
に戻る。一方、ステップＳ１０１で“ＹＥＳ”であれ
ば、つまりカウント値ｘが時間Ｓｑより大きければ、ス
テップＳ１０３で１セグメントのスコアＴｓ（ｎ）を算
出する。具体的には、数５に従って算出される。また、
上述と同様にａ，ｂおよびｃは重み係数である。

【００４７】

【数５】Ｔｓ（ｎ）＝ａ＊Ｄ（ｎ）＋ｂ＊Ｐｓ（ｎ）＋
ｃ＊Ｒ（ｎ） ただし、ａ＋ｂ＋ｃ＝１である。

【００４８】速度むらが算出されると、ステップＳ１０
５で教師データの開始位置Ｔｐが変更される。具体的に
は、評価したセグメントの時間間隔Ｌ（ｎ）を開始位置
Ｔｐに加算する。つまり、Ｔｐ＝Ｔｐ＋Ｌ（ｎ）とす
る。続いて、ステップＳ１０７で、セグメント数をイン
クリメント（ｎ＝ｎ＋１）する。そして、ステップＳ１
０９で、セグメント数ｎが全セグメント数Ｎより大きい
かどうかを判断する。つまり、全てのセグメントについ
て比較および評価の処理を実行したかどうかを判断す
る。ステップＳ１０９で“ＮＯ”であれば、残りのセグ
メントがあると判断して、ステップＳ７３に戻る。一
方、ステップＳ１０９で“ＹＥＳ”であれば、全てのセ
グメントについて比較および評価の処理を実行したと判
断し、ステップＳ１１１でトータルスコアを算出して、
処理を終了する。具体的には、トータルスコアは数６に
従って算出される。

【００４９】

【数６】ＴｏｔａｌＳｃｏｒｅ＝Σ｛Ｔｓ（ｎ）＊Ｌ
（ｎ）／ΣＬ（ｎ）｝ なお、第１の方法と同様に、トータルスコアに応じて点
数およびレベルが決定される。また、トータルスコアが
小さい程、点数およびレベルが高くなる。

【００５０】このようなシステム１０は、具体的には拳
法および太極拳などの型の練習装置、ダンスのレッスン
装置およびダンスのゲーム機などに適用できる。たとえ
ば、図１１に示すように、ダンスのゲーム機に適用する
場合には、オペレータはカメラ１８〜２２が設置された
ゲーム機のたとえばステージに上がる。そして、所定の
料金を課金した後に、モニタ４０に表示されるメニュー
に従って難易度（ｅａｓｙ，ｓｔａｎｄａｒｄ，ｈａｒ
ｄ）およびダンスする曲などを選択する。ゲームがスタ
ートすると、図１２（Ａ）に示すように、モニタ４０に
は予め記憶された基準動作に応じてＣＧキャラクタが表
示され、これをオペレータがまねてダンスする。する
と、ダンス（連続動作）をするオペレータがカメラ１８
〜２２で撮影される。つまり、入力データが取得され
る。なお、図１２（Ｂ）に示すように、モニタ４０に基
準動作およびオペレータの連続動作を２画面分割表示す
るようにしてもよい。

【００５１】また、ダンスを提示する場合やオペレータ
の連続動作を入力する場合に、選択した特定のリズムや
音楽を同時に提示し、動作の同期を促すシステムを追加
してもよい。

【００５２】そして、動作検定装置３８が教師データと
入力データとをセグメント毎に比較し、セグメント毎の
点数を算出する。なお、上述した比較および評価の処理
では、各セグメントの点数等を算出しただけであるが、
このセグメント毎の点数をモニタ４０を用いて表示する
ようにしてもよい。このような動作が繰り返し実行さ
れ、曲が終了すると、つまりシーケンス全体の比較およ
び評価の処理が終了すると、トータルスコアが算出され
る。このトータルスコアに応じて、点数が決定され、図
１２（Ａ）および（Ｂ）から分かるようにモニタ４０の
一部に表示される。なお、上述のように、点数に加えて
レベル（ランクＡ，Ｂ，Ｃ，ＤおよびＥ）を表示するよ
うにしてもよい。

【００５３】なお、このようにシステム１０をダンスの
ゲーム機に適用した場合には、予め取得された基準動作
に対応する教師データを用いてＣＧキャラクタを表示す
るようにしたが、上述した他の装置などに適用する場合
には、実時間でインストラクタの基準動作を取得し、教
師データを提示するようにしてもよい。

【００５４】この実施例によれば、基準動作に対応する
教師データをセグメントに分割し、そのセグメント毎に
教師データとオペレータの連像動作に対応する入力デー
タとを比較するので、正確に動作を検定することができ
る。また、セグメント毎に異なる重みを付けるので、よ
り適切なトータルスコアを算出することができる。

【００５５】なお、この実施例では、ＤＰマッチング法
で基準動作と連像動作とを比較するようにしたが、ＨＭ
Ｍ（Hidden Markov Model)法やリカレントニューラルネ
ットワークを用いて比較するようにしてもよい。

【図面の簡単な説明】

【図１】この発明の一実施例を示す図解図である。

【図２】図１実施例に示すモーションキャプチャシステ
ムを示す図解図である。

【図３】セグメント分割方法を示す図解図である。

【図４】図１実施例に示す第１セグメント分割装置の処
理を示す図解図である。

【図５】図１実施例に示す３次元動作検定装置の処理の
一部を示すフロー図である。

【図６】図１実施例に示す３次元動作検定装置の処理の
他の一部を示すフロー図である。

【図７】ＤＰマッチング法の処理を説明するための図解
図である。

【図８】図１実施例に示す３次元動作検定装置の他の処
理の一部を示すフロー図である。

【図９】図１実施例に示す３次元動作検定装置の他の処
理の他の一部を示すフロー図である。

【図１０】図１実施例に示す３次元動作検定装置の他の
処理のその他の一部を示すフロー図である。

【図１１】図１実施例の具体例を示す図解図である。

【図１２】図１１の具体例のモニタの表示画面を示す図
解図である。

【符号の説明】

１０ …システム １２，１４，１６，１８，２０，２２ …カメラ ２４ …第１モーションキャプチャシステム ２６ …第１セグメント分割装置 ２８ …第１モーションデータ記憶装置 ３０ …第１画像生成装置 ３２ …第２モーションキャプチャシステム ３４ …第２セグメント分割装置 ３６ …第２画像生成装置 ３８ …動作検定装置 ４０ …モニタ ５０，５２，５４ …画像処理装置 ５６ …３次元座標算出装置

フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平９−245178（ＪＰ，Ａ) 特開 平10−334270（ＪＰ，Ａ) 特開 平７−302341（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 A63B 69/00 G06T 1/00 H04N 7/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】複数の視点から撮影した複数の画像に基づ
   いて実時間での人物の連続動作を検出する動作検出手
   段、前記動作検出手段で検出した連続動作を基準動作と
   セグメント毎に比較する比較手段、および前記比較手段
   の比較結果に基づいて基準動作に対応する前記連続動作
   の近似度を検定する検定手段を備える、３次元連続動作
   の検定装置において、 前記セグメント毎の比較のために、実時間で取得される
   前記基準動作を適切な境界で分割する分割手段をさらに
   備え、その分割手段は、所定期間毎に設定される変動許
   容範囲において、評価値が最も高い検出結果が得られる
   時点を前記境界とするようにしたことを特徴とする 、３
   次元連続動作の検定装置。
2. 【請求項２】前記検定手段の検定結果を可視表示する表
   示手段をさらに備える、請求項１記載の３次元連続動作
   の検定装置。
3. 【請求項３】前記比較手段は、前記連続動作と前記基準
   動作とをＤＰマッチング法で比較する、請求項１または
   ２記載の３次元連続動作の検定装置。
4. 【請求項４】前記検定手段は、前記セグメント毎に前記
   近似度を検定する単位検定手段、および前記連続動作の
   全てについて前記近似度を検定する総合検定手段を含
   む、請求項１ないし４のいずれかに記載の３次元連続動
   作の検定装置。