JP2005322097A

JP2005322097A - 対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラム

Info

Publication number: JP2005322097A
Application number: JP2004140569A
Authority: JP
Inventors: Ken Tsutsuguchi; けん筒口; Yoshiyo Ikeda; 佳代池田; Kiyoshi Tanaka; 清田中; Tsutomu Sasaki; 努佐々木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-05-11
Filing date: 2004-05-11
Publication date: 2005-11-17

Abstract

【課題】対象物像の撮影画像をテクスチャデータとして用いた対象物像モデルを、正面あるいは背面以外から見ても不自然になることがなく、対象物像の動作に応じた大量の撮影画像を用意することなくアニメーションを生成し、表示することのできる対象物像モデルのアニメーション表示装置等を提供すること目的とする。
【解決手段】対象物像モデルの移動可能な方向を予め複数の領域に区分しておき、ユーザの視線方向と前記対象物像モデルの移動方向とから、前記対象物像モデルの移動方向の属する前記領域を判定する移動方向判定手段４００と、前記領域毎に撮影角度を変えて同一の対象物を撮影し、複数の対象物像モデルを記憶手段に記憶しておき、前記移動方向判定手段の判定結果に対応して、前記記憶した対象物像モデルに切り替えるモデル切替手段５００と、前記判定結果に対応して、対象物像モデルの関節回転軸を切り替える関節回転軸切替手段６００とを備えた。
【選択図】図１

Description

本発明は、３次元コンピュータ・グラフィックスにおいて、対象物像モデルのアニメーションによる移動方向により、対象物像モデルの表示を切り替えることのできる対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラムに関する。

３次元コンピュータ・グラフィックスにおいて、リアルな人物像を生成し表示する基本的な方法として、ポリゴンにて（例えば、ＶＲＭＬ（Virtual Reality Modeling Language）形式による）３次元サーフェイス・モデルを作成し、モデルに何らかの動きデータを与えて、フレーム毎に位置や姿勢を変化させて表示する方法がある。

その際、３次元のモデルを作成するのは手間がかかるため、例えば、１枚あるいは複数枚からなるポリゴンに人物像を撮影した画像あるいは動画像から人物像部分を切り出し、テクスチャ・マッピング処理を施して表示する方法も存在する。

非特許文献１に記載の技術では、まず、人物像写真画像をディジタル画像として入力し、ディジタル画像上でマウス等により人物像写真画像において骨格を表す線を線描画し（図７の左図参照）、関節位置の指定をユーザから受け付けて人物像骨格モデルを作成する（図７の右図参照）。さらに、ディジタル画像上でマウス等により多角形を人物像写真画像上に指定すると共に、骨格毎にユーザからテクスチャ領域の指定を受け付けて、テクスチャ領域と相似な形状を持つ前に生成した多角形をポリゴンとして対応付け、テクスチャ領域を対応する骨格のポリゴンにテクスチャ・マッピングする（図８参照）。そして、骨格モデルに対し運動データを与えて人物像の歩行動作を生成し、コンピュータ・アニメーションとして表示する。
筒口、青木、新谷、「人物画像からの３次元歩行アニメーションの生成」、電子情報通信学会春季総合大会（情報システム２）、Ｄ−１２−１２１、２０００年３月

しかしながら、ポリゴンに２次元の画像を貼り付けたモデルは、３次元的な厚みを持たないため、樹木の運動（表示画面に対して平行な方向への運動）や、非特許文献１に示される人物像の歩行のように、進行方向に対するねじれが少ない運動には有効であるが、正面または背面以外の方向から見ると不自然さが生じてしまうとういう問題点があった。

本発明は前記問題点に鑑みてなされたものであり、その目的とするところは、対象物像の撮影画像をテクスチャデータとして用いた対象物像モデルを、正面あるいは背面以外から見ても不自然になることがなく、対象物像の動作に応じた大量の撮影画像を用意することなくアニメーションを生成し、表示することのできる対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラムを提供することにある。

前記課題を解決するため、本発明では、対象物像モデルの移動方向に応じて、表示する対象物像モデルを切り替える。

その際、例えば、図３の（１）に示すように、正面または背面への移動であれば、正面または背面から被写体対象物を撮影した画像を用い、図３の（２）のように斜め方向への移動であれば、斜め方向から被写体対象物を撮影した画像を用い、また、図３の（３）のように横方向への移動であれば、横方向から被写体対象物を撮影した画像を用いる。このとき、図４に示すように、関節回転軸と、対象物像モデルを構成するポリゴンの配置関係が、対象物像モデルの移動方向と視線との関係に応じて異なるようにする。すなわち、（１）では、対象物像モデルは図面の手前または奥に向かって移動するので、関節回転軸は視線に対して垂直である。（３）では、対象物像モデルは横方向に移動するので、関節回転軸は視線に対して平行である。（２）では、対象物像モデルは斜め方向に移動するので、関節回転軸は視線に対して（１）、（２）の場合との中間の角度をなしている。

図５は、図４を視線と同じ方向、すなわち視線が図面の手前から奥へ向かう方向から見た図である。（１）では、対象物像モデルを構成するポリゴンは関節回転軸に平行であり、（３）では、対象物像モデルを構成するポリゴンは関節回転軸に垂直であり、（２）においては対象物像モデルを構成するポリゴンと関節回転軸がなす角は（１）、（２）の場合との中間である。

図６は、視線と対象物像モデルの移動方向の関係を表す図である。コンピュータ・グラフィックスによる３次元空間の座標系の取り方の慣習に従い、視線方向を右手系ｚ軸の負の方向に取ると（鉛直上向きがｙ軸である）、視線方向は単位ベクトルｖ＝（０，０，１）と表すことができる（アンダーラインはベクトルを表す）。そうすると、対象物像モデルの移動方向をｄ＝（ｄ_x，０，ｄ_z）、または視線からなす角θで表すことができる。

例えば、図６では対象物像モデルの移動方向が、破線で８つに区分されている。この時、視線方向の識別子は５番であり、ｄ＝（ｄ_x，０，ｄ_z）または角θの方向は識別子８番で表され、この範囲によって対象物像モデルを決定する。

以上を鑑み、本発明では、骨格間の関節よって接続された複数のポリゴンよりなる対象物像モデルを３次元コンピュータ・グラフィックスとしてディスプレイ上で動作させる対象物像モデルのアニメーション表示装置において、対象物像モデルの移動可能な方向を予め複数の領域に区分しておき、ユーザの視線方向と前記対象物像モデルの移動方向とから、前記対象物像モデルの移動方向の属する前記領域を判定する移動方向判定手段と、前記領域毎に撮影角度を変えて同一の対象物を撮影し、複数の対象物像モデルを記憶手段に記憶しておき、前記移動方向判定手段の判定結果に対応して前記記憶した対象物像モデルに切り替えるモデル切替手段と、前記判定結果に対応して、対象物像モデルの関節回転軸を切り替える関節回転軸切替手段とを備えたことを特徴とする。

また、前記対象物像モデルを構成するポリゴンの法線を、前記視線方向に平行な３次元空間内の鉛直面に含まれるように表示することを特徴とする。

骨格間の関節よって接続された複数のポリゴンよりなる対象物像モデルを３次元コンピュータ・グラフィックスとしてディスプレイ上で動作させる対象物像モデルのアニメーションにおいて、対象物像の撮影画像をテクスチャデータとして用いた対象物像モデルを、正面あるいは背面以外から見ても不自然になることがなく、対象物像の動作に応じた大量の撮影画像を用意することなくアニメーションを生成し、表示することができる。

次に、本発明の一実施形態について、図面を参照しながら詳細に説明する。図１は、本発明の対象物像モデルのアニメーション表示装置を表す図である。ここでは、アニメーション作成の対象物として人間（人物）を例として取り上げる。

本発明の対象物像モデルのアニメーション表示装置は、画像読込受入手段１０と、骨格作成受入手段２０と、骨格テクスチャ作成受入手段３０と、識別子付与受入手段４０と、データ記憶手段５０と、データ読込手段１１０と、骨格モデル作成手段１２０と、テクスチャポリゴン生成手段１３０と、識別子付対象物像モデル生成手段１４０と、３次元ワールド生成手段２００と、関節角度計算手段３００と、移動方向判定手段４００と、モデル切替手段５００と、関節回転軸切替手段６００と、関節角度適用手段７００およびアニメーション表示手段８００とからなる。

前記画像読込受入手段１０は、人物像を撮影した画像の読込を受け入れる。

前記骨格作成受入手段２０は、人物画像を基に、骨格の生成を受け入れる。骨格作成において、図７の左図のように指定した線分の端点を関節とし、関節間を骨格と定義し、端点間の距離を各骨格の長さとする。

前記骨格テクスチャ作成受入手段３０は、人物画像を基に、骨格に対し貼り付ける骨格テクスチャの指定を受け入れる。その際、骨格テクスチャの指定において、画像上の座標値により指定してもよい。また、骨格テクスチャの指定における画像上の座標値による指定によって、骨格に貼り付けるポリゴンの相対座標値としてもよい。

前記識別子付与受入手段４０は、画像に対し、識別子の付与を受け付ける。例えば、８方向から撮影した画像があり、同一の被写体から８対の人物像モデルを作成したような場合に、予め指定された順序に基づく識別子、あるいは、「視線方向から角度θ₁〜θ₂の範囲」といった条件を指定する。例えば、図６では、視線方向の識別子は５番、角θ₁と角θ₂の間の識別子は８番となる。

前記データ記憶手段５０は、以上の人物画像、人物像の骨格、骨格テクスチャ座標、識別子を外部記憶装置６０に記憶する。

前記データ読込手段１１０は、外部記憶装置６０に記憶された人物像に関するデータを読み込む。

前記骨格モデル作成手段１２０は、データ読込手段１１０により読み込んだデータにより、人物像の骨格モデル、すなわち、図７の右図のように関節により接続された骨格により、多関節構造体として構成される人物像モデルを作成する。この人物像モデルは非特許文献１に記載の方法により生成してもよい。

前記テクスチャポリゴン生成手段１３０は、骨格テクスチャ座標を適用してポリゴンを作成し、骨格テクスチャ座標に対応する画面上のテクスチャ画像を貼り付け、テクスチャポリゴンとする。人物像モデルに対するテクスチャの貼り付けは、非特許文献１に記載の方法により行ってもよい。

前記識別子付対象物像モデル生成手段１４０は、骨格モデルおよびテクスチャポリゴンにより生成された人物像モデルに、読み込んだ識別子を付与する。

前記３次元ワールド生成手段２００は、人物像モデルを表示する周囲の３次元空間を、コンピュータ・グラフィックスにより生成する手段である。このとき、３次元空間は、空間座標軸を右手系に取り、表示のための視線方向がｚ軸の負の向きであることとするが、特に、この取り方に限定されるものではない。

前記関節角度計算手段３００は、人物像モデルの姿勢を決定するため、各関節の関節角度を計算する。この関節角度の計算は、予めモーションキャプチャ等により採取された関節角度の時系列データでもよい。

前記移動方向判定手段４００は、人物像モデルが３次元空間内で移動する方向を判定し、その移動範囲の識別子を判定する。例えば、図６では、人物像モデルは、θ₁とθ₂で挟まれた視線方向からの角度θの方向に進んでいるので、識別子は８番である。このとき、読み込んだ人物像モデルデータの識別子情報によって、移動方向がどの範囲に属するかにより、移動方向を識別してもよい。

前記モデル切替手段５００は、移動範囲の識別子に応じて、対応する識別子を有する人物像モデルを選択する。

前記関節回転軸切替手段６００は、人物像モデルの移動方向に応じて、関節角度計算手段３００により計算された関節角度の回転を適用するよう人物モデルの座標軸を切り替える。

例えば、図３、図４、図５に示すように、視線方向に対し、骨格テクスチャを貼り付けたポリゴンが正対、したがって、ポリゴンの法線が視線方向に一致するように表示するのが望ましい。実際は、ポリゴンが関節角度の回転に伴って動くため、なるべくポリゴンの法線が、３次元空間内の視線方向に平行な鉛直面に含まれることが望ましい。

しかしながら、図４の（１）、（２）、（３）あるいは図５の（１）、（２）、（３）に示すように、一見、同一のポリゴンに同一の関節回転を施す場合でも、ポリゴンが回転軸となす角度が異なるため、移動方向に応じて、関節角度の回転座標軸が異なる場合がある。

したがって、ポリゴンの法線に対する望ましい条件から、回転座標軸と、ポリゴンと、ポリゴンの回転座標軸との交点を通り、３次元空間内のｘ軸に平行な直線を回転座標軸と切り替える。このとき、回転角度は得に修正しなくてもよい。

前記関節角度適用手段７００は、骨格毎に、切り替えられた回転軸の周りに、関節角度だけテクスチャポリゴンを回転する。

前記アニメーション表示手段８００は、３次元空間を移動する選択された人物像モデルを、関節角度を適用した姿勢で表示する。

以上の構成手段により、人物像の３次元空間内における移動方向に応じた人物モデルによるアニメーションの表示が可能となる。

図２は、本発明の対象物像のアニメーション表示プログラムをコンピュータに実行させたときの、コンピュータの動作のフローチャートである。ここでは、図１の説明と同様、対象物として人間（人物）を例に取り上げ説明する。

始めに、前記画像読込受入手段１０が、人物像を撮影した画像の読込を行う（ステップＳＰ１０）。

次に、前記骨格作成受入手段２０が、読み込んだ人物画像を基に、図７の左図に示すような骨格の作成を行う（ステップＳＰ２０）。

次に、骨格テクスチャ作成受入手段３０が、身体の骨格毎に、骨格テクスチャの作成および骨格テクスチャを貼り付けられるポリゴンの座標値の指定を行う。全ての必要な骨格に対し、骨格テクスチャを指定し、骨格よりなる１体の人物像を完成する（ステップＳＰ３０）。

続いて、前記識別子付与受入手段４０が、前記１体の人物像に対し、識別子の指定を受け付けて付与する（ステップＳＰ４０）。例えば、８方向から撮影した画像があり、同一の被写体人物像から８体の人物像モデルを作成したような場合に、予め指定された順序に基づく識別子あるいは「視線方向から、角度θ₁〜θ₂の範囲」といった条件を指定する。

さらに、前記データ記憶手段５０が、以上の人物画像、人物像の骨格、骨格テクスチャ座標、識別子を記憶する（ステップＳＰ５０）。その際、複数の人物像モデルを生成することもあるため、被写体を識別する識別子等を付与してもよい。

以上により、人物像が作成され、その作成に必要なデータ、すなわち、画像データ、骨格テクスチャ座標データ、骨格データ、識別子が外部記憶装置６０に記憶された。

次に、人物像モデルのアニメーション表示処理を行う。

最初に、前記データ読込手段１１０が外部記憶装置６０に記憶されたデータを読み込む（ステップＳＰ１１０）。

次に、前記骨格モデル作成手段１２０が、前記データより図７の右図に示すように、関節により接続された骨格により、多関節構造体として構成される人物像の骨格モデル、すなわち人物像モデルを作成する（ステップＳＰ１２０）。

次に、前記テクスチャポリゴン生成手段１３０が、読み込んだ画像および骨格テクスチャ座標データを用いてポリゴンを作成し、骨格テクスチャ座標に対応する画像上の骨格テクスチャを貼り付け、テクスチャポリゴンを生成する（ステップＳＰ１３０）。テクスチャポリゴンを全ての骨格に対して生成すると、人物像の移動方向の識別子がまだ付与されていない人物像モデルが完成する。

続いて、前記識別子付対象物像モデル生成手段１４０が、骨格モデルおよびテクスチャポリゴンにより生成された人物像モデルに、読み込んだ識別子を付与する（ステップＳＰ１４０）。以上の人物像モデルを、同一の被写体に対して、識別子の数だけ全て読み込み作成する。本実施例では、Ｎ方向から撮影された人物画像により、Ｎ体の人物像モデルを生成するものとする。識別子としては、δ＝３６０／２Ｎ度、θが３６０度を越す場合は、常にθが３６０度以内にあるように適当な値を引くものとし、
識別子１：人物像モデルの移動方向と視線とのなす角度θが、１８０−δ度〜１８０＋δ度
識別子２：人物像モデルの移動方向と視線とのなす角度θが、１８０＋δ度〜１８０＋３δ度
識別子ｉ：人物像モデルの移動方向と視線とのなす角度θが、１８０＋（２ｉ−１）δ度〜１８０＋（２ｉ＋１）δ度
識別子Ｎ：人物像モデルの移動方向と視線とのなす角度θが、１８０＋（２Ｎ−１）δ度〜１８０−（２Ｎ＋１）δ度
とする。

次に、前記３次元ワールド生成手段２００が、人物像モデルを表示する周囲の３次元空間を、コンピュータ・グラフィックスにより生成する（ステップＳＰ２１０）。この時、３次元空間において空間座標軸を右手系に取り、視線の方向をｚ軸の負の向きに取る。３次元空間の上向きが正のｙ軸となり、視線方向に向かって右側がｘ軸である。

次に、前記関節角度計算手段３００が、人物像モデルの姿勢を決定するための、関節角度を計算する（ステップＳＰ３１０）。

ステップ４１０以下は、コンピュータ・グラフィックスにおける描画時間毎に行う。

まず、前記移動方向判定手段４００が、人物像モデルが３次元空間内で移動する方向を判定し、その移動範囲の識別子を判定する（ステップＳＰ４１０）。例えば、人物像の位置を読み取り、前回位置との差分を取ってもよいし、あるいは、何らかの手段により人物像の移動方向が決定付けられている場合は、その移動方向を読み取ってもよい。人物像モデルの移動方向は、コンピュータ・グラフィックスによる３次元空間内の座標系にて表され、識別子が適用される。通常、移動方向も描画時間毎に更新される。

次に、前記モデル切替手段５００が、人物像モデルを識別子に応じて切り替える（ステップＳＰ５１０）。本実施例では、例えば、移動方向が図６の識別子２の方向であれば、識別子２を有する人物像モデルを選択する。

次に、前記関節回転軸切替手段６００が、計算された人物像の関節角度を適用する骨格における回転座標軸を切り替える（ステップＳＰ６１０）。この処理は、回転を実施する部位全てに渡って行う。

さらに、前記関節角度適用手段７００が、骨格毎に、切り替えられた回転軸の周りに、関節角度だけテクスチャポリゴンを回転する（ステップＳＰ７１０）。

最後に、前記アニメーション表示手段８００が、３次元空間において、選択された人物像モデルを、関節角度を適用した姿勢で表示する（ステップＳＰ７２０）。

この時点で処理を終了するかどうかを受け付け、終了であれば処理を停止し、そうでなければ継続して次の描画処理ＳＰ４１０に戻る。

本発明の一実施形態に係る対象物像モデルのアニメーション表示装置のブロック図である。本発明の一実施形態に係る対象物像モデルのアニメーション表示プログラムをコンピュータに実行させた時のフローチャートを示す図である。人物像モデルの移動方向による分類例を示す図である。移動方向による回転軸とポリゴンの配置関係（その１）を示す図である。移動方向による回転軸とポリゴンの配置関係（その２）を示す図である。視線と人物像移動方向との関係を示す図である。人物像骨格モデル生成の例を示す図である。人物像骨格テクスチャ生成の例を示す図である。

符号の説明

４００移動方向判定手段
５００モデル切替手段
６００関節回転軸切替手段

Claims

骨格間の関節によって接続された複数のポリゴンよりなる対象物像モデルを３次元コンピュータ・グラフィックスとしてディスプレイ上で動作させる対象物像モデルのアニメーション表示装置において、
対象物像モデルの移動可能な方向を予め複数の領域に区分しておき、ユーザの視線方向と前記対象物像モデルの移動方向とから、前記対象物像モデルの移動方向の属する前記領域を判定する移動方向判定手段と、
前記領域毎に撮影角度を変えて同一の対象物を撮影し、複数の対象物像モデルを記憶手段に記憶しておき、前記移動方向判定手段の判定結果に対応して、前記記憶した対象物像モデルに切り替えるモデル切替手段と、
前記判定結果に対応して、対象物像モデルの関節回転軸を切り替える関節回転軸切替手段とを備えた
ことを特徴とする対象物像モデルのアニメーション表示装置。
前記対象物像モデルを構成するポリゴンの法線を、前記視線方向に平行な３次元空間内の鉛直面に含まれるように表示する
ことを特徴とする請求項１に記載の対象物像モデルのアニメーション表示装置。
骨格間の関節によって接続された複数のポリゴンよりなる対象物像モデルを３次元コンピュータ・グラフィックスとしてディスプレイ上で動作させる対象物像モデルのアニメーション表示方法において、
対象物像モデルの移動可能な方向を予め複数の領域に区分しておき、ユーザの視線方向と前記対象物像モデルの移動方向とから、前記対象物像モデルの移動方向の属する前記領域を判定する手順と、
前記領域毎に撮影角度を変えて同一の対象物を撮影し、複数の対象物像モデルを記憶手段に記憶しておき、判定結果に対応して、前記記憶した対象物像モデルに切り替える手順と、
前記判定結果に対応して、対象物像モデルの関節回転軸を切り替える手順とを備えた
ことを特徴とする対象物像モデルのアニメーション表示方法。
前記対象物像モデルを構成するポリゴンの法線を、前記視線方向に平行な３次元空間内の鉛直面に含まれるように表示する
ことを特徴とする請求項３に記載の対象物像モデルのアニメーション表示方法。
骨格間の関節によって接続された複数のポリゴンよりなる対象物像モデルを３次元コンピュータ・グラフィックスとしてディスプレイ上で動作させる手順をコンピュータに実行させる対象物像モデルのアニメーション表示プログラムにおいて、
コンピュータに、
対象物像モデルの移動可能な方向を予め複数の領域に区分しておき、ユーザの視線方向と前記対象物像モデルの移動方向とから、前記対象物像モデルの移動方向の属する前記領域を判定する手順と、
前記領域毎に撮影角度を変えて同一の対象物を撮影し、記憶手段に複数の対象物像モデルを記憶し、判定結果に対応した対象物像モデルに切り替える手順と、
前記判定結果に対応して、対象物像モデルの関節回転軸を切り替える手順とを実行させる
ことを特徴とする対象物像モデルのアニメーション表示プログラム。
前記対象物像モデルを構成するポリゴンの法線を、前記視線方向に平行な３次元空間内の鉛直面に含まれるように表示する
ことを特徴とする請求項５に記載の対象物像モデルのアニメーション表示プログラム。