JP2981642B2 - 映像生成装置 - Google Patents
映像生成装置Info
- Publication number
- JP2981642B2 JP2981642B2 JP6328847A JP32884794A JP2981642B2 JP 2981642 B2 JP2981642 B2 JP 2981642B2 JP 6328847 A JP6328847 A JP 6328847A JP 32884794 A JP32884794 A JP 32884794A JP 2981642 B2 JP2981642 B2 JP 2981642B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- action
- information
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Description
装置に関し、特に計算機に取り込まれた限られた高品位
な映像パターンからいくつかの視覚的だまし(以下、
「フェイク」という)を使い、連続映像を生成すること
によって実世界におけるような体験を可能にする映像生
成装置に関する。
ューマンインターフェースというような人間と計算機と
の対話方法に対する要求があり、人工現実感(AR)、
仮想現実(VR)といった技術により人間の五感を利用
した直観的な対話方法が開発されるようになってきた。
また、パーソナルコンピュータ(PC)等の分野でもゲ
ームに代表されるような高速映像生成,アニメーション
機能に人間の操作で映像が変化するものが登場してきて
いる。
に関して言えばその動きは多様であるため、その多様な
動きを表現するためには、従来は映画のような連続録画
再生のような方式か、表示コマンドに対応する無限の可
能性を考えて可能な限りの映像パターンを用意する方式
しかなかった。
タの形状をビットマップで作成して複数のパターンを用
意しておき、この複数のパターンから選択したパターン
の表示位置を連続的に変化させて映像生成を行ってい
る。
ては、次のような課題があった。映画のような連続した
データ列を再生する方式は、体験者が行なった行動に対
応して反応するような計算機との相互作用(対話)を実
現することが困難であった。表示コマンドに対応して映
像列を再生する方式は、表示コマンドに対応して連続し
ていない映像が再生されるので、映像の連続性を表現す
るのが困難であった。映像を高品位なものにすると実時
間(リアルタイム)性がなくなり、実時間性を重視する
と画質が落ち自然性がなくなる欠点があった。また、従
来の映像生成装置では、キャラクタの形状をビットマッ
プで作成しているため、パターン数に限りがあり、キャ
ラクタの行動を連続的に表示することができない。ま
た、キャラクタの3次元的な行動を表現することができ
ず、キャラクタの行動が断続的で不自然となるという問
題がある。
の連続的な映像の中から視覚的フェイクを用いて映像生
成を行なうことにより、計算機との相互作用性と実時間
性を生かしたままで自然に見える映像を生成することが
できる映像生成装置を提供することにある。
図であり、図1(a)は、本発明の装置構成図である。
図1(a)において、本発明の映像生成装置1には、命
令解釈部2と、映像選択部3と、映像表示部4と、情報
蓄積部5とが設けてある。
めの命令をこの映像生成装置1内でどう解釈するかを決
定するものである。映像選択部3は、命令解釈部2の解
釈内容により、情報蓄積部5の映像から視覚的に不自然
にならない範囲の映像をフェイク情報に基づいて選択,
決定するものである。映像表示部4は、映像選択部3で
選択,決定した映像情報の表示を行なうものである。
像情報部51とフェイク情報部52とが設けてある。こ
の映像情報部51は、映像生成に使用する複数の映像
列、例えば後で説明する目的行動,内挿行動等の映像が
予め蓄積されるものである。また、映像情報に直接関係
がある基本位置情報及び時間情報、映像の特徴を示す情
報などが付加されることがある。フェイク情報部52
は、映像情報部51の映像に対応して設けられたフェイ
ク情報を蓄積するものである。
間を接続するための類似情報、許容される位置ずれ可能
範囲を示す位置ずれ情報、映像列のフレームを間引きま
たは付加して、映像列表示の速度制御を行なうための時
間間引き情報等がある。
る。図1(b)において、目的行動と内挿行動との一例
が示されており、これらの映像情報は映像情報部51に
蓄積されるものである。そして、挨拶A,見渡すB,驚
くC,食事D,ダンスE等を目的行動と呼び、これらの
目的行動間を接続するため移動F,回転G等の内挿行動
を用いる。
いて説明する。目的の映像を生成する命令を命令解釈部
2が受け、この命令解釈部2が、この映像生成装置1内
でどう解釈するかを決定する。例えば挨拶Aの目的行動
に見渡すBの目的行動を接続する命令を命令解釈部2が
受けた場合を説明する。
択部3が受けると、この映像選択部3では、情報蓄積部
5の挨拶Aの例えば末尾フレームと見渡すBの先頭フレ
ームとをそれらのフェイク情報部52のフェイク情報に
基づいて比較する。この比較で末尾フレームと先頭フレ
ームとが類似している場合はそのまま接続可能である。
しかし両者のフレーム間に例えば位置ずれがある場合
は、両者のフレーム間に例えば視覚的に不自然とならな
い内挿行動である移動Fのフレームを挿入して位置ずれ
の修正を行なう。このように行動を組み合わせる場合、
視覚的に不自然にならない範囲の修正を行なうことを適
応修正(フェイク)という。これにより、挨拶Aと見渡
すBとの映像接続を連続的に行なうことができる。
を用いて、視覚的に不自然にならない範囲の適応修正、
つまりフェイクを行なうことにより、1つの映像を何通
りもの場面に使用することができる。これにより、例え
ば、生物が行動する映像の場合には、生物の行動表現の
自由度を高めることができる。また、映像の種類も2次
元の平面画像に限らず3次元画像(2画像立体視,レン
ティキュラー方式,フォログラフィーなど)に用いるこ
とができる。
する。図2〜図51は、本発明の実施例を示した図であ
り、図1と同じものは同じ符号で示してある。
レーム」という)を利用した映像生成の説明 類似情報による映像生成装置構成の説明 図2(a)は、類似情報による映像生成装置の実施例の
構成図であり、図1(a)と同じものは同じ番号を付し
ている。この実施例の映像生成装置1には、命令解釈部
2、映像選択部3、映像表示部4、情報蓄積部5が設け
てある。そして、この情報蓄積部5には、映像情報を蓄
積する映像情報部51と類似情報を蓄積する類似情報部
52−1とが設けてある。
る。図2(b)において、情報蓄積部5には映像列A,
B,C,…,Nが設けてあり、これらの映像列A,B,
C,…,Nには、それぞれ映像情報に対応して映像的な
類似度を現す類似情報、例えば形状、位置、方向、時間
等がどれだけ他の映像情報(フレーム)と似ているかと
いう情報が蓄積されている、この蓄積される類似情報の
一例として、「N1フレームはA3フレームに似てい
る」、「N1フレームはA3フレームにx%映像情報
(形)が似ている」、「N1フレームはA3フレームに
向いている方向が似ている」、「N1フレームはA3フ
レームに移動ベクトルが似ている」等がある。この類似
情報は、映像情報の定型フレームに対応して蓄積する。
もちろん、映像情報のすべてのフレームに対応した類似
情報を蓄積することもできる。
説明 図3は映像列接続の概念説明図である。図3(a)は2
つの行動の説明図であり、図3(a)において、連続的
な行動(以下、「連鎖行動」という)を表現した2つの
行動P0と行動P1とを示す。この行動P0は、始点s
0から到達地点e0に向かう行動であり、P1は始点s
1から到達地点e1に向かう行動である。なお、t0と
t1はそれぞれ行動P0とP1の所要時間を示す。
り、図3(b)において、上記2つの行動P0とP1と
を組み合わせ接続する場合を示している。行動P0とP
1の接続点に定型フレームbが存在し、しかもその両者
の定型フレームが類似している場合は、行動P1とP0
とをs1→b→e0と連続的に接続することができる。
あり、図3(c)において、接続点に定型フレームbが
存在しない場合である。この場合、行動P0とP1の離
れた定型フレームb1とb2をつなぐ連続的な内挿行動
を情報蓄積部5から選択してs0→b1→b2→e1と
連続的に接続する。
具体例の説明図である。図4において、映像列中の四角
は定型フレームを、点線は連続した映像があることを示
す。
のフレームを接続する場合の説明図であり、図4(a)
において、映像列前者Aの末尾フレームf1が映像列後
者Bの先頭フレームf1と類似している。この場合、映
像列前者Aから映像列後者Bへそれぞれの映像列を末尾
フレームと先頭フレームとにて接続することで連続的に
行動する映像を生成することができる。
る場合の説明図であり、図4(b)において、映像列前
者Aの途中フレームと映像列後者Bの途中フレームとが
類似しているものを捜し出す。そして、映像列前者及び
後者の類似フレームf1で両者を接続する。これによ
り、映像列前者Aから映像列後者Bへ連続的に行動する
映像を生成することができる。
4(c)において、映像列前者Aと映像列後者Bとの定
型フレームに類似フレームがない場合がある。この場
合、映像列前者Aと映像列後者Bとを接続する類似フレ
ームf1及びf2を持つ映像列Cを内挿する。これによ
り、映像列前者Aのフレームf1で内挿した映像列Cに
乗り換え、さらに、この内挿した映像列Cのフレームf
2で映像列後者Bへ乗り換える。このように、内挿映像
列Cを用いて映像列前者Aから映像列後者Bへ連続的に
行動する映像を生成することができる。
似フレームf1またはf2で接続すると、この類似フレ
ームが2度表示されることになる。このため、接続され
る映像列の開始フレームを1フレーム分省いて表示する
ことができる。
作の説明 図5は2つの映像列を末尾及び先頭のフレームで接続す
る場合の動作説明図である。これは図4(a)の映像列
接続に対応している。図5において、図5(a)は映像
列A、例えば「こんにちは」の映像列を示し、この映像
列Aには、先頭の類似情報a、例えば「立っている」と
末尾の類似情報b、例えば「すわっている」が設けてあ
る。図5(b)は映像列D、例えば「さようなら」の映
像列を示し、先頭と末尾フレームには類似情報aとc、
例えば「右を向いている」がそれぞれ設けてある。図5
(c)は映像列E、例えば「さようなら」の映像列を示
し、先頭と末尾フレームには類似情報bとcがそれぞれ
設けてある。
列接続を説明する。命令解釈部2からの内容が、例え
ば、「こんにちは」の映像列Aの表示の次に「さような
ら」の映像列を表示するものである場合には、まず、映
像選択部3が情報蓄積部5から「さようなら」の映像を
選択する。この例では、映像列DとEの2つである。次
に、映像選択部3が類似情報部52−1から映像列Aの
末尾フレームの類似情報bと、映像列DとEの先頭フレ
ームaとbをそれぞれ取り出して比較する。これで、映
像選択部3が、映像列Aの末尾フレームと先頭フレーム
が類似する映像列Eを選択する。これによって、図5
(d)のように、「こんにちは」の映像列Aと「さよう
なら」の映像列Eとを連続的に表示することができる。
列の途中で接続する場合は、映像選択部3が、2つの映
像列AとBの途中の定型フレーム間で類似フレームを類
似情報部52−1の情報から選択するようにする。ま
た、図4(c)に示すように内挿接続の場合は、映像選
択部3が映像列Aの末尾フレームf1と映像列Bの先頭
フレームf2の類似フレームf1とf2を持つ映像列C
を類似情報部52−1の情報から選択するようにする。
これにより、図4(b),(c)に示すように映像列A
とBを連続的に表示することができる。
説明 図6は定型フレームを利用した映像生成の説明図であ
る。図6において、映像の被写体を子供として説明す
る。まず、「移動」している映像が流れている。定型フ
レームf1の時に、周りを見るコマンド(命令)が発生
し、下の映像列の「周りを見る」映像に移る。このとき
の移動は、両者映像の定型フレームf1を介して行なわ
れ連続性を失わず自然に流れる。次に新しい斜め前方に
移動のコマンドが発生し、定型フレームf2を介して
「斜め前方に移動」する映像に移る。次に挨拶コマンド
が定型フレームf3とf2との間で発生するが「斜め前
方に移動」する映像が区切りの良い場所でない(定型フ
レームがない)ので、定型フレームf2まで経過するの
を待つ。その後、定型フレームf2で「挨拶する」映像
に移る。
2との間で発生するが、「挨拶する」映像は区切りの良
い場所でない。しかし、すぐに表現しなければならない
行動であって驚くコマンドの即時表現度が高い場合、フ
レームの連続性を失ってもそのコマンド発生時点を介し
て驚く行動映像に移る。これは相互作用の表現として効
果的である。次にダンスコマンドが定型フレームf3で
発生するが、「ダンス」映像は定型フレームf2から始
まっている。従って、そのままつなぐと連続性が失われ
る。このときのコマンドの即時表現度が高くない場合、
定型フレームf3とf2とを自然につなぐ「回転」映像
を使ってその間を内挿する。
生して「食事する」映像の定型フレームf2を介して移
る。さらに、この映像の定型フレームf4でボーッとす
るコマンドが発生する。この映像の定型フレームf4と
「ボーッとする」映像の定型フレームf4とは同じであ
るが、両者の時間,場所などが離れている場合、間に
「チャカチャカ歩く」映像を内挿し、このような場合で
も連続性を失わず自然な流れの映像を生成できる。
行動P0の説明図であり、図7(a)は始点s0から到
達地点(目標位置)e0に向う行動P0を示す。図7
(b)は幾何変換によるフェイク可能範囲の説明図であ
り、図7(b)において、s0からe0への行動P0を
平行移動してs1からe1への行動P1にフェイクする
ことができる。また、s0からe0への行動P0を奥行
き方向に縮小または拡大してs2からe2への行動P2
にフェイクすることができる。
り、図7(c)において、s0からe0の行動P0の最
終到達地点e0をe1からe2の範囲でフェイクができ
ることを示す。例えばs0からe0への行動P0をその
行動P0の映像の各フレーム毎に位置ずれ可能範囲Δず
つ位置をずれさせる。これにより、s0からe1への行
動P1の映像を生成することができる。また、行動P0
の映像の各フレーム毎に位置ずれ可能範囲Δずつ位置を
ずれさせることにより、s0からe2への行動P2の映
像を生成することができる。
(a)は始点s1から到達地点e0への行動の位置ずれ
可能範囲の説明図であり、図8(a)において、s1か
らbへの行動P1と、bからe0への行動P0を示して
いる。f1〜f6は行動P1,P0の代表的フレームで
あり、各フレームf1〜f6中の網線は各フレームf1
〜f6での位置ずれ可能範囲を示す。なお、この位置ず
れ可能範囲は行動の方向,速度,大きさ等により変化
し、例えば歩調が小さい場合は小さくし、走っている場
合は大きくする。このため中心に対して必ずしも対称と
はなっていない。また、行動P1,P0の周囲に位置ず
れ可能範囲ΣΔを示している。目標位置がこの位置ずれ
可能範囲であればs1からの各フレームを少しずつ位置
ずれさせることにより目標位置に到達できる映像が生成
できる。
可能範囲の説明図である。図8(b)において、映像の
中心に対して位置ずれ可能範囲Δを示している。図8
(b)は2次元の場合であるが、3次元の場合はX,
Y,Z軸に対してそれそれ位置ずれ可能範囲が設けられ
る。この場合、奥行方向の位置ずれでは映像が不自然に
ならないように縮小、拡大を行なう。
蓄積部5の説明図である。図8(c)において、位置ず
れ情報部52−2は、図1(a)のフェイク情報部52
のフェイク情報として位置ずれ可能範囲情報を設けたも
のである。そして、この位置ずれ可能範囲情報は映像情
報部51の映像情報の各フレームに対応して、映像列毎
に設けてある。位置ずれ可能範囲情報の例として、例え
はB1フレームには、X=±Δ1 、Y=−Δ2 ,+Δ3
、Z=±Δ4 が設けてある。
への行動P1の映像生成を行なう場合は、まず映像選択
部3が位置ずれ可能範囲のs0からe0への行動P0を
情報蓄積部5から選択する。次にこの行動P0の各フレ
ームの位置ずれ可能範囲情報に基づいて、映像選択部3
が行動P0の各フレーム毎に位置ずれした映像を生成す
る。これにより、行動P0の映像から行動P1の映像生
成を行なうことができる。
範囲ΣΔは、映像列選択の時にその各フレームの位置ず
れ可能範囲Δを総和することで計算できるが、予め映像
列毎に位置ずれ情報部52−2に設定することができ
る。この全体の位置ずれ可能範囲ΣΔが設定されている
場合の位置ずれ映像生成は、この全体の位置ずれ範囲Σ
Δを元の映像の各フレームに割り振って行なう。この割
り振りは、一定の行動に対し各フレーム毎に等しくなる
か、若しくはある関数に従って行なうことができる。ま
た、位置ずれ情報部52−2の位置ずれ可能範囲情報と
して映像情報の特徴的な部分(例えば定型フレーム)の
みを蓄積することができる。この場合、各フレーム毎の
位置ずれ可能範囲が必要な時は補間処理等を行なって求
めることができる。さらに、位置ずれ可能範囲は、四角
形に限らず、楕円等で表現することもでき、3次元の場
合は楕円形とすることができる。
間引き例の説明図であり、図9(a)において、映像列
Aが図のように例えば1〜10フレームあり、1秒間の
映像を表示するものとする。そして、この各フレームに
は時間間引き優先度が設けてある。映像列A1は映像列
Aのフレームを等間隔で間引きしたものである。この場
合、映像表示時間は、0.5秒となる。また、映像列A
2は映像列Aのフレームを間引き優先度に従って間引き
したものである。この場合、間引き優先度が3である優
先度の低いフレームを間引きする。これにより、映像列
A2の表示時間は0.7秒となる。
図9(b)において、映像列Aは1フレームから10フ
レームまで歩く、止まっている、走るの順の行動を表示
するものとする。この各フレームの間引き優先度は、止
まっている場合1で高くし、歩く及び走る場合は3で低
くする。これにより、映像列A2のように不自然となら
ない範囲でフレームを間引きすることができる。
より表示速度の短縮を行なったが、逆にフレームを挿入
して、表示時間を長くする速度制御を行なうこともでき
る。
である。図10において、時間間引き情報部52−3
は、図1(a)のフェイク情報部52のフェイク情報と
して時間間引き情報を受けたものである。そして、この
時間間引き情報は、映像情報部51の映像情報の映像列
に対応して設けてある。この時間間引き情報には、各映
像列の各フレームの間引き優先度及び各映像列の速度制
御可能範囲が設けてある。
像列Aを0.7秒にする場合は、まず映像選択部3が映
像列Aの速度制御可能範囲(この例では0.5〜1.2
秒に設定されているものとする)を調べる。0.7秒は
速度制御可能範囲であるので、映像選択部3は映像列A
の優先度が低いフレームを間引きして映像列A2を生成
する。そして、時間を遅くする場合は、優先度が高いフ
レームを表示位置に補間して見た目に(視覚的に)おか
しくないようにする。
設定,(3)時間間引きを行う例について詳細に説明す
る。
定,時間間引きを行う装置の一実施例のブロック図であ
る。処理装置21は例えばワークステーションであり、
映像生成用データの作成処理を実行する。入力装置22
は例えばキーボードであり、コマンド,数値等を処理装
置21に入力する。表示装置24は例えばCRTディス
プレイであり、画面表示を行なう。指示装置25は例え
ばマウスであり、表示装置24に表示されるカーソル位
置を指定し、処理装置21に供給する。
置等の記憶装置26に格納されている実写映像データを
読み込んで映像生成用データの作成処理を行ない、実写
映像データから抽出したキャラクタの画像(フレーム)
の映像データを記憶装置27に格納し、また抽出したキ
ャラクタの画像の後述する3次元位置,移動可能範囲,
トータルグラフ,ソーテッドテーブル,乗り換えテーブ
ル等のデータを記憶装置28に格納する。
所定の色を背景としてアニメーションのキャラクタの行
動を固定アングルのカメラで撮像したものである。図1
2(a)では実写映像データを映画のフィルムのように
示しており、この各フレームは図12(b)に示す如く
2次元である。各フレームにおいて、背景色を除去する
ことによりキャラクタを抽出できる。このキャラクタに
外接する矩形であって、フェイクの一単位を指定する目
的で用いるフレームの一部をリムと呼ぶ。リムの例えば
左下隅位置がフレーム内のどこに位置するかでキャラク
タの3次元位置を算出できる。これはフレームが2次元
であっても一点透視であるために可能である。
する映像生成用データ作成処理のフローチャートを示
す。まず、実写映像データを表示装置24に表示させて
キャラクタの形状及び速度ベクトルが特徴的である複数
のフレーム(前述の定型フレーム)を指定する(ステッ
プS31)。この定型フレームは後述のパーシャルグラ
フを作成する際のノードとなる。
フレームにおいてキャラクタに外接するリム、つまり、
フェイクの一単位を指定するためのリムであるキーリム
の映像データを抽出し(ステップS32)、抽出した各
キーリムの3次元位置を算出する(ステップS33)。
この後、各キーリム及びその3次元位置を表示装置24
に図14に示す如く表示する(ステップS34)。
表示部30と、平面図表示部31と、斜視図表示部32
と、正面図表示部33と、側面図表示部34とに分割さ
れている。4つのキーリムa,b,c,dが抽出されて
いるとすれば、平面図表示部31にはキーリムa,b,
c,d夫々のXZ平面上におけるZ軸座標位置が直線で
表示され、斜視図表示部32にはキーリムa,b,c,
dが夫々XYZ座標位置に表示される。また正面図表示
部33にはキーリムa,b,c,d夫々のXY平面上に
おけるX軸座標位置が矩形で表示され、側面図表示部3
4にはキーリムa,b,c,d夫々のYZ平面上におけ
るZ軸座標が直線で表示される。
る(ステップS35)。図15はこのステップS35に
おける移動可能範囲指定処理の具体的なフローチャート
を示す。図15の処理はキーリム毎に実行される。ま
ず、表示部31〜34のいずれかにおいてマウスを用い
てカーソルを移動させ、キーリムの左下隅を検出する
(ステップS351)。次に、時間的に先行するキーリ
ムの移動可能範囲(XYZ軸方向)を読み込む(ステッ
プS352)。
ップS353)、1度目であれば、マウスを用いてキー
リムをドラッグ(ボタンを押したままマウスを移動)し
てドラッグ量に応じた立方体の移動可能範囲を形成する
(ステップS354)。図16(a)では、実線の立方
体が読み込んだキーリムの移動可能範囲によるものであ
り、破線の立方体がドラッグによる立方体を示してい
る。
グして修正し直方体の移動可能範囲を指定する(ステッ
プS355)。なお、移動可能範囲の指定において、読
み込んだ範囲より小さくなるような修正は禁止されてい
る。この後、指定が終了したか否かを判別し(ステップ
S356)、終了してなければステップS353に戻っ
てステップS353〜S356の指定の処理を繰り返
し、終了していればこの処理を終了する。
の左下隅位置の移動可能範囲である。移動可能範囲は図
16(b)に示す如く、時間的に最初のキーリムaでは
指定せず、2番目以降のキーリムb,c夫々に指定す
る。この際、最初に読み込んだ範囲より小さくなるよう
な移動可能範囲の指定はできないため、図16(c),
(d)に示す如く移動可能範囲は時間的に早い順つまり
キーリムb,cの順にXYZ軸全てについて拡大され
る。
形状を直方体状としたが、楕円球状等他の形状であって
も良い。
ある各フレームのリムに対する移動可能範囲を算出する
(ステップS36)。この場合、例えばキーリムb,c
夫々のフレーム間に3つのフレームがあるとすれば、こ
の3つのフレーム夫々のリムb1 ,b2 ,b3 はキーリ
ムb,c夫々の移動可能範囲をXYZ軸夫々について直
線補間し、3つのフレーム夫々の時間的な位置に対応さ
せて3つのリムb1 ,b2 ,b3 夫々の移動可能範囲を
算出することにより図16(d)に示す如くなる。
を設定するため、キャラクタの移動位置を各リムの移動
可能範囲内で自由に可変でき、キャラクタの行動をより
自然にすることができるようになる。また、時間的に遅
いキーリムの移動可能範囲はそれ以前のキーリムの移動
可能範囲以上とするよう規制されているためキャラクタ
の動作が途中で不自然となることがない。
度)を指定する(ステップS37)。プライオリティ表
示部30の表示は図17(a)に示す如く、横軸の時間
軸上に、キーリム及びリムの位置を示し、縦軸に値0〜
9のプライオリティを示しており、指定前のプライオリ
ティは5であって一点鎖線に示す状態である。プライオ
リティは0が最も高く、9が最も低い。
全て指定すると、キーリムa〜e間をスプライン関数で
補間し、図17(a)の実線に示すプライオリティ曲線
を形成して、各リム位置でのプライオリティ値を四捨五
入により自然数として図中、黒点で示す値を得る(ステ
ップS38)。更にキーリムa〜eのプライオリティを
強制的に0とする。定型フレームが間引かれないよう
に、定型フレームに対応するリムのプライオリティを0
とする。
(ステップS39)。図18はこのステップS39にお
ける映像生成用データ抽出処理の具体的なフローチャー
トを示す。まず、カウンタIに10をセットする(ステ
ップS391)。次にカウンタIを1だけデクリメント
した後(ステップS392)、カウンタIが0か否かを
判別する(ステップS393)。
る図17(a)に黒点で表わされたプライオリティ値の
リムについて時間軸上を左から右方向に順に走査し、
(11−I)点につき1点はプライオリティをそのまま
の値とし、(11−I)点につき残りの点つまり(10
−I)点はプライオリティを強制的に0とする(ステッ
プS394)。つまり、図17(a)でプライオリティ
=9の点については、2点につき1点がプライオリティ
を0とされ、プライオリティ=8の点については、3点
につき2点がプライオリティを0とされる。この後、ス
テップS392に進み、ステップS392〜S394を
繰り返す。
7(b)の白点で示すリムのプライオリティは強制的に
0とされる。ステップS393でI=0となると、プラ
イオリティ=0の全リムの映像データを抽出し(ステッ
プS395)、映像データを抽出した各リムの3次元位
置を算出し(ステップS396)、各リムの映像データ
及び3次元位置及び移動可能範囲を抽出して記憶装置2
7,28に格納し(ステップS397)、処理を終了す
る。
2点につき1点はプライオリティが0としたが、3点に
つき1点のプライオリティを0にするなど、任意に設定
することが可能である。
写映像データから得られるので行動が連続的、かつ自然
となる。
0.1秒)毎に順次表示されるとすれば、プライオリテ
ィ9を指定したリムは2点につき1点が抽出されないた
め、リムの表示速度は2倍となり、プライオリティ8を
指定したリムは3点につき1点が抽出されないため、リ
ムの表示速度は1.5倍となり、プライオリティを指定
することにより表示速度を可変できる。
イオリティのみを指定し、他のリムのプライオリティは
スプライン関数で補間して算出したが、各キーリム以外
にキーリム間の任意のリムのプライオリティを指定する
ことも可能である。例えば、図19に示すように、各キ
ーリム0,a,b,cに加えて、キーリム0,a間のリ
ムx及びキーリムa,b間のリムyのプライオリティも
指定し、これらの指定値に基づいてプライオリティ曲線
を形成する。この例では、リムx,リムyのプライオリ
ティをそれぞれ5,4と低く指定している。このように
低く指定することにより、図20に示すように、キーリ
ム0,a間の動作が「ゆっくり歩き」、キーリムa,b
間の動作が「止まってキョロキョロ」、キーリムb,c
間の動作が「はや歩き」とした場合、「ゆっくり歩き」
及び「止まってキョロキョロ」の動作のフレームを優先
的に間引くことができる。
クトルを算出する(ステップS40)。速度ベクトル
は、キーリムa〜e夫々において、夫々の直前のリムと
の3次元的な位置の差を求めることにより得られる。
ップS41)。他の実写映像データがあるか否かを判別
し(ステップS42)、他の実写映像データがあればス
テップS31に戻ってステップS31〜S41の処理を
繰り返す。なければトータルグラフ作成,ソーテッドテ
ーブル作成,乗り換えテーブル作成(ステップS43,
S44,S45)を行なって処理を終了する。これらの
パーシャルグラフ,トータルグラフ,ソーテッドテーブ
ル,乗り換えテーブルについては、後述の(4)最適行
動の映像生成の項で詳述する。
ドテーブル、乗り換えテーブルは記憶装置28に格納さ
れる。映像生成の際には記憶装置27,28を例えばパ
ーソナルコンピュータに接続し、パーソナルコンピュー
タの移動命令を発行する。移動命令には開始形状、移動
終了位置、移動時間等をパラメータとして与える。
れているため、キャラクタの移動位置をこの移動可能範
囲内で自由に可変させ、キャラクタの行動をより自然に
することができる。
タからキャラクタを抽出した各リムについてプライオリ
ティを設定し、このプライオリティに基いてリムを選択
し、その映像データ及び3次元位置を抽出するため、キ
ャラクタは実写映像データから得られるので行動が連続
的、かつ自然であり、プライオリティの設定によりキャ
ラクタの行動する速度を任意に可変できる。また、各リ
ムについて移動可能範囲を設定し、選択したリムの映像
データ及び3次元位置及び移動可能範囲を抽出するた
め、キャラクタの移動位置を各リムの移動可能範囲内で
自由に可変でき、キャラクタの行動をより自然にするこ
とができる。
類似情報部52−1、位置ずれ情報部52−2、時間間
引き情報部52−3を設ける。これにより、最適行動の
映像生成を行なうことができる。
ーチャートである。以下、図21に基づいて、最適行動
の映像生成処理を説明する。命令解釈部2が次の行動の
映像を生成する命令を受けると映像選択部3は情報蓄積
部5の情報に基づいて以下の処理を行なう。
下単に「行動」という)に次の連鎖行動は連結(連続的
につながって)しているか判断する(ステップS1)。
最初は前の行動に連鎖行動は連結していないためNOに
従って進む。次に、前の行動(アクション)の末尾定型
フレームと連鎖行動の先頭定型フレームとが同一か判断
する(ステップS2)。同一であればYESに従って進
む。連鎖行動の中で最も目標(位置,時間)に近い定型
フレームを検索する(ステップS3)。ステップS1で
連鎖行動が連結している、例えば内挿映像がある場合、
及び、ステップS2で前の行動の末尾定型フレームと連
鎖行動の先頭定型フレームとが同一(類似)でない場合
は、指定された範囲で最適な内挿行動を検索する(ステ
ップS4)。
蓄積部5に登録されている場合は、この複数の連鎖行動
をステップS3またはS4で最適化を行なうため、ステ
ップS1に戻る(ステップS5)。ステップS3または
S4で最適化された複数の同一行動である連鎖行動の末
尾フレームが目標位置,時間に対して最適化どうかで絞
り込みを行ない(ステップS6)、次いで予め定めた目
標位置,時間の誤差率より、最適行動は適切かどうかを
チェックする(ステップS7)。そして、このチェック
結果により目標位置,時間の誤差率により最適行動は適
切かどうかを判断する(ステップS8)。
ターンに進み、この処理が終了する。ステップS8で最
適行動が適切でない場合は、さらに次の連鎖行動を接続
するため、最大行動連結数に達したかを調べる(ステッ
プS9)。この最大の行動連結数は、複数の連鎖行動を
接続するため設けるものであり、例えば3個までと設定
することにより、ステップS1に2回まで戻ることにな
る。これにより、前の行動に対して、連鎖行動1個と内
挿行動が2個接続できることになる。連結数が3個以上
になる場合(ステップS9:YES)は、その映像を最
適なものとしてリターンに進みこの処理が終了する。
実施例について説明する。図22(a)に示す、3次元
空間においてキャラクタ等の物体が破線の矢印方向に移
動する如き一連の行動を複数フレームの映像として実写
し、この行動において物体の形状または行動が特徴的な
フレームの物体を抽出して図22(b)に示す如くグラ
フ化する。図22(b)のグラフはノードN1〜N4
(ノードは定型フレームに対応する)と、これらのノー
ド間を結ぶアークA1〜A3とで構成されている。
の形状を識別するために番号付けして登録した型状ID
と3次元の相対座標X,Y,Zとの情報で管理され、各
アークは経路を識別するための経路IDとこの経過を移
動するに要する経過時間との情報で管理されている。図
22(b)に示すグラフでノードN1〜N4は相対位置
関係が規定されており、再配置が可能つまりグラフ全体
として3次元空間上で平行移動が可能である。また、こ
のグラフを他のグラフと合成して新たなグラフを作成す
ることからパーシャルグラフと呼ぶ。
4からなるパーシャルグラフと、ノードN5〜N8から
なるパーシャルグラフとがあり、ノードN3とノードN
7とで型状が似ており、かつ速度ベクトルが略同一のと
きノードN3,N7を接続ノードとする。ここでノード
N3の速度ベクトルはノードN3からN4に向けての3
次元的な速度及び方向であり、ノードN7の速度ベクト
ルはノードN7からN8に向けての3次元的な速度及び
方向である。
シャルグラフ及びノードN5〜N8のパーシャルグラフ
を相互に移動し、図24(b)に示す如くノードN3を
N7に重ねて2つのパーシャルグラフを連結し、トータ
ルグラフを作成する。このトータルグラフによりノード
N1,N2,N3,N4のパスの他に、ノードN1,N
2,N3,N8のパスも使用可能となり、ノードN5,
N6,N3,N8のパスの他にノードN5,N6,N
3,N4のパスも使用可能となる。
〜N8夫々の型状は図24(c)に示す如く、型状ID
に対応して映像データの格納アドレスを示すノードポイ
ンタを持つ型状テーブルによって管理する。
n2,n3,n4,n5のパス1、ノードn6,n2,
n7のパス2、ノードn8,n3,n9,n10のパス
3、ノードn20,n4,n16,n17のパス4、ノ
ードn18,n16,n19のパス5、ノードn11,
n9,n12,n13のパス6、ノードn14,n1
2,n15のパス7から構成されるトータルグラフにつ
いて考える。
り、どの方向へのパスが不足しているかを知ることがで
きる。例えば図25ではノードn2またはn3から上方
に延在するパス、及びノードn7から下方に延在するパ
スが不足していることが認識できる。このことからノー
ドn2,n3と型状及び速度ベクトルが似ており上方に
移動するキャラクタと、ノードn7と型状及び速度ベク
トルが似ており下方に移動するキャラクタとの実写映像
データを追加し、そのパーシャルグラフを図25のトー
タルグラフに追加すれば良い。
の順にソートして図26に示すノードポインタのソーテ
ッドテーブルを作成しておく。
(a),(b)に示す乗り換えテーブルを作成してお
く。図27(a)は各行の左端に記すパスから各列のパ
スに乗り換える確率を表わしている。つまり、第1行で
見ると、パス1からパス1に乗り換えることはないため
0.0、パス1からパス2への乗り換え確率は0.26
6であることを表わしている。乗り換え確率Pは次式で
表わされる。 P=(乗り換え前のノード数)/(乗り換え前のパスの
全ノード数)×(乗り換え後のノード数)/(乗り換え
後のパスの全ノード数)
ードn2で行なわれ、乗り換え前のノード数=2(ノー
ドn1,n2)、乗り換え前のパス1の全ノード数=
5、乗り換え後のノード数=2(ノードn2,n7)、
乗り換え後のパス2の全ノード数=3であるため乗り換
え確率=0.266となる。
各列のパスに2回の乗り換えで乗り換える確率を同様に
して表わしている。
である。同図中、グラフ情報部52−4は図1(a)の
フェイク情報部52のフェイク情報としてトータルグラ
フ52−4Aとソーテッドテーブル52−4Bと乗り換
えテーブル52−4Cとを設けたものである。
ャートを示す。この処理は移動命令の発行により実行さ
れる。移動命令には移動させる物体のスタート時の型状
である開始型状,移動終了位置,移動時間,優先度等の
パラメータが付加されている。
4Aを検索してパラメータの開始型状と略同一の型状を
持つノードを求め、得られたノードをスタートノード候
補とする(ステップS11)。次に各スタートノード候
補について、スタートノード位置を基準としてパラメー
タの移動終了位置に対応するエンドノードを図28のソ
ーテッドテーブル52−4Bから当たりをつけてトータ
ルグラフから求め、得られたノードをエンドノード候補
とする(ステップS12)。
ド候補との対が属するパス候補をトータルグラフから全
て求める(ステップS13)。このとき各パス候補につ
いて図27(a),(b)に示す乗り換えテーブル52
−4Cを参照して乗り換え確率を算出しておく。なお、
乗り換えがなければその乗り換え確率を1.0とする。
各パス候補のうち乗り換え確率が最大かどうかを判別す
る(ステップS14)。乗り換え確率が最大のパス候補
はこれをパスとして確定し、スタートノード候補からエ
ンドノードに至るパスを順に辿り、各ノード間のアーク
から経過時間を加算してパスの経過時間を算出する(ス
テップS15)。
判別される(ステップS16)。最後でなければステッ
プS14に戻り、ステップS14〜S16を繰り返す。
最後の候補であればステップS17に進み、ここで、最
後のエンドノード候補であるかどうかが判別される。最
後でなければステップS13に戻り、ステップS13〜
S17を繰り返す。最後のエンドノード候補であればス
テップS18に進み、ここで最後のスタートノード候補
であるかどうかが判別される。最後でなければステップ
S12に戻り、ステップS12〜S18を繰り返す。最
後のスタートノード候補であればステップS19に進
む。
トノード候補とエンドノード候補との対の夫々につい
て、エンドノードの位置とパラメータの移動終了位置と
の位置誤差、パスの経過時間とパラメータの移動時間と
の時間誤差、形状の不自然さの指標としてのパスの乗り
換え回数とから図30に示す評価チャートを作成する。
この際に、パラメータの優先度に従って、例えば位置誤
差:時間誤差:不自然さ=2:1:1等の重み付けを行
なう。そして、3軸上に位置誤差,時間誤差,不自然さ
夫々の値をプロットし、この3点を結んで三角形を形成
し、三角形の面積及び三角形の重心と原点との距離を算
出する。最後に、この三角形の面積と距離との加算値が
最小のものをスタートノード,エンドノード,パスの組
みとして選択し確定する(ステップS20)。
る定型フレーム及びこれらの定型フレーム間の各フレー
ムの映像情報を順次表示する。この際、映像情報部51
に蓄積されている映像情報から、複数の各キャラクタ及
び背景毎に適する映像情報を選択して映像表示部4に出
力し、こられらの複数の各キャラクタの映像情報及び背
景の映像情報を合成して表示する。2種のキャラクタ
A,Bの映像情報及び背景の映像情報の合成表示の例を
図31,32に示す。
ムアニメーションの映像生成を行なう分野で、実写した
映像の行動をもとにキャラクタを任意の型状から任意の
位置に任意の時間で表示する場合、実写した映像のどれ
を使用するかを検索する効率が良い検索システムが従来
はなく、すべての行動について全探索する手法をとらざ
るを得ない。この手法ではキャラクタの型状または行動
の数が多過ぎると検索に必要な計算時間が多くなりリア
ルタイムの映像生成が不可能となる。このため、型状及
び行動の数を減らすことで、検索時間を減らしている。
これにより、生成された映像が同じような行動パターン
になってしまいリアルな映像生成が行なえない要因にな
っている。
成し、また、ソーテッドテーブル及び乗り換えテーブル
を作成して検索するため、任意の型状のキャラクタを任
意の位置に任意の時間で表示させ、リアルな映像をリア
ルタイムで表示させることが可能となる。
のある地点に移動する際に、例えば「歩く」,「走る」
等のような1つの行動の映像をつなぎ合わせて始点から
到達地点に向かう行動を示している。しかしながら、映
像表示される生物の行動に対する認識が、例えば「歩
く」,「走る」の何れかのようにはっきりしたものでな
いこともある。よって、このような抽象度が高い生物の
行動を表示する場合に適した他の実施例について説明す
る。
引き(コマ落とし)表示などによりその表示速度を速く
すれば、「走る」という動作に近似する。また逆に、
「走る」という動作は、例えばフレーム挿入(コマ付
加)表示などによりその表示速度を遅くすれば、「歩
く」という動作に近似する。そこで、以下の例では、図
33に示すように、「走る」という動作には、本来の
「走る」という主動作とこれに付随する「歩く」という
副動作とが含まれる場合を例にして説明する。
5の説明図であり、テーブル格納部52−5は、行動間
の接続関係を示す行動テーブル52−5Aと、各地点間
の移動の映像の種類を示す移動テーブル52−5Bとを
設けている。
ように、現在の動作から次の動作への接続が可能か否か
を示すものである。図35で「1」は動作接続が可能で
あり、「×」は動作接続が不可能である。図35の例で
は、動作として「歩く」,「走る」,「飛ぶ」という3
種類の動作があり、「歩く」と「走る」とについては互
いに前後接続が可能であるが、「飛ぶ」は「飛ぶ」とし
か接続できない。
ように、ある地点A〜Dの何れかから他の地点A〜Dの
何れかへ移動する映像の行動種類を示している。図36
で「1」は映像があることを表し、「0」は映像がない
ことを表しており、また、ここでは3桁の各ビットは左
端から順に「飛ぶ」,「走る」,「歩く」の動作に対応
している。図37の例では、地点Aから地点Bまで移動
する場合に、「歩く」の動作のみが存在し、他の「走
る」,「飛ぶ」の動作は存在していない。同様にして、
地点Aから地点Dまでの移動には「飛ぶ」のみが存在し
ており、地点Bから地点Cまでの移動,地点Cから地点
Dまでの移動には、「走る」,「歩く」のみがそれぞれ
存在している。
の命令解釈部2に、始点Aから到達地点Dまで「走る」
という動作の命令が入力されたとすると、映像選択部3
にて、以下に示すような映像が選択される。図36に示
す移動テーブルの場合、地点Aから地点Dまでは「飛
ぶ」の動作の映像しかないので、直接に到達することは
できない。また、他の点を経由する経路でも、「走る」
のみの映像で繋げることは不可能である。ここで、「歩
く」の動作は「走る」の動作の副動作であるので、この
「歩く」の動作も採用すると、図37に示すような動作
を繋いで地点Aから地点Dまで到達できる。この場合の
出力は、地点Aから地点Bまで「歩く」,地点Bから地
点Cまで「走る」,地点Cから地点Dまで「歩く」とな
る。
種類のパスしか考えられないが、移動テーブルが図38
に示すような場合には、図39に示すような3通りのパ
スが選択できる。まず、第1パスは上述の例と同じでA
→B(歩く),B→C(走る),C→D(歩く)であ
り、第2パスはA→B(歩く),B→C(走る),C→
D(走る)であり、第3パスはA→B(歩く),B→D
(走る)である。そして、このように複数のパスが考え
られる場合には、各パスにおける、目標時間と各パスに
おける所要時間との差異,乗り換えの回数,主動作(こ
こでは「走る」)と副動作(ここでは「歩く」)との割
合などのパラメータを比較して、最適なパスを最終的に
選択すれば良い。
ったが、この副動作の種類は複数であっても良いことは
勿論である。
理のフローチャートを示す。この処理は移動命令の発行
により実行される。まず、入力された行動の種類に応じ
て、その行動に対する主行動及び副行動の行動テーブル
に基づいて、使用するマスクを計算する(ステップS2
1)。そして、主行動のみをマスクにして、移動テーブ
ルを参照してパス候補を検索する(ステップS22)。
所定時間が経過したか否かを判断する(ステップS2
3)。所定時間が経過している場合にはステップS26
に進み、所定時間が経過していない場合にはすべての副
動作も含めた検索処理を終了したか否かを判断する(ス
テップS24)。処理が済んでいない副動作が存在する
場合には、その副動作もマスクに加えて(ステップS2
5)、ステップS22に戻って移動テーブルを参照して
パス候補を検索する。
3:YES)またはすべての副動作も含めた検索処理を
終了した場合(ステップS24:YES)、検索したパ
ス候補が複数であるときにこれらの複数のパス候補を評
価する(ステップS26)。ここで、所定時間とはリア
ルタイム表示に障害を及ぼさない時間であり、本発明の
装置では生物の行動を映像表示するので、そのリアルタ
イム性が極めて重要であり、リアルタイム表示を実現す
るために有効時間内でパス候補の検索処理を終了する必
要があり、所定時間が経過すれば、他のパス候補が検索
可能であっても、直ちにステップS26での評価処理を
行うようになっている。従って、リアルタイムの映像生
成が可能である。複数の副動作が存在する場合には、そ
のマスク順序に優先度を設定しておけば、最適なパスが
パス候補として検索されないという虞はない。
する。前述した実施例と同様に、各パス候補について、
位置誤差と時間誤差と不自然さとに基づいて図30に示
すように評価用の三角形を作成し、その三角形の面積及
び三角形の重心と原点との距離を求める。この際、位置
誤差,時間誤差,不自然さの優先度に従って重み付けを
行っても良い。
前述の実施例と同様であるが、不自然さについては異な
っている。前述の実施例では乗り換え回数のみを不自然
さの指標としたが、本例では乗り換え回数に加えて主動
作と副動作との割合も不自然さの指標とする。主動作の
割合をn、乗り換え回数をcとした場合に、本例の不自
然さは以下の式にて求めるものとする。但し、wは主・
副動作の割合と乗り換え回数との重要度の差異を表す重
み係数である。なお、このn,c,wは生物の種類なら
びに行動によって異なってくる。 不自然さ=n+c×w
面積と距離との加算値が最小であるパス候補を最適なパ
スとして選択し確定する(ステップS27)。
主動作と副動作を含めるようにしたので、生物の抽象度
を上げた行動パターンを映像表示することが可能であ
る。また、蓄積している映像パターンがあまり多くなく
て主動作のみで表示できない場合でも、副動作を併用す
ることにより、不自然さがない映像を提供できる。
って、自立したオブジェクト群から構成される人工生物
が考えられており、コンピュータ上でその人工生物が住
む世界を実現する試みもなされている。人工生物の動作
を映像表示するために本発明の映像生成装置を利用でき
る。図1において、人工生物が考えて行いたい行動パタ
ーンが命令(行動の種類,行動位置,行動時間などを含
む)として命令解釈部2に入力され、この命令に従っ
て、映像選択部3により情報蓄積部5から所望の映像が
選択されて映像表示部4に表示され、人工生物の行動が
映像表示される。
状況に対して自然に反応する反応性と、過去の経験に基
づいた計画,学習,予測を行うある程度深い思考性とを
備えておく必要がある。よって、人工生物も自然界の生
物と同様に、行動パターンを決定するためには、外界の
変化に対して即時(リアルタイム)に対応できるような
反射的行動をつかさどる部分(自然界の生物の脊髄に相
当するもの)と、比較的深い思慮に基づいて計画的な行
動を決定する部分(自然界の生物の大脳,小脳に相当す
るもの)との2つの行動決定部を有する。以下では、前
者の部分を下位行動決定部、後者の部分を上位行動決定
部として説明する。
情報蓄積部5からの蓄積映像パターンを繋げて映像表示
する場合には、これらの行動決定部と映像生成装置1と
の間におけるメッセージのやりとりが円滑に行われない
と、表示される人工生物の動作に不自然さが目立ってし
まう。以下では、これらの行動決定部と映像生成装置1
との間におけるメッセージのやりとりの種々の例につい
て説明する。
ジの伝送 下位行動決定部11と上位行動決定部12と映像生成装
置1との関係を示すと図41のようになり、下位行動決
定部11から映像生成装置1には、行動パターンに応じ
た映像を要求する命令がメッセージとして伝送され、映
像生成装置1から下位行動決定部11には映像選択の終
了の告知などがメッセージとして伝送される。また、下
位行動決定部11から上位行動決定部12には外部状況
の認知情報が伝送され、上位行動決定部12から下位行
動決定部11には決定した行動パターンが伝送される。
映像生成装置1,下位行動決定部11及び上位行動決定
部12はそれぞれ、一定の時間を単位として(この時間
単位をtickという)動作しているが、それぞれの1
tickは異なっており(同じ場合もある)、行動決定
後のリアルタイム表示を実現するために映像生成装置1
が最も短く、比較的深い思索を行う上位行動決定部12
が最も長く設定されている。
置1と下位行動決定部11とは非同期で動作しており、
また、双方の1tickに時間差が生じているので、映
像が最大で下位行動決定部11の1tick分だけ表示
されなくなる。図42はこのことを示すメッセージの伝
送図であり、図にあってt1は選択した映像を表示し終
えて人工生物の一つの行動が完了した時点を示す。一つ
の行動の映像を表示し終えると映像生成装置1から映像
終了のメッセージが次のtickで下位行動決定部11
に送られる。下位行動決定部11はこのメッセージを受
けると次のtickで映像要求のメッセージを映像生成
装置1に伝送する。映像生成装置1はこのメッセージを
受け取って始めて、メッセージに基づく次の動作の映像
を準備して、映像を表示する。よって、時点t1から行
動表示再開の時点t2まで、人工生物は静止した状態で
ある。これは極めて不自然である。
になされたものであり、準備した映像表示が完了する時
点より下位行動決定部11の1tick以上前に、もう
すぐ今回の映像が終了することを告知するメッセージ
(仮終了メッセージ)を、映像生成装置1から下位行動
決定部11に伝送する。下位行動決定部11はこの仮終
了メッセージを受けると映像生成装置1に次の行動の映
像を要求するメッセージ(映像要求メッセージ)を送
り、映像生成装置1は現在の行動が完了した後に連続し
てその映像要求メッセージに基づく映像を表示する。
すメッセージの伝送図であり、現在の行動が終了する時
点t1よりも下位行動決定部11の1tick以上前の
時点t3において、仮終了メッセージm1を映像生成装
置1から下位行動決定部11に伝送する。すると、次の
tickの時点t4で映像要求メッセージm2を下位行
動決定部11から映像生成装置1に伝送する。映像生成
装置1はこの映像要求メッセージm2を受け取ると、こ
れに基づく映像を選択して準備しておき、現在の行動が
終了した時点t1から現在の行動に連続させて選択した
映像を表示する。よって、人工生物の連続した動作表示
が可能となり、人工生物の行動が視覚的に自然なものと
なる。その後、時点t5で映像終了のメッセージm3を
映像生成装置1から下位行動決定部11に伝送する。
位行動決定部11の1tickより短く、例えば映像生
成装置1,下位行動決定部11の1tickをそれぞれ
100ms,400msとした場合、映像生成装置1の
1tick毎に何らかのメッセージを下位行動決定部1
1に伝送すると、下位行動決定部11ではその1tic
kで映像生成装置1からの4ticks分のメッセージ
を順次更新する必要がある。そこで、上述の例の場合、
映像生成装置1から4ticks毎にメッセージを下位
行動決定部11に伝送することとして、映像生成装置
1,下位行動決定部11間で時間粒度を合わせておくと
便利である。但し、下位行動決定部11からのメッセー
ジは1tick毎に映像生成装置1に受け付けられると
する。よって、仮終了メッセージは、映像表示終了(行
動終了)時点から逆算して下位行動決定部11の1ti
ckより長い時間の映像生成装置1の4ticks周期
の時点で伝送する。
生成装置1との間におけるメッセージのやりとりを工夫
して、人工生物の行動の空白部分を解消するようにした
ものであったが、上位行動決定部12と映像生成装置1
との間においても同様のことが考えられる。ワークステ
ーションにおいて、上位行動決定部12にて考えた行動
を映像生成装置1にて映像表示するまでには、いくつか
の手順が必要であって時間を要する。よって、人工生物
の行動を連続して映像表示するためには、上述した下位
行動決定部11と映像生成装置1との関係においてと同
様に、ある行動の映像表示が終了した後に上位行動決定
部12にて次の行動を考えてその映像を映像生成装置1
にて準備するのでは、人工生物の前の行動と次の行動と
の間で動きが停止してしまって不自然さが残る。従っ
て、以下の例では、上位行動決定部12にて考えられた
動きの連続性を保証できる最小時間を現在の行動の終了
時点から逆算し、その逆算した時点で、まもなく行動が
終了するというメッセージを、上位行動決定部12が次
の行動を考え始めるキューとして、映像生成装置1から
下位行動決定部11を介して上位行動決定部12へ伝送
する。この映像生成装置1,上位行動決定部12間の終
了告知メッセージを仮々メッセージという。
とりを示すメッセージの伝送図であり、現在の行動が終
了する時点をt6とする。上位行動決定部12での行動
計画の思索時間,図25に示すようなトータルグラフを
読み込んで種々のパス候補を検索する時間,映像生成装
置1及び下位行動決定部11での動作時間などの合計時
間を、この終了時点t6からさかのぼって算出した時点
t7において、映像生成装置1から下位行動決定部11
へ仮々終了メッセージm4を伝送する。そして、下位行
動決定部11からこの仮々終了メッセージm4に応じ
て、まもなく行動が終了することが上位行動決定部12
に伝えられると、上位行動決定部12は次の行動計画を
考え、下位行動決定部11からトータルグラフの検索を
要求するメッセージ(グラフ検索要求メッセージ)m5
が時点t8で映像生成装置1に伝送される。映像生成装
置1は、すべてのパス候補を示すトータルグラフの準備
を行ない、準備終了後にトータルグラフの検索が完了し
たことを示すメッセージ(グラフ検索完了メッセージ)
m6を時点t9で下位行動決定部11へ伝送する。下位
行動決定部11は映像要求メッセージm2を時点t10
で映像生成装置1へ伝送する。映像生成装置1はこの映
像要求メッセージm2を受け取ると、これに基づく映像
を選択して準備しておき、現在の行動が終了した時点t
6から現在の映像に連続させて選択した映像を表示す
る。
が終了する時点より先に、行動を決定する下位行動決定
部11,上位行動決定部12に、終了を予告する仮終了
メッセージ,仮々終了メッセージを伝送するようにした
ので、先の行動の映像が終了した時点で次の行動用の映
像の準備は完了できており、人工生物の動作が静止する
ことなく連続した動作表示が可能となり、人工生物の行
動を視覚的に自然なものに映像表示することが可能とな
る。
部12,下位行動決定部11及び映像生成装置1が完全
に同期してそれぞれ1tick内で動作する場合、映像
表示終了におきかえることができる。また、一部完全同
期の場合も同様である。
決定されるものであるが、「目的地に向かって歩く」と
か「座って餌を食べる」とかのような計画的、通常的な
行動(通常行動という)と、「大きな音がしたので驚
く」とか「敵を発見したので急に逃げ出す」とかのよう
な反射的、突発的な行動(突発行動という)との二種類
に分類される。よって、表示される人工生物にとっても
これらの二種類の行動の違いが考えられるし、その動作
表示においても行動の違いを明瞭にするとリアリティが
向上する。つまり、突発行動の場合には通常行動と違っ
て、動作の連続性が不自然であってもすぐに行動を起こ
すようにするのが現実的である。本例は、突発行動での
リアリティの向上を目的とした実施例である。
1,下位行動決定部11間のメッセージのやりとりを示
すメッセージ伝送図である。下位行動決定部11からグ
ラフ検索要求メッセージが送られると、その要求が受け
付けられてグラフ検索受付メッセージが返送され、グラ
フがハードディスク(CD−ROM)から読み出されて
メモリに読み込まれる。そして、メモリへの読み込みが
終了するとグラフ検索完了メッセージが下位行動決定部
11に送られる。その後、下位行動決定部11からの映
像要求メッセージに応じて、行動の映像表示が開始さ
れ、映像返答メッセージが下位行動決定部11に返送さ
れる。行動が終了すると、映像終了メッセージが下位行
動決定部11に伝送され、メモリがフラッシュされて読
み込まれたグラフのデータが消される。
装置1,下位行動決定部11間のメッセージのやりとり
を示すメッセージ伝送図である。1回目の行動における
映像生成装置1,下位行動決定部11間のメッセージの
やりとりは、上述した通常行動の場合と同じであるが、
その行動が終了した時点でメモリをフラッシュせずに読
み込まれグラフのデータをメモリに格納しておく。この
ようにしておくと、2回目以降の行動時には、下位行動
決定部11から映像要求メッセージが送られると直ちに
その行動を開始できる。よって、突発行動のリアリティ
を向上することができる。
るか否か、つまり通常行動か突発行動かの識別は、コー
ドフラグにて管理する。また、突発行動を意識的にメモ
リからフラッシュしたい場合には、下位行動決定部11
からフラッシュ要求のメッセージを映像生成装置1に伝
送すればよい。
を中断して別の行動を行いたくなることが考えられる。
このような場合の映像生成装置1,下位行動決定部11
間のメッセージのやりとりについて説明する。
まで歩いていく動作を行っている間のその途中のx1の
地点で方向が異なる地点Cに行きたくなったとする。図
中●は定型フレームが存在する位置を示しており、地点
A,B及びCと、地点x1と地点Bとの間の地点x2及
びx3に定型フレームが存在する。
変更するこの行動変更が成功した場合の映像生成装置
1,下位行動決定部11間のメッセージのやりとりを示
すメッセージ伝送図である。地点x1に存在するとき
に、下位行動決定部11から映像生成装置1へ行動変更
のメッセージが伝送される。映像生成装置1ではこのメ
ッセージを受けて、変更受付のメッセージを返送し、ハ
ードディスク(CD−ROM)からグラフを検索してメ
モリに読み込む。地点x3より手前の地点x4の位置で
読み込みが終了すると、検索成功のメッセージが下位行
動決定部11に伝送される。そして、地点x3から地点
Cに向けた動作が開始されて、映像開始のメッセージが
下位行動決定部11に伝送され、前に実行していた地点
Aから地点Bに向かう行動がメモリからフラッシュされ
る。その後、地点Cに向かう行動が終了すると、映像終
了のメッセージが下位行動決定部11に伝送される。こ
の結果、地点Aから地点Bに向かう途中で、目標位置を
地点Bから地点Cに変更して、地点x3へ経て地点Cに
到達できる。
点Cに変更するこの行動変更が失敗した場合の映像生成
装置1,下位行動決定部11間のメッセージのやりとり
を示すメッセージ伝送図である。図48の場合と同様
に、地点x1に存在するときに、行動変更のメッセージ
が伝送され、グラフが検索されてメモリに読み込まれ
る。しかし、行動は変更しないと判断して、検索失敗の
メッセージが下位行動決定部11に伝送される。ここ
で、行動変更を行わない判断基準として、現在の行動の
終了時刻の所定時間(数秒程度)以内では変更を受け付
けない、または、上位行動決定部12の動作終了のメッ
セージを出した後は変更を受け付けない等の基準が考え
られる。そして、前の行動(地点Aから地点Bに向かう
動作)が継続されて、その動作が終了すると映像終了の
メッセージが下位行動決定部11に伝送される。この結
果、行動変更は認められずに、地点Bに到達する。
て実行する場合におけるメッセージのやりとりについて
説明する。例えば、始点Aから地点B1 ,B2,…,B
n-1 を経由して目標地点Cまで飛ぶ行動計画を立てたと
する。図50は、この場合の映像生成装置1,下位行動
決定部11間のメッセージのやりとりを示すメッセージ
伝送図である。地点Aから(n−1)個の経由地点を経
て地点Cまで飛ぶ映像を要求するメッセージを下位行動
決定部11から映像生成装置1に伝送する。映像生成装
置1はこのメッセージを受けて、ハードディスク(CD
−ROM)からn回のグラフ検索を行ってメモリに読み
込む。読み込みが終了すると準備完了のメッセージが下
位行動決定部11に伝送される。そして、下位行動決定
部11から映像要求のメッセージが伝送されると、行動
(飛行動作)が開始されて、映像開始のメッセージが下
位行動決定部11に返送される。最終的に地点Cまで到
達して一連の飛行行動が終了すると、映像終了のメッセ
ージが下位行動決定部11に伝送される。隣合う地点間
の行動毎に映像要求を行っていくとn回の乗り継ぎが必
要であるが、本例では乗り継ぎはなく連続した1回の映
像で表示できる。
標地点Cまで飛ぶ行動計画を映像表示する際の映像生成
装置1,下位行動決定部11及び上位行動決定部12の
動作,メッセージの流れを示す図であり、図51(a)
は地点Aから地点B、次に地点Bから地点Cまでと別々
に映像要求メッセージを伝送した場合を示し、図51
(b)は上述した本例の場合を示している。図51
(a)の例では表示に継ぎ目が見られるが、本例の図5
1(b)では一連の動作として表示される。
がある場合には、本例のように一連の映像を要求するメ
ッセージを伝送することにより、乗り換え時の継ぎ目が
ないので、継ぎ目による不自然な表示を防止できる。
ータからキャラクタを抽出した各リムについてプライオ
リティを設定し、このプライオリティに基づいてリムを
選択し、その映像データ及び3次元位置を抽出するた
め、キャラクタは実写映像データから得られるので行動
が連続的かつ自然であり、プライオリティの設定により
キャラクタが行動する速度を任意に変更できる。
図である。
た接続の具体例の説明図である。
である。
た映像生成説明図である。
明図である。
ある。
ある。
積部の構成図である。
である。
である。
る。
る。
る。
である。
である。
ある。
処理のフローチャートである。
る。
部の構成図である。
関係の説明図である。
情報蓄積部の構成図である。
である。
行動決定部間のメッセージ伝送図である。
行動決定部間のメッセージ伝送図である。
行動決定部及び上位行動決定部間のメッセージ伝送図で
ある。
定部間のメッセージ伝送図である。
定部間のメッセージ伝送図である。
位行動決定部間のメッセージ伝送図である。
位行動決定部間のメッセージ伝送図である。
定部間のメッセージ伝送図である。
定部の動作及びメッセージの流れを示す図である。
Claims (2)
- 【請求項1】 計画的な通常行動を決定する第1行動決
定部と、反射的な突発行動を決定する第2行動決定部と
を有し、決定した行動に合った映像を要求するための命
令を出力する命令出力部と、前記命令出力部からの映像
を生成するための情報を要求する命令を受けてその命令
を解釈する命令解釈部と、映像を生成するための情報を
蓄積する情報蓄積部と、前記命令解釈部からの内容によ
り前記情報蓄積部から映像を生成するための情報を選択
して格納する映像選択部と、前記映像選択部で選択した
映像を生成するための情報を表示する映像表示部とを備
え、前記命令出力部からの命令が行動主体の通常行動を
示す場合には、表示終了後に前記映像選択部に格納した
映像を生成するための情報を消去し、前記命令出力部か
らの命令が行動主体の突発行動を示す場合には、格納し
た映像を生成するための情報を表示終了後にも格納して
おくように構成したことを特徴とする映像生成装置。 - 【請求項2】 計画的な通常行動を決定する第1行動決
定部と、反射的な突発行動を決定する第2行動決定部と
を有し、決定した行動に合った映像を要求するための命
令を出力する命令出力部と、前記映像を生成するための
情報を要求する命令を受けて、その命令を解釈する命令
解釈部と、映像を生成するための情報を蓄積する情報蓄
積部と、前記命令解釈部からの内容により前記情報蓄積
部から映像を生成するための情報を選択する映像選択部
と、前記映像選択部で選択した映像を生成するための情
報を表示する映像表示部とを備え、前記命令出力部から
の前回の命令に基づく映像を生成するための情報が表示
されている間に、前回の命令に基づく映像を生成するた
めの情報の終了時刻より以前の所定時間内に別の映像を
生成するための情報を要求する命令が出力された場合、
その出力された命令は無効とするように構成したことを
特徴とする映像生成装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6328847A JP2981642B2 (ja) | 1994-01-07 | 1994-12-28 | 映像生成装置 |
US08/369,110 US5724499A (en) | 1994-01-07 | 1995-01-05 | Image generating apparatus |
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP45594 | 1994-01-07 | ||
JP4448094 | 1994-03-15 | ||
JP4754194 | 1994-03-17 | ||
JP26572894 | 1994-10-28 | ||
JP6-455 | 1994-10-28 | ||
JP6-44480 | 1994-10-28 | ||
JP6-265728 | 1994-10-28 | ||
JP6-47541 | 1994-10-28 | ||
JP6328847A JP2981642B2 (ja) | 1994-01-07 | 1994-12-28 | 映像生成装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22631098A Division JP3300797B2 (ja) | 1994-01-07 | 1998-08-10 | 映像生成装置 |
JP22631198A Division JP3300798B2 (ja) | 1994-01-07 | 1998-08-10 | 映像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08180208A JPH08180208A (ja) | 1996-07-12 |
JP2981642B2 true JP2981642B2 (ja) | 1999-11-22 |
Family
ID=27517956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6328847A Expired - Lifetime JP2981642B2 (ja) | 1994-01-07 | 1994-12-28 | 映像生成装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5724499A (ja) |
JP (1) | JP2981642B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7012607B1 (en) * | 1996-01-05 | 2006-03-14 | Microsoft Corporation | Method and system for generating user-interface output sequences |
JPH1078947A (ja) * | 1996-09-04 | 1998-03-24 | Matsushita Electric Ind Co Ltd | マルチメディアタイトル再生装置 |
US6121977A (en) * | 1996-10-18 | 2000-09-19 | Fujitsu Limited | Method and apparatus for creating image and computer memory product |
JP2941230B2 (ja) * | 1997-05-06 | 1999-08-25 | コナミ株式会社 | 画像表示処理装置,画像表示処理方法,及びコンピュータプログラムを記録した機械読取り可能な記録媒体 |
CN1152364C (zh) * | 1997-05-19 | 2004-06-02 | 松下电器产业株式会社 | 图形显示装置和同步重放方法以及声像同步重放装置 |
US6587109B1 (en) | 1998-12-24 | 2003-07-01 | B3D, Inc. | System and method for real-time scalability of 3D graphics based on internet bandwidth and CPU speed |
US7007295B1 (en) | 1998-12-24 | 2006-02-28 | B3D, Inc. | System and method for Internet streaming of 3D animated content |
US6538654B1 (en) | 1998-12-24 | 2003-03-25 | B3D Inc. | System and method for optimizing 3D animation and textures |
US6674437B1 (en) * | 1998-12-24 | 2004-01-06 | B3D, Inc. | Key reduction system and method with variable threshold |
US6563504B1 (en) | 1998-12-24 | 2003-05-13 | B3D, Inc. | System and method for creating 3D animated content for multiple playback platforms from a single production process |
JP2001034776A (ja) * | 1999-07-22 | 2001-02-09 | Fujitsu Ltd | アニメーション編集システムおよびアニメーション編集プログラムを記録した記憶媒体 |
JP2002109560A (ja) * | 2000-10-02 | 2002-04-12 | Sharp Corp | アニメーション再生装置、アニメーション再生システム、アニメーション再生方法、アニメーション再生方法を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20030227453A1 (en) * | 2002-04-09 | 2003-12-11 | Klaus-Peter Beier | Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data |
US7515156B2 (en) * | 2003-01-08 | 2009-04-07 | Hrl Laboratories, Llc | Method and apparatus for parallel speculative rendering of synthetic images |
JP4810088B2 (ja) * | 2004-12-17 | 2011-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びそのプログラム |
US20070127909A1 (en) | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
JP6059614B2 (ja) * | 2013-07-31 | 2017-01-11 | Kddi株式会社 | 仕草生成装置、仕草生成システム、仕草生成方法およびコンピュータプログラム |
JP2016193342A (ja) * | 2016-08-24 | 2016-11-17 | 京楽産業.株式会社 | 遊技機 |
CN106528800B (zh) * | 2016-11-11 | 2019-10-08 | 叶一火 | 一种基于真实场景的影像生成方法及装置 |
JP6930337B2 (ja) * | 2017-09-27 | 2021-09-01 | カシオ計算機株式会社 | 電子機器、移動経路記録方法、およびプログラム |
JP7097620B2 (ja) * | 2019-08-29 | 2022-07-08 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理システム、及びプログラム |
CN113289330B (zh) * | 2020-02-21 | 2023-12-08 | 华为技术有限公司 | 渲染方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4731672A (en) * | 1983-11-25 | 1988-03-15 | Canon Kabushiki Kaisha | Image processing system |
JP2817138B2 (ja) * | 1988-03-23 | 1998-10-27 | 富士ゼロックス株式会社 | 表示装置及び該表示装置を備えた記録装置 |
JP2675646B2 (ja) * | 1989-11-29 | 1997-11-12 | シャープ株式会社 | 動画生成方式 |
US5420703A (en) * | 1990-02-01 | 1995-05-30 | Canon Kabushiki Kaisha | Color image processing system having multi-image processing capabilities |
US5381158A (en) * | 1991-07-12 | 1995-01-10 | Kabushiki Kaisha Toshiba | Information retrieval apparatus |
JPH05233722A (ja) * | 1992-02-18 | 1993-09-10 | Oki Electric Ind Co Ltd | データ検索制御装置 |
JPH05242166A (ja) * | 1992-02-28 | 1993-09-21 | Fuji Xerox Co Ltd | マルチメディアデータ編集/提示方式 |
JP2686016B2 (ja) * | 1992-02-29 | 1997-12-08 | 富士通株式会社 | 文字フォントキャッシュの最適化方法 |
US5454075A (en) * | 1992-09-01 | 1995-09-26 | Kabushiki Kaisha Toshiba | Device and method for multiple display system having storage means for enlarged images |
US5381526A (en) * | 1992-09-11 | 1995-01-10 | Eastman Kodak Company | Method and apparatus for storing and retrieving generalized image data |
-
1994
- 1994-12-28 JP JP6328847A patent/JP2981642B2/ja not_active Expired - Lifetime
-
1995
- 1995-01-05 US US08/369,110 patent/US5724499A/en not_active Expired - Lifetime
Non-Patent Citations (6)
Title |
---|
"94年を境にWindowsはテレビジョン化していく",日経バイト1994年2月号,日経BP,p.118−125 |
"特集見えてきたマルチメディアの実像",日経バイト1993年5月号,日経BP,1993年5月1日,p.86−110 |
乃万司,馬場博巳"時間制約に基づくアニメーションシステム",PIXEL1993年6月号,図形処理情報センター,1993年6月1日,No.129,p.101−104 |
伊藤ほか"人工現実感を応用した「仮想生物システム」",情報処理学会研究報告 Vol.93,No.21(93−IM−10),1993年3月12日,p.39−46 |
情報処理学会第46回(平成5年前期)全国大会講演論文集,平成5年3月23日,p2−351から2−356 |
村上公一"感情移入を引き起す人工生命製品(TEO)"(エレクトロニクス,1997年,Vol.42,No.1,p.92−95 |
Also Published As
Publication number | Publication date |
---|---|
US5724499A (en) | 1998-03-03 |
JPH08180208A (ja) | 1996-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2981642B2 (ja) | 映像生成装置 | |
Halper et al. | A camera engine for computer games: Managing the trade‐off between constraint satisfaction and frame coherence | |
US20040130566A1 (en) | Method for producing computerized multi-media presentation | |
US8405662B2 (en) | Generation of video | |
JP4746640B2 (ja) | 動的イメージのモーション遷移処理方法とそのシステム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Lino et al. | The director's lens: an intelligent assistant for virtual cinematography | |
CN112354186B (zh) | 游戏动画模型控制方法、装置、电子设备以及存储介质 | |
WO2017094527A1 (ja) | 動画生成システムおよび動画表示システム | |
CN112819933A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
Alexa et al. | The morph node | |
Moscovich et al. | Animation sketching: An approach to accessible animation | |
Corradini et al. | Animating an interactive conversational character for an educational game system | |
US9396574B2 (en) | Choreography of animated crowds | |
US8237719B1 (en) | Pose-structured animation interface | |
JP3300797B2 (ja) | 映像生成装置 | |
KR100916221B1 (ko) | 3차원 맵에서의 향상된 캐릭터 이동 경로 설정 방법 | |
JP3300798B2 (ja) | 映像生成装置 | |
JP3714911B2 (ja) | 映像生成装置 | |
JPWO2008023819A1 (ja) | コンピュータシステムおよび動作制御方法 | |
JP2000011199A (ja) | アニメーションの自動生成方法 | |
Bares et al. | Generating virtual camera compositions | |
EP0797173A1 (en) | Virtual environment navigation and interaction apparatus and method | |
CN111739134B (zh) | 虚拟角色的模型处理方法、装置及可读存储介质 | |
CN111739135B (zh) | 虚拟角色的模型处理方法、装置及可读存储介质 | |
Ilisescu et al. | Responsive action-based video synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990824 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 12 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 14 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |