JP2003132363A - アニメーション制作システム - Google Patents
アニメーション制作システムInfo
- Publication number
- JP2003132363A JP2003132363A JP2002267444A JP2002267444A JP2003132363A JP 2003132363 A JP2003132363 A JP 2003132363A JP 2002267444 A JP2002267444 A JP 2002267444A JP 2002267444 A JP2002267444 A JP 2002267444A JP 2003132363 A JP2003132363 A JP 2003132363A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- data
- animation
- segment
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
ニメーションを構成しているモーションの強調を行なう
アニメーション制作システムを得る。 【解決手段】 このアニメーション作成システムは、ア
ニメーションのモデルの形状を作成する形状作成手段
と、形状作成手段において作成されたモデルのモーショ
ンデータを入力しモーションを作成するモーション作成
手段と、モーション作成手段に入力されたモーションデ
ータに対して強調計算を行ない、強調されたモーション
データを出力するモーション強調手段とを備えている。
Description
用したアニメーション制作システムに関するものであ
る。
ョンを制作する場合には、アニメーションに登場する物
体の形状を作成し、その物体の形状に動作を付与し、こ
れらの物体の形状を、あらかじめ記述済みのシナリオを
用いて組み合わせてアニメーションを作成していた(以
下、従来例1とする)。
た口形状と音声とを同期させるリップシンク技術につい
ては、従来、音声として発音テキスト文をユーザーが手
動で作成し、それに合わせて合成音声を発声し、それに
対して口形状のアニメーションを同期させていた(以
下、従来例2とする)。
て、物体の形状に付与する動作をデータベースとして保
存する方式がある(以下、従来例3とする)。
号公報に記載された方式がある。図37はこの従来例1
のアニメーション制作システムを示す構成図である。こ
の方式では、アニメーションに登場する物体の形状の作
成(形状作成手段1)、その物体の形状への動作の付与
(動作作成手段2)、これらの物体の形状の組み合わせ
によるアニメーションの作成の過程(演出作成手段3)
を持つ。
体名、動作の内容、動作を行う位置及び時間等からなる
動作列からなるシナリオを作成することによって行われ
る。そして、シナリオ作成時に、形状あるいは動作を変
更する場合は、シナリオ作成作業を中断し、データ変更
手段を介して形状あるいは動作作成手段を制御して変更
処理を行うことができる。
号公報に記載された方式がある。図38はこの従来例2
のアニメーション制作システムを示す構成図である。こ
の方式では、発音情報より得られる発音のタイミングを
基準にして加重パラメータ時系列を生成し、この加重パ
ラメータ時系列で多重内挿して口形状が変化するアニメ
ーションを生成している。この方式では、入力として発
音テキスト文を用いており、発音テキスト文の示す文章
を、発音情報にあわせて出力する。さらに、その発音情
報に合わせて、上記の多重内挿法によって作成された口
形状のアニメーションを同期して表示している。
公報に記載された方式がある。図39はこの従来例3の
アニメーション制作システムを示す構成図である。この
方式では、蓄積したアニメーションデータを用いて形状
の異なる他の物体のアニメーションを簡易に作成し、デ
ータベースの大型化を未然に防止得るようにしている。
では、アニメーション制作の過程を統合してはいるが、
アニメーションを構成する要素の組み合わせにおいて、
あらかじめ記述済みのシナリオもしくは手動によって、
これらが行われている。この方法では、これらの要素を
組み合わせてアニメーションを作成する場合に、そのう
ちの一つが変更されると、他の全てに影響が及び修正を
加えなければならないという問題がある。そこで、この
修正を簡単に行なえることが必要となる。
は、テキスト文やテキストの発音情報を入力し、それら
の情報に従って、合成音声を発声させ、発声情報に基づ
いて口形状等を作成することで、音声と口形状との同期
を行なっていた。この場合、テキスト文やテキストの発
声情報をあらかじめ用意する必要があり、実際に声優を
使い、その音声に対応したコンピュータグラフィクスの
口形状を同期させるといった目的には使用できない。そ
こで、実際の音声データから、音声データ中の文字発音
タイミング等の特徴を抽出し、その特徴からリップシン
クを行なえる手法が必要となる。
成したアニメーションデータを、蓄積するための方法に
ついては述べられているが、蓄積したアニメーションデ
ータを有効に利用するための検索手段が用意されていな
い。また蓄積されているモーションデータの合成につい
ては述べられているが、モーションの強調を行ないより
アニメーションらしいモーションを作成する方法につい
ては言及されていない。
ムは上記のような問題点を解決することを目的とするも
のである。
ーション制作システムは、アニメーションの構成に使用
する少なくとも第1のアニメーション構成データ及び第
2のアニメーション構成データを有するアニメーション
構成データを用いてアニメーションの制作を行なうもの
であって、前記第1のアニメーション構成データ及び前
記第2のアニメーション構成データの各々に対し、同期
設定のための同期制御データを付加するとともに、当該
付加された同期制御データを用いて、前記第1のアニメ
ーション構成データと前記第2のアニメーション構成デ
ータの同期を制御する同期制御手段を備えたものであ
る。
テムは、第1の発明における同期制御手段を前記第1の
アニメーション構成データ及び第2のアニメーション構
成データを部分的に伸長又は縮退することにより同期を
制御することとしたものである。
テムは、アニメーションのモデルの形状を作成する形状
作成手段と、前記形状作成手段において作成された前記
モデルのモーションデータを入力しモーションを作成す
るモーション作成手段と、前記モーション作成手段に入
力されたモーションデータに対して強調計算を行ない、
強調されたモーションデータを出力するモーション強調
手段とを備えたものである。
テムは、第3の発明におけるモーション強調手段をモー
ションデータに対し強調係数を乗算するとともに、当該
乗算されたモーションデータに対し、当該モデルの関節
間の長さが一定になるよう補正することとしたものであ
る。
テムは、第3の発明におけるモーション強調手段にさら
に強調方向を入力する強調方向入力部と、前記強調方向
入力部に入力された強調方向に対し、モーションの強調
を行なう分解モーション強調計算手段を備えたものであ
る。
テムは、アニメーションのモデルのモーションを入力
し、モーションデータを出力するモーション入力手段
と、予め複数のモーションデータが記憶されたモーショ
ンデータ記憶手段と、前記モーション入力手段より出力
されたモーションデータと前記モーションデータ記憶手
段に記憶されたモーションデータとを比較し、その比較
結果に基づいて前記モーションデータ記憶手段に記憶さ
れたモーションデータより選択し、出力するモーション
データ検索手段とを備えたものである。
テムは、音声信号を入力する音信号入力手段と、母音情
報に対応した口形状モデルを記憶する口形状モデル記憶
手段と、前記音信号入力手段に入力された音声信号の母
音情報に基づいて前記口形状モデル記憶手段より口形状
モデルを選択し画像出力する画像出力手段とを備えたも
のである。
テムは、音声信号を入力する音信号入力手段と、母音情
報及び音声レベルに対応した口形状モデルを記憶する口
形状モデル記憶手段と、前記音信号入力手段に入力され
た音声信号の母音情報及び音声レベルに基づいて前記口
形状モデル記憶手段より口形状モデルを選択し画像出力
する画像出力手段とを備えたものである。
テムは、音声信号を入力する音信号入力手段と、前記音
信号入力手段に入力された音声信号の母音情報に基づい
てセグメント処理を行いセグメント情報を生成するセグ
メント手段と、前記音声信号に対応した口形状データを
生成する口形状データ生成手段と、前記セグメント手段
により生成したセグメント情報に基づいて前記口形状デ
ータ生成手段により生成した口形状データと前記音声信
号とを同期させる同期手段とを備えたものである。
ステムは、第9の発明における同期手段が前記セグメン
ト情報よりセグメント中の始点線分、終点線分、最大量
子化値部分を抽出し、各段階において前記口形状モデル
のキーフレームを割り当てるものである。
ステムは、第9の発明においてさらに文字データを入力
する文字入力手段を有し、セグメント手段が前記文字入
力手段に入力された文字データの個々の文字に対してセ
グメントを割り当てるものである。
ステムは、アニメーションのモデルの部分のモーション
を示す第1の部分モーションデータ及び第2の部分モー
ションデータを記憶する部分モーション記憶手段と、前
記部分モーション記憶手段に記憶された第1の部分モー
ションデータと第2の部分モーションデータのそれぞれ
が同一関節を持っており、この同一関節を基準に、同期
制御手段を用いて同期させた前記第1の部分モーション
データと前記第2の部分モーションデータとを組み合わ
せる組み合わせ手段を有するものである。
形態1に係るアニメーション制作システムのシステム構
成図である。図において1は形状作成手段であり、アニ
メーションの登場人物であるキャラクタモデルや、背景
画像を作成し、アニメーション構成データ保存手段9に
保存する。2はモーション作成手段であり、形状作成手
段1で作成した形状に対してアニメーションのモーショ
ンデータを作成し、アニメーション構成データ保存手段
9に保存する。
ャラクタのセリフ音声やキャラクタの発する音(拍手や
楽器)を入力し、アニメーション構成データ保存手段9
に保存する。4は文字入力手段である。9はアニメーシ
ョン構成データ保存手段であり、アニメーションを作成
するために必要な形状情報やモーション情報、音情報、
文字情報を蓄積する。
グ手段5はアニメーション構成データ保存手段9に蓄積
されているアニメーション構成要素の中でアニメーショ
ン画像を生成するために必要なキャラクタ情報、モーシ
ョン情報を読み込み、陰影をつけるレンダリングを実行
し、アニメーション画像を制作する。6は同期制御手段
であり、アニメーション構成データ保存手段からモーシ
ョンデータ、音データ、文字データを呼びだし、データ
同士の同期をとる。11は音出力手段であり、アニメー
ション構成データ保存手段9に保存されているセリフ音
声や音データを音として出力する。
す。101は同期制御表示部、114はスケルトンデー
タ、116はモーションデータ、118はセリフ音声デ
ータ、120は音データである。同期制御表示部101
はアニメーション構成データ保存手段9に蓄積されてい
るスケルトンデータ114、モーションデータ116、
セリフ音声データ118、音データ120を読み出す。
115はスケルトン入力部である。
部115により作成され、保存される。117はモーシ
ョン入力部である。モーションデータ116はモーショ
ン入力部117により作成され、保存される。119は
音入力部である。セリフ音声データ118はキャラクタ
のセリフ音声をデジタル化したものであり、音入力部1
19から入力され、保存される。音データ120はアニ
メーションで使用する音声以外の音情報であり、これも
同様に音入力部119から入力される。
れたアニメーション構成データは同期制御手段6におい
て、セグメント分けされる。セグメントはアニメーショ
ン構成データにユーザによって設定されるセグメント情
報112により表される。
タ118と音データ120は同期制御表示部101に読
み込まれ、セグメント情報104を入力するために音表
示部102に渡される。音表示部102は渡されたセリ
フ音声データもしくは音データの波形情報と周波数スペ
クトログラムを表示する。103は音出力部である。セ
リフ音声データと音データは音表示部102から音出力
部103へ渡され、音出力部103から音として出力さ
れる。セリフ音声データ118、音データ120は音表
示部102から音声セグメント入力部104に渡され、
そこでユーザによりセグメント情報を入力され、セグメ
ント情報112に登録される。
ョンデータ116は対応するスケルトンデータ114と
共に同期制御表示部101に読み込まれ、モーション表
示部105に渡される。モーション表示部105では同
期制御表示部101より渡されたモーションデータ11
6とそれに対応するスケルトンデータを表示する。10
6はモーションセグメント入力部である。モーションデ
ータはモーション表示部105からモーションセグメン
ト入力部106に渡されユーザによりセグメント情報が
入力され、セグメント情報112に登録される。
り、113は同期制御データである。セグメント情報1
12を使用してセグメント情報対応付け部123におい
て同期制御データが設定され、同期制御表示部101を
通じて同期制御データ113に保存される。
られた複数のアニメーション構成データのうち一つのデ
ータのセグメント情報112の位置が変更された場合に
は、データ再計算部110により同期付けられているア
ニメーション構成データの時間が変更され、同期制御表
示部101に戻す。同期制御表示部101は同期づけし
て時間が変更されたアニメーション構成データをアニメ
ーション構成データ保存手段9に保存する。
行なう。コンピュータアニメーションは、基本的にはア
ニメーションに登場するキャラクタモデルの動きとセリ
フで構成されている。各データは一般的な入力部により
入力され、デジタルデータとしてディスクに蓄積されて
いる。この実施の形態に記載された発明の特徴となる同
期制御手段6は、これらのデータ同士の指定したポイン
トを同一時間に再生できるように変更するものである。
ニメーション構成データについて説明を行なう。アニメ
ーション構成データはアニメーションに登場するキャラ
クタを構成するデータであり、スケルトンデータ11
4、モーションデータ116、セリフ音声データ11
8、音データ120がある。モーションデータ116は
キャラクタの各関節のモーションを表現するものであ
る。
7は、モーションデータの構成を示す図である。図7に
示すように、先頭に毎秒のフレーム数が入っており、各
フレームの各関節毎にフレーム番号f、関節番号jf、
位置変化情報(dxf,dyf,dzf),回転変化情報drf
が繰り返される。
化情報は前フレームとの差分を情報として持っている。
この情報により、キャラクタの各関節の動きを表現す
る。回転情報は後述する子供関節から親関節に向かう直
線を軸に対する回転を表現するパラメータである。最上
位の親には回転情報は存在しない。
各モーションデータ116には必ず対応するスケルトン
データ114が存在する。モーションデータ116の先
頭フレームの位置変化情報と回転変化情報はスケルトン
データ114の初期位置情報からの差分である。
ケルトンデータ114は関節番号jnum 、初期位置情報
(sx,sy,sz)、初期回転情報sr、親関節J
p、兄弟関節Jb、子関節Jcの情報を持っている。親
関節、兄弟関節、子関節のデータは、関節同士の連結情
報である。親子関係は、子関節が親関節の動きに影響さ
れている関節であり、足であれば腿に近い方が親関節に
なり、爪先に近い方の関節が子供関節になる。腕であれ
ば肩に近い方の関節が親になり、手に近い方の関節が子
関節になる。各パーツ同士、例えば腕と体の場合には、
どちらを親にするかはスケルトン設計時による。
し、親関節に対してデータ上は子関節が1つのみの設定
になるため、残りの子関節は、既に親関節に対して子関
節と定義された関節に対して、兄弟関節として表現す
る。
て説明する。セリフ音声データ118、音データ120
は一般的なデジタル音データとし、アナログ音を音入力
部119から入力し、量子化、標本化を行ない、音声デ
ータはセリフ音声データ118へ、それ以外は音データ
120へ保存される。
成データを読み込み、同期を制御する。同期制御手段6
の役割は主に次の3つのフェイズからなっている。1.
アニメーション構成データを読み込み、セグメント情報
を設定する。2.アニメーション構成データへ設定され
たセグメント同士を同期制御データで同期する。3.ア
ニメーション構成データへ設定されたセグメント情報の
変更により、そのデータへ同期されているアニメーショ
ン構成データの時間方向再計算を行なう。
アニメーション構成データを読み込み、セグメント情報
112を設定する部分についての説明を行なう。図10
は、セグメント情報とセグメントを示す図である。図上
でセグメント情報1と2によってはさまれているアニメ
ーション構成データの部分がセグメントAとなる。セグ
メント情報112は各アニメーション構成データに区切
りを与える情報であり、各アニメーション構成データの
ファイル毎に用意されている。セグメント情報の構成
は、1つ前のセグメントからの時間を表す情報とセグメ
ントラベル番号を持っている。このセグメント情報11
2は各アニメーション構成データ毎にそれぞれのセグメ
ント情報入力部から入力する。
始と終了に始めからセグメント情報が設定されている。
新しいセグメント情報を入力すると、入力したセグメン
ト情報よりも時間的に1つ前に設定されているセグメン
ト情報と一つ後ろのセグメント情報との間に前後2つの
セグメント領域を作成することになる。ここで使用した
セグメントという言葉は、2つのセグメント情報に囲ま
れたアニメーション構成データの部分である。
び図13を参照して説明する。図11は同期制御表示部
の表示イメージ図、図12は音表示部の表示イメージ
図、図13はモーション表示部の表示イメージである。
同期制御表示部101はアニメーションを構成するアニ
メーション構成データであるモーションデータ116、
セリフ音声データ118、音データ120を読み込み、
データ毎のフォーマットによってブラウジング表示す
る。
ョン構成データブラウザ上にブラウジング表示される。
時間のスケーリングは表示部上側に用意されている時間
スケールに従って表示される。
成データブラウザ上ではセリフ音声データ118、音デ
ータ120はデータ音波形としてブラウジング表示す
る。ユーザによる音声データ118、音データ120の
表示の指示で図12に示す音表示部102が起動され、
同期制御表示部101に読み込まれているセリフ音声デ
ータ、音データが同期制御表示部101から渡される。
3つのデータが表示される。上段の表示部に音波形が表
示され、その音波形中で選択された部分の波形のみが中
段の表示部に表示される。中段の表示部の波形の周波数
成分がスペクトログラムとして下段の表示部に表示され
る。音表示部102は音出力部103に対して、表示し
ているセリフ音声データ118、音データ120の一部
分を渡すことにより、音声再生を行なう。音表示部10
2の表示、音出力部103の再生情報からユーザはセリ
フ音声データ、音データに対してセグメント情報を入力
する。セグメント情報118は音表示部102の中段の
音波形表示部と下段のスペクトログラム表示部で入力場
所を指定することで入力を行ない、保存される。
を用いて説明する。同期制御表示部101でモーション
データ116は、対応しているスケルトンデータ114
と共に表示できる単位のフレーム毎にモーションの形が
表示される。
よるモーションデータ表示の指示でモーション表示部1
05が起動され、同期制御表示部101に読み込まれて
いるモーションデータ116とスケルトンデータ114
がモーション表示部116に引き渡される。図13にモ
ーションデータ表示部105を示す。
示用ウインドウ上にモーションデータの再生が行なわれ
る。モーションデータへのセグメント情報設定は、この
モーション表示部105からモーションセグメント入力
部を呼び出すことにより行なわれる。モーション表示部
105からモーションセグメント入力部106へは図1
3中のセグメント入力ボタンが押された時点で表示され
ているモーションデータのファイル名と時間情報が渡さ
れる。モーションセグメント入力部106は受けとった
情報からモーションに対するセグメント情報112を設
定し、保存する。
ブラウザのブラウジングされて表示されているアニメー
ション構成データの下側にはそのアニメーション構成デ
ータに 入力されているセグメント情報が対応位置にマ
ークとして表示される。
たセグメント同士を同期制御データで同期する部分の説
明を行なう。同期制御表示部101は異なるアニメーシ
ョン構成データに設定されているセグメント情報112
同士を同期制御データ113を使用して対応付けること
によりアニメーション構成データ同士を同期付ける。
同士を選択するために同期制御表示部110上かもしく
は各アニメーション構成データの表示部により、対応づ
けを行なうセグメントの選択を行なう。選択された2つ
のセグメント情報は同期制御表示部110からセグメン
ト情報対応付け部123に引き渡される。ここで選択さ
れた2つのセグメント情報の対応づけを行ない、同期制
御データ113を生成し、同期制御表示部101を通じ
て保存する。
示する。同期制御データ113は同期付けた2つのアニ
メーション構成データのセグメント情報のファイル名称
と、セグメントラベル名、同期制御データ上での種類
(マスタ側かスレイブ側)からなる。
期付けたアニメーション構成データのうち、一方のアニ
メーション構成データをアニメーション構成データ1、
他方のアニメーション構成データをアニメーション構成
データ2とすると、同期制御データはアニメーション構
成データ1のセグメントファイル名Sf1、セグメントラ
ベル名Sl1、種類Sk1、アニメーション構成データ2の
セグメントファイル名Sf2、セグメントラベル名Sl2、
種類Sk2、時間変更の方法Sm で構成される。
上での種類にはマスタとスレイブがある。ここでは同期
づけを行なう2つのセグメント情報に対して、2つの組
合せがある。
おいて、マスタとスレイブの組で同期制御データを設定
した場合には、マスタに設定したアニメーション構成デ
ータのセグメントの時間にスレイブのアニメーション構
成データのセグメント情報が設定されている部分を同期
させ、同期制御表示部101に返され、アニメーション
構成データ保存手段9に保存される。
示す。図上のアニメーション構成データ1のセグメント
情報1とアニメーション構成データ2のセグメント情報
2を同期付けた場合、下図に示すようにアニメーション
構成データ2のセグメント情報2の前のセグメントと後
ろのセグメントが再計算される。
とマスタの組の場合、同期制御データを割り付けた瞬間
には、アニメーション構成データ1に設定したセグメン
ト情報が設定されている時間へ、アニメーション構成デ
ータ2のセグメント情報の前後のセグメント(実際には
ここで同期付けされた2つのアニメーション構成データ
同士でその前後に同期付けされているまでの間に存在す
る全セグメント、他に同じアニメーション構成データが
同期付けられていない場合にはファイルの先頭とファイ
ルの終了部分まで)に存在する部分をデータ再計算部1
10で再計算し、同期付けられたセグメントの位置を時
間軸上であわせる。
は同期制御データ113で指定する時間方向変更方法で
指定する。ここには「延長」と「引き延ばし」の二つの
方法のどちらかが入力される。
メーション構成データの時間変更について示す。「延
長」を選択した場合、マスタが長くなるとスレーブの最
終値をそのまま連続してデータとし、短くなった場合に
は短くなった分のデータの切りとりを行なう。図16に
おいて元データを「延長」の方法で再計算すると、中央
の延長の項目に書かれたデータとなる。「引き延ばし」
を選択した場合には、同期付けられている部分のデータ
を再計算し、自動的に全データをその時間に実行できる
データに変更する(モーションデータは変化値であるの
で、この変化値から計算された位置情報について再計算
を行なう)。図16において元データを「引き延ばし」
の方法で延長させると下側に示す引き延ばしの項目に書
かれたデータとなる。
ータが入っているモーションデータについて考える。こ
のデータが同期付けされている他のデータの変更により
Y時間に変更された場合、モーションをY/X倍だけ引
き延ばさなければならない。この場合には、元のモーシ
ョンのX/Y時間毎の値を補間計算してやることにより
モーションの引き延ばしを行なう。
グメント情報の変更により、そのデータへ同期されてい
るアニメーション構成データの時間方向再計算を行なう
部分の説明を行なう。
す。例えばセリフ音声データ118中のセリフ音声デー
タとモーションデータ116中のモーションデータが同
期づけられている。ここで、セリフ音声データが再録音
されて、時間が変わる。ユーザは同期制御表示部101
から音表示部102を経て、音セグメント入力部104
を呼びだし、音声のセグメントを新しいデータのセグメ
ント位置に移動させる。
ている他のセグメント情報があり(S102)、かつそ
の時の同期制御データ上で移動させたセグメント情報が
マスタである場合には(S103)、その音声に同期制
御データにより同期付けられているモーションデータの
セグメント情報の前後のセグメントのモーションデータ
を再計算し(ここで、モーションデータは変化値である
ため、位置情報を計算し、この位置情報を使用して再計
算を行なう)、モーションデータのセグメント情報が同
期付けられている音声のセグメント情報と同一の時間位
置に変更する(S104〜S108)。
同一データと同期付けられている部分までを延長により
再計算する(S105)。さらに以後に同一データと同
期付けられている部分までを延長により再計算する(S
106)。マスター要素の時間の長さが変更されるとそ
れにともないスレーブ要素の同期付けられている部分の
時間の長さも同期され、変更される。
メーション構成データの時間変更に関する図を示す。図
18においては、上側のアニメーション構成データ1 を
マスタ、下側のアニメーション構成データ2をスレイブ
とする。マスタのセグメント情報1とスレーブのセグメ
ント情報7が同期制御データ1で同期付けられており、
マスタのセグメント情報2がスレイブのセグメント情報
8と同期制御データ2で同期付けられており、マスタの
セグメント情報4とスレイブのセグメント情報9が同期
制御データ3で同期付けられており、マスタのセグメン
ト情報6がスレイブのセグメント情報10と同期制御デ
ータ4で同期付けられている。
る。セグメント情報4は同期制御データ3でセグメント
情報9に同期付けられており、セグメント情報9もセグ
メント情報4に同期して移動する。その時セグメント情
報8とセグメント情報9で囲まれたセグメント2−2の
アニメーション構成データは時間的に伸長し、セグメン
ト情報9とセグメント情報10に囲まれたセグメント2
−3に存在するアニメーション構成データは時間的に縮
退する。
た発明に係るアニメーション制作システムは、アニメー
ションの構成に使用する少なくとも第1のアニメーショ
ン構成データ及び第2のアニメーション構成データを有
するアニメーション構成データを用いてアニメーション
の制作を行なうものであって、前記第1のアニメーショ
ン構成データ及び前記第2のアニメーション構成データ
の各々に対し、同期設定のための同期制御データを付加
するとともに、当該付加された同期制御データを用い
て、前記第1のアニメーション構成データと前記第2の
アニメーション構成データの同期を制御する同期制御手
段を備えているので、人手を介することなく変化したア
ニメーション構成データに同期したアニメーション構成
データの変更を実行することができる。
ーション構成データ及び第2のアニメーション構成デー
タを部分的に伸長又は縮退することにより同期を制御す
るので、情報全体に亘って同期をとることができる。
ンデータの強調に関するものである。図1において、7
はモーション強調手段である。アニメーション構成デー
タ保存手段9に保存されているモーションデータをモー
ション強調手段7に読み出しし、モーションの強調を行
ない、アニメーション構成データ保存手段9に保存す
る。
す図である。図3において、202はモーション強調計
算部、205は基本モーションデータである。モーショ
ン入力部117で作成されたモーションデータは基本モ
ーションデータ205、もしくはモーションデータ11
6に保存される。モーションデータ116は制作するア
ニメーションに直接使用するモーションデータ、基本モ
ーションデータ205は直接制作するアニメーションに
使用しないが、基本的なモーションが蓄積されている。
ョンデータ205を読み込み、強調処理を行ないモーシ
ョンの変更を行なう。モーションデータ116と基本モ
ーションデータ205は関節の動きの情報で表されてお
り、その関節間の関係をスケルトンデータ114で表
す。201は関節距離計算部である。モーション強調計
算部202で計算されたモーションの関節間距離を関節
距離計算部201でスケルトンデータ114と同一に修
正する。修正されたモーションはモーション強調計算部
202に戻されて、モーションデータ116に保存され
る。
ータ205に蓄積されているモーションデータの強調を
行なう。モーションデータ中のf フレーム目のある関節
に着目すると、モーションデータは上記に記述したよう
に位置変化情報(dxf,dyf,dzf)、回転変化情報dr
fを持っている。回転変化情報は子関節から親関節に向
かって時計回りの方向の回転で表す。これらの位置変化
情報、回転変化情報は前フレームからの差分情報であ
る。図8に位置変化情報と回転変化情報を示す。図8に
示すように、位置変化情報は移動した関節m の移動ベク
トルとなる。回転変化情報は親関節に向かっての回転の
フレーム間の変化である。
データ205から読み込んだモーションデータを強調
し、蓄積されている基本モーションデータを変更し、モ
ーションデータ116に保存する。モーション強調の単
位はスケルトンデータ116で結合されている一つのア
ニメーション登場キャラクタである。
す。モーション強調計算部202で、処理を行なうモー
ションに対して強調係数を設定する。強調係数は位置変
化情報、回転変化情報それぞれに対して別々に設定する
ことができる。位置変化情報に対する強調係数をkt 、
回転変化情報に対する強調係数をkr とする(S20
1)。モーション強調計算部202において、モーショ
ンを構成する関節情報の中で、基本関節をユーザが設定
する。この基本関節はモーション強調計算時の基本位置
関節となる。
データ114から、全関節間の長さを計算する。(S2
02)
なるため、各関節のデータは強調せずに基本モーション
データ205のままとする(S203)。ここで1フレ
ーム目のa関節に着目して位置情報変数motion_x,motio
n_y,motion_z を motion_x1,a = a の初期位置x座標 + dx1,a motion_y1,a = a の初期位置y座標 + dy1,a motion_z1,a = a の初期位置z座標 + dz1,a (式2ー1)とする。1フレーム目の強調された回転情
報はdr1,a とする(S204)。
にそのフレーム中の全関節の強調された位置情報を求め
る。各変数は次のように計算される。 motion_xf,a = motion_xf-1,a + kt × dxf,a motion_yf,a = motion_yf-1,a + kt × dyf,a motion_zf,a = motion_zf-1,a + kt × dzf,a drf,a = drf,a × kr ここで(motion_x f-1,a ,motion_y f-1,a ,motion_z
f-1,a)はフレームfより1フレーム前の強調処理を終了
し、関節間の長さ変更も行われた関節位置である。
207〜S208)、スケルトンデータ114でつなが
っている関節同士の位置座標(motion_x, motion_y, mot
ion_z) を通る全直線(直線2−1)の式を求める(S
209)。次に関節距離計算部201を使用して、各関
節間のスケルトン情報114の長さに合わせて関節間の
距離の変換を行なう。
ーション強調説明図に示す。位置変化情報を強調係数で
強調すると、図20の下図のように関節間の長さが元の
スケルトン情報の長さから変化してしまう。そこで接続
している関節との3次元的な傾きを保ったままその関節
間の長さをスケルトンの関節間の長さへ変換する。
節位置データとそのモーションに対応するスケルトンデ
ータ、基本関節データはモーション強調計算部202か
ら関節距離計算部201へ引き渡される。基本関節は各
フレーム毎の強調したモーションを作成する場合の基本
点の役割をする関節である。距離の変換はまずこの基本
関節から始め、基本関節を現関節にする。基本関節は(m
otion_xf,kihon,motion_yf,kihon,motion_zf,kihon)が
そのまま強調されたモーションの位置情報となる(S2
11〜S216)。
n_z1)に(motion_xf,kihon, motion_yf,kihon, motio
n_zf,kihon)を代入しておく。基本関節から後述する方
法を使用して次に計算する関節を探索する。
を第一関節、次に計算を行なう関節を第二関節とする
(S217)。上記で求めた直線2−1のうち第一関節
と第二関節を通る直線を選択する。この直線に平行で第
一関節の位置情報(motion_x1,motion_y1,motion_z1)を
通る直線(直線2−2)を求める(S218)。直線2
−2上で、第一関節と第二関節のスケルトンの距離だけ
離れた点を第2関節の位置情報(motion_x2,motion_y2,m
otion_z2)とする(S219)。
一関節の元位置(S207で求めた第1関節の位置)か
ら現在の位置への移動と同一分の移動を第二関節に行な
い、その点に近い方を第二関節の位置情報とし、(motio
n_x2,motion_y2,motion_z2)にその位置情報を代入す
る。位置変化情報は前フレームとの減算で求める(S2
11〜S217)。この処理を全フレーム、全関節に対
して行ない、位置変化情報をモーション強調計算部20
2へ戻す。ここでモーション強調検索部203は位置変
化情報と回転変化情報をモーションデータ116へ保存
する。
用して、基本関節の未計算の子供関節を検索する。未計
算の子供関節がない場合には未計算の兄弟関節を、未計
算の兄弟関節がない場合には未計算の親関節を検索す
る。未計算の親関節もなくなった場合には自分を呼び出
した関節に戻り、同様に次の関節を検索する。最終的に
一番上位の親の関節で親検索に行きついた時点で終了
し、そのフレームのモーション強調を終了して、次フレ
ームに進む。ここで関節距離計算部201は関節間の距
離変換を行なったモーションデータをモーション強調計
算部202に返し、モーション強調計算部202は次フ
レームのモーションの強調を行なう。
の時に元にした関節を第一関節にして、今回探索された
関節を第二関節として位置の計算を行なう。
実際の人間の動きをデータ化し、モーションデータを作
成するモーションキャプチャシステムをモーション入力
部117として使用した場合に得られる基本モーション
データ205を強調する事により、アニメーションらし
いモーションを作成する。
ニメーション制作システムは、アニメーションのモデル
の形状を作成する形状作成手段と、前記形状作成手段に
おいて作成された前記モデルのモーションデータを入力
しモーションを作成するモーション作成手段と、前記モ
ーション作成手段に入力されたモーションデータに対し
て強調計算を行ない、強調されたモーションデータを出
力するモーション強調手段とを備えているので、強調さ
れたモーションを得ることができる。
ータに対し強調係数を乗算するとともに、当該乗算され
たモーションデータに対し、当該モデルの関節間の長さ
が一定になるよう補正することとしたので、モーション
を強調させた場合であっても関節の長さが一定であり、
モーションが不自然とならない。
ション検索手段である。モーション検索手段10はアニ
メーション構成データ保存手段9からモーションデータ
を検索するための手段を提供する。図3は実施の形態3
のシステム構成図である。203はモーション検索部で
あり、204はモーションキーワードデータである。モ
ーション検索部203は基本モーションデータ205か
らモーションキーワードデータ204を使用してモーシ
ョンの検索を行なう。その検索したモーションの中から
モーション入力部により入力されたモーションデータと
照合を行ない、モーションデータの絞り込みを行なう。
ここで検索するために入力したモーションデータは、例
えば人の動きなどを特定するものであり、あらかじめ人
の動きとして違和感のないデータである。
ータベースの構造をしており、モーション検索部203
によって検索される。基本モーションデータ205には
キーワードを設定することができ、その情報はモーショ
ンキーワードデータ205に入力されている。
5の構成を示す。モーションキーワードデータ204は
管理番号、モーションデータ名、キーワード、所在ディ
レクトリで管理されている。基本モーションデータ20
5はモーション入力時に入力したキーワードによって検
索することができる。さらに基本モーションデータ20
5はキーワードで検索したデータ集合からモーション入
力部117で入力されるモーションデータと照合を行う
ことにより、検索候補の絞り込みを行うことができる。
ここでこのモーション入力部117は、例えば人間の形
をした人形であり、各関節にセンサーが設けられ、この
人形を動かすことにより各関節の情報がモーションとし
て入力される。例えばあやつり人形のような形状を有す
る。
す。例えば複数の歩行するモーションの中から、指定し
た速さで歩行する様なモーションを検索する場合につい
て考える。ユーザはキーワード「歩行」を入力し(S3
01)モーションデータを検索する(S302)。検索
してきたデータの中からユーザの検索したい歩行速度の
モーションを指定するために、人間の形をし、各関節を
曲げることでモーションを入力するモーション入力部1
17により、希望の歩行速度を入力し(S303)、そ
の関節のモーションデータを入力しモーション検索部2
03へ引き渡す。モーション検索部にユーザは照合に使
用する関節番号を入力する。ここでは歩く速度であるた
め、どちらか一方の足首の関節を指定する(S30
5)。モーション検索部203では入力されてきたモー
ションから足の動きの速度を計算する。
ションの照合に使用する関節の位置変化情報を計算す
る。歩行の場合には、位置変化情報をベクトルと考える
と、その大きさは、足を上げている時には値を持ち、地
面に着いている時には0となる。これが交互に繰り返さ
れる。これをグラフにすると図23に示す様に歩数に合
わせて波が現れる。この波の数をカウントし、その歩数
を算出する(S306)。
行なったモーションと照合し、ある範囲でマッチングし
たものは検索結果として、ユーザに提示される(S30
8〜S310)。
トすることにより、モーションを入力し、予め蓄積され
ていたデータと照合し、入力されたモーションデータと
近いデータを選択し、出力するものである。従って、検
索キーワードで表現しづらいモーションの特徴や検索し
たいイメージのみが存在する場合でもモーションの検索
を行なうことができる。
発明に係るアニメーション制作システムは、アニメーシ
ョンのモデルのモーションを入力し、モーションデータ
を出力するモーション入力部117と、予め複数のモー
ションデータが記憶された基本モーションデータ205
と、前記モーション入力部117より出力されたモーシ
ョンデータと前記基本モーションデータ205に記憶さ
れたモーションデータとを比較し、その比較結果に基づ
いて前記基本モーションデータ205に記憶されたモー
ションデータより選択し、出力するモーションデータ検
索部203とを備えているので、入力されたモーション
に近いモーションで、既に登録されているモーションデ
ータを検索することができる。
ーション制作システムについて図4を用いて説明する。
音入力部119から出力されたセリフ音声データ118
を音声セグメント処理部302に入力する。音声セグメ
ント処理部302では、音出力部103を使用して確認
しながら、セリフ音声データ118を1語毎にセグメン
テーションする、セグメントの結果をセグメント情報1
12に出力し、また各セグメント毎に対応する文字をセ
リフ文字データ313に出力する。
書パターンデータ312を入力する。この音声自動セグ
メント部301を用いることで、音声セグメント処理部
302に入力されたセリフ音声データ118の母音とそ
の発声タイミングを自動認識し、母音をセリフ文字とし
て、また、その発声タイミングをセグメント情報とし
て、音声セグメント処理部302に返す。音声セグメン
ト処理部302はセグメント情報112とセリフ音声デ
ータ118とセリフ文字データ313を用いて、口形状
キーフレームタイミングデータ303を出力する。
タイミングデータ303を入力し、モーションデータ1
16を出力する。レンダリング部305は、モーション
データ116とモデル入力部309によって出力された
モデルデータ308を入力し、レンダリングを行ない、
その結果を画像データ306に出力する。画像出力部3
07では、画像データ306を入力する。また、音出力
部103ではセリフ音声データ118を入力する。画像
出力部307では画像を再生する。またその画像と同期
させて音出力部103から音声を出力する。
プシンクアニメーションを実現する。リップシンクアニ
メーションとは、口形状のモデルデータ308をセリフ
音声データ118に同期させるアニメーションのことで
ある。本アニメーション制作システムでは、口形状のモ
デルデータ308の口形状モデルの形状として(「あ」
/「い」/「う」/「え」/「お」/「ん」)、口形状
モデルの大きさとして(「大」/「中」/「小」、ただ
し「ん」については「中」のみ)の組み合わせの合計16
種類を用いている。
本的に(「あ」/「い」/「う」/「え」/「お」/
「ん」)という母音のバリエーションにより表現できる
と考えられるからである。また、後述するキーフレーム
アニメーションの手法を用いてアニメーションを作成す
るために、口形状の大きさを、必要十分であると考えら
れる3 段階分だけ用意した。この16種類の口形状のモデ
ルデータ308を、セリフ音声データ118に対して適
切なタイミングで対応させることによりリップシンクア
ニメーションの制作を実現する。
グ音声を標本化及び量子化の処理によってデジタル音声
としたセリフ音声データ118を出力する。音声セグメ
ント処理部302では、このセリフ音声データ118を
入力し、周波数成分に変換するためにFFT (高速フーリ
エ変換)し、スペクトログラムを表示する。スペクトロ
グラム中には、母音の特徴を示すホルマントを見い出す
ことができる。
フ音声データ118を発声した一語一語についてセグメ
ンテーションする。ここでの目的は、セリフ音声データ
118を母音や空白などの特徴に着目してセグメンテー
ションして、セグメント情報112をつくり出すことで
ある。セグメント情報112は開始線分及び終了線分に
よって示される。またそのセグメント情報に対して、セ
リフ音声データ118の内容をテキストにし、さらに無
音の部分が空白記号で表記されるセリフ文字データ31
3が一対一で設定される。セリフ文字データ313は、
日本語文字についてのヘボン式ローマ字表記によって表
され、空白記号については [pau] という文字によって
表記される。
の設定例を示す。図25に、音声セグメント処理部30
2のユーザーインターフェースを示す。図中A がスペク
トログラム、B がセグメント情報112、C がセリフ文
字データ313を表す。音声セグメント処理部302で
のセグメンテーションの方法には、マウスもしくはキー
ボードを用いて、セリフ音声データ118上にセグメン
ト情報112を手動設定する方法と、音声自動セグメン
ト部301を音声セグメント処理部302から呼び出す
ことで、セグメント情報112を自動設定する方法があ
る。
ト情報112の手動設定では、母音の特徴を示すホルマ
ントを参考にして、マウスにより開始線分及び終了線分
を作成する。実際には、あるセグメントの終了線分が、
次のセグメントの開始線分になっている。線分を移動し
たり削除したりすることで、セグメント情報112の変
更修正を行なう。また、音声セグメント処理部302か
ら、音出力部103を呼び出して、音声を全体再生、部
分再生などにより確認する。次に、それぞれのセグメン
トに対応する適切なセリフ文字データ313を手動によ
り設定する。セリフ文字データ313に対しては任意に
変更修正を行なう。
声セグメント処理部302から音声自動セグメント部3
01を呼び出すことによって、セリフ音声データ118
中の母音及び空白とその位置を自動認識する。セリフ音
声データ118の自動認識は、あらかじめ作成済みの比
較用のセリフ音声データの母音、「ん」の音声、空白の
部分(「あ」/「い」/「う」/「え」/「お」/
「ん」、空白)をFFT した結果を数値化した辞書パター
ンデータ312を入力し、セリフ音声データ118を音
声セグメント処理部302内部でFFT したテストパター
ンとをパターンマッチングによって比較することで行な
われる。
ャートを示す。最初に、辞書パターンデータ312とテ
ストパターンを設定する(S401)(S402)。パ
ターンマッチングの方法は、まずポインタをテストパタ
ーンの始点位置に設定する(S403)。次に辞書パタ
ーンとの比較を行なう。このときポインタからのマッチ
ング幅を一定の範囲内で変化させて、最もマッチング率
が高くなるマッチングの幅と母音との組み合わせを一つ
求める(S404)。
ったら、次のポインタを、マッチングした幅の分だけ進
めて、次のマッチングを行なうことを繰り返す(S40
6)。ポインタの位置が、テストパターンの最大値を越
えてしまった時点で終了となる(S405)。パターン
マッチングの結果、マッチングされた辞書パターンデー
タ312の文字列が生じるが、最後にこれをフィルター
によって重みづけし、ノイズとみなされる成分を除去
し、定常的な成分を際だたせる事で、最終的なパターン
マッチングの結果を出力する(S407)。
る部分に設定される。この結果を用いることで、元のセ
リフ音声データ118に対して、セグメント情報11
2、セリフ文字データ313を自動的に設定することが
できる。セグメント情報112の自動設定終了後、上記
の手動設定手段で修正することで、さらに正確なセグメ
ンテーションを行なう。
ト情報112、セリフ文字データ313及びセリフ音声
データ118の内容から、口形状のモデルデータ308
中の口形状モデルに対応する記号と、時間軸上へ口形状
をあてはめるタイミング(以下、キーフレームタイミン
グとする)を設定して口形状キーフレームタイミングデ
ータ303を作成する。
データ303の作成方法のフロチャートを示す。図28
に、口形状キーフレームタイミングデータ303の作成
方法のイメージを示す。まず、セグメント情報112で
示されるそれぞれのセグメントごとにセリフ文字データ
313を参照し(ただし空白記号[pau] は除く)、セリ
フ文字データ313の母音が(「あ」/「い」/「う」
/「え」/「お」/「ん」)のいずれに対応するかを判
断し分類する(S501)(たとえば、[ka (か)] な
ら、母音は「あ」となる)。
て、セグメント情報112の始点線分、終点線分及びセ
グメント中でセリフ音声データ118の量子化値が最大
になる点をそれぞれ、口形状のモデルデータ308中の
口形状モデルのキーフレームタイミングとする(S50
2)。そして、それぞれのキーフレームタイミングの位
置での量子化値を参照する(S503)。
るようにセリフ音声データ118の全体を正規化し、こ
のときのキーフレームタイミングの位置での量子化値の
値に応じて口形状モデルの大きさを決定する(S50
4)。たとえば、0.66〜1.00までは(「大」)の口形状
モデルの大きさ(S507)を、0.33〜0.66までは
(「中」)の口形状モデルの大きさ(S506)を、0.
00〜0.33までは(「小」)の口形状モデルの大きさ(S
505)を設定する。口形状のモデルデータ308中の
どの口形状モデルをキーフレームにするかは、上記の口
形状モデルの母音と口形状の大きさの組み合わせによっ
て決定される(S508)。
デルの大きさが「大」ならば、口形状モデルは(「あ・
大」)になる。このような口形状は前記した16通りの形
状のうちのいずれかになる。また、セグメント情報11
2と対応するセリフ文字データ313が、「[ma]
(ま)」「[mi](み)」「[mu](む)」「[me](め)」
「[mo](も)」などの様に、一旦口を閉じてから発音を
はじめる文字の場合については(S509)、セグメン
トの始点線分位置に、「ん」のキーフレームを付け加え
ることにする(S510)。これらは、口形状キーフレ
ームタイミングデータ303として出力される。口形状
キーフレームタイミングデータ303の構成図を図29
に示す。口形状キーフレームタイミングデータ303
は、口形状のキーフレームをあてはめるタイミングを示
すフレーム番号とそのときの口形状モデル対応記号との
対によって示される。
状キーフレームタイミングデータ303を読み込み、前
述した16通りの口形状モデル、及びそれらのキーフレ
ームタイミングからキーフレームアニメーションを作成
する。キーフレームアニメーションとは、アニメーショ
ン作成の手法として、アニメーションの中心となるフレ
ーム(以下 キーフレーム)だけを用意し、それらの間
をインビートウイーンにより補間することによって完全
なアニメーションを作成する手法である。
フレームタイミングデータ303中の口形状モデルの対
応記号に従った、口形状のモデルデータ308中の口形
状モデルをキーフレームタイミングのフレーム番号の通
りに並べ、それらの口形状モデルの間を補間すること
で、口形状のモーションデータ116を出力する。
ションデータ116及び口形状のモデルデータ308を
入力し、レンダリングを行ないアニメーション画像を作
成することができる。レンダリング部305で作成され
たアニメーション画像は、画像データ306として出力
される。
を入力する。また、音出力部103では、セリフ音声デ
ータ118を入力する。画像出力部307では、画像デ
ータの再生時に、音出力部103でのセリフ音声データ
118の出力を同時に行なうことで、セリフ音声データ
118と口形状のアニメーションが同期したリップシン
クアニメーションを作成する。この発明の実施の形態に
記載された発明に係るアニメーション制作システムは、
音声を入力する音入力手段3と、母音の情報に対応した
口形状モデルをモデルデータ308に保存するアニメー
ションデータ保存手段9と、前記音入力手段3に入力さ
れた音声の母音の情報に基づいて前記モデルデータ30
8より口形状モデルを選択し、音声に同期した口形状の
モーションデータ116を作成する音声同期口形状作成
手段と、前記口形状のモーションデータ116に従い口
形状を選択し画像出力するレンダリング手段5を備えて
いるので、母音情報に基づいて口形状を特定するため簡
易な構成で口形状のアニメーションを作成することがで
きる。
音の情報及び音声レベルに対応した口形状モデルをモデ
ルデータ308に保存するアニメーション保存手段9
と、前記音入力手段に入力された音声の母音の情報及び
音声レベルに基づいて前記モデルデータ308より口形
状モデルを選択し、音声に同期した口形状のモーション
データ116を作成する音声同期口形状作成手段8と、
前記口形状のモーションデータに従い口形状を選択し画
像出力するレンダリング手段5を備えているので、母音
の情報のみならず、音声レベルに基づいた口形状を出力
することができるので、簡易な構成で、より正確に口形
状のアニメーションを制作することができる。
前記音入力手段3に入力された音声の母音の情報に基づ
いてセグメント処理を行いセグメント情報112を生成
する音声セグメント処理部302と、前記音声に対応し
た口形状のモーションデータ116を生成する口形状モ
ーション作成部304と、前記口形状のモーションデー
タ116を用いて画像データ306を出力するレンダリ
ング部305と、前記画像データ306と音声とを同期
して出力する画像出力部307を備えているため、簡単
な構成で口形状と音声が同期した口形状のアニメーショ
ンを制作することができる。
報よりセグメント中の始点線分、終点線分、最大量子化
値部分を抽出し、各段階において前記口形状モデルのキ
ーフレームを割り当てるものなので、簡易な構成により
口形状のモーションをより自然にすることができる。
施の形態では音声同期口形状作成手段8及びレンダリン
グ手段5により構成されている。
ムにおいて、音声セグメント処理部302からセグメン
ト均等割り付け部310を呼び出し、また、セリフ文字
データ313を、あらかじめ作成するためのセリフ文字
入力部311を付け加えることで、実施の形態4で前述
した、セリフ音声データ118からのリップシンクの他
に、セリフ文字データ313からのリップシンク、セリ
フ音声データ118及びセリフ文字データ313双方か
らのリップシンクを行なう。
に入力されているデータの種類によって、口形状キーフ
レームデータ303を出力するまでの過程がどのように
変わるかを示す。音声セグメント処理部302では、入
力されているデータが、セリフ音声データ118だけの
場合、セリフ文字データ313だけの場合、セリフ音声
データ118及びセリフ文字データ313の両方の場合
のいずれかであるかによって処理が異なる(S90
1)。
メント処理部302に与えられている場合は、音声自動
セグメント部301を呼びだして、セリフ音声データ1
18を自動分析し(S902)、セグメント情報112
を作成し(S903)、セリフ文字データを作成(S9
04)した上で、口形状キーフレームタイミングデータ
を出力する(S911)。以下、セリフ文字データ31
3によってリップシンクを行なう場合、及びセリフ音声
データ118とセリフ文字データ313の両方からリッ
プシンクを行なう場合について説明する。
プシンクを行なう、セリフ文字データ313を、セリフ
文字入力部311によって、あらかじめ作成する。セリ
フ文字データ313は、セリフ音声データの内容を文字
として表したものである。音声セグメント処理部302
では、セリフ文字データ313を入力する。音声セグメ
ント処理部302では、セリフ文字データ313につい
て、自動的にセグメント均等割り付け部310を呼び出
し、文字のセグメンテーションを行なう(S908)。
セグメント均等割り付け部310では、セリフ文字デー
タ313の文字列(空白記号[pau] も含む)に対して、
その総文字数分のセグメント区間を作成し、セグメント
情報112として出力する。これによりセリフ文字デー
タ313中のすべての文字について、均等な任意の幅の
セグメント情報112を作成する(S909)。音声セ
グメント処理部302では、セリフ文字データ313及
びセグメント情報112を用いて、口形状キーフレーム
タイミングデータ303を作成する。
3の作成方法については、前述の通りである。ただし、
この場合では、セリフ音声データ118を用いないた
め、セグメント中で最大の量子化値を持つキーフレーム
タイミングの値、及びセグメントの開始線分、終了線
分、及び最大の量子化値のキーフレームタイミングにお
けるそれぞれの量子化値の値を自動的に作成する必要が
ある。そのために、セグメント中で最大の量子化値を持
つキーフレームタイミングの値については、開始線分と
終了線分の中央値を用いることにする。また、それぞれ
のキーフレームタイミングでの量子化値はデフォルトの
値(0.5) を用いることにする(S910)。セリフ音声
データ118及びセリフ文字データ313の双方を用い
てリップシンクを行なう。セリフ文字入力部311で作
成されたセリフ文字データ313と、音入力部119で
入力されたセリフ音声データ118を、音声セグメント
処理部302で入力する。ここで、セリフ文字データ3
13はセリフ音声データの内容を文字で表したものであ
るとする。セグメント処理部302では、セグメント均
等割り付け部310を呼びだし、文字のセグメンテーシ
ョンを行なう(S905)。セグメント均等割り付け部
310では、前述の方法で、セリフ文字データ313中
のすべての文字について、均等な任意の幅のセグメント
情報112を作成する(S906)。
音声自動セグメント部301に、セリフ音声データ11
8と、セグメント情報112から獲得されるセリフ文字
データ313の文字数を送る。音声自動セグメント部3
01では、前述のパターンマッチングの手法により、セ
リフ音声データ118の自動セグメンテーションを行な
うにあたり、そのセグメント数をセリフ文字データ31
3の文字数に調整する。また、セグメント情報112に
おける、セグメント線分の位置を修正する(S90
7)。
果、獲得されるセリフ文字データ313については棄却
する。音声セグメント処理部302では、新しく修正さ
れたセグメント情報112を出力する。音声セグメント
処理部302は、セリフ音声データ118、セリフ文字
データ313及びセグメント情報112を用いて、口形
状キーフレームタイミングデータ303を作成する(S
911)。口形状キーフレームタイミングデータ303
の設定方法については、前述の通りである。
ニメーション制作システムは、セリフ文字データ313
を入力する文字入力手段4を有し、セグメント均等割り
付け部310が前記文字入力手段に入力されたセリフ文
字データ313の個々の文字に対してセグメント情報1
12を割り当てるので、文字毎に口形状を対応させるこ
とができる。
ン強調手段7に強調方向面を指定するための機能を加え
たものである。図5は実施の形態6のシステム構成図で
ある。モーション入力部117で作成されたモーション
データを基本モーションデータ205、もしくはモーシ
ョンデータ116に保存する。モーションデータ116
は制作するアニメーションに直接使用するモーションデ
ータ、基本モーションデータ205は直接制作するアニ
メーションに使用しないが、基本的なモーションが蓄積
されている。504は分解モーション強調計算部であ
る。分解モーション強調計算部504は基本モーション
データ205を読みだす。501は強調方向面入力部で
ある。ユーザは強調方向面入力部501から強調を行な
いたい面を構成する座標点を指定し、この座標により構
成される面を求める。502は面位置変化情報分解部で
ある。面位置変化情報分解部502は強調方向面入力部
501で計算された面を使用して、位置変化情報を分解
する。
置変化情報を分解モーション強調計算部504へ引き渡
し、面情報に対してユーザの指定した方向(例えば水平
か垂直か)に分解した位置変化情報に強調処理を行な
う。モーションデータ116と基本モーションデータ2
05は関節の動きの情報で表されており、その関節間の
関係をスケルトンデータ114で表す。分解モーション
強調計算部504で計算されたモーションの関節位置を
関節距離計算部201でスケルトンデータ114の関節
間の長さと同一に修正する。修正されたモーションは分
解モーション強調計算部504に戻されて、モーション
データ116に保存される。図31に強調方向面入力部
501を用いたモーション強調のフロー図を示す。この
フロー図は「Aに挿入」の部分を図19のモーション強
調フロー中Aと示された部分に挿入し、「Bを変更」の
部分を図19のモーション強調フロー中Bと示された部
分をおき換える。
う。ユーザは強調方向面入力部501で、モーションデ
ータを構成する複数の関節から3点の関節、もしくは座
標点を選択し、これを強調方向面入力部501から入力
し、強調する方向をその面に水平か、垂直かを指定す
る。(S601〜S602)入力された3点に関節が含
まれていない場合(S603)、強調方向面入力部50
1は入力された座標により構成される面(面10−1)
の式を計算し(S604)、面10−1に平行で原点を
通る面の式(面10−2)を計算する(S605)。分
解モーション強調計算部504はモーションデータを基
本モーションデータ205から、スケルトンデータをス
ケルトンデータ114から読み込む。1フレーム目のモ
ーションデータは実施の形態2に示したように基本フレ
ームとするため、読み込んだ位置変化情報はそのまま変
更しない。ここで位置情報(motion_x,motion_y,motion_
z) を式(2−1)で求めておく。
2フレーム目以降はスケルトンデータと処理フレームの
位置変化情報を分解モーション強調計算部504から面
位置変化情報分解部502へ引き渡す。強調方向面入力
部501で指定された座標が関節を含んでいた場合には
(S606)、各関節の前フレームの位置情報を計算
し、面位置変化情報分解部からこの位置情報とスケルト
ン情報を強調方向面入力部501に渡す。
を通るの面(面10−1)(S607)の式の計算を行
ない、面10−1に平行で原点を通る面の式(面10−
2)(S608)を計算し、面位置変化情報分解部へ戻
す。面位置変化情報分解部502では、強調方向面入力
部で求めた面10−2の式を用いて、各関節のモーショ
ンデータのうち、位置変化情報(dxf,dyf,dzf)を位置変
化ベクトルと考え(S610)、面10−2上に位置変
化情報を垂直に射影する。これにより、位置変化情報は
上記面上に垂直に射影されたベクトルと、その面に垂直
なベクトルとの和で表される(S611)。図32に位
置変化ベクトル強調面による分解の様子を示す。図32
に示すように位置変化ベクトルが強調方向面上のベクト
ルと、強調方向面に垂直なベクトルに分解される。
して水平に強調するか、垂直に強調するかを面位置変化
情報分解部502は分解モーション強調計算部504に
返す。分解モーション強調計算部504では強調方向に
垂直方向を指定したときは面10−2に垂直な成分に対
して強調係数ktをかける。逆に平行成分を指定した場合
には面に射影された成分のみに強調係数ktをかける(S
612)。この後に面に射影されたベクトルと、面に垂
直なベクトルを加えることによって、指定した強調方向
のみのモーションの強調を行うことができる(S61
3)。前フレームの位置情報に強調した位置情報位置情
報ベクトルを加え、今回フレームの位置情報を作成す
る。次に分解モーション強調計算部504から関節距離
計算部へ上記計算を行なった強調されたモーションデー
タとスケルトンを引き渡す。実施の形態2で述べた方法
で、関節の強調位置の調整処理を行う。実施の形態2と
同じ方法で、この処理を全フレームに対して行ない、指
定した面に対する強調を行なう。
ニメーション制作システムは、モーション強調手段にさ
らに強調方向を入力する強調方向面入力部501と、前
記強調方向入力手段に入力された強調方向に対し、モー
ションの強調を行なう分解モーション強調計算部504
を備えているので、指定した方向にのみモーションの強
調を行なうことができる。
けるモーション強調手段7へ指定した線方向に対するモ
ーションの強調機能を付加したものである。図5は実施
の形態7のシステム構成図である。モーション入力部1
17で作成されたモーションデータを基本モーションデ
ータ205、もしくはモーションデータ116に保存す
る。モーションデータ116は制作するアニメーション
に直接使用するモーションデータ、基本モーションデー
タ205は直接制作するアニメーションに使用しない
が、基本的なモーションが蓄積されている。
る。分解モーション強調計算部504は基本モーション
データ205を読みだす。503は強調方向線入力部で
ある。ユーザは強調方向線入力部503から強調を行な
いたい線を構成する座標点を指定し、この座標により構
成される線の式を求める。505は線位置変化情報分解
部である。線位置変化情報分解部505は強調方向線入
力部503で計算された線を使用して、位置変化情報を
分解する。線位置変化情報分解部505で分解した位置
変化情報を分解モーション強調計算部504へ引き渡
し、入力された線情報に対して分解した位置情報の平行
成分のみに強調処理を行なう。モーションデータ106
と基本モーションデータ205は関節の動きの情報で表
されており、その関節間の関係をスケルトンデータ11
4で表す。分解モーション強調計算部504で計算され
たモーションの関節位置を関節距離計算部201でスケ
ルトンデータ114と同一に修正する。修正されたモー
ションは分解モーション強調計算部504に戻されて、
モーションデータ116に保存される。
モーション強調のフロー図を示す。このフロー図はAに
挿入の部分を図19のモーション強調フロー中Aと示さ
れた部分に挿入し、B を変更と書かれた部分を図19の
モーション強調フロー中B と示された部分とおき換え
る。「Aに挿入」の部分から説明を行なう。強調方向線
入力部503から、ユーザはモーションデータを構成す
る関節もしくは任意の座標点から2点を選択する(S7
01)。
合には(S702)、強調方向線入力部503で、この
2点から計算される直線の式を求め(直線11−1)、
この直線に平行で原点を通る直線の位置を計算し(直線
11−2)、線位置変化情報分解部505へ直線11−
2の式を引き渡す(S703〜S704)。分解モーシ
ョン強調計算部504はモーションデータを基本モーシ
ョンデータ205から、スケルトンデータをスケルトン
データ114から読み込む。1フレーム目のモーション
データは実施の形態2に示したように基本フレームとす
るため、読み込んだ位置変化情報をそのまま変更しな
い。式(2−1)で位置情報を求めておく。
理フレームの位置変化情報を分解モーション強調計算部
504から線位置変化情報分解部505へ引き渡す。
「Bに挿入」の部分の説明を行なう。強調方向線入力部
503で指定された座標が関節を含んでいた場合には
(S705)、線位置変化情報分解部505から各関節
の前フレームの位置座標情報と位置情報とスケルトン情
報を強調方向線入力部501に渡す。強調方向線入力部
503で、指定された2点から計算される直線の式を求
め(直線11−1)、この直線に平行で原点を通る直線
の位置を計算する(直線11−2)。直線11−2を線
位置変化情報分解部505へ戻す(S706)。
ようとする関節の位置変化情報を位置変化ベクトルと呼
び、(dx,dy,dz)とする。直線11−2と(dx,dy,d
z)を通る面の式を求める。(面11−1)(S70
8) 面11−1上で原点を通り、直線11−2に垂直な直線
11−3を求める(S709)。位置変化ベクトル(d
x,dy,dz)を直線11−2と直線11−3に平行なベ
クトルに分解する(直線11−2に対してベクトル11
−2、直線11−3に対してベクトル11−3とする)
(S710)。
解の様子を示す。位置変化ベクトルを直線11−2に平
行なベクトル11−2と直線11−3に平行なベクトル
11−3に分解する。この分解した位置変化ベクトル1
1−2と11−3を分解モーション強調計算部504へ
戻す。
11−2に平行なベクトル11−2に強調係数ktをかけ
る(S711)。強調された直線11−2に平行なベク
トル11−2と、もう一方の直線11−3に平行なベク
トル11−3を加えることにより、指定した直線方向に
強調したモーション強調を行なう(S712)。全フレ
ームの位置情報に強調したい位置変化情報を加えて、現
フレームの位置情報を作成しておく。この処理を処理フ
レームの全関節について行なう(S714、S71
5)。分解モーション計算部504は強調された位置変
化情報から位置情報を計算し、この位置情報とスケルト
ン情報を関節距離計算部201に引き渡す。
理は実施の形態2で述べた方法で行なうことができる。
これを全フレームに対して行なう。この実施の形態に記
載されたアニメーション制作システムは、モーション強
調手段にさらに強調方向を入力する強調方向入力手段
と、前記強調方向入力手段に入力された強調方向に対
し、モーションの強調を行なう分解モーション強調計算
手段を備えているので、指定した方向にのみモーション
の強調を行なうことができる。特に上記方法により、ユ
ーザは指定した方向、例えば体の上向きの方向成分のみ
を強調させることができる。
段である。モーション組合せ手段12はアニメーション
構成データ保存手段9の複数の部分モーションデータを
同期制御手段6により同期づけし、1つのモーションへ
組合わせる。
る。602は部分モーションであり、アニメーションキ
ャラクタの体の位置部分のモーションのみが蓄積されて
いる。
部分モーション602は該当するスケルトンデータ11
4中のスケルトンデータと共に同期制御表示部101に
読み込まれる。部分モーション602はモーション表示
部105に渡され、ユーザはモーションを表示しながら
モーションセグメント入力部106によりセグメント情
報を入力し、セグメント情報112に保存する。セグメ
ントはこれから組合せを行なう2つのモーションデータ
で同じ時間に合わせたい部分に入力を行なう。組合わせ
るモーションは必ず1つの関節を共有する。
同期制御データ113を作成する。データ再計算部11
0へ同期付けたモーションを渡し再計算し、同期された
セグメント部分が同時間に実行されるように同期され、
部分モーション602へ保存される。601はモーショ
ン組合せ部である。モーション組合せ部601は部分毎
に別々に入力されている部分モーション602を組合わ
せて一つのアニメーションキャラクタのモーションを作
成し、基本モーションデータ205もしくはモーション
データ116へ保存する。
ー図を示す。モーション入力部602によって別々に入
力された同一キャラクタの各部分のモーションデータが
存在した時に、その別々のモーションを同期制御表示部
101に読み込む(S801)。同期制御表示部101
を使用するのは組合わせるモーションデータは組合わせ
るために入力したものであるため、時間的にほぼ同期は
とれているはずであるが、実際には若干組合わせる部分
モーション同士の同期がずれているからである。
方法で、組合せを行なう同期をとるタイミングに対して
同期制御データ113でモーション同士を同期させる
(S802)。同期制御手段6で同期をとられたモーシ
ョンは部分モーションデータ602に保存される。この
部分モーションデータ602からモーション組合せ部6
01が上記で同期づけされたモーションをとり出す。同
期制御手段6で同期させられた組合せを行なう各モーシ
ョンで同一である関節を持っており、これを同一関節と
呼ぶ。図36にモーション組合せ部601の説明図を示
す。この図では組合せを行なうモーション1とモーショ
ン2において関節Aが同一関節となっている。
して、この同一関節の情報(関節A)を入力し(S80
3)、部分モーションから読み込む、組合わせる部分モ
ーションうち、どちらか一方を基モーションとし、基モ
ーションでないモーションを組合せモーションとする。
またモーション組合せ部には基モーションのスケルトン
情報、組合せモーションのスケルトン情報も読み込んで
おく。
ンのスケルトンの同一関節の初期位置1フレーム目の位
置の差はスケルトン情報に登録されている初期位置情報
から基モーションの1フレーム目の位置変化情報、回転
変化情報をたして1フレーム目の位置情報を算出する。
同様に組合せフレームについても1フレーム目の位置情
報を算出する。
の同一関節の位置情報を(xb,yb,zb),rb、位置変化
情報を(dxb,dyb,dzb),drb、組合せモーションの1
フレーム目の同一関節の位置情報を(xa,ya,za),r
a、位置変化情報を(dxa,dya,dza),draとする。基本
モーションスケルトンデータの同一関節の初期位置情報
を(sxb,syb,szb),srb、組合せモーションスケルト
ンデータの同一関節の初期位置情報を(sxa,sya,sz
a),sraとする。
ーションの同一関節における位置情報の差を求める。基
本モーションと組合せモーションの位置情報の差を(mx
ba,myba,mzba),mrbaとすると、 mxba=xb-xa myba=yb-ya mzba=zb-za mrba=rb-ra で求める(S805)。
の全関節の位置変化情報、回転変化情報から減算する
(S806)。この後、基モーションの同一関節部分と
組合せモーションで基モーションの同一関節を親関節、
組合せモーションの同一関節につながっている関節を子
関節とし、一つのモーションデータへ変換し、モーショ
ンデータ116もしくは基本モーションデータ205へ
保存する(S807)。
て光学式モーションキャプチャシステムを使用する場
合、体の一部により隠れてしまう関節部分のモーション
をその部分のみ別にとりこみ、組合せを行なうことで、
一つのモーションを制作することができる。
ステムは、アニメーションの構成に使用する少なくとも
第1のアニメーション構成データ及び第2のアニメーシ
ョン構成データを有するアニメーション構成データを用
いてアニメーションの制作を行なうものであって、前記
第1のアニメーション構成データ及び前記第2のアニメ
ーション構成データの各々に対し、同期設定のための同
期制御データを付加するとともに、当該付加された同期
制御データを用いて、前記第1のアニメーション構成デ
ータと前記第2のアニメーション構成データの同期を制
御する同期制御手段を備えているので、人手を介するこ
となくアニメーションを構成するデータの同期を確立す
ることができる。
テムは、第1の発明における同期制御手段において前記
第1のアニメーション構成データ及び第2のアニメーシ
ョン構成データを部分的に伸長又は縮退することにより
同期を制御するので、情報全体に亘って同期をとること
ができる。
テムは、アニメーションのモデルの形状を作成する形状
作成手段と、前記形状作成手段において作成された前記
モデルのモーションデータを入力しモーションを作成す
るモーション作成手段と、前記モーション作成手段に入
力されたモーションデータに対して強調計算を行ない、
強調されたモーションデータを出力するモーション強調
手段とを備えているので、強調されたモーションを得る
ことができる。
テムは、第3の発明におけるモーション強調手段をモー
ションデータに対し強調係数を乗算するとともに、当該
乗算されたモーションデータに対し、当該モデルの関節
間の長さが一定になるよう補正することとしたので、モ
ーションを強調させた場合であっても関節の長さが一定
であり、動作が不自然とならない。
テムは、第3の発明におけるモーション強調手段にさら
に強調方向を入力する強調方向入力部と、前記強調方向
入力手段に入力された強調方向に対し、モーションの強
調を行なう分解モーション強調計算部を備えているの
で、指定した方向にのみモーションの強調を行なうこと
ができる。
テムは、アニメーションのモデルのモーションを入力
し、モーションデータを出力するモーション入力手段
と、予め複数のモーションデータが記憶されたモーショ
ンデータ記憶手段と、前記モーション入力手段より出力
されたモーションデータと前記モーションデータ記憶手
段に記憶されたモーションデータとを比較し、その比較
結果に基づいて前記モーションデータ記憶手段に記憶さ
れたモーションデータより選択し、出力するモーション
データ検索手段とを備えているので、入力されたモーシ
ョンが不自然なものであってもモーション記憶手段に自
然なモーションを記憶させておけば、自然なモーション
を出力することができる。
テムは、音声信号を入力する音信号入力手段と、母音情
報に対応した口形状モデルを記憶する口形状モデル記憶
手段と、前記音信号入力手段に入力された音声信号の母
音情報に基づいて前記口形状モデル記憶手段より口形状
モデルを選択し画像出力する画像出力手段とを備えてい
るので、母音情報に基づいて口形状を特定するため簡易
な構成で口形状のアニメーションを作成することができ
る。
テムは、音声信号を入力する音信号入力手段と、母音情
報及び音声レベルに対応した口形状モデルを記憶する口
形状モデル記憶手段と、前記音信号入力手段に入力され
た音声信号の母音情報及び音声レベルに基づいて前記口
形状モデル記憶手段より口形状モデルを選択し画像出力
する画像出力手段とを備えているので、母音情報のみな
らず、音声レベルに応じた口形状モデルを出力すること
ができるので、簡易な構成で、より正確に口形状のアニ
メーションを制作することができる。
テムは、音声信号を入力する音信号入力手段と、前記音
信号入力手段に入力された音声信号の母音情報に基づい
てセグメント処理を行いセグメント情報を生成するセグ
メント手段と、前記音声信号に対応した口形状データを
生成する口形状データ生成手段と、前記セグメント手段
により生成したセグメント情報に基づいて前記口形状デ
ータ生成手段により生成した口形状データと前記音声信
号とを同期させる同期手段とを備えているので、簡易な
構成で口形状と音声信号とが同期した口形状のアニメー
ションを制作することができる。
ステムは、第9の発明における同期手段が前記セグメン
ト情報よりセグメント中の始点線分、終点線分、最大量
子化値部分を抽出し、各段階において前記口形状モデル
のキーフレームを割り当てるものなので、簡易な構成に
より口形状のモーションをより自然にすることができ
る。
ステムは、第9の発明においてさらに文字データを入力
する文字入力手段を有し、セグメント手段が前記文字入
力手段に入力された文字データの個々の文字に対してセ
グメントを割り当てるので、文字毎に口形状を対応させ
ることができる。
ステムは、アニメーションのモデルの部分のモーション
を示す第1の部分モーションデータ及び第2の部分モー
ションデータを記憶する部分モーション記憶手段と、前
記部分モーション記憶手段に記憶された第1の部分モー
ションデータと第2の部分モーションデータのそれぞれ
が同一関節を持っており、この同一関節を基準に、同期
制御手段を用いて同期させた前記第1の部分モーション
データと前記第2の部分モーションデータとを組み合わ
せる組み合わせ手段を有するので、例えば単一のモーシ
ョンの入力手段では、モーションが捉えきれない場合に
複数の入力手段によりモーションを制作することができ
る。
成図である。
る。
ある。
ション構成データの時間変更である。
デル構成データの時間変更である。
である。
ある。
ンターフェースである。
る。
3の作成方法のフロチャートである。
3の作成方法のイメージである。
成である。
いるデータの種類による口形状キーフレームデータ30
3の出力フローである。
ン強調のフロー図である。
である。
ン強調のフロー図である。
である。
る。
力手段、4 文字入力手段、5 レンダリング手段、6
同期制御手段、7 モーション強調手段、8音声同期
口形状作成手段、9 アニメーション構成データ保存手
段、10 モーション検索手段、11 音出力手段、1
2 モーション組合せ手段、101 同期制御表示部、
102 音表示部、103 音出力部、104 音声セ
グメント入力部、105 モーション表示部、106
モーションセグメント入力部、110、データ再計算
部、112 セグメント情報、113 同期制御デー
タ、114 スケルトンデータ、115 スケルトン入
力部、116 モーションデータ、117 モーション
入力部、118 セリフ音声データ、119 音入力
部、120 音データ、123 セグメント情報対応付
け部、201 関節距離計算部、202 モーション強
調計算部、203 モーション検索部、204 モーシ
ョンキーワードデータ、205 基本モーションデー
タ、301 音声自動セグメント部、302 音声セグ
メント処理部、303 口形状キーフレームタイミング
データ、304 口形状モーション作成部、305 レ
ンダリング部、306 画像データ、307 画像出力
部、308 モデルデータ、309 モデル入力部、3
10 セグメント均等割り付け部、311 セリフ文字
入力部、312 辞書パターンデータ、501 強調方
向入力部、502 面位置変化情報分解部、503 強
調方向入力部、504 分解モーション強調計算部、5
05 線位置変化情報分解部、601 モーション組み
合わせ部、602 部分モーションデータ。
Claims (4)
- 【請求項1】 アニメーションのモデルの形状を作成す
る形状作成手段と、 前記形状作成手段において作成された前記モデルのモー
ションデータを入力しモーションを作成するモーション
作成手段と、 前記モーション作成手段に入力されたモーションデータ
に対して強調計算を行ない、強調されたモーションデー
タを出力するモーション強調手段とを備えたアニメーシ
ョン制作システム。 - 【請求項2】 前記モーション強調手段は、モーション
データに対し強調係数を乗算するとともに、当該乗算さ
れたモーションデータに対し、当該モデルの関節間の長
さが一定になるよう補正することを特徴とする請求項1
記載のアニメーション制作システム。 - 【請求項3】 前記モーション強調手段は、 強調方向を入力する強調方向入力部と、 前記強調方向入力部に入力された強調方向に対し、モー
ションの強調を行なう分解モーション強調計算部とを有
することを特徴とする請求項1記載のアニメーション制
作システム。 - 【請求項4】 アニメーションのモデルのモーションを
入力し、モーションデータを出力するモーション入力手
段と、 予め複数のモーションデータが記憶されたモーションデ
ータ記憶手段と、 前記モーション入力手段より出力されたモーションデー
タと前記モーションデータ記憶手段に記憶されたモーシ
ョンデータとを比較し、その比較結果に基づいて前記モ
ーションデータ記憶手段に記憶されたモーションデータ
より選択し、出力するモーションデータ検索手段とを備
えたアニメーション制作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002267444A JP3755503B2 (ja) | 2002-09-12 | 2002-09-12 | アニメーション制作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002267444A JP3755503B2 (ja) | 2002-09-12 | 2002-09-12 | アニメーション制作システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00850496A Division JP3368739B2 (ja) | 1996-01-22 | 1996-01-22 | アニメーション制作システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003132363A true JP2003132363A (ja) | 2003-05-09 |
JP3755503B2 JP3755503B2 (ja) | 2006-03-15 |
Family
ID=19196851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002267444A Expired - Fee Related JP3755503B2 (ja) | 2002-09-12 | 2002-09-12 | アニメーション制作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3755503B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007299300A (ja) * | 2006-05-02 | 2007-11-15 | Advanced Telecommunication Research Institute International | アニメーション作成装置 |
WO2007138885A1 (ja) * | 2006-05-26 | 2007-12-06 | The University Of Tokyo | 運動データのデータベースの構造および設計法、データベースシステム |
JP2008140364A (ja) * | 2006-07-24 | 2008-06-19 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
JP2011187067A (ja) * | 2003-11-14 | 2011-09-22 | Kyocera Wireless Corp | メディアオブジェクトを順序付けるシステムおよび方法 |
JP2012133536A (ja) * | 2010-12-21 | 2012-07-12 | Mitsubishi Precision Co Ltd | 3次元コンピュータグラフィックスの物体の動作を補正する方法、そのような方法を用いる装置及びそのような方法をコンピュータに実行させるプログラム |
JP2012150578A (ja) * | 2011-01-17 | 2012-08-09 | Square Enix Co Ltd | 用例に基づく効率的なモーションデータベースのスタイリング |
JP2013210691A (ja) * | 2012-03-30 | 2013-10-10 | Casio Comput Co Ltd | 動き情報生成方法、動き情報生成装置及びプログラム |
CN110211210A (zh) * | 2019-04-24 | 2019-09-06 | 深圳点猫科技有限公司 | 一种用于龙骨动画的组件嵌入实现方法及装置 |
-
2002
- 2002-09-12 JP JP2002267444A patent/JP3755503B2/ja not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011187067A (ja) * | 2003-11-14 | 2011-09-22 | Kyocera Wireless Corp | メディアオブジェクトを順序付けるシステムおよび方法 |
JP2007299300A (ja) * | 2006-05-02 | 2007-11-15 | Advanced Telecommunication Research Institute International | アニメーション作成装置 |
JP4631077B2 (ja) * | 2006-05-02 | 2011-02-16 | 株式会社国際電気通信基礎技術研究所 | アニメーション作成装置 |
WO2007138885A1 (ja) * | 2006-05-26 | 2007-12-06 | The University Of Tokyo | 運動データのデータベースの構造および設計法、データベースシステム |
JPWO2007138885A1 (ja) * | 2006-05-26 | 2009-10-01 | 国立大学法人 東京大学 | 運動データのデータベースの構造および設計法、データベースシステム |
JP2008140364A (ja) * | 2006-07-24 | 2008-06-19 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
JP4617500B2 (ja) * | 2006-07-24 | 2011-01-26 | 株式会社国際電気通信基礎技術研究所 | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
JP2012133536A (ja) * | 2010-12-21 | 2012-07-12 | Mitsubishi Precision Co Ltd | 3次元コンピュータグラフィックスの物体の動作を補正する方法、そのような方法を用いる装置及びそのような方法をコンピュータに実行させるプログラム |
JP2012150578A (ja) * | 2011-01-17 | 2012-08-09 | Square Enix Co Ltd | 用例に基づく効率的なモーションデータベースのスタイリング |
JP2013210691A (ja) * | 2012-03-30 | 2013-10-10 | Casio Comput Co Ltd | 動き情報生成方法、動き情報生成装置及びプログラム |
CN110211210A (zh) * | 2019-04-24 | 2019-09-06 | 深圳点猫科技有限公司 | 一种用于龙骨动画的组件嵌入实现方法及装置 |
CN110211210B (zh) * | 2019-04-24 | 2023-09-26 | 深圳点猫科技有限公司 | 一种用于龙骨动画的组件嵌入实现方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3755503B2 (ja) | 2006-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108492817B (zh) | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互*** | |
CN108447474B (zh) | 一种虚拟人物语音与口型同步的建模与控制方法 | |
US8793133B2 (en) | Systems and methods document narration | |
US8364488B2 (en) | Voice models for document narration | |
US6661418B1 (en) | Character animation system | |
US20170300182A9 (en) | Systems and methods for multiple voice document narration | |
JP2003530654A (ja) | キャラクタのアニメ化 | |
CN110880315A (zh) | 一种基于音素后验概率的个性化语音和视频生成*** | |
JP3215823B2 (ja) | 人間の顔の合成モデルの音声信号駆動アニメーションの方法及び装置 | |
US20150088505A1 (en) | Audio synchronization for document narration with user-selected playback | |
JP2011059412A (ja) | 合成音声テキスト入力装置及びプログラム | |
JPH02234285A (ja) | 画像合成方法及びその装置 | |
JP2022518721A (ja) | 発話アニメーションのリアルタイム生成 | |
CN111145777A (zh) | 一种虚拟形象展示方法、装置、电子设备及存储介质 | |
KR20140133056A (ko) | 애니메이션 립싱크 자동화 장치 및 방법 | |
JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
KR101089184B1 (ko) | 캐릭터의 발화와 감정표현 제공 시스템 및 방법 | |
KR100300962B1 (ko) | 음성합성을위한립싱크방법및그장치 | |
KR20080018408A (ko) | 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체 | |
JP3755503B2 (ja) | アニメーション制作システム | |
JP3368739B2 (ja) | アニメーション制作システム | |
US11024071B2 (en) | Method of converting phoneme transcription data into lip sync animation data for 3D animation software | |
CN115311731B (zh) | 一种手语数字人的表情生成方法和装置 | |
JP2007299300A (ja) | アニメーション作成装置 | |
CN113572977B (zh) | 视频制作方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051212 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100106 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |