JP2001216530A - アニメーション・キャラクターの社会的プリミティブの指定、制御、及び変更のための方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】アニメーション・キャラクターのコミュニケー
ション能力の強化。 【解決手段】まずユーザ入力が評価され（５００）、評
価に基づき、ユーザとのコミュニケーションを強化する
ための社会的プリミティブとして、非言語行動（ＮＶ
Ｂ）が選択される（５１０）。選択されたＮＶＢの表現
を調節するパラメータが変更され（５２０）、変更され
たＮＶＢは他の動作及び言語行動とともに、コミュニケ
ーションのデータストリーム中に配置される（５３
０）。本発明の処理は、アニメーション・キャラクター
のユーザをより効果的に惹きつけるためにＮＶＢを使用
可能にし、任意のアニメーション・キャラクター・シス
テムに適用され得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ヒューマン・コン
ピュータ・インタフェース（ＨＣＩ）に関し、詳細に
は、ＨＣＩとして用いられるアニメーション・キャラク
ターに関する。本発明は、より詳細には、アニメーショ
ン・キャラクターの非言語行動（ＮＶＢ：Non Verbal B
ehaviors）の表示に関する。更に詳細には、本発明は、
アニメーション・キャラクターで表示するＮＶＢを指定
するための、ＮＶＢのパラメータ化に関する。本発明
は、更に、ユーザとコミュニケーションするアニメーシ
ョン・キャラクターの非言語行動の変更及び調節（特定
の非言語行動の量の選択、及びＮＶＢの異なるチャネル
の組合せ）に関する。

【０００２】

【従来の技術】ここ数年で、代替ユーザ・インタフェー
ス機構及び娯楽用デバイスとしての、自律的なコンピュ
ータ合成キャラクターが、技術的及び商業的に現実のも
のとなった。マイクロソフト・オフィス・アシスタント
(Microsoft Office Assistant)、マイクロソフト・エー
ジェント(Microsoft Agent)、ＩＢＭ社のワープ・ガイ
ド(Warp Guide)、及びエクステンポ(Extempo)社のイン
プ・ソフトウェア(Imp Software)は、全て、学術的な研
究機関でここ１０年ほどにわたって開発されたユーザ・
インタフェース技術を商業化する最近の試みである。合
成キャラクターを用いるコンピュータ・ゲームの爆発的
な広がり及び、テレビ及び映画におけるそれらの使用の
増加も、この技術の進歩に対する強い要求を示すもので
ある。

【０００３】そのような進歩の１つは、ＭＩＴメディア
研究所(Media Lab)のＡＬＩＶＥプロジェクトで開発さ
れた、基本的動作選択アーキテクチャ（ＢＡＳＡ：Basi
c Action Selection Architecture）である。ＢＡＳＡ
は、配信可能なアプリケーションのキャラクターの実行
時間シミュレーションに用いられる。

【０００４】ＢＡＳＡでは、行動は階層的に編成されて
おり、階層の上位にあるものは、より抽象的な行動のカ
テゴリーであり、下位にあるものは、命令されるとキャ
ラクターが実行できるシミュレーション・ルーチンが関
連付けられた操作的なものとなっている。階層の各レベ
ルの行動は、キャラクターを制御するシミュレーション
の各時間ステップで競合する。この競合の結果、その時
間ステップにキャラクターが実行する一次的な動作であ
る、１つの一次的行動を生じる。

【０００５】しかし、今日までの、この領域における研
究開発の大半は、リアルなレンダリング、リアルタイム
のアニメーション、及び“機能的”行動に関するもので
あり、一方、個性的で一貫しており、時間を越えて予測
可能な非言語行動（ＮＶＢ）パターンを使用するキャラ
クターの個性化の問題は、一般的に、アニメーターやス
クリプト・ライターに任されている。

【０００６】

【発明が解決しようとする課題】本発明者は、よりコミ
ュニケーション可能で魅力的なインタフェースを提供す
るために、本明細書では社会的プリミティブ（ＳＰ：so
cial primitives）と呼ぶ、アニメーション・キャラク
ターの非言語行動（ＮＶＢ）のクラスに含まれる、アル
ゴリズム制御される低レベルの無意識行動を生成する必
要性に気づいた。本発明は、人間のユーザと対話するた
めの社会的プリミティブを用いた、（コンピュータ上又
は他の電子デバイス上の）アニメーション・キャラクタ
ーを実現する方法を提供する。本発明は、顔の表情、ア
イ・コンタクト、目の方向、ジェスチャ（例えば指差
し）及び声の抑揚等の項目を含むが、これらに限定され
ない選択された非言語行動（ＮＶＢ）チャネルの変更を
提供する。

【０００７】

【課題を解決するための手段】キャラクターによって行
われるコミュニケーションに関係する質に基いて、ＳＰ
がパラメータ化される。ＳＰは、言語に依存しないも
の、キャラクター側でのみ演じられるもの、又は、言語
的コミュニケーションと共に行われるもの（言語に依存
する行動）であり得る。コミュニケーションが図られて
いないときにキャラクターがとる動作（言語に依存しな
い行動）を補助、定義、又は洗練するための、他のＳＰ
を用いることもできる。

【０００８】本発明は、アニメーション・キャラクター
からユーザに対するコミュニケーションで用いられる非
言語行動（ＮＶＢ）の少なくとも１つのチャネル及び１
つ以上の行動（ＳＰを含む）を識別する選択機構を含
む、アニメーション・キャラクターからユーザに対する
少なくとも１つのコミュニケーション（言語的、非言語
的、又は両方の組み合わせ）を決定するように構成され
た、前記コミュニケーションの実行又は補足の少なくと
も１つを行う、少なくとも１つのアクションモジュール
を有する装置によって実行できる。

【０００９】本発明は、アニメーション・キャラクター
によって行われるコミュニケーションを識別するステッ
プと、前記コミュニケーションの補足又は実行の少なく
とも１つを行う少なくとも１つの非言語行動（ＮＶＢ）
の１組を決定するステップと、前記アニメーション・キ
ャラクターで前記１組のＮＶＢを実行するステップと、
を有する方法を含む。

【００１０】この装置及び方法は、両方とも、汎用コン
ピュータで便利に実現でき、その結果を、接続されてい
る出力機構で表示するか、又は遠隔の出力機構に表示す
るために送信できる。

【００１１】本発明及び本発明に付随する多くの長所の
真価のより完全な認識は、以下の詳細な説明を参照して
添付の図面と共に考察されることで本発明がよりよく理
解されるにつれ、容易に得られよう。

【００１２】

【発明の実施の形態】本発明者は、人間のコミュニケー
ションにおいて、社会的プリミティブ（ＳＰ）及びもっ
と高レベルの行動パターンの両方をもたらす非言語行動
（ＮＶＢ）の多くのチャネルが、重要な役割をすること
に気づいた。本発明は、ＮＶＢの１つ以上のチャネルを
用いて、人間であるユーザをアニメーション・キャラク
ターとの対話に引き込む。

【００１３】ＳＰは、短いテキストによる記述又は特定
のプログラム仕様（即ちアニメーション）内での２つの
方法で記述できる。テキストによる記述は、（心理学、
言語学、コミュニケーション及び人類学を含む様々な分
野からの）それらの行動がどのような条件でどのように
して生じるかに関する実験上の発見を要約するものであ
る。概して、これらの行動の大部分は無意識であり、幼
少期に獲得され、本質的に自動的に生じる。幾つかの例
を挙げると、瞳孔の大きさの変化、相手の顔を見る際の
走査半径、話者が話しながら或るオブジェクト（又は人
物）に言及して指し示す手のジェスチャを追う頭の動き
がある。行動の基本的な特性を記述できるので、それら
をモデル化、即ち多くの異なるアニメーション・プログ
ラム言語で表現できる。幾つかの例を挙げれば、ＶＲＭ
Ｌ（Virtual Reality Modeling Lnguage）プログラム仕
様や、今やＭＰＥＧ４データ・ストリーミング技術（特
に顔アニメーション）の標準となっている、顔アニメー
ション・パラメータ（ＦＡＰ：Facial Animation Param
eters）や身体アニメーション・パラメータ（ＢＡＰ：B
ody Animation Parameters）がある。

【００１４】本発明者は、アニメーション・キャラクタ
ーによるコミュニケーション中のＮＶＢ部分としての、
（話を）聴くときの癖に関係する頭及び目の動きが、人
間のユーザをより効果的に惹きつける性格を与えること
に気づいた。人間のコミュニケーションと関連する他の
活動と調和された人間の目の動きを有するキャラクター
は、人間であるユーザを、より容易に熱心に会話に引き
込んで惹きつける。

【００１５】キャラクターの目の注視のリアルな制御
は、後でリストアップする注視に関係する特徴の少なく
とも１つを含む。本発明の一実施形態では、キャラクタ
ーとユーザとのコミュニケーションを強化するためにキ
ャラクターに実行させることができる動作（ＮＶＢ）を
識別するために、これらの特徴がパラメータ化される。
このパラメータは、キャラクターのスクリプト及び/又
はキャラクターに対して指定される人格の傾向に従って
キャラクターをコンパイルする時又は実行する時に設定
できる。次に、実行（キャラクターの動作及びコミュニ
ケーションを指定するキャラクター・プログラムの実
行）時間中にこのパラメータを変更できる。

【００１６】コンパイル時パラメータ設定は、アニメー
ション・キャラクターの人格の傾向の半永久的な特徴と
なるように指定される。コンパイル時に選択されるパラ
メータ設定は、キャラクターの行動に、一貫性のある人
間の行動によく似た、安定性及び一貫性を付け加える。
しかし、実行時間中に変更されたパラメータ・セット
も、キャラクターの人格の永久的な特徴であってもよい
が、キャラクターに対して特定の入力、刺激、問題等が
与えられるまで指定されない。

【００１７】キャラクターの人格（人格の傾向を含む）
は、多くの方法で確立できる。一例としては、本明細書
に参照として全体を援用する、クック等(Cook et al.)
（以降、クックと呼ぶ）の、“自律的合成キャラクター
の人格のデザイン及びレンダリングのためのシステム(S
YSTEM FOR DESIGNING AND RENDERING PERSONALITIESFOR
AUTONOMOUS SYNTHETIC CHARACTERS)”という名称の、
１９９９年４月７日出願の、米国特許第（ ）号、米国
特許出願第09/287,521号、弁理士事件番号XERXF 1018 M
CF/JWC、がある。クックは、人格ワークベンチ(workben
ch)上の特性の特定の量を設定することによってアニメ
ーション・キャラクターの人格を生成し、次に、これら
の特性を、アニメーション・キャラクターによる表示の
ための人格プロフィール（キャラクター・プロフィー
ル）としてコンパイルする装置を含む。

【００１８】キャラクターが行う特定の動作に基いてパ
ラメータを変更してもよく、また、アニメーション・キ
ャラクターの実行中に（例えば世界のイベントや品物の
変更等の任意の基準に基いて）変更してもよい。更に、
新しいパラメータを追加してもよく、既存のパラメータ
を全く新しい値に変更、又は所定の入力又は他のイベン
トを介して変更してもよい。

【００１９】本発明の一実施形態では、クックを用い
て、人格ワークベンチで選択された特性の特定の量に基
いてパラメータが設定され、キャラクターの行動の階層
としてコンパイルされる。別の実施形態では、ワークベ
ンチから選択された特性が、パラメータ及び変更値の特
定のセットと相互に関連付けられるか、又はキャラクタ
ー・プログラムの実行中に選択され得るパラメータを識
別する１組の規則を識別する。

【００２０】一般的に、アニメーション・キャラクター
のユーザを強く惹きつけるために、又は“本当”だと信
じさせ易くするために、後でリストアップするパラメー
タのサブセットを使用できる。ある点で、収穫逓減点に
達し得るので、付加的なパラメータを追加しても、それ
を含むことを支えるための技術的なコストや演算的な強
さを正当化する真実味を増すことにはならないかもしれ
ない（もっと重要なパラメータほどの真実味を獲得しな
いかもしれない。例えば、足で地面を叩くことは、目で
注視することよりも重要性が低い）。しかし、将来のワ
ークステーションに想像されるように、演算処理力が増
せば、更にユーザを惹きつけ易くするために、より多く
のチャネル（ＮＶＢ）が追加されるであろう。

【００２１】本発明は、頭の動き、目の位置、目の動
き、及び注視をサポートするためのＮＶＢチャネルを含
む。ユーザを惹きつけることの大半は、目を適切に制御
することによって実現される。例えば、“キャラクター
がユーザを注視する”及び“相互の注視”（ユーザがア
イ・コンタクトを返す）のパラメータは、両方とも、ほ
ぼ完全に、目の位置によって確立される。頭も重要な役
割をするかもしれないが、頭は、ユーザがキャラクター
の目を通して見られているということを、物理的にサポ
ートする位置にあればよい。

【００２２】以下に、注視及び目に関係するパラメータ
・セットの３つのグループ、即ち向き及び動きの特性、
タイミング・パラメータ、及び本発明で実施される言
語、認知、又は他のファクターを挙げる。ユーザを惹き
つける適切な目の制御のために、挙げられた特徴の少な
くとも１つが必要である。

【００２３】[向き及び動きの特性（パラメータ）]これ
らの、頭の動き及び向きのためのパラメータ・セット
は、モデリング及びアニメーション用の汎用アニメーシ
ョン・ソフトウェアと、そのソフトウェアをより効果的
に使用するための方法及び戦略を示す、位置、関節、範
囲、強さ、適切なコンテクスト、及びアニメーション技
術の他の態様の規則を含む、実験的な発見とを直接結び
つける。

【００２４】●ユーザに対する頭の向き(head＿orienta
tion＿to＿user) キャラクターの頭（即ち前額面）は、“０”平面（ｘ，
ｙ，ｚ）に固定されていると、ユーザの頭又は身体の位
置と同一直線上になる（必然的に、ユーザの目を見
る）。図１を参照すると、このパラメータは、キャラク
ターの頭１００が“０”平面１０５（３次元空間の座標
０，０，０）から離れている程度の数値である。質的な
値は、範囲に課され得る（即ち、“オン・ユーザ(on＿u
ser)”又は“オフ・ユーザ(off＿user)”等の値）。オ
ン・ユーザ（図１（Ａ）に示す）は、直接的なコンタク
トを示し、キャラクター１００がユーザ１１０をまっす
ぐに見ているように見える。オフ・ユーザは、キャラク
ターがユーザをまっすぐに見ていないことを示し、変位
の程度を示す３軸（ｘ，ｙ，ｚ）に沿った回転によって
更に加減（変更）できる。回転の量及び方向は、キャラ
クターの様々な人格特性によって決定される。例えば、
図１（Ｂ）は、キャラクターの頭１１５の、キャラクタ
ー１１５から発してユーザ１２５に到る“０”平面１２
０からｘ軸に沿った３０度の回転を示している。この下
向きの回転は、例えば、キャラクターの人格が、ある程
度の内気さ又は内向性を有することを示す。別の例で
は、ユーザの上方又はいずれかの側への回転は、温かさ
−冷たさのスケール上で、キャラクターの人格の温かさ
が低い（まっすぐなアイ・コンタクト及び対話を避けて
いる）ことを示すであろう。頭の向きが“０”値である
ことは、単に、キャラクターの頭がまっすぐにユーザに
向いていることだけを示すことを留意されたい。ユーザ
を“見る”には、次の条件：キャラクターの目が実際に
ユーザの顔（即ちユーザの目のあたり）を走査している
こと、及びキャラクターの頭がコンタクトのレベルを支
える位置（即ち、物理的な世界で、キャラクターが実際
にユーザを“見る”ことができる位置）にあることが必
要である。相互に注視するためには、上記の２つの条件
に加えて、第３の条件、即ちユーザの目が同様にキャラ
クターに向いていることが必要である。言い換えれば、
キャラクターの頭が“０”からかなり大きく変化して
も、依然としてアイ・コンタクトをサポートすることが
できる。

【００２５】本発明の一実施形態の処理では、“０”平
面はキャラクターとユーザとの間に確立されており、キ
ャラクターの注視は、キャラクターの人格プロフィール
（キャラクター・プロフィール）に基いて、オン・ユー
ザ又はオフ・ユーザのどちらにも設定される。オフ・ユ
ーザの場合は、注視は、キャラクター・プロフィール中
の特定の特性及びその特性の量に基いて、更に変更され
る。本実施形態及び他の実施形態では、任意のパラメー
タ及び/又はキャラクターの特性の実現に、同様の方法
を用いることができる。

【００２６】●ユーザに対する目の注視(eye＿gaze＿to
＿user) “０”平面１０５からの絶対距離（２０５、２１５）で
は、キャラクターの目２００（図２参照）が、ユーザ２
１０に向いている。

【００２７】●ユーザに対する目の輻輳(eye＿converge
nce＿to＿user) ユーザ３１０（又は室内のオブジェクト）への注視を続
けるために目３００（図３参照）が行う輻輳の程度であ
る。ユーザは、キャラクターが本当に自分を見ていない
場合には、すぐにそれが分かるので、本当らしく見せる
ために、輻輳は重要である。

【００２８】●目の注視の走査半径(radius＿of＿eye＿
gaze＿scan) キャラクターの目がユーザの顔を素早く走査する空間で
ある。走査半径が非常に小さい又は全く無い注視は“凝
視”になり、適度な走査半径は中立に見え、走査半径が
大きくなると、恐らくは神経質（例えば感情的な安定
性）又は不安に見える。

【００２９】●目の移動頻度(eye＿shift＿frequency) キャラクターの頭が現在の位置から動く（又はシフトす
る）頻度である。これを制御するには幾つかの方法があ
る。比率ベースでは、頭の移動はｎ秒毎に１回生じる。
言語ベースでは、頭の移動は構文的な区切り又は思考単
位の区切りで生じる。認知ベースでは、エージェントの
内部的な“思考状態”が、ユーザからの事実に基かない
質問に対する応答の準備を反映し得る。これらのうちの
最初のものは恐らく最も有用であり、後者の２つは、恐
らく、目の動きとしてより適切であろう。比率ベース制
御の一例として、内気な人物は、恐らく、それほど内気
ではない人物よりも高い比率で、ユーザから目をそらす
であろう。

【００３０】●目の移動方向(eye＿shift＿direction) 東西南北、及び北東、北西等のうちの１つである。上述
した言語ベースや認知ベースの移動、人格の傾向（即
ち、内気）、他の外部的なファクター（例えば入力）、
又はアルゴリズムによる選択若しくはランダムな選択に
基き得る。

【００３１】●頭と目との調和(head＿to＿eye＿coordi
nates) 頭の移動は、調和する目の動きを伴って又は伴わずに生
じ得る。これは、頭の向きの全体的な変化が、それに相
当する目の動きを伴っても伴わなくてもよい、頭の僅か
な移動の問題である（我々は、頭を僅かに動かしても、
アイ・コンタクトを保つことができる）。

【００３２】●頭の移動距離(head＿shift＿distance) キャラクターの頭が現在の位置から移動する距離であ
る。

【００３３】●オブジェクトに対する頭の注視(head＿g
aze＿to＿object) “ユーザに対する頭の注視”と同じであるが、焦点はユ
ーザではなくオブジェクトである。

【００３４】●頭の追跡率(head＿track＿rate) ユーザが物理的な“環境”を動き回っているときに、キ
ャラクターがどの程度しっかりとユーザをモニターする
かである。追跡では、目は、ユーザを追跡できなくなる
まで追い、次に、目の注視の継続を容易にするために頭
が移動する。

【００３５】[頭及び目に対するタイミングの特性及び
パラメータ]頭及び目の動きに対する、維持及び追跡時
間に関係するファクターは、後でこれらのファクターを
変更するために、重要となる（即ち、目の注視の持続時
間を、開始時間から終了又は現在の時間まで計算しなけ
ればならない）。幾つかのタイミング・ファクターとし
て、以下のものが挙げられる。

【００３６】●現在の頭の向きの開始(onset＿of＿curr
ent＿head＿orientation) キャラクターの頭が位置決めされる（ｘ，ｙ，ｚ座標が
一次的に固定されて安定する）と、その位置の開始時間
の登録が必要となる。

【００３７】●現在の頭の向きの終了(offset＿of＿cur
rent＿head＿orientation) キャラクターが頭の向きを変える時点のタイム・スタン
プである。

【００３８】●頭の向きの持続時間(duration＿of＿hea
d＿orientation) リアルタイムで計算及びモニタされなければならない。
持続時間は、現在の時間から頭の向きの開始を引いた時
間である。

【００３９】●目の注視の開始(onset＿of＿eye＿gaze) キャラクターの目が空間内のある点に固定された時に開
始するタイム・スタンプである。

【００４０】●目の注視の終了(offset＿of＿eye＿gaz
e) キャラクターの目が現在の固定点から移動した時間をマ
ークする終了タイム・スタンプである。

【００４１】●目の注視の持続時間(duration＿of＿eye
＿gaze) リアルタイムで計算され、現在の時間から目の注視の開
始又は目の注視の終了を引いた時間である。

【００４２】[言語又は認知行動及び制御ファクター]会
話又は認知ベースのＮＶＢは、言語生成又は認知プロセ
ス等のより高度な知的機能と直結したＮＶＢを表わす。
現在のパラメータは、うなずき、短い発声（これも非言
語行動と見なされる）、微笑、注視及び相互の注視、ま
ばたきの率、及びその他の様々な変更を含むが、それら
に限定されない。以下に詳細を示す。

【００４３】●うなずき及び短い発声（バック・チャネ
ル）（パラメータ） ◎うなずきの率 うなずきの率は、ユーザが話している時間（即ち、キャ
ラクターの話し手に対するバック・チャネル中）当たり
のうなずき（上下動）の回数である。一般的に、バック
・チャネルのうなずきの平均的な率は、ほぼ、１７秒毎
に１回である。

【００４４】◎短い発声のバック・チャネル率 相手が話しているときに、キャラクターが「ふーん」や
「はい」等という声を発する、バック・チャネル行動と
して現れる。平均的には、短い発声は、２３秒毎に生じ
る。

【００４５】●微笑 ◎話している間の微笑の程度 キャラクターが話している間に微笑する回数である。一
般的に、ほぼ、３６秒毎に１回又は話している時間の約
1/8毎に１回生じる。

【００４６】◎話していない間の微笑の程度 キャラクターが（話を）聴いている間又は他の行動の最
中に微笑する回数である。統計的なデータは結論づけら
れていないが、傾向はよくわかる。女性の方が男性より
も、子供の方が大人よりも、社会経済的な地位が低い人
の方が、高い人よりも、よく笑う。

【００４７】●注視及び相互の注視 ◎断続性運動(saccadic movement)−目 目の断続性運動とは、固定点の素早い変更を生じる、顔
の複数の部分（主に目及び口）に対する一連の素早く繰
り返される走査である（両目が同時に動く）。会話中の
まっすぐなアイ・コンタクトは、平均的に、会話時間の
約５０％である。タイミングの問題及び構造的な違い
（目は、３次元の球体ではなく２次元でモデリングされ
ることもある）により、人間の目の速度及び身体的能力
の再現を、常に模倣できるわけではない。幾つかの統計
には、角度的な移動は弧の２０度２分から５分の間、回
転の速度は１０００度/秒までと大きいということが含
まれている。

【００４８】◎キャラクターが話している間の注視（交
代がある） 大概、注視行動は文法に依存する（即ち、キャラクター
の文構造に結び付いている）。キャラクターは、文法的
な区切り、思考単位の最後、又は発話の最後に、（フィ
ードバックとして）話し手に視線を投じるべきである。

【００４９】◎順番を譲る時点 キャラクターが話し手から聞き手に移るときに生じる。
発話の最後に、ユーザが話す役割を引き受けるまで、キ
ャラクターの注視が続き、その（ユーザが話し手になっ
た）時点で、キャラクターは一瞬目をそらす。

【００５０】◎汎用注視規則 以下の規則は汎用である。 ・会話の開始時に、キャラクターはより高い注視率を有
する。聞き手が聴いていることを確実にするのを助け
る。 ・会話の終了時に、キャラクターは注視率を下げ始め
る。 ・キャラクターが聞き手となるときは、注視率を（上記
に示した５０％を超えて）上げるべきである。 ・ユーザが別のユーザと相談するときには、そのユーザ
に対する注視率を下げる。

【００５１】◎周期的なまばたき及びまばたき率 まばたきは、目を保護するための機能的な欲求である
（目の中の水分を確保する）。平均的なまばたきの率
は、例えば、１分間に１２．５回（「注視及び相互の注
視(Gaze and mutual gaze)」、アーガイル及びクック(A
rgyle, M. & Cook,M.)、1976、New York: Cambridge Un
iversity Pressを参照）又は１分間に６〜１２回（「人
の対話における非言語コミュニケーション(Nonverbal C
ommunication in Human Interaction)」、ナップ及びホ
ール(Knapp, M.L. & Hall, J.A.)、4th Edition, Holt,
Rinehart and Winston, Inc. 1997）である。まばたき
の長さは０．２〜０．３秒である。

【００５２】[ＮＶＢの生成]コンピュータキャラクター
・アニメーションは、２つの基本的な要素、即ち、キャ
ラクターの物理的構造（即ち、顔及び/又は身体）のモ
デル又は表現、及びそれが動画化される、即ち、動く方
法に依存する。本発明で考えるモデルは、多角形をつな
ぐ一連の頂点を有するポリゴン（又は三角形）のメッシ
ュであることを前提とする。人の身体のモデリングに
は、多くの異なる手法が存在している（例えば、Ｈ−Ａ
ＮＩＭがある（図８を参照。レール(Roehl, B.)、標準
ヒューマノイドの仕様(Specification for a Standard
Humanoid)、H/Anim-Hunamoid Animation Working Grou
p）。アニメーション、特に顔のアニメーションは、１
つ以上の頂点の特定方向（一方向及び双方向の両方）へ
の動きによって達成されるメッシュの変形である。その
ような動きは、モデルの要所毎に定められた特定のセグ
メント又は制御点の動きの範囲又は関節（articulatio
n）を記述するパラメータのセットによって指定され
る。

【００５３】[行動チャネル、パラメータ、及びＮＶＢ
の関係]図８が示すように、モデルは、モデルの複雑さ
に応じて、多くの制御点を有し得る。本発明では、モデ
ル内の名前のある各点（即ち、左目の内側）は、個々に
又は組み合わされた形態でプログラム制御可能なチャネ
ル又は部分的なＮＶＢチャネルに対応する。一般的に、
制御パラメータは、０から１までの値の範囲で変化す
る。従って、例えば、０位置の瞼は閉じており、１の瞼
は大きく開いている。各チャネルは、関数呼出しを介し
て設定でき、又は“スライダー”による操作も可能であ
る。スライダー操作では、スライド制御がモデルの制御
点と直接接続されており、制御点と関連付けられている
値を増分的に増加又は減少させることができる。従っ
て、例えば、スライダーは滑らかに目を開閉できる。ア
ニメーションは、フレーム毎に又は“トウィーニング(t
weening)”を介して実現できる。フレーム毎の場合は、
スライダーによって達成されるように、異なる時点のチ
ャネル又は頂点のセットを再描画できる。“トウィーニ
ング”では、制御点又は頂点のセットに、関節の始点
（０）及び終点（１）が与えられ、アニメーション・シ
ステムが、２つのアンカー点の間の一連のフレームを、
自動的に補間する（又は他のアルゴリズム的に生成され
る手続きで作成する）。

【００５４】更に、ＭＰＥＧ−４国際標準は、図８のモ
デル又は図７のメッシュに対する動きの指定に用いるこ
とができる、顔定義パラメータ（ＦＤＰ：Facial Defin
ition Parmeter）及び顔アニメーション・パラメータ
（ＦＡＰ：Facial Animation Parameter）の両方のため
のパラメータを提供している。これらのパラメータ・セ
ットは、表情、感情、及び発音を再現するための顔のア
ニメーション並びに顔の形状及び質感の定義を可能にす
るように設計されている。ＦＡＰは、最小限の顔の動き
の研究に基いており、筋肉の動きと密接に関係してい
る。これらの顔の動きの基本セットにより、自然な顔の
表情の大半を表現できる。モデルの動きの量、程度、又
は他の値を指定する他のパラメータ・セットも使用でき
る。（例えば、パーク(F.I. Parke)、「顔アニメーショ
ン用のパラメータ化モデル(A parameterized model for
facial animaton)」、IEEE Computer Graphics and Ap
plications, 2(9):61-70, 1982、及び、エクマン及びフ
リーセン(Ekman, P. & Friesen, W.V.)、1978、「顔の
動きのコーディング・システム：顔の動きの測定のため
の技術(The Facial Action Coding System: A Techniqu
e for the Measurementof Facial Movement)」、Palo A
lto: Consulting Psychological Pressを参照。）

【００５５】ＦＡＰの定義（又は他のパラメータ・セッ
ト）から生じる制御のチャネルは、部分的に、構造的/
筋肉的関係の解剖学的に正しい表現と結びついているの
で、概して低レベルである。例えば、笑顔を作るために
共に機能する複数の筋肉（制御点）（例えば図７のメッ
シュの多角形の動き）を有する笑顔のように、単一のＮ
ＶＢチャネルに１つ以上の制御点を含むことができる。
ＭＰＥＧ−４標準では、これらのパラメータは、動きの
範囲を提供している。顔の制御点の非常に小さなセット
（即ち、瞳孔の拡大）を除き、このセットの個々のパラ
メータの大半は、特定の顔の効果を表示するために、一
緒に機能する必要がある。例えば、６つの主要な感情
（喜び、悲しみ、怒り、等）の表現のために指定でき
る、ＦＡＰ間の制約条件がある。

【００５６】現在の表現（特に顔の表情）には幾つかの
問題がある。

【００５７】−−顔の表情に関しては、感情の状態の表
現の細分性のレベルが大きく、個人的な違いを表現する
能力を制限している。基本的な顔の特徴が距離の比のア
ルゴリズム（即ち、目の間、目から口まで、口から鼻ま
での距離）で定義されているので、それらが作る顔の表
情のセットは、全てのキャラクターに共通である。これ
らの抽象的な寸法ベースの関係は、異なる顔の形状と整
合するために一様に変わる、任意の顔に対する大域的な
定義を可能にする。これは、１つの顔から別の顔へと
“モーフする(morphing)”ためには直接的な利点となる
が、この関係のより重要な副産物は、全てのキャラクタ
ーが同じ感情を全く同じように示すように見えることで
ある。

【００５８】−−目の固定及びその固定の範囲内の断続
性運動等の微妙な行動を含む、直観的に(apriori)定義
されたリンクを用いた、もっと細かく細分された即ち微
妙な行動表現を表示できる処理は、まだ開発されていな
い。

【００５９】−−同期して又は非同期で生じ得る（１つ
以上のＦＡＰに基く）複数のＮＶＢ行動（用いられるパ
ラメータ・セットに関して独立）の表示及び調和の実施
上の戦略がない。

【００６０】−−もっと注意を引きつける人間のような
特性を生じさせる行動の、もっと大きなセットが必要で
ある。幾つかの例としては、キャラクターのユーザに対
する注視の様々な態様、話している間又は聴いている間
の目の移動、目の断続性運動がある。そのような行動
は、アルゴリズム制御され、変更され（即ち表現の程度
の変更）、相応しい状況でキャラクターが使用可能にさ
れるべきである。

【００６１】本発明は、複数のＦＡＰ（及び将来的に、
標準が完成したときにはＢＡＰ即ち身体アニメーション
・パラメータ）又は他のパラメータ・セットを組み合わ
せるための、より広い、より一貫した、アルゴリズム制
御される手法の必要性を示す。本発明では、社会的行動
の区分されたデータベースが、これらの行動へのアクセ
スの容易さを高めるとともに、時と状況に応じて、アニ
メーション・システムが、まず、もっとも意味のある行
動を選択し、（キャラクターの行動の複雑さを高める）
付加的な行動を増分的に追加できるようにする（即ち、
低帯域幅vs.高帯域幅）。次に、本発明は、キャラクタ
ーを、より生命感があり、信用でき、人間のユーザを惹
きつけるようにするために、キャラクター・アニメーシ
ョン中にこれらの行動を実現する方法及びアーキテクチ
ャを提供する。

【００６２】[行動の社会的層化]データベース階層の各
レベルは、段階的に複雑さが増す行動を含む（“社会的
層化”）。階層の最下層にあるものは、上述したＦＡＰ
のような基本的な動きパラメータを表す。階層の次の層
は、同じく上述した、低レベルの無意識な社会的プリミ
ティブを表わす。例えば、目の断続性運動の通常の率を
維持することにより、キャラクターがユーザを凝視して
いる感じになることを防ぐ。階層のより高いレベルは、
より高いレベル内の行動が、目的に関連するもの、イベ
ントへの反応、又は特性に基く人格的偏りであり得る行
動に見られるもっと複雑な行動を効果的に表示するよう
な方法で調和されなければならないという制約を加え
た、より低いレベルから構築される。

【００６３】この層化は、第1に、キャラクターの行動
が、特に低レベルの社会的プリミティブに反映される、
社会的に典型的な人間の行動（これらを欠いている場合
には目につく）だけを反映する行動ではない、より現実
感のあるキャラクターを作る。目的志向又はイベント関
連の会話だけではない対話のより広い領域にわたって個
性化されたキャラクター（即ち、個々の違いを示す）を
作るように、行動を編成することもできる。最後に、各
レベルはアルゴリズム制御下にあると考えられるので、
これらの個々の違いは一貫性及び永続性があり、実質的
にアニメーション・キャラクターの“人格”を実現でき
るものである。

【００６４】[行動の階層] ●レベル０：筋肉的/構造的レベルのアニメーション・
ユニット 現在のＦＡＰのセットは、自然な人間の顔の表情の大半
を表示するのに必要な基本的な顔の動きを完全にカバー
するものを提供すると考えられる。現時点では、標準委
員会（ref−参考？）及び関連の研究グループは、主
に、言語生成（即ち、ヴィズィーム(viseme)の表示に必
要な口の位置）及び幾つかの感情表現のためのＦＡＰに
焦点をあてている。（身体アニメーション・パラメータ
即ちＢＡＰは、１９９９年１２月に発表されることにな
っている。）並進的な動きを含むパラメータは、顔アニ
メーション・パラメータ・ユニット（ＦＡＰＵ）によっ
て、以下に示すように表わされる。この定義のユニット
は、任意の顔モデルに対して普遍的であり、顔の表情及
び言語の発音のための一貫した行動を生成する。

【００６５】ＥＳｏ＝目の間隔(Eye Separation)；ＥＳ
＝ＥＳｏ/１０２４ ＥＮＳｏ＝目と鼻の間隔(Eye-Nose Separation)；ＥＮ
Ｓ＝ＥＮＳｏ/１０２４ ＭＮＳｏ＝口と鼻の間隔(Mouth-Nose Separation)；Ｍ
ＮＳ＝ＭＮＳｏ/１０２４ ＭＷｏ＝口の幅(Mouth Width)；ＭＷ＝ＭＷｏ/１０２４

【００６６】各ＦＡＰを描写する目的で、各ＦＡＰは、
名称、短い記述、及びそのパラメータが一方向性（正の
値のみ）又は双方向性のいずれであるか、正の値につい
ての動きの方向の定義、測定を可能にするためのグルー
プ番号、ＦＤＰサブグループ番号、及び量子化ステップ
サイズを含む。

【００６７】●レベルＩ：低レベルの社会的プリミティ
ブ 我々は、社会的プリミティブを、それらのアニメーショ
ン要件（即ち、特定のＦＡＰの関節による動きの範囲）
及びそれらが生じるコンテクストを記述する規則で定義
しなければならないと考える。この代表的なシステムで
は、ＦＡＰは基礎単位(building block)と目され、その
上で、社会的行動が指示されるだけでなく変更もされ得
る。

【００６８】例えば、静止状態（０）から並進運動パス
の最上部（１）まで持ち上げることができる、左の眉毛
の内側に対する制御は、疑いを表わすことができる。別
の例としては、目の断続性運動の半径を、異なるパラメ
ータ設定によって変え、動きの率及び距離に基く、不
安、恐怖、又は中立の状態の複数の状態のうちの１つを
達成することができる。

【００６９】社会的プリミティブは、キャラクターの単
一の離散的な行動（眉毛の内側を上げる等）としての行
動で実現化でき、離散的な社会的プリミティブと呼ばれ
る。そのデータベースのプロパティは、以下を含む。

【００７０】−−１つ以上のＦＡＰでできている。 −−単独の行動として生じ得るもので、意味を有する。
それらは、人間の言語で発せられる最も下位の有意味な
音である音素と類似のものである。 −−１つの離散的な社会的プリミティブが、単一のＦＡ
Ｐ行動チャネルと等価である、又は、共に生じる複数の
相互依存ＦＡＰを表わすことがある（微笑は、複数のＦ
ＡＰを必要とする）。 −−全ての制御点が変更範囲を有し、その範囲内で、有
意味な方法で質的な値を持たせてラベル付けすることが
できる（即ち、６〜１２のまばたきの率は“中立”、１
〜５のまばたきの率は“概念的”、１５を超えると“不
安”を表わす）。（本明細書に示す全ての変化の範囲や
率、動き等と同様に、他のカテゴリー及び特定の範囲、
率等も変化し得る。）

【００７１】他の社会的プリミティブは、その行動が有
意味な意図を持つためには、共起しなければならない。
共起は、同期又は非同期のいずれであってもよい。共起
する同期する社会的プリミティブは、同時に生じなけれ
ばならない（即ち、共に実行されなければならない）離
散的な社会的プリミティブを複合したものである。例え
ば、相互の注視を確立するには、中立レベルの目の断続
性運動と、目がユーザに向けられている、即ち、ユーザ
を見ていることと、頭が適切な目の固定をサポートする
位置にあることとが必要である。

【００７２】共起する非同期の社会的プリミティブは、
タイミングで行われ、相互に部分的に重複しても全く重
複しなくてもよく、それらの間に時間依存性を有してい
てもいなくてもよい行動からなる。例えば、挨拶中は、
まず頭及び目をユーザに向け、短い固定した注視を確立
し、身体をユーザに向けて数歩前に歩くのが普通であ
る。全ての行動は、シーケンシャルに生じ、それらの開
始の重複は（あるとしても）最小限である。

【００７３】[コンテクスト]更に、全ての社会的プリミ
ティブ（離散的又は共起的）は、特定のコンテクストに
よって引き出される。不適切なコンテクストにおける１
つ以上の行動の出現は、そのキャラクターがある程度の
社会的な知性を欠くことを示すことになり、ユーザとの
対話の真実性に影響する可能性を有する。本発明では、
コンテクストは、一般的に、特定の行動の実行に必要な
前提であると見なされ、簡単なＩＦＴＨＥＮ規則表現形
式の前提条件の基礎をなす。社会的プリミティブが生じ
る様々なコンテクストは、定義可能な全ての人間の対話
の状況を含むが、現在は以下のカテゴリーを含む。

【００７４】言語的−−一般的に、言語行動（即ち、他
者との対話）内に含まれるものとし、順番の取得、バッ
ク・チャネル、発話の開始、発話の終了、順番を譲るこ
とを含む。 社会的状況−−無制限とすることも可能であるが、現在
は、挨拶行動、黙ること、待機モードを含む。 キャラクターの役割及び関連する任務−−キャラクター
が行うように意図されている（即ち、教える）ことによ
って定められることが多く、説明、援助の提供、質問モ
ードを含むことができる。イベントに対する反応−−一
般的に、キャラクターの話を遮ること、ユーザに加わっ
た別の人物の検出、又はユーザがキャラクターの前から
去る等の、ユーザが起こしたイベントに限られる

【００７５】[社会的プリミティブの調節機構]社会的プ
リミティブは、行動の持続時間や頻度等のような、様々
な実行上の境界を表わす或る形態のメタ知識も含む。以
下に挙げるのは、社会的プリミティブのレンダリングを
知的に制限するために用いることができる通常の機構の
サブセットである。社会的プリミティブは、意味をなす
境界によってのみ調節されることを理解することは重要
である。例えば、挨拶行動は、微笑のように繰返しファ
クターによって調節されることはないであろう。 タイミング・パラメータ： 開始、停止、持続時間 繰返しファクター（行動の頻度）： 固定比率（ｎ秒毎） 変動比率（ある範囲内で変化） 言語ベース（構文的な区切りにおける区切り） 認知的−−事実に基づく供述の準備 表現の強さ、即ち、強度 使用するジェスチャ空間のサイズ 行動の急激さ

【００７６】再び図面を参照する。図中、類似の参照番
号は同一又は対応する要素を示す。特に図４を参照する
と、アニメーション・キャラクターのＮＶＢを制御する
ためのパラメータを用いるアクション・デバイス４００
の一実施形態が示されている。アクション・デバイス４
００には、視覚システム（例えばユーザの位置や動きを
供給する）、音声受信機（例えばマイク）、（又は）他
の入力デバイスからの未処理入力、入力デバイスから受
け取られ、メッセージ、信号、電子メール、ＴＣＰ/Ｉ
Ｐ形式メッセージの任意のものとしてパッケージ化され
たパッケージ化データ、又はアルゴリズムからの出力
の、任意のものを含むユーザ入力４１０が入力される。

【００７７】ユーザ入力４１０は、入力に対する応答を
決定する評価部（応答評価部４２０）に送られる。応答
は、言語生成部４３０及びＮＶＢパラメータ選択部の各
々に送られる。言語生成部は、ユーザ入力に対する任意
の必要な言語的応答を決定し、言語ストリーム（単語、
文法、及びタイミングの任意のものを含む）を構築す
る。

【００７８】例えば、ユーザ入力が、「やあ、クラッシ
ュ。元気？」という挨拶である場合、応答評価部４２０
は適切な応答として返事の挨拶を決定し、言語生成部
が、恐らく周知の返事の挨拶のタイミングに一致するよ
う生成された単語のタイミングを含む「ああ、元気だ
よ。きみは？」等の言語を生成する。言語的コミュニケ
ーションの単語及び任意のタイミング又は他の特性が、
言語ストリーム４３５に位置付けられる。

【００７９】パラメータ（ＮＶＢ）選択部４４０は、バ
ック・チャネル及び/又はその応答を伝達するのに適し
た他のＮＶＢを選択する。上述の例では、ユーザに向か
って手を伸ばす（例えば、ユーザが話しかけられている
ことを伝達する）ＮＶＢ及び眉を上げる（質問している
ことを示す）ＮＶＢを選択してもよい。

【００８０】指定されたＮＶＢの任意の動きに、動きの
範囲を適用できる。ＮＶＢの動きの範囲又は大きさを準
備する（変更として参照される処理）ために、選択され
たＮＶＢ（パラメータ）４４５が、変更部４５０に送ら
れる。例えば、手を伸ばすことは、手を３０度ユーザに
向ける単純な動きであってもよく、又は、腕の動きとユ
ーザに向けて伸ばすときに手をひらひらさせる誇張され
た動きとを含む、もっと凝った動きとすることもでき
る。

【００８１】パラメータ選択部及び変更部の各々に、選
択及び変更処理の助けとなるヒントを与えてもよい。パ
ラメータの選択では、生成されている言語の内容に基い
て、除外されるパラメータもあり得る。変更では、ＮＶ
Ｂの大きさが、句読点によって変わることがある（例え
ば、感嘆符は、より大きなＮＶＢを示すであろう）。

【００８２】変更されたＮＶＢ４５５は、言語ストリー
ム４３５と共に、全ての行動（言語及びＮＶＢ）を組み
合わせて１つのデータ・ストリーム４６５にするコンテ
クストデバイス４６０に送られる。データ・ストリーム
４６５は、アニメーション・システム４７０によって表
示されるアニメーションを表わすデータを含む。

【００８３】パラメータ選択、変更、及びアニメーショ
ンの処理は、図５のフロー図で示される。ステップ５０
０で、ユーザ入力が評価される。この評価（又はユーザ
入力に基いて生成される応答）に基き、入力に応答して
ユーザに対して実行されるコミュニケーションを行う、
強化する、又は補うための社会的プリミティブが選択さ
れる（ステップ５１０の「ＮＶＢを選択」）。

【００８４】ステップ５２０では、選択された社会的プ
リミティブのパラメータが変更される（例えば、そのＮ
ＶＢによって用いられる自由空間の量、自由度（ＤＯ
Ｆ）、調子、音量等を指定する）。変更されたＮＶＢ
は、キャラクターが行う発言又は他の行動と共に、コン
テクスト内に配置される。コンテクストの配置は、任意
のタイプの言語又はアニメーション・コード（例えばマ
イクロソフト・スピーチ・シンセサイザ（Microsoft Sp
eech Synthesizer）又は他の市販のアニメーション・シ
ステム）内にＮＶＢの識別子を配置することによって実
行できる。ステップ５４０では、言語又はアニメーショ
ン・コードが、アニメーション・キャラクターでの実行
のためにアニメーション・システムに入力される。

【００８５】図６を参照すると、低レベルの動き６００
（例えばＦＡＰ）と、その上に構築された社会的プリミ
ティブ６１０と、より高レベルの行動６２０との、階層
が示されている。社会的プリミティブは、様々な低レベ
ルの動き６１０から構築される。例えば、目の断続性運
動は、会話又は他の行動の最中のアイ・コンタクトの動
き(motion)即ちすばやい動き（darting）を含む。その
ような動きは、目を、特定の制約（例えば、キャラクタ
ーが常にユーザの顔を見ている等）と共に、上下左右又
は他の角度で動かすことによって実現される。これらの
動きは、低レベルの動き６００を活動状態にすることで
実現される。従って、一実施形態では、社会的プリミテ
ィブを実現するための特定の低レベルの動きを決定する
社会的プリミティブのデータベースが維持される。同様
に、他のＮＶＢ及び、より高レベルの命令も、特定の低
レベルの動き、又は付加的に、より高レベルの行動を実
現するためのデータベース内に維持されている他の低レ
ベルの動きを使用する。

【００８６】図９を参照すると、自律的アニメーション
・キャラクターにおける社会的プリミティブ（ＮＶＢ及
び他のより高レベルの行動も含む）の選択及び変更のた
めの一実施形態のフロー図が示されている。ステップ９
００で、１つ以上のＳＰが選択される。一実施形態で
は、ＳＰは、キャラクターのプロフィールに基いて選択
される（キャラクター・プロフィールの構築方法の一例
は、クックを参照）。キャラクター・プロフィール内の
人格特性は、キャラクターが行う様々なＳＰに関連して
おり、従って、ＳＰを決定する。例えば、目の断続性運
動は、感情の安定性及び温かさ等の人格特性に関係する
１つのＳＰである。

【００８７】ＳＰが選択されると、ステップ９１０で
は、選択されたＳＰが変更される。一実施形態では、Ｓ
Ｐは、キャラクター・プロフィールで決定される特性の
量に基いて変更される。例えば、人格特性の感情の安定
性（又は神経質傾向）については、キャラクターは、可
能なスコアを１００として、７５の量を有すると、感情
の安定性が低い人物（即ち、緊張、神経質、不安）を示
し得る。すると、ステップ９１０の変更は、アニメーシ
ョン・キャラクターの行動の動作が感情の安定性が低い
人物と対応するように、１つ以上の社会的プリミティブ
を変更する。この例では、アニメーション・キャラクタ
ーの目の断続性運動は、平均的な人よりも素早く頻繁に
ユーザの顔の周囲に視線を動かし(dart)、キャラクター
の人格のその部分を表わす。目の動きに伴って、落ち着
きのない手の動きを増すと、その人格タイプを一層強化
するのに役立つであろう。

【００８８】上述したように、変更されたＳＰは、キャ
ラクター・プロフィールに存在する特性の量、キャラク
ターが行っているコミュニケーション、又は上記の任意
のものの組み合わせに基くことができ、それにより、コ
ミュニケーションに強調又は意味を加えることができ
る。社会的プリミティブを含む全てのタイプのＮＶＢ
を、このように変更することができる。ステップ９２０
では、変更されたＳＰ、ＮＶＢ、又は他のより高レベル
の行動が、アニメーション・キャラクターで実行され
る。

【００８９】図１０は、社会的プリミティブ及び他のＮ
ＶＢを選択及び変更する方法の第２実施形態を示す。ス
テップ１０００では、少なくとも１つのＳＰを活動状態
に導くイベントが識別される。このイベントは、キャラ
クターが経験する任意の単独のイベント（例えば、順番
を待つ、話している途中でユーザに遮られる）、イベン
トのシーケンス（例えば、１つの装置の操作の説明）、
アニメーション・キャラクターが行うコミュニケーショ
ン、又はアニメーション・キャラクターの周囲で生じる
イベントとすることができる。ステップ１０１０では、
識別されたイベントに対応するＳＰが、活動状態にする
ために選択される。

【００９０】選択されたＳＰは、活動状態にされる前
に、変更される（ステップ１０２０）。一実施形態で
は、各ＳＰは、そのＳＰが活動状態にされ得る範囲
（量、弧、頻度、強調の範囲、動きの程度等の任意のも
のを含む）を含む。１つのＳＰに１つ以上の範囲を適用
してもよい。例えば、目の断続性運動は、それぞれ人格
タイプが異なる個人に典型的な頻度の範囲で記述できる
（例えば、１分間に０から１８０回の目の動きにおい
て、０は非常に冷静な人物を反映し、１８０は非常に神
経質な人物を反映する）。更に、目の断続性運動は、５
から１８０度までの弧の平均的な範囲に関しても記述で
きる（平均的な弧が５度であれば非常に冷静又は恐らく
は熱中している人物を表わし、平均的な弧が１８０度で
あれば神経質又は容易に取り乱す人物を表わす）。識別
される範囲又はＳＰと相関している特性に関わりなく、
この処理は同一である。

【００９１】図１１は、社会的プリミティブ、ＮＶＢ、
及び他のより高レベルの行動の変更を実行するための一
実施形態のフロー図である。ステップ１１００では、ア
ニメーション・キャラクターの人格特性のパーセンテー
ジ（割合）（又は他の量）が識別される。人格特性は、
例えば人格ワークベンチ（上述のクックを参照）を介し
て、アニメーション・キャラクターのプログラマーによ
って選択されてもよく、又は、アニメーション・キャラ
クターのユーザによって選択されてもよい。

【００９２】図１２を参照すると、人格特性を識別する
キャラクター・プロフィールの一部、及び人格特性の量
（この例ではパーセンテージ）の例が図示されている。
この例では、人格特性の温かさ１２１０及び感情安定性
１２２０が、各特性のスケールと共に識別されている。
温かさを参照すると、温かさのスケール１２１５は、こ
のキャラクターが、通常６０％の温かさ、即ち、平均的
な人物よりも約１０％高い温かさを示す図１２のキャラ
クター・プロフィールと関連付けられていることを示し
ている。同様に、感情安定性スケール１２２５は、例え
ば、このキャラクターが約７５％の感情安定性、即ち、
平均的な人物よりも２５％高い感情安定性を示すことを
示している。

【００９３】図１１に戻ると、ステップ１１１０では、
人格特性に基くＳＰ動作の範囲が参照される。一実施形
態では、ＳＰ動作の範囲は図１３に示されているように
表に維持される。図１３の例でわかるように、目の断続
性運動１３００及び落ち着きのない手の動き１３３０と
いうプリミティブが示されている。特性は、各プリミテ
ィブ（例えば、感情安定性及び温かさ）と関連付けられ
ており、各プリミティブの各特性の値の範囲が識別され
る（例えば、範囲１３２０及び１３３０）。例えば、目
の断続性運動１３００というプリミティブは、感情安定
性（１分間に０回から１８０回の動き）及び温かさ（１
分間に１５回から２５回の動き）という特性に対応する
範囲を有する。落ち着きのない手の動きについては、感
情安定性の特性の範囲（１分間に０回から１００回の動
き）は同様に示されているが、温かさについては何も示
されておらず、この例では、温かさは、落ち着きのない
手の動きに影響する特性ではないということになる。或
る実施では、異なる範囲を用いてもよく、（多少とも）
異なる特性を類似の又は異なるプリミティブと相関させ
てもよいことを留意することは重要であり、ここで重要
なのは、プリミティブを選択して、使用可能なデータに
基いてそれらを変更するという処理である。

【００９４】再び、図１１では、ステップ１１２０で、
人格特性の量を各ＳＰ及び特性のＳＰ範囲と比較するこ
とにより、ＳＰ、ＮＶＢ、又は他のより高レベルの行動
の程度（変更）が決定される。例えば、図１２及び図１
３の例示的なスケール及び範囲を用いると、落ち着きの
ない手の動きは、図１３で特定される範囲の６０％の率
（１分間に６回から１０回の動き）で実施される。この
スケールは線形である必要はなく、曲線（二次式等）に
基いていてもよい。例えば、神経質な人物の落ち着きの
ない手の動きは、１から１００の範囲を有し得るが、ｘ
⁴曲線に基くと、温かさが６０％の人物の落ち着きのな
い手の動きは、僅か１分間に１０回から２０回のように
なる。任意のタイプの範囲の計算を用いることができ
る。

【００９５】更に、１つのＳＰと関連付けられている１
つ以上の特性が（複数の）範囲を有する場合（例えば、
図１３の目の断続性運動は、動きの範囲に影響する感情
安定性及び温かさの両方の特性を有する）には、動きの
量を決定するための機構を実現する必要がある。一実施
形態では、選択された（より強い）特性を、動きの量を
支配するように用いてもよく、この場合には、選択され
た特性が温かさである場合、目の断続性運動の感情安定
性の要素は無視してもよい。別の実施形態では様々な構
成要素が平均化され、更に別の実施形態では構成要素が
重み付けされてから平均化される。様々な構成要素を結
合、平均化、又は重み付けするための他の方法を用いて
もよい。

【００９６】平均化及び重み付け平均化を用いる一実施
形態における、目の断続性運動の決定の一例を、以下に
示す。

【００９７】前提：図１２に示されている人格、及び図
１３のＳＰ/ＮＶＢリスト（この例では、順番を待つと
いうイベントに関連している）。 処理： ステップ１：イベント（順番を待つ）を識別。 ステップ２：ＳＰ（目の断続性運動及び落ち着きのない
手の動き）を選択。 ステップ３：各ＳＰの変更を決定。 計算：順番を待つことに関係する２つの特性：（１）感
情安定性、及び（２）温かさ。 （１）感情安定性−０〜１８０の６０％＝１０８、及び （２）温かさ−１５〜２５の７５％＝２２．５ 平均化： （１０８＋２２．５）/２＝６５．２５回/分 重み付け平均化： （５/６）（１０８）＋（１/６）（２２．５）＝９３．
７５回/分 落ち着きのない手の動きに関係する１つの特性、感情安
定性。 １〜１００/分の７５％＝７５/分

【００９８】従って、この例を用いると、アニメーショ
ン・キャラクターは、（平均化技術に応じて）６５．２
５又は９３．７５回/分の割合で生じる目の断続性運動
と、７５/分の落ち着きのない手の動きを有する。ここ
でも、特定の割合は、この処理を説明するために与えら
れたものであり、本明細書で論じる又は特許請求する任
意の実施を限定するものではない。

【００９９】本発明は、実質的に任意のアニメーション
・キャラクターシステムを用いて実施できる。例えば、
本明細書に参照として全体を援用する、プリボスト等
（Prevost et al.）（以降、プリボストとする）の、
「インタフェース装置内のマルチモードＩ/Ｏを有する
体化された会話キャラクターのための方法及び装置(Met
hodand Apparatus for Embodied Conversation Charact
ers with Multimodal I/Oin an Interface Device)」と
いう名称の、１９９８年１２月３０日に出願された、米
国特許第（ ）号、米国特許出願第０９/２２３，６３
７号、弁理士事件番号XERXF-01017 MCF/JWCは、ユーザ
入力に対する素早い応答を決定する応答モジュールと、
ユーザ入力の徹底的な解析に基いて詳細な応答を決定す
る対話マネージャと、を用いるアニメーション・キャラ
クターキテクチャを教示している。プリボストの応答モ
ジュール又は対話マネージャのいずれも、本発明に従っ
たデバイス及び処理を用いることができる。

【０１００】例えば、応答モジュールは、（例えばパラ
メータ選択デバイスを介して）複数のＮＶＢを選択し
て、選択したＮＶＢを変更することができ、選択及び変
更の各々は、応答モジュールに供給される言語及び視覚
入力に基く。別の例では、対話マネージャが、プリベス
トのアニメーション・システムへの出力を決定するため
に、アクション・デバイス４００の処理と同じ処理を用
いることができる。

【０１０１】別の例では、本明細書に参照として全体を
援用する、プリボストの、「メッセージの交信を削減し
た具体化された会話キャラクターのための合理化された
アーキテクチャ(STREAMLINED ARCHITECTURE FOR EMBODI
ED CONVERSATIONAL CHARACTERS WITH REDUCED MESSAGE
TRAFFIC)」という名称の、１９９９年１１月２４日出願
の、米国特許第（ ）号、米国特許出願第０９/４４
７，９３２号、弁理士事件番号FXPL1005 MCF/JWCは、本
発明を用いることができる別のアニメーション・キャラ
クターシステムを教示している。マイクロソフト・オフ
ィス・アシスタント、マイクロソフト・エージェント、
ＩＢＭ社のワープ・ガイド、エクステンポ社のインプ・
ソフトウェア、及びＢＡＳＡ Ａｌｉｖｅアーキテクチ
ャを含む、背景を参照する自律的、会話的、アニメーシ
ョン又は合成キャラクターの任意のものを含む他の例
も、より効果的に人を惹きつけるユーザ・インタフェー
スを作るために、本発明の教示を用いることができる。

【０１０２】コンピュータ技術の当業者にとって明らか
なように、本開示の教示に従ってプログラムされた従来
の汎用又は専用デジタルコンピュータ又はマイクロ・プ
ロセッサを用いて、本発明を便利に実現できる。

【０１０３】ソフトウェア技術の当業者にとって明らか
なように、本開示の教示に基いて、熟練したプログラマ
ーによって、適切なソフトウェアコーディングをすぐに
準備できる。当業者にとって明らかなように、用途を特
定した集積回路（ＡＳＩＣ）を準備することによって、
又は従来のコンポーネント回路の適切なネットワークと
相互接続することによっても、本発明を実現できる。

【０１０４】本発明は、本発明の任意の処理及び方法を
実行するようコンピュータをプログラムするために用い
ることができる命令を記憶した、単数又は複数の記憶媒
体である、コンピュータプログラム製品を含む。記憶媒
体は、フロッピー（登録商標）ディスク、光ディスク、
ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光
ディスク、を含む任意のタイプのディスク、ＲＯＭ、Ｒ
ＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡ
Ｍ、フラッシュメモリデバイス、磁気又は光学カード、
ナノシステム（分子記憶ＩＣを含む）、又は命令及び/
又はデータの記憶に適した任意のタイプの媒体若しくは
デバイスを含み得るが、これらに限定されない。

【０１０５】本発明は、コンピュータが読み取り可能な
単数又は複数の媒体の任意の１つに記憶され、汎用/専
用コンピュータのハードウェア又はマイクロ・プロセッ
サの両方を制御するとともにコンピュータ又はマイクロ
・プロセッサが人間のユーザ又は本発明の処理を用いる
他の機構と対話するのを可能にする、ソフトウェアを含
む。そのようなソフトウェアは、デバイス・ドライバ、
周辺装置プログラム、オペレーティング・システム、及
びユーザ・アプリケーションを含み得るが、それに限定
されない。究極的には、そのようなコンピュータが読み
取り可能な媒体は、更に、上述した本発明の機能を実行
するソフトウェアを含む。

【０１０６】汎用/専用コンピュータ又はマイクロ・プ
ロセッサのプログラミング（ソフトウェア）に含まれる
のは、ユーザ入力の入力及び識別及び/又は評価、ＮＶ
Ｂパラメータの選択及び変更、並びに、合成キャラクタ
ー、アニメーション・キャラクター（例えば２次元若し
くは３次元表示又はモデル）の他の動作（例えば、動
き、言語）又は他の表示とのコンテクストにおいて人格
ＮＶＢを選択し活動状態にすること、並びに、そのよう
なＮＶＢ及び動作を、本発明への直接又は遠隔接続の任
意のものを介して、アニメーション・システム又は他の
出力に伝達することを含むが、それに限定されない、本
発明の教示を実施するためのソフトウェアモジュールで
ある。

【０１０７】上述の教示に照らして、本発明の多くの修
正及び変更が可能なことは明らかである。従って、添付
の特許請求の範囲の範囲内において、本発明は本明細書
に詳細に述べた以外の方法で実施され得ることが理解さ
れるべきである。

【図面の簡単な説明】

【図１】（Ａ）は、第１のユーザに対する頭の向きのパ
ラメータを示す図であり、（Ｂ）は、第２のユーザに対
する頭の向きのパラメータを示す図である。

【図２】ユーザに対するアニメーション・キャラクター
の目の向きのゼロ平面からの絶対距離を示す、ユーザに
対する目の注視のパラメータを示す図である。

【図３】ユーザに対するアニメーション・キャラクター
の目の輻輳を示す、ユーザに対する目の輻輳のパラメー
タを示す図である。

【図４】本発明の一実施形態のブロック図である。

【図５】本発明の処理の一実施形態を示すフロー図であ
る。

【図６】動き、パラメータ、社会的プリミティブ、及び
より高レベルの動きの階層図である。

【図７】アニメーション化されるキャラクターの物理的
構造の基礎モデルとしてのポリゴンメッシュの例を示す
図である。

【図８】人体モデル、接合部、関節のセグメント及び点
の一例を示す図である。

【図９】社会的プリミティブの選択及び変更方法の一実
施形態を示すフロー図である。

【図１０】社会的プリミティブの選択及び変更方法の別
の実施形態を示すフロー図である。

【図１１】社会的プリミティブ及び他の行動（例えばＮ
ＶＢ）の変更処理の一実施形態を示すフロー図である。

【図１２】例示的なキャラクター・プロフィールを示す
図である。

【図１３】社会的プリミティブ及び各プリミティブの動
きの範囲を人格特性と関係付ける例示的なリストを示す
図である。

【符号の説明】

４００ アクション・デバイス ４１０ ユーザ入力 ４２０ 応答評価部 ４３０ 言語生成部 ４４０ パラメータ選択部 ４５０ 変更部 ４６０ コンテクスト・デバイス ４７０ アニメーション・システム

Claims (24)

【特許請求の範囲】
1. 【請求項１】 アニメーション・キャラクターで活動状
   態にされる少なくとも１つの社会的プリミティブを選択
   するステップと、 前記アニメーション・キャラクターで活動状態にされる
   前記社会的プリミティブの各々を変更するステップと、 前記アニメーション・キャラクターに、選択されて変更
   された前記社会的プリミティブの各々を生成させるステ
   ップと、 を有する自律的アニメーション・キャラクターにおける
   社会的プリミティブの変更方法。
2. 【請求項２】 前記選択するステップが、 前記アニメーション・キャラクターの１組の人格特性を
   決定するステップと、 前記１組の人格特性と関係する社会的プリミティブから
   少なくとも１つの前記社会的プリミティブを選択するス
   テップ、 を有する、請求項１に記載の方法。
3. 【請求項３】 前記１組の人格特性を決定するステップ
   が、 前記アニメーション・キャラクターに現れる人格特性の
   量を識別するよう構成されたキャラクター・プロフィー
   ルを読み取るステップ、を有する、請求項２に記載の方
   法。
4. 【請求項４】 前記選択するステップが、 前記アニメーション・キャラクターにより行われるこ
   と、該アニメーション・キャラクターの近くで生じるこ
   と、及び該アニメーション・キャラクターが行うコミュ
   ニケーションに関係すること、の少なくとも１つである
   イベント、又はイベントのシーケンスを識別するステッ
   プであって、該イベント、又はイベントのシーケンス
   は、前記アニメーション・キャラクターに統計上平均的
   な人間と同様に動作させる場合には、前記アニメーショ
   ン・キャラクターにより少なくとも１つの社会的プリミ
   ティブを表示させる結果を生じる、イベント又はイベン
   トのシーケンスを識別するステップと、 識別された前記イベント、又はイベントのシーケンスに
   基いて、前記アニメーション・キャラクターで活動状態
   にされる少なくとも１つの社会的プリミティブを選択す
   るステップと、 を有する請求項１に記載の方法。
5. 【請求項５】 前記変更するステップが、 前記社会的プリミティブと関係する人格特性の量を識別
   するキャラクター・プロフィール、及び識別された前記
   イベント又はイベントのシーケンスの少なくとも１つに
   基いて前記社会的プリミティブを変更するステップを有
   する請求項４に記載の方法。
6. 【請求項６】 前記変更するステップが、 選択された前記社会的プリミティブと関係する前記キャ
   ラクター・プロフィール内の各人格特性の量を識別する
   ステップと、 選択された前記社会的プリミティブの各々と関連付けら
   れた量、頻度、程度、弧、動きの範囲、及び他の質の少
   なくとも１つを有する統計的な範囲を識別するステップ
   と、 前記社会的プリミティブの各々に対する変更として、
   量、頻度、程度、弧、動きの範囲、及び他の質の少なく
   とも１つを決定するために、各人格特性の前記量を前記
   統計的範囲の各々に適用するステップと、 を有する請求項５に記載の方法。
7. 【請求項７】 前記変更するステップが、 前記社会的プリミティブと関係する人格特性の量を識別
   する前記アニメーション・キャラクターのキャラクター
   ・プロフィールに基いて前記社会的プリミティブを変更
   するステップを有する請求項１に記載の方法。
8. 【請求項８】 前記変更するステップが、 選択された前記社会的プリミティブと関係する前記キャ
   ラクター・プロフィール内の各人格特性の量を識別する
   ステップと、 選択された前記社会的プリミティブの各々と関連付けら
   れた量、頻度、程度、弧、動きの範囲、及び他の質の少
   なくとも１つを有する統計的な範囲を識別するステップ
   と、 前記社会的プリミティブの各々に対する変更として、
   量、頻度、程度、弧、動きの範囲、及び他の質の少なく
   とも１つを決定するために、各人格特性の前記量を前記
   統計的範囲の各々に適用するステップと、 を有する請求項７に記載の方法。
9. 【請求項９】 前記程度を変更するステップが、 前記アニメーション・キャラクターと関連付けられた各
   人格特性の割合を識別するステップと、 人格特性に基いて各社会的プリミティブを実施するため
   の値の範囲を識別する社会的プリミティブのリストを参
   照するステップと、 前記リストの値の範囲と比較した前記各人格特性の前記
   割合に基いて各社会的プリミティブの前記程度を決定す
   るステップと、 を有する請求項１に記載の方法。
10. 【請求項１０】 前記識別するステップが、 前記アニメーション・キャラクターと関連付けられた人
    格特性及び前記アニメーション・キャラクターに現れる
    各人格特性の割合を含むキャラクター・プロフィールを
    読み取るステップ、 を有する請求項９に記載の方法。
11. 【請求項１１】 アニメーション・キャラクターからユ
    ーザへの少なくとも１つのコミュニケーションを決定す
    るよう構成された少なくとも１つのアクションモジュー
    ルであって、 前記コミュニケーションを行うこと、又は補足すること
    の少なくとも１つをなす、前記コミュニケーションに適
    用される非言語行動（ＮＶＢ）の少なくとも１つのチャ
    ネルを識別する選択機構を有する、前記アクション・モ
    ジュール、 を有するアニメーション・キャラクター制御デバイス。
12. 【請求項１２】 少なくとも１つの前記ＮＶＢのチャネ
    ルを変更するよう構成された変更デバイス、 を更に有し、 前記ＮＶＢのチャネルの変更が、前記アニメーション・
    キャラクターが用いる空間の量、実行のための動きの程
    度、並びに前記ＮＶＢチャネルに対応するＮＶＢの特
    性、時間長、タイミング、及び強調、の少なくとも１つ
    を指定することを含む、 請求項１１に記載のデバイス。
13. 【請求項１３】 各ＮＶＢのチャネルに対応するＮＶＢ
    を実行するために、各ＮＶＢチャネルを少なくとも１つ
    のアニメーション・システムに伝達するよう構成された
    伝達機構を更に有する、請求項１１に記載のデバイス。
14. 【請求項１４】 前記伝達機構は、直接接続、ＴＣＰ/
    ＩＰ通信システム、ｈｔｔｐ伝達デバイス、パケット通
    信システム、電子メール通信システム、又はデータを伝
    達するための他のタイプのデバイスの少なくとも１つで
    あり、 前記コミュニケーションは、普通電話回線、ＤＳＬ、Ｔ
    １、Ｔ３、ＩＳＤＮ及び光ファイバを含む任意のワイヤ
    ライン、並びに、無線信号、携帯電話、衛星、ＨＦ、及
    びマイクロ波を含む無線を介して、ＡＴＭ、ＴＤＭ、Ｃ
    ＤＭＡ、アナログ、デジタル、又は他のデータ通信プロ
    トコルの任意のものによって送信される、 請求項１３に記載のデバイス。
15. 【請求項１５】 前記ＮＶＢチャネルが、目の動き、目
    の位置、目の注視、目の輻輳、顔の表情、眉の動き、顔
    の表情、及びジェスチャの少なくとも１つを含む請求項
    １１に記載のデバイス。
16. 【請求項１６】 アニメーション・キャラクターによっ
    て行われるコミュニケーションを識別するステップと、 前記コミュニケーションの補足及び実行の少なくとも１
    つを行う１組の少なくとも１つの非言語行動（ＮＶＢ）
    を決定するステップと、１組の前記ＮＶＢを前記アニメ
    ーション・キャラクターで実行するステップと、 を有する方法。
17. 【請求項１７】 前記１組のＮＶＢが、目の動き、目の
    位置、顔の表情、頭の位置、及びジェスチャの少なくと
    も１つを含む請求項１６に記載の方法。
18. 【請求項１８】 前記実行するステップが、 汎用キャラクターの関節の位置及び骨の位置を識別する
    ＮＶＢのデータベースから前記１組のＮＶＢの各ＮＶＢ
    を取り出すステップと、 前記汎用キャラクターの各関節の位置及び各骨の位置を
    前記アニメーション・キャラクターに対して関係付ける
    ステップと、 前記アニメーション・キャラクターの前記関節及び骨の
    各々を、前記汎用キャラクターのＮＶＢに対して識別さ
    れる動きと相関的に動かすステップと、 を有する請求項１６に記載の方法。
19. 【請求項１９】 前記実行するステップが、 ＮＶＢ行動を１つのコミュニケーション・パッケージと
    してパッケージ化するステップと、 前記識別するステップ及び決定するステップを実行する
    コンピュータから、前記コミュニケーション・パッケー
    ジに含まれるデータに基いて前記アニメーション・キャ
    ラクターを表示できるアニメーション・システムを実行
    するコンピュータへと、前記コミュニケーション・パッ
    ケージを送るステップと、 を有する請求項１６に記載の方法。
20. 【請求項２０】 前記ＮＶＢの指定及び制約の少なくと
    も１つを行う、少なくとも１つの前記ＮＶＢに対するパ
    ラメータを識別するステップを更に有する、請求項１６
    に記載の方法。
21. 【請求項２１】 １組の前記ＮＶＢが、前記アニメーシ
    ョン・キャラクターの目の動きを指示する少なくとも１
    つのＮＶＢを含み、 １組の前記パラメータが、目の注視、目の輻輳、目の注
    視走査の半径、目の移動頻度、目の移動方向、頭対目の
    調和、目の注視の開始、及び目の注視の停止の少なくと
    も１つを含む、 請求項２０に記載の方法。
22. 【請求項２２】 前記１組のＮＶＢが、前記アニメーシ
    ョン・キャラクターの頭の動きを指示する少なくとも１
    つのＮＶＢを含み、 前記１組のパラメータが、ユーザに対する頭の向き、頭
    と目の調和、頭の移動距離、オブジェクト/ユーザに対
    する頭の注視、頭の追跡率、現在の頭の向きの開始、現
    在の頭の向きの停止、及び頭の向きの持続時間の少なく
    とも１つを含む、 請求項２０に記載の方法。
23. 【請求項２３】 前記識別するステップが、 前記アニメーション・キャラクターのユーザから入力を
    受け取るステップと、 ユーザの前記入力に基いて、前記コミュニケーションの
    ためのバック・チャネルを決定するステップと、 を有する請求項１６に記載の方法。
24. 【請求項２４】 前記識別するステップが、 聞き出す、主張する、実演する、順番を取得する、順番
    を与える、交代する、注意を引く、認識する、及び肯定
    することの広いカテゴリーの任意のものを含む、前記ア
    ニメーション・キャラクターによって行われるコミュニ
    ケーションを識別するステップと、 少なくとも前記コミュニケーションの前記カテゴリーに
    基いて、前記コミュニケーションのためのバック・チャ
    ネルを決定するステップと、 を有する請求項１６に記載の方法。