JP2000163178A - 仮想キャラクタとのインタラクション装置、及び仮想キャラクタの映像を生成するプログラムを記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】仮想キャラクタを見ている利用者の状態に応じ
て仮想キャラクタの行動を決定することにより、より現
実感のあるインタラクション装置を提供する。 【解決手段】仮想キャラクタ６の姿勢データと利用者の
行動に応じた仮想キャラクタの動作を規定した動作生成
ルールを設定するモデル設定部１４と、利用者の行動を
取得するカメラ２と、利用者の発する音声を取得するマ
イク３と、映像取得装置により取得した映像を認識する
画像認識部９と、音声取得装置により取得した音声を認
識する音声認識部１０と、仮想キャラクタの姿勢データ
と、映像取得装置または音声取得装置の向きに応じて仮
想キャラクタの感度を算出する感度算出部１２と、画像
認識部及び音声認識部により認識した認識結果と、感度
算出部により算出した感度に応じて、ディスプレイに表
示する仮想キャラクタの映像を生成する映像生成部１１
により構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する利用分野】本発明は仮想空間に存在する
ＣＧキャラクタとのインタラクションを図るための装置
に係わり、特にアミューズメント施設などでの利用者用
のユーザーインタフェース手段として好適な、仮想キャ
ラクタとのインタラクション装置に関する。

【０００２】

【従来の技術】旧来のアミューズメント施設では予め作
成されている映像を見るだけで、いわゆる受動的なコン
テンツが多かった。しかしながら、最近ではＣＧ技術の
発達により必要な映像を即座に生成できるようになった
ことから、能動的に利用者がインタラクティブ操作でき
るコンテンツが求められている。

【０００３】また近年では、各種センサを用いて人間の
状態を認識する技術も開発されつつあり、マイクからの
音声認識や、カメラからのジェスチャ認識も可能となっ
ている。利用者が音声やジェスチャによりインタラクシ
ョンすることは、利用者側では特別な装置を操作する必
要がないので、アミューズメント用途には適している。

【０００４】たとえば文献“KidsRoom：A Perceptually
-Based Interactive and ImmersiveStory Environmen
t,”Technical Report 398，M. I. T. Media Lab Perce
ptualComputing Section,November, 1996．に記載され
ている技術においては、音声認識とジェスチャ認識技術
を用いたインタラクション技術について述べられてい
る。ここでの音声認識とはディスプレイのそばに設置さ
れたマイクから、利用者が発した声の大きさの大小を判
断するものである。またジェスチャ認識では、所定の位
置に設置されたカメラで利用者らを撮影して、画像認識
処理により人間や物体の移動を追跡したり、動作の示す
内容をシステムが理解する。さらに認識された結果によ
りストーリ展開が変わるシステムとなっており、登場す
る仮想のキャラクタの反応がＣＧ映像として表示され
る。

【０００５】

【発明が解決しようとする課題】前述したような施設の
利用者は多様であるので、インタラクションのための操
作はできる限り容易にする必要がある。

【０００６】また、従来技術では音声認識やジェスチャ
認識はシステム全体への入力手段として位置づけられて
おり、登場する個々の仮想キャラクタとの関連はない。
利用者にとっては仮想キャラクタがインタラクションの
対象であり、今後はより高度なインタラクションを実現
するためにも、音声認識は仮想キャラクタの聴覚、また
ジェスチャ認識は仮想キャラクタの視覚として機能させ
ることが必要と考えられる。このためには実空間にある
マイクやカメラなどのセンサを、仮想空間のキャラクタ
の聴覚や視覚などの感覚に対応付けるということが考え
られる。ところが、実空間ではセンサの位置や方向およ
び数などに物理的制約が存在するので、全てが自由に設
定できる仮想空間と、単純に対応付けすることはできな
いものである。

【０００７】本発明の目的は、仮想キャラクタを見てい
る利用者の状態に応じて仮想キャラクタの行動を決定す
ることにより、より現実感のあるインタラクション装置
を提供することにある。

【０００８】本発明の他の目的は、実空間のセンサの物
理的制約を考慮しつつ、これを仮想空間のキャラクタの
感覚機能として利用できるようなインタラクション装置
を提供することにある。

【０００９】

【課題を解決するための手段】上記目的は、以下の様な
構成によるインタラクション装置により達成できる。即
ち、ディスプレイを見ている利用者が映像を取得し、取
得した映像の利用者の行動に応じてディスプレイ中に表
示される仮想キャラクタの動作を示す映像を生成する仮
想キャラクタとのインタラクション装置において、以下
の構成を有する。即ち、仮想キャラクタの少なくとも向
いている方向を示すデータを持つ姿勢データと利用者の
行動に応じた仮想キャラクタの動作を規定した動作生成
ルールを設定するモデル設定部と、利用者の行動を取得
する映像取得装置と、利用者の発する音声を取得する音
声取得装置と、映像取得装置により取得した映像を認識
する画像認識部と、音声取得装置により取得した音声を
認識する音声認識部と、仮想キャラクタの姿勢データ
と、映像取得装置または音声取得装置の向きに応じて仮
想キャラクタの感度を算出する感度算出部と、画像認識
部及び音声認識部により認識した認識結果と、感度算出
部により算出した感度に応じて、ディスプレイに表示す
る仮想キャラクタの映像を生成する映像生成部である。

【００１０】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて、図面により詳細に説明する。

【００１１】図１は、仮想キャラクタとのインタラクシ
ョン装置の説明図である。

【００１２】このようなインタラクション装置は、例え
ばアミューズメントパーク等の娯楽施設に設置されるも
ので、図１中の利用者１は例えばこのような娯楽施設を
訪れるお客さんである。

【００１３】このような状況で、本インタラクション装
置は、利用者１の行動を認識し、この利用者の行動によ
って仮想キャラクタの行動を決定する。

【００１４】利用者１の行動を取得するための利用者行
動取得装置として、カメラ２とマイク３が設定されてい
る。また、利用者に仮想キャラクタの行動を見せるため
の出力装置として仮想キャラクタ６が表示されるディス
プレイ４が設置されている。また、このカメラ２，マイ
ク３，ディスプレイ４は、計算機５により制御されると
いう構成である。計算機５は本実施例では各処理部をハ
ードウエア的に記述して説明しているが、この計算機内
部の処理(例えば図４のフローチャートの処理）を実現
させるために、計算機内に後述する計算機内の各処理機
能が実現できるようなプログラムを記憶したＣＤ−ＲＯ
ＭやＤＶＤ等の記憶媒体に記憶していたものを、計算機
にインストールすることにより実現するといったことも
考えられる。

【００１５】以下、まずこの計算機５の内部処理につい
て簡単に説明する。

【００１６】利用者１が与えたジェスチャはカメラ２等
の利用者行動取得装置により取得され計算機５に送信さ
れる。計算機５の画像認識部９等の行動認識部は、この
取得した映像により利用者１の行動を認識する。別の利
用者行動取得装置であるマイク３によって集音された音
声も、同様にして計算機５に送信され、計算機５の行動
認識部の１つである音声認識部１０により、この送信さ
れた音声を認識する。本発明による仮想キャラクタは画
像認識部９や音声認識部１０等の行動認識部の認識結果
に基づいて自律行動する機能を持っている。本発明で
は、この認識結果を直接使って仮想キャラクタの動作を
生成しているのではなく、後述する感度算出部１２によ
って算出された感度を使って仮想キャラクタの認識結果
の精度を高めている。この感度を定めるために、少なく
とも仮想キャラクタ自身の向いている方向を示す情報を
持つ姿勢データを利用する。モデル設定部１４は、仮想
キャラクタの動作を表現するモデルデータを設定し、最
終的には利用者の行動の認識結果を反映して映像生成部
１１がＣＧ映像としてその動作をディスプレイ上に表示
しインタラクションが達成される。

【００１７】ここで、本発明の特徴を明確にするために
従来技術によるインタラクション装置について説明す
る。

【００１８】従来技術によるインタラクション装置で
は、画像認識部９と音声認識部１０の認識結果は、仮想
キャラクタの動作を表現するモデルデータに直接に入力
され、この認識結果のみに基づいて仮想キャラクタの行
動を生成していた。よって、このような従来型のインタ
ラクション装置では、仮想キャラクタの行動を生成する
際に、仮想キャラクタの状態は考慮されていないことに
なる。つまり、例えば仮想キャラクタが利用者側を向い
ていないにもかかわらず、利用者の行動が認識できてし
まうことになり、利用者の起した行動と、仮想キャラク
タの行う動作とは矛盾を生じたものとなってしまう。

【００１９】図３は、前述した従来技術を説明した図２
に対応して記述した本発明のインタラクション装置のシ
ステム構成図を示す図である。

【００２０】以下、本発明のインタラクション装置の計
算機５の内部処理について、図４の計算機５の内部処理
を示すフロー図を使って説明する。

【００２１】計算機５の処理の概要としては、利用者１
の行動を認識し、リアルタイムで仮想キャラクタの行動
を決定するので、画像認識部９や音声認識部１０の認識
結果や仮想キャラクタ６のＣＧ映像生成の処理などを、
ビデオ信号の１フレーム表示時間などの所定の時間内で
繰り返す。

【００２２】図４を使って計算機５の内部処理について
詳述する。

【００２３】ステップ１０１は行動認識処理の１つであ
る画像認識処理のステップである。利用者行動取得装置
の１つであるカメラ２が撮影した利用者１の映像によ
り、行動認識部の１つである画像認識部９が利用者１の
行っている行動を認識する。このような認識の具体的方
法としては、例えば認識対象の映像中から動く肌色の領
域を抽出し、その中で色の彩度の低い小領域が横に二つ
並んでいればその小領域は目と判断し、さらにその領域
は顔であると判断できる。それから、その顔であると判
断した領域の動きを追跡して、うなずきや首振りなどの
利用者の行動を認識するというものである。

【００２４】ステップ１０２は行動認識処理の他の１つ
である音声認識処理のステップである。

【００２５】マイク３が集音した利用者１の音声から音
声認識部１０が利用者１の行っている行動を認識する。
この音声認識方法としては、例えば、音声を周波数解析
して音の特徴量を抽出し、予め用意した辞書データの特
徴量とマッチングさせて、最も近い特徴を持つ音声を選
択することにより利用者１の起している行動を認識する
というものである。

【００２６】ステップ１０３は感度算出処理のステップ
である。

【００２７】感度の算出の仕方にはさまざまなやり方が
考えられるが、例えば、感度算出部が仮想キャラクタの
姿勢データに基づいて感度を算出したり、また仮想キャ
ラクタの姿勢データと、利用者行動取得装置の向きとに
基づいて感度を算出したり、さらに前述した２つの方法
に仮想キャラクタの仮想空間上での位置データをさらに
使って感度を算出するといったやり方が考えられる。

【００２８】この感度算出処理を具体的に説明すると、
仮想キャラクタの状況の判断には、モデル設定部１４に
よって設定され、管理されている仮想キャラクタのモデ
ルの姿勢データ１３を用いる。この姿勢データ１３と
は、仮想キャラクタ６を構成する骨格の関節角度などで
あり、少なくとも仮想キャラクタの向いている方向を示
すデータが含まれており、この姿勢データにより仮想キ
ャラクタ６の顔の向きなどを知ることができる。

【００２９】さらに詳しく、仮想キャラクタ６の状態に
応じて感度を決定する処理について説明する。

【００３０】図５は、仮想キャラクタ６の方向に基づく
感度変換について説明するための説明図である。

【００３１】いま、実空間で利用者１を撮影しているカ
メラ２の撮影方向のベクトルをＶｃとする。この実空間
のカメラ２に対応付けて、モデル設定部１４が管理する
モデルの仮想空間で、カメラのアバタ（分身）を定義
し、その撮影方向ベクトルをＶｃ′とする。この定義
は、仮想空間において、撮影カメラはＶｃ′の方向を向
いていること意味する。仮想キャラクタ６は、自身の仮
想キャラクタの向きを表すベクトルＶｈを少なくとも有
する姿勢データが設定されており、この向きを表すベク
トルＶｈと撮影方向ベクトルをＶｃ′のなす角度をθと
して、ここから認識結果に対する感度Ｓを、例えばＳ＝
ｃｏｓθ として計算する。このＳの値は、仮想キャラ
クタの向きとカメラの向きが近いほど１.０ に近い値を
取り、反対の方向を向いているほど−１.０ に近い値と
なる。この感度Ｓを用いて、仮想キャラクタ６に対し
て、画像認識部９の認識結果の強度を補正するというも
のである。以上はカメラ２の撮影方向とカメラ２が撮影
した画像情報の場合の感度算出及び強度変換について説
明したが、マイク３からの音声情報の場合にも同様の処
理を行うことができる。例えば、マイクに指向性のある
マイクを用いると、マイクを向けた方向からの音声を強
く検出することができるので、仮想キャラクタ６の姿勢
データにより仮想キャラクタの向いている方向と音声の
方向とにより感度を算出し強度を補正することができ
る。

【００３２】ステップ１０４は、モデル設定処理のステ
ップである。

【００３３】モデル設定部１４において、仮想キャラク
タ６の行動や映像生成に必要なデータなどを決定する。

【００３４】モデル設定部１４では、仮想キャラクタ６
やその姿勢データ以外にも、仮想カメラ７や仮想マイク
８も管理している。ここで仮想カメラとはＣＧ映像を作
成するために定義する仮想的なカメラで、このカメラを
通して仮想空間を見た絵がＣＧにより作成され、ディス
プレイ上に表示される。仮想マイクも同様に仮想空間か
らの音を検出するための仮想の装置である。

【００３５】仮想キャラクタの動作の生成については、
例えば「もし利用者がうなずいているならば、仮想キャ
ラクタは手をたたく」のような動作生成ルールを事前に
決めておき、動作ライブラリから“手をたたく”の動作
を検索して、これを仮想キャラクタの動作とする。この
とき、感度算出部で算出した感度Ｓは、ルールを適用す
るときの確信度として利用する。例えば“手をたたく”
の動作ライブラリとして、“激しく手をたたく”と“穏
やかに手をたたく”の２種類を用意しておき、感度が大
きければ前者を、小さければ後者を仮想キャラクタの動
作として選択する。また感度が負の値のときにはルール
自体を適用しないようにして動作を決定する。

【００３６】ステップ１０５は映像生成処理である。

【００３７】映像生成部１１は、仮想キャラクタ６のＣ
Ｇ映像を生成する。映像生成にはモデル設定部１４が作
成した仮想キャラクタ６のデータを利用し、その動きと
音を仮想空間内で仮想カメラと仮想マイクで検出したも
のとして、ＣＧの映像とする。生成した映像はディスプ
レイに表示される。

【００３８】以上のようなステップおよびシステム構成
により、利用者のジェスチャと音声による指示を認識
し、認識結果に応じて仮想キャラクタの動作を作成して
表示することにより、利用者と仮想キャラクタとのイン
タラクションを実現することができる。

【００３９】以上の実施例においては、感度算出は仮想
キャラクタとカメラの方向，音声の発信方向のみに基づ
いていたが、図６に示すように、距離に基づいて感度変
換を行うことも可能である。いまカメラのアバタから仮
想キャラクタまでの距離をＤｈとして、この値の大小に
応じて感度Ｓの値を算出する。Ｄｈが大きくなるほど、
仮想キャラクタ６はカメラとは離れた位置から見ている
ことになるので、Ｓの小さな値が割り当てられるように
すればよい。すなわち、距離の大きさに応じて感度が減
衰するように設定する。音声についても同様で、距離に
より減衰するような感度とする。本実施例によれば、仮
想キャラクタとカメラとの距離を考慮して、感度算出処
理を行うので、例えば遠く離れた仮想キャラクタ６は、
気づかないといったより複雑な設定が可能である。

【００４０】この距離に基づく感度算出をカメラの方向
や音声の発信方向と組み合わせればより一層リアリティ
のある仮想キャラクタの動作を表現することができる。

【００４１】このような組み合せの具体的実現方法は、
例えば仮想キャラクタの向きとカメラの方向や音声の発
信方向とにより算出した感度に、さらに距離値（画面に
近い仮想キャラクタほど１.０ に近い値で、画面から離
れている仮想キャラクタほど０.０に近い値としてお
く）を乗じたものを感度とする方法が考えられる。

【００４２】以上の実施例においては、仮想キャラクタ
６は単数の場合を想定していたが、次に、図７に示すよ
うに仮想キャラクタが複数存在する場合について説明す
る。このような場合には個々の仮想キャラクタ毎に感度
変換部を設け、各々の姿勢データからそれぞれの感度の
計算を行う。

【００４３】この例では、仮想キャラクタａ，仮想キャ
ラクタｂ及び仮想キャラクタｃという３つの仮想キャラ
クタが存在する場合について説明する。勿論仮想キャラ
クタの数は３つに限定するものではなく、さらに多くな
っても同様の方法で可能である。

【００４４】姿勢データ１３としては、各仮想キャラク
タの頭部の方向を示すベクトルが各々Ｖｈａ，Ｖｈｂお
よびＶｈｃ，頭部の配置座標が各々（Ｘａ，Ｙａ，Ｚ
ａ）、（Ｘｂ，Ｙｂ，Ｚｂ）および（Ｘｃ，Ｙｃ，Ｚ
ｃ）として図１では図示していない計算機５内若しくは
計算機５に接続された記憶装置に格納されているものと
する。この頭部方向のベクトルを用いれば、図５で説明
した感度変換処理と同様にして方向に基づく感度変換を
行うことが可能であり、また、配置座標を用いれば図６
と同様に距離に基づく感度変換が可能である。これらの
姿勢データを感度変換部に対して、姿勢データａ，姿勢
データｂ及び姿勢データｃのように、仮想キャラクタ単
位に入力する。すると感度変換部は、各姿勢データに応
じて、認識結果に対する感度として、感度ａ，感度ｂ及
び感度ｃのような値をそれぞれ出力する。本実施例によ
れば、複数の仮想キャラクタ毎に独立して感度を定める
ことができ、複数キャラクタとのインタラクションが可
能となる。例えばカメラ方向を向いているキャラクタの
みが反応し、その他は反応しないといった、リアルなイ
ンタラクションができる。

【００４５】以上の実施例では、各キャラクタ毎に感度
変換部を設けるとして説明したが、１つ若しくは複数
（キャラクタの数によらない）の感度変換部を設け、こ
の感度変換部が各仮想キャラクタの姿勢データによりま
とめて各仮想キャラクタの感度を算出することも可能で
ある。

【００４６】次に、以上の実施例とは異なって、可視判
定に基づいて感度算出を行う処理について図８を用いて
説明する。

【００４７】この処理を行うためには、仮想空間内に仮
想ディスプレイを配置し、仮想キャラクタはこの仮想デ
ィスプレイに映し出された映像を見て判断するものとす
る。ここで、この映像とは実空間でカメラが撮影した映
像である。仮想キャラクタが視認できる範囲を有効視野
Ｒｆとし、仮想ディスプレイの仮想表示面が可視である
部分を可視領域Ｒｖとする。仮想キャラクタと仮想ディ
スプレイの間に障害物が存在する場合には可視領域は小
さくなる。この可視領域を求めるには、仮想キャラクタ
の視点からＣＧ画像を作成し、その画像内で仮想ディス
プレイが占める割合を計算すれば良い。この場合の感度
Ｓは、例えばＳ＝Ｒｖ／Ｒｆのようにして求めることが
できる。本実施例によれば、仮想空間の中に存在する障
害物なども考慮することができるので、より正確に感度
を求めることができる。

【００４８】以上の実施例では、実空間のカメラなどの
センサは単一で位置が固定のものであったが、図９に示
すように複数または可動のセンサを用いることも考えら
れる。

【００４９】この図９では、カメラとマイクを一体化し
たものをセンサとしたものである。また、この各センサ
は駆動装置により位置または向きが可変であるものとす
る。この場合には、画像認識部９または音声認識部１０
に入力する前に、センサ選択部を設け、ここで各仮想キ
ャラクタについてセンサを選択する。具体的な選択方法
については、例えば各仮想キャラクタの姿勢データから
判断して、仮想キャラクタの視覚または聴覚状態に最も
近い姿勢のセンサを選択する方法が考えられる。この方
法によれば、複数センサの中から最適のものを選択でき
るので、より正確な感度を求めることができる。

【００５０】また、図９の実施例では、単一のセンサを
選択するのではなく、複数のセンサの出力値を用いるこ
とも可能である。このためには仮想キャラクタとセンサ
の姿勢の相違に応じて、センサ出力値を重み付けをする
ようにする。すなわち仮想キャラクタの姿勢に近いセン
サの出力には大きな重み値を与え、これらを加算して仮
想キャラクタの感度を計算する。この方法によれば、複
数センサの情報を総合的に利用できるので、より安定し
た判断が可能である。

【００５１】さらに図９の実施例では、センサの位置や
向きを変えられることを利用して、仮想キャラクタの姿
勢とカメラやマイクの姿勢を合致させることも可能であ
る。このためには、センサ選択部が仮想キャラクタの姿
勢データを読み取り、視野に近いセンサを選択して、そ
のセンサの位置や向きを変えるためのアクチュエータを
制御することにより、仮想キャラクタとセンサの姿勢を
一致させる。本実施例によれば、仮想キャラクタとセン
サが同期して動くので、利用者に仮想キャラクタの視線
方向を明示的に示すことができ、より高度なインタラク
ションが可能である。

【００５２】また図９の実施例では、複数のセンサを用
いることを利用して、実空間での利用者の位置を特定す
ることも可能である。例えば複数のカメラで利用者の同
一部分を撮影していれば、三角測量の原理により、利用
者の位置が求められる。そしてディスプレイから利用者
までの距離に基づいて、仮想キャラクタの感度を定める
こともできる。例えば利用者がディスプレイから離れて
いる時には、感度を低く設定しておき、仮想キャラクタ
はあまり反応しないようにする。本実施例によれば、利
用者側の状況に応じて、仮想キャラクタの感度を変更で
き、より多彩なインタラクションが可能となる。

【００５３】以上の実施例では、実空間のカメラと仮想
空間の仮想カメラは関連がなかったが、図１０に示すよ
うに、カメラと仮想カメラの向きを同一化することも可
能である。この場合には仮想カメラの反対方向に、常に
カメラのアバタが存在するとして設定する。即ち仮想キ
ャラクタにとっては、仮想カメラの方向に常に利用者が
存在することになる。仮想カメラはＣＧ映像生成用に定
義するので、一般に利用者が任意の方向に設定すること
ができる。この方法によれば、仮想キャラクタが利用者
に近づくあるいは遠ざかるという行動は、常にカメラの
撮影軸方向の移動となるので、仮想キャラクタの行動が
画面からはずれることなく、わかりやすく表示すること
が可能である。

【００５４】

【発明の効果】以上に述べたように本発明によれば、仮
想キャラクタの姿勢に応じて、カメラやマイクなどのセ
ンサからの入力情報の感度が変化する。したがって姿勢
を考慮したジェスチャ認識や音声認識が可能となるの
で、仮想キャラクタの応答の精度を向上させることがで
きる。これにより利用者と仮想キャラクタとのインタラ
クションを高度化させる効果がある。

【図面の簡単な説明】

【図１】仮想キャラクタとのインタラクション装置の説
明図である。

【図２】従来のインタラクション装置の説明図である。

【図３】本発明のインタラクション装置のシステム構成
図である。

【図４】フローチャートである。

【図５】方向に基づく感度変換の説明図である。

【図６】距離に基づく感度変換の説明図である。

【図７】仮想キャラクタが複数のときの構成の説明図で
ある。

【図８】可視判定に基づく感度変換の説明図である。

【図９】複数または可動のセンサの場合の説明図であ
る。

【図１０】カメラと仮想カメラの向きの同一化の説明
図。

【符号の説明】

１…利用者、２…カメラ、３…マイク、４…ディスプレ
イ、５…計算機、６…仮想キャラクタ、７…仮想カメ
ラ、８…仮想マイク、９…画像認識部、１０…音声認識
部、１１…映像生成部、１２…感度算出部、１３…姿勢
データ、１４…モデル設定部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三好 雅則 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 福田 善文 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 桑名 利幸 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内 Ｆターム(参考） 2C001 AA00 AA17 BA00 BA02 BA05 BC00 BC05 BC10 CA00 CA07 CA08 CB01 CC02 5B050 AA10 BA08 CA07 EA07 EA19 EA24 FA02 FA10 FA14 5E501 AA01 AA17 AC16 BA03 CA03 CB15 EA34 FA15

Claims (17)

【特許請求の範囲】
1. 【請求項１】ディスプレイを見ている利用者の映像を取
   得し、取得した映像の利用者の行動に応じてディスプレ
   イ中に表示される仮想キャラクタの動作を示す映像を生
   成する仮想キャラクタとのインタラクション装置におい
   て、 前記仮想キャラクタの少なくとも向いている方向を示す
   データを持つ姿勢データと、利用者の行動に応じた仮想
   キャラクタの動作を規定した動作生成ルールを設定する
   モデル設定部と、 前記利用者の行動を取得する映像取得装置と、 前記利用者の発する音声を取得する音声取得装置と、 前記映像取得装置により取得した映像を認識する画像認
   識部と、 前記音声取得装置により取得した音声を認識する音声認
   識部と、 前記モデル設定部の前記仮想キャラクタの姿勢データ
   と、前記映像取得装置または前記音声取得装置の向きに
   応じて前記仮想キャラクタの感度を算出する感度算出部
   と、 該感度算出部により算出された感度と、前記画像認識部
   及び前記音声認識部により認識した認識結果と、前記モ
   デル設定部により設定された動作生成ルールとにより前
   記ディスプレイに表示する前記仮想キャラクタの映像を
   生成する映像生成部とを有する仮想キャラクタとのイン
   タラクション装置。
2. 【請求項２】前記感度算出部は、前記仮想キャラクタの
   仮想空間内での位置と前記姿勢データに応じて感度を算
   出する請求項１記載の仮想キャラクタとのインタラクシ
   ョン装置。
3. 【請求項３】前記仮想キャラクタは複数個存在し、 前記感度算出部は、各仮想キャラクタの姿勢データに応
   じて各仮想キャラクタ毎に個別に感度を算出する請求項
   １記載の仮想キャラクタとのインタラクション装置。
4. 【請求項４】前記感度算出部は、感度を変換する際に仮
   想空間内での前記仮想キャラクタの視野を模擬すること
   により可視となる領域を求め、当該領域に基づいて前記
   感度を算出する請求項１記載の仮想キャラクタとのイン
   タラクション装置。
5. 【請求項５】前記映像取得装置または音声取得装置を複
   数配置し、 前記仮想キャラクタの姿勢データと、前記複数個の映像
   取得装置または音声取得装置の向きに応じて各仮想キャ
   ラクタに対応する映像取得装置または音声取得装置を選
   択する選択部と、該選択部が選択した映像または音声を
   各仮想キャラクタの映像または音声として前記画像認識
   部または前記音声認識部が認識する請求項１記載の仮想
   キャラクタとのインタラクション装置。
6. 【請求項６】前記映像取得装置または音声取得装置を複
   数配置し、 前記感度算出部は、前記映像取得装置または前記音声取
   得装置の向きと、前記仮想キャラクタの姿勢データに応
   じて、各仮想キャラクタについて前記複数の映像取得装
   置または前記複数の音声取得装置の認識結果に対する重
   み値を算出し、該重み値に基づいて感度を算出する請求
   項１記載の仮想キャラクタとのインタラクション装置。
7. 【請求項７】前記映像取得装置または前記音声取得装置
   の位置または方向を変更するアクチュエータを有し、 前記仮想キャラクタの前記姿勢データに応じて、該アク
   チュエータを制御して前記映像取得装置または音声取得
   装置の位置または方向を設定する請求項１記載の仮想キ
   ャラクタとのインタラクション装置。
8. 【請求項８】前記映像取得装置または前記音声取得装置
   を複数配置し、 前記感度算出部は、該複数の映像取得装置または音声取
   得装置により複数の位置で取得した前記利用者の映像ま
   たは音声から三角測量により利用者の位置を測定し、利
   用者と前記映像取得装置または前記音声取得装置との距
   離に基づいて感度を算出する請求項１記載の仮想キャラ
   クタとのインタラクション装置。
9. 【請求項９】前記映像生成部は、前記仮想キャラクタを
   ＣＧで表示するために定める仮想的なカメラを仮想カメ
   ラとし、前記映像取得装置と前記仮想カメラとが特定の
   位置関係にあるものとして該仮想カメラを設定し、ＣＧ
   により映像を生成することを特徴とする請求項１記載の
   仮想キャラクタとのインタラクション装置。
10. 【請求項１０】ディスプレイを見ている利用者の映像を
    取得し、取得した映像の利用者の行動に応じて該ディス
    プレイ中に表示される仮想キャラクタの動作を示す映像
    を生成する仮想キャラクタとのインタラクション装置に
    おいて、 前記仮想キャラクタの少なくとも向いている方向を示す
    データを持つ姿勢データと、利用者の行動に応じた仮想
    キャラクタの動作を設定した動作生成ルールを設定する
    モデル設定部と、 前記利用者の行動を取得する映像取得装置と、 該映像取得装置により取得した映像を認識する画像認識
    部と、 前記仮想キャラクタの姿勢データに応じて前記仮想キャ
    ラクタの感度を算出する感度算出部と、 該感度算出部により算出した感度と、前記画像認識部に
    より認識した認識結果と、前記モデル設定部に設定され
    た動作生成ルールにより前記ディスプレイに表示する前
    記仮想キャラクタの映像を生成する映像生成部とを有す
    る仮想キャラクタとのインタラクション装置。
11. 【請求項１１】前記映像取得装置の撮影方向を変更する
    駆動装置を有し、前記感度算出部は、前記仮想キャラク
    タの姿勢データと前記駆動装置により変更された前記映
    像取得装置の向きに応じて前記仮想キャラクタの感度を
    算出する請求項１０記載の仮想キャラクタとのインタラ
    クション装置。
12. 【請求項１２】前記駆動装置は前記映像取得装置の位置
    も変更し、 前記感度算出部は、前記仮想キャラクタの姿勢データと
    前記駆動装置により変更された前記映像取得装置の位置
    及び向きに応じて前記仮想キャラクタの感度を算出する
    請求項１１記載の仮想キャラクタとのインタラクション
    装置。
13. 【請求項１３】ディスプレイを見ている利用者の行動を
    取得し、取得した利用者の行動に応じて該ディスプレイ
    中に表示される仮想キャラクタの動作を示す映像を生成
    する仮想キャラクタとのインタラクション装置におい
    て、 仮想キャラクタの少なくとも向いている方向を示すデー
    タを示す姿勢データと、利用者の行動に応じた仮想キャ
    ラクタの動作を規定した動作生成ルールを設定するモデ
    ル設定部と、 前記利用者の行動を取得する利用者行動取得装置と、 該利用者行動取得装置により取得した利用者の行動を認
    識する利用者行動認識部と、 前記仮想キャラクタの姿勢データに応じて前記仮想キャ
    ラクタの感度を算出する感度算出部と、 該感度算出部により算出された感度と、前記利用者行動
    認識部により認識した認識結果と、前記モデル設定部の
    動作生成ルールに応じて、前記ディスプレイに表示する
    前記仮想キャラクタの映像を生成する映像生成部とを有
    する仮想キャラクタとのインタラクション装置。
14. 【請求項１４】前記利用者行動取得装置の取得方向を変
    更する駆動装置を有し、前記感度算出部は、前記仮想キ
    ャラクタの姿勢データと前記駆動装置により変更された
    前記利用者行動取得装置の向きに応じて前記仮想キャラ
    クタの感度を算出する請求項１４記載の仮想キャラクタ
    とのインタラクション装置。
15. 【請求項１５】前記駆動装置は前記利用者行動取得装置
    の位置も変更し、前記感度算出部は、前記仮想キャラク
    タの姿勢データと前記駆動装置により変更された前記利
    用者行動取得装置の位置及び向きに応じて前記仮想キャ
    ラクタの感度を算出する請求項１５記載の仮想キャラク
    タとのインタラクション装置。
16. 【請求項１６】ディスプレイを見ている利用者の行動を
    取得し、取得した利用者の行動に応じて該ディスプレイ
    中に表示される仮想キャラクタの動作を示す映像を生成
    する仮想キャラクタとのインタラクション装置におい
    て、 前記利用者の行動を取得する利用者行動取得装置と、 該利用者行動取得装置により取得した利用者の行動を認
    識する利用者行動認識部と、 前記仮想キャラクタの向きと、前記利用者行動認識部に
    より認識した認識結果に応じて、前記ディスプレイに表
    示する前記仮想キャラクタの映像を生成する映像生成部
    とを有する仮想キャラクタとのインタラクション装置。
17. 【請求項１７】ディスプレイを見ている利用者の行動を
    取得し、取得した利用者の行動に応じて該ディスプレイ
    中に表示される仮想キャラクタの動作を示す映像を生成
    するプログラムを記憶したコンピュータ読み取り可能な
    記憶媒体であって、 前記仮想キャラクタの少なくとも向いている方向を示す
    データを示す姿勢データと、利用者の行動に応じた仮想
    キャラクタの動作を規定した動作生成ルールを設定し、 前記利用者の行動を取得し、 該取得した利用者の行動を認識し、 前記仮想キャラクタの姿勢データに応じて前記仮想キャ
    ラクタの感度を算出し、 該算出した感度と、前記認識した認識結果と、前記設定
    した動作生成ルールにより前記仮想キャラクタの動作を
    示す映像を生成するプログラムを記憶したコンピュータ
    読み取り可能な記憶媒体。