JP2009163631A - バーチャルエージェント制御装置及びそのプログラム - Google Patents

Abstract

【課題】バーチャルエージェントを用いて情報を表示する際に、アニメーションファイルを予め携帯端末に記憶しておかなくても任意のアニメーション動作を表示可能とする。
【解決手段】想定される動作パターンを表す複数の動作コマンドとその識別ＩＤを、操作キーに対応付けて記憶ユニット７の動作コマンド変換テーブルに予め或いはユーザの登録操作により任意に記憶しておく。そして、この状態でユーザがキー操作を行った場合に、キー入力受付制御モジュール６１により当該操作キーに対応する動作コマンドを上記動作コマンド変換テーブルから読み出し、上記動作コマンドを反映したバーチャルエージェントの画像データをエージェント生成モジュール６２Ａにより生成して、この生成した画像データをエージェント表示制御モジュール６３により表示デバイス９に表示させる。
【選択図】 図２

Description

この発明は、バーチャルエージェントを用いて携帯端末に情報を表示させるバーチャルエージェント制御装置及びそのプログラムに関する。

近年、携帯電話機等の携帯端末には種々のサービス機能が実装されているが、その一つとしてバーチャルエージェントを用いた情報提示機能がある。例えば、「キャラ電」（登録商標）と呼ばれる機能は、携帯端末間でテレビジョン電話通信を行う場合に、話者自身の画像の代わりに三次元（３Ｄ）モデルにより表現されるキャラクタを通話相手の携帯端末に表示させ、この表示されたキャラクタを話者の分身としてアニメーション動作させるものとなっている（例えば、非特許文献１又は非特許文献２を参照。）。

ところで、この種の機能を実現するために従来では、例えば動作パターンごとに作成された複数のアニメーションファイルをサーバ等からダウンロードして携帯端末に予め記憶しておき、話者が携帯端末のキーを操作することにより、当該キーに対応するアニメーションファイルを読み出して通話相手の携帯端末で表示させるようにしている。

「作ろうｉモードコンテンツ：キャラ電」、２００７年１１月２７日、株式会社ＮＴＴドコモ、インターネット＜URL：http://www.nttdocomo.co.jp/service/imode/make/contet/chara_den/index.html＞

「キャラ電コンテンツ開発ガイド 第２．０版」、平成１７年１０月１９日、株式会社ＮＴＴドコモ、インターネット＜URL：http://www.nttdocomo.co.jp/binary/pdf/service/imode/make/contet/chara_den/about/charadenguide051019.pdf＞

ところが、前述した従来の実現手段では、アニメーションファイルのデータを携帯端末に予め記憶しておく必要があるため、表示しようとするアニメーション動作の種類が多くなるとアニメーションファイルの数が多くなり、大容量のメモリが必要となる。一般に、携帯端末は内蔵するメモリ容量が小さいため、記憶できるアニメーションファイルの数は少数に限られる。このため、携帯端末においては、限られた少数のアニメーション動作しか表示することができない。また、仮にメモリカード等の外付けのメモリを用いることで多数のアニメーションファイルを記憶できたとしても、それ以外のアニメーション動作が要求された場合にはこの要求に対応できない。

この発明は上記事情に着目してなされたもので、その目的とするところは、バーチャルエージェントを用いて情報を表示する際に、アニメーションファイルを予め携帯端末に記憶しておかなくても任意のアニメーション動作を表示可能としたバーチャルエージェント制御装置及びそのプログラムを提供することにある。

上記目的を達成するためにこの発明の一観点は、バーチャルエージェントを用いて携帯端末に情報を表示するバーチャルエージェント制御装置において、バーチャルエージェントの基本データをメモリに記憶しておき、この状態で上記バーチャルエージェントの動作内容をテキスト形式で記述した動作コマンドの入力を受け付ける。そして、上記メモリに記憶されたバーチャルエージェントの基本データに、上記受け付けた動作コマンドに記述された動作内容を反映させたバーチャルエージェントの変換データを生成し、この生成されたバーチャルエージェントの変換データを上記携帯端末の表示器に表示させるように構成したものである。

したがって、メモリにはバーチャルエージェントの基本データのみを記憶しておけばよくなり、また表示しようとする動作内容を表す動作コマンドを入力することで任意のアニメーション動作を表示可能となる。このため、小容量のメモリを用いるだけであらゆるアニメーション動作を表示することが可能となり、比較的少量のメモリしか持たない携帯端末でも実施可能となる。しかも、動作コマンドは動作内容をテキスト形式で記述することで表されるので、記述ルールさえ理解すれば誰でも簡単に作成できる利点がある。

この発明の一観点は、以下のような各種具体的構成又は処理ステップを有することも特徴とする。
第１の構成又は処理ステップは、動作コマンドの入力を受け付ける手段として、使用が想定される複数の動作コマンドを当該各動作コマンドを識別する識別情報に対応付けて動作コマンド記憶手段に予め記憶しておく。そして、上記識別情報の入力を受け付け、この受け付けた識別情報に対応する動作コマンドを上記動作コマンド記憶手段から読み出すものである。
このようにすると、動作コマンドの代わりにそれに対応する識別情報を入力すればよくなり、これにより動作コマンドをその都度作成したり、また入力する必要がなくなるので、動作コマンドの入力操作をより簡略化できる。

第２の構成は、上記動作コマンドを読み出す際に、上記携帯端末のキー入力部により入力される操作情報を当該操作情報に予め対応付けられた識別情報に変換し、この変換された識別情報に対応する動作コマンドを上記動作コマンド記憶手段から読み出すようにしたものである。
このようにすると、例えば話者は携帯端末において割り当てられたキーを操作するだけで識別情報を入力することが可能となり、動作コマンドの入力操作をさらに簡略化できる。

第３の構成は、携帯端末が電子メールを受信するメール受信手段を備える場合に、動作コマンドの入力の受け付けを、上記メール受信手段により受信された電子メールから上記動作コマンド又はその識別情報を抽出することにより行うようにしたものである。
このようにすると、動作コマンドの入力処理を電子メールを使用して行うことが可能となり、これにより電子メールの題名又は本文の内容をバーチャルエージェントの動きを利用して携帯端末のユーザに伝えることが可能となる。

第４の構成は、携帯端末が通信ネットワークを介して通信装置から情報を受信するブラウザ手段を備える場合に、動作コマンドの入力の受け付けを、上記ブラウザ手段により受信された情報から上記動作コマンド又はその識別情報を抽出することにより行うようにしたものである。
このようにすると、例えばウエブページの閲覧情報に動作コマンド又はその識別情報を貼り付けておくことで、閲覧情報の内容をバーチャルエージェントの動きを利用して携帯端末のユーザに伝えることが可能となる。

第５の構成は、上記通信装置に、監視対象の状態をセンサにより監視して、その監視結果を上記バーチャルエージェントの動作により表現するための動作コマンド又はその識別情報を生成し、この生成された動作コマンド又はその識別情報を含む通知情報を上記携帯端末へ送信する手段を備え、上記動作コマンドの入力の受け付けを、上記ブラウザ手段により上記通知装置から受信された通知情報から動作コマンド又はその識別情報を抽出することにより行うようにしたものである。
このようにすると、センサの監視情報、例えば不法侵入の警報や自宅の部屋の様子、子供やペットの様子、部屋や風呂の温度等の通知情報に動作コマンド又はその識別情報を埋め込んでおくことで、上記不法侵入の警報や自宅の部屋の様子等をバーチャルエージェントの動きを利用して携帯端末ユーザに伝えることが可能となる。

第６の構成は、動作コマンドを、バーチャルエージェントの動作種別、動作部位、画像フレーム数、動作部位の最終Ｘ軸角度、動作部位の最終Ｙ軸角度及び動作部位の最終Ｚ軸角度をそれぞれテキスト形式で１行に並べて記述したものとする。
このようにすると、バーチャルエージェントの複雑な動作内容を比較的簡単な記述ルールで指定することが可能となる。

要するにこの発明によれば、バーチャルエージェントを用いて情報を表示する際に、アニメーションファイルを予め携帯端末に記憶しておかなくても任意のアニメーション動作を表示可能としたバーチャルエージェント制御装置及びそのプログラムを提供することができる。

以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
図１は、この発明の第１の実施形態に係わるバーチャルエージェント制御機能を備えた携帯端末の構成を示すブロック図である。この携帯端末は、アンテナ１と、無線ユニット２と、信号処理ユニット３と、制御ユニット６Ａと、記憶ユニット７と、電源としてバッテリ１１を使用した電源ユニット１０とを備えている。

無線ユニット２は、図示しない通信ネットワークから送信された無線信号をアンテナ１を介して受信し復調して受信ベースバンド信号を得、この受信ベースバンド信号を信号処理ユニット３に入力する。またそれと共に、信号処理ユニット３から出力された送信ベースバンド信号を変調しさらに所定電力の無線信号に変換した後、アンテナ１から通信ネットワークに向け送信する。

信号処理ユニット３には、スピーカ４及びマイクロホン５が接続される。信号処理ユニット３は例えばＤＳＰ（Digital Signal Processor）を有し、受信ベースバンド信号に含まれる音声データを誤り訂正復号及び音声復号してアナログ受話信号を再生し、このアナログ受話信号をスピーカ４から拡声出力する。またそれと共に、マイクロホン５から出力されたアナログ送話信号を音声符号化及び誤り訂正符号化して送信ベースバンド信号を生成し、この送信ベースバンド信号を上記無線ユニット２へ出力する。

制御ユニット６Ａは例えばＣＰＵ（Central Processing Unit）からなり、テンキー、カーソルキー及び各種機能キーからなる入力デバイス８の操作に応じて、発着信制御や電子メールの送受信制御、ブラウザを用いたＷｅｂアクセス制御等の通常の制御を実行すると共に、この発明に係わるバーチャルエージェント制御を実行する。表示デバイス９は例えばＬＣＤ又は有機ＥＬ表示器からなり、上記制御ユニット６Ａから出力される表示データを表示する。

ところで、記憶ユニット７は例えばＮＡＮＤ型フラッシュメモリからなり、プログラム記憶領域と、電話帳や発着信履歴、電子メール等を記憶するデータ記憶領域に加えて、この発明を実施するために必要な記憶領域として、図３に示すようにエージェント基本画像記憶部７１と、動作コマンド変換テーブル記憶部７２とを新たに備えている。

エージェント基本画像記憶部７１には、バーチャルエージェントの基本画像データが記憶される。このバーチャルエージェントの基本画像データは、例えば人型ロボットを三次元（３Ｄ）ポリゴンデータにより表した静止画像データからなる。
動作コマンド変換テーブル記憶部７２には、動作コマンド変換テーブルが格納される。この動作コマンド変換テーブルは、例えば図４に示すように入力デバイス８のキー番号ＫＥＹ１，ＫＥＹ２，…に対応付けて、動作コマンドＣ１，Ｃ２，…とその識別情報ＩＤ１，ＩＤ２，…を記憶したものである。

制御ユニット６Ａは、この発明を実施するために必要な制御機能として、図２に示すようにキー入力受付制御モジュール６１と、エージェント生成モジュール６２Ａと、エージェント表示制御モジュール６３を備えている。これらの各制御モジュールはいずれも、記憶ユニット７に格納されたアプリケーション・プログラムを上記ＣＰＵに実行させることにより実現される。

キー入力受付制御モジュール６１は、バーチャルエージェント表示モードにおいて、入力デバイス８のキーが操作された場合に、この操作されたキー番号に対応する識別ＩＤを記憶ユニット７内の動作コマンド変換テーブルから検索し、さらにこの識別ＩＤをもとに動作コマンドを動作コマンド変換テーブルから検索する。

エージェント生成モジュール６２Ａは、表示デバイス９に表示中のバーチャルエージェント画像のデータを、上記キー入力受付制御モジュール６１により検索された動作コマンドをもとに変化させることにより、当該動作コマンドを反映したバーチャルエージェントの変換画像データを生成する。
エージェント表示制御モジュール６３は、上記エージェント生成モジュール６２Ａにより生成されたバーチャルエージェントの変換画像データを表示デバイス９に表示させる処理を実行する。

次に、以上のように構成された携帯端末におけるバーチャルエージェント制御動作を説明する。図５はその制御手順及び制御内容を示すフローチャートである。
（１）動作コマンド登録制御
動作コマンド変換テーブルには、バーチャルエージェントの基本的な動作パターンを表す複数の動作コマンドがその識別ＩＤと共に入力キーに対応付けて予め記憶されている。しかし、携帯端末のユーザがバーチャルエージェントに上記予め登録された動作パターン以外の動きをさせるべく動作コマンドの追加登録操作を行うと、以下のような手順で登録制御が行われる。

すなわち、ユーザは先ず入力デバイス８を操作することにより、制御メニューにおいて動作コマンド登録モードを選択する。そうすると制御ユニット６Ａは、ステップＳ５１で動作コマンド登録モードの選択操作を検出すると、ステップＳ５３において入力デバイス８から入力される動作コマンド、識別ＩＤ及び操作キーの情報を取り込む。そして、ステップＳ５４において、上記入力された動作コマンド、識別ＩＤ及び操作キーと同じものが動作コマンド変換テーブルに既に記憶されているか否かをチェックし、まだ登録されていなければステップＳ５５からステップＳ５６に移行し、上記入力された動作コマンド及び識別ＩＤを操作キーに対応付けて動作コマンド変換テーブルに追加記憶させる。なお、上記入力された動作コマンド、識別ＩＤ又は操作キーと同じものが動作コマンド変換テーブルに既に記憶されていた場合には、上記追加記憶処理を行わずに登録制御を終了する。

図６は動作コマンドの構成の一例を示すものである。動作コマンドは、動作種別と、動作部位と、動作フレーム数と、動作部位の最終Ｘ軸角度と、動作部位の最終Ｙ軸角度と、動作部位の最終Ｚ軸角度とからなる６つの構成要素を、テキスト形式で一行に並べて記述したものである。
例えば、バーチャルエージェントの姿勢を「右を向く（全身を右に９０°回転させる）状態」に制御する場合には、図６（ｂ）に示すように、動作種別を「async」、動作部位を「all_body」とし、動作フレーム数を「５フレーム」、動作部位の最終Ｘ軸角度を「０°」、動作部位の最終Ｙ軸角度を「９０°」、動作部位の最終Ｚ軸角度を「０°」にそれぞれ設定する。

（２）キー操作に応じたバーチャルエージェントの表示制御
バーチャルエージェントを表示させる場合、ユーザは入力デバイス８を操作して、制御メニューのバーチャルエージェント表示モードを選択する。そうすると制御ユニット６Ａは、ステップＳ５２からステップＳ５７に移行し、ここで先ず記憶ユニット７のエージェント基本画像記憶部７１からバーチャルエージェント基本画像データを読み出して、この画像データを表示デバイス９に表示させる。例えば、図７（ａ）に示すように正面を向いた状態を表す３Ｄポリゴン画像データを表示させる。

この状態でユーザが、入力デバイス８において所望の動作パターンに対応するキーを操作したとする。そうすると制御ユニット６Ａは、ステップＳ５８で上記キー操作を検出するとキー入力受付制御モジュール６１を起動し、先ずステップＳ５９により上記操作キーに対応する識別ＩＤを動作コマンド変換テーブルから読み出す。続いてステップＳ６０により上記識別ＩＤに対応する動作コマンドを動作コマンド変換テーブルから読み出す。なお、ユーザが入力デバイス８において識別ＩＤを入力した場合にも、この入力された識別ＩＤに対応する動作コマンドを動作コマンド変換テーブルから読み出す。

次に制御ユニット６Ａは、ステップＳ６１においてエージェント生成モジュール６２Ａを起動し、上記動作コマンド変換テーブルから読み出された動作コマンドに従い、上記表示中のバーチャルエージェント基本画像データを変化させる。そして、ステップＳ６２においてエージェント表示制御モジュール６３を起動し、上記生成されたバーチャルエージェントの変換画像データを表示デバイス９に表示させる。

例えば、いま動作コマンドが図６（ｂ）に示すように「async，all_body，5，0，90，0」だったとすれば、表示中のバーチャルエージェント基本画像データの姿勢は、図７（ａ）に示す正面を向いた状態から、図７（ｂ）に示すように全身を右に９０°回転させて右を向いた状態に変化させる。なお、このとき画像の変化は、上記動作コマンドにおいて指定された動作フレーム数「５」に従い、５フレームをかけて行われる。このため、バーチャルエージェントの姿勢はアニメーション画像のように円滑に変化する。

また、上記図７（ｂ）に示すようにバーチャルエージェントが表示された状態で、図６（ｃ）に示す動作コマンド「async，all_body，5，0，0，0」が読み出された場合には、表示中のバーチャルエージェント基本画像データの姿勢は、図７（ｂ）に示す右を向いた状態から、図７（ｃ）に示すように全身を左に９０°回転させて正面を向いた状態に変化させる。なお、このときの画像の変化も、上記動作コマンドにおいて指定された動作フレーム数「５」に従い円滑に変化する。
以後同様に、ユーザのキー操作に応じて動作コマンドが読み出されるごとに、表示中のバーチャルエージェント基本画像データの姿勢は、動作コマンド図６（ｃ）〜（ｆ）の内容に従い、図７（ｃ）〜（ｆ）のように順次変化する。

以上述べたように第１の実施形態では、想定される動作パターンを表す複数の動作コマンドとその識別ＩＤを操作キーに対応付けて動作コマンド変換テーブルに予め或いはユーザの登録操作により任意に記憶している。そして、この状態でユーザがキー操作を行った場合に当該操作キーに対応する動作コマンドを上記動作コマンド変換テーブルから読み出し、この動作コマンドに従い表示中のバーチャルエージェントの画像データを変化させるようにしている。

したがって、記憶ユニット７にはバーチャルエージェントの基本画像データのみを記憶しておけばよくなり、また表示しようとする動作内容を表す動作コマンドをユーザが任意に登録することによりバーチャルエージェントの表示画像を任意の姿勢に変化させることができる。このため、バーチャルエージェントの画像記憶領域として小容量の記憶領域を用意するだけで、バーチャルエージェントの表示画像をあらゆる姿勢に変化させることが可能となり、比較的少量のメモリしか持たない携帯端末においても実施可能となる。しかも、動作コマンドは動作内容をテキスト形式で記述することで表されるので、記述ルールさえ理解すれば誰でも簡単に作成できる利点がある。

また、動作コマンド変換テーブルを設けてあるので、ユーザはその都度動作コマンドを入力する必要がなく、所望の動作パターンに対応するキーをワンタッチ操作するか或いは識別ＩＤを入力するだけでよい。このため、動作コマンドの入力を簡単かつ誤り無く行うことができる。

（第２の実施形態）
この発明の第２の実施形態は、受信された電子メールから動作コマンド又はその識別ＩＤを抽出し、この抽出した動作コマンド、又は識別ＩＤをもとに動作コマンド変換テーブルから読み出した動作コマンドに従い、バーチャルエージェントの画像データを生成して表示デバイスに表示するようにしたものである。

図８は、この発明の第２の実施形態に係わるバーチャルエージェントの制御機能を有する制御ユニットの機能構成を示すブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
制御ユニット６Ｂは、この発明を実施するために必要な制御機能として、メール入力受付制御モジュール６４と、エージェント生成モジュール６２Ｂと、エージェント表示制御モジュール６３を備えている。これらの各制御モジュールはいずれも、記憶ユニット７に格納されたアプリケーション・プログラムを上記ＣＰＵに実行させることにより実現される。

メール入力受付制御モジュール６４は、受信された電子メールのデータを信号処理ユニット３から取り込み、この取り込んだ電子メールの本文中又は添付ファイルに動作コマンド又は識別ＩＤが挿入されているか否かを判定して、挿入されている場合には当該動作コマンド又は識別ＩＤを抽出する。そして、識別ＩＤが抽出された場合には、当該識別ＩＤに対応する動作コマンドを記憶ユニット７の動作コマンド変換テーブルから読み出す。

エージェント生成モジュール６２Ｂは、表示デバイス９に表示中のバーチャルエージェント画像のデータを、上記メール入力受付制御モジュール６４により電子メールから抽出された動作コマンドをもとに変化させることにより、当該動作コマンドを反映したバーチャルエージェントの変換画像データを生成する。

次に、以上のように構成された携帯端末におけるバーチャルエージェント制御動作を説明する。図９はその制御手順及び制御内容を示すフローチャートである。
待ち受け状態において制御ユニット６Ｂは、ステップＳ９１においてメールの受信を監視している。この状態で電子メールが受信されると、制御ユニット６ＢはステップＳ９２においてメール入力受付制御モジュール６４を起動し、上記受信された電子メールの本文又は添付ファイル中にバーチャルエージェント制御用の動作コマンド又は識別ＩＤが挿入されているか否かを判定する。この判定の結果、挿入されていた場合には当該動作コマンド又は識別ＩＤを抽出する。そして、識別ＩＤを抽出した場合にはステップＳ９３からステップＳ９４に移行し、ここで当該識別ＩＤに対応する動作コマンドを記憶ユニット７に記憶されている動作コマンド変換テーブルから読み出す。

次に制御ユニット６Ｂは、ステップＳ９５においてエージェント生成モジュール６２Ｂを起動し、記憶ユニット７のエージェント基本画像記憶部７１からバーチャルエージェントの基本画像データを読み出す。そして、上記電子メールから抽出されたか、又は動作コマンド変換テーブルから読み出された動作コマンドに従い、上記読み出されたバーチャルエージェント基本画像データを変化させる。そして、ステップＳ９６においてエージェント表示制御モジュール６３を起動し、上記生成されたバーチャルエージェントの変換画像データを表示デバイス９に表示させる。なお、動作コマンドの構成、及び当該動作コマンドの内容を反映したバーチャルエージェントの変換画像データの生成処理は、第１の実施形態と同様に行われる。

また、１通の電子メールに複数の動作コマンド又はそれに代わる識別ＩＤが挿入されていた場合には、制御ユニット６Ｂはこれら複数の動作コマンド、又は識別ＩＤをもとに動作コマンド変換テーブルから読み出された複数の動作コマンドに従い、一定のインターバル期間をおくか又は連続的にバーチャルエージェントの変換画像データを生成し、この生成された変換画像データを表示デバイス９に順次表示させる。

以上述べたように第２の実施形態では、受信された電子メールの本文又は添付ファイルから動作コマンド又はその識別ＩＤを抽出し、この抽出した動作コマンド、又は識別ＩＤをもとに動作コマンド変換テーブルから読み出した動作コマンドに従い、バーチャルエージェントの変換画像データを生成して、表示デバイス９に表示するようにしている。

したがって、携帯端末に対する動作コマンドの入力を電子メールを使用して行うことが可能となり、これにより電子メールの文意をバーチャルエージェントの動作パターンによりユーザに伝えることが可能となる。例えば、メールの文意が謝礼や謝罪であれば、これをバーチャルエージェントのキャラクタが頭を下げる動作により表すことができる。

（第３の実施形態）
この発明の第３の実施形態は、Ｗｅｂサーバに、バーチャルエージェントの動作コマンド又はその識別ＩＤを含めたＷｅｂ情報を記憶しておく。一方、携帯端末の制御ユニットには、上記ＷｅｂサーバからＷｅｂ情報を受信するブラウザと、このブラウザにより受信したＷｅｂ情報から動作コマンド又はその識別ＩＤを抽出する手段を備え、この抽出された動作コマンド、又は識別ＩＤをもとに動作コマンド変換テーブルから読み出した動作コマンドに従い、バーチャルエージェントの画像データを生成して表示デバイスに表示するようにしたものである。

図１０は、この発明の第３の実施形態に係わるバーチャルエージェント制御装置の機能構成を示すブロック図である。なお、同図において前記図１及び図２と同一部分には同一符号を付して詳しい説明は省略する。
この実施形態に係わるバーチャルエージェント制御装置は、この発明を実現するための機能が、Ｗｅｂ上に設けられたＷｅｂサーバ２０と、ユーザが所持する携帯端末とに分散して設けられている。

すなわち、Ｗｅｂサーバ２０には、Ｗｅｂ情報記憶部２１と、動作コマンド生成処理部２２と、Ｗｅｂ情報送信部２３が設けられている。このうち、動作コマンド生成処理部２２と、Ｗｅｂ情報送信部２３は、アプリケーション・プログラムをＣＰＵに実行させることにより実現される。

Ｗｅｂ情報記憶部２１には、Ｗｅｂ情報作成者のパーソナル・コンピュータから送られたＷｅｂ情報が記憶される。動作コマンド生成処理部２２は、上記Ｗｅｂ情報の作成者又は管理者によるバーチャルエージェントの動作パターンの入力操作に応じて動作コマンド又はその識別ＩＤを生成する。そして、この生成した動作コマンド又はその識別ＩＤを、上記Ｗｅｂ情報記憶部２１に記憶されている該当するＷｅｂ情報中に挿入する。Ｗｅｂ情報送信部２３は、携帯端末からＷｅｂ情報のダウンロード要求が送られた場合に、当該要求により指定されたＷｅｂ情報を上記Ｗｅｂ情報記憶部２１から読み出し、この読み出したＷｅｂ情報を通信ネットワークＮＷを介して要求元の携帯端末へ送信する。

一方、携帯端末の制御ユニット６Ｃには、この発明に係わる制御機能として、動作コマンド抽出制御モジュール６５と、エージェント生成モジュール６２Ｃと、エージェント表示制御モジュール６３が設けられている。動作コマンド抽出制御モジュール６５は、受信されたＷｅｂ情報を信号処理ユニット３から取り込み、この取り込んだＷｅｂ情報中に動作コマンド又は識別ＩＤが挿入されているか否かを判定して、挿入されている場合には当該動作コマンド又は識別ＩＤを抽出する。そして、識別ＩＤが抽出された場合には、当該識別ＩＤに対応する動作コマンドを記憶ユニット７の動作コマンド変換テーブルから読み出す。

エージェント生成モジュール６２Ｃは、バーチャルエージェントの基本画像データを記憶ユニット７から読み出し、上記動作コマンド抽出制御モジュール６５によりＷｅｂ情報から抽出された動作コマンドをもとに上記基本画像データを変化させることにより、当該動作コマンドを反映したバーチャルエージェントの変換画像データを生成する。

次に、以上のように構成された携帯端末におけるバーチャルエージェント制御動作を説明する。図１１はその制御手順及び制御内容を示すフローチャートである。なお、Ｗｅｂサーバ２０内のＷｅｂ情報記憶部２１には、動作コマンド又はその識別ＩＤが挿入されたＷｅｂ情報が既に記憶されているものとして説明を行う。

携帯端末において、ユーザがＷｅｂサーバのアクセス操作を行ったとする。そうすると、制御ユニット６ＣはステップＳ１１１からステップＳ１１２に移行してブラウザを起動し、続いて入力されたＵＲＬ（Uniform Resource Locator）に従いＷｅｂサーバ２０に対しアクセスする。そして、ユーザが所望のＷｅｂ情報のダウンロードを要求する操作を行うと、制御ユニット６Ｃは上記所望のＷｅｂ情報のダウンロード要求を信号処理ユニット３を介して無線ユニット２からＷｅｂサーバ２０へ送信する。Ｗｅｂサーバ２０は、上記携帯端末からダウンロード要求が到来すると、当該要求により指定されたＷｅｂ情報を上記Ｗｅｂ情報記憶部２１から読み出し、この読み出したＷｅｂ情報を通信ネットワークＮＷを介して要求元の携帯端末へ送信する。

携帯端末の制御ユニット６Ｃは、上記Ｗｅｂ情報が無線ユニット２及び信号処理ユニット３により受信されると、当該受信されたＷｅｂ情報をステップＳ１１３により取り込む。そして、ステップＳ１１４により動作コマンド抽出制御モジュール６５を起動し、上記受信されたＷｅｂ情報中からバーチャルエージェント制御用の動作コマンド又はその識別ＩＤの抽出を試みる。そして、識別ＩＤが抽出されると、ステップＳ１１５からステップＳ１１６に移行し、ここで当該識別ＩＤに対応する動作コマンドを記憶ユニット７に記憶されている動作コマンド変換テーブルから読み出す。
なお、上記通知情報中から動作コマンド又は識別ＩＤを抽出できなかった場合には、制御ユニット６Ｄはバーチャルエージェントの表示制御を行わずに、例えばＷｅｂ情報のテキストデータや画像データを表示する処理を実行する。

次に制御ユニット６Ｃは、ステップＳ１１７においてエージェント生成モジュール６２Ｃを起動し、記憶ユニット７のエージェント基本画像記憶部７１からバーチャルエージェントの基本画像データを読み出す。そして、上記Ｗｅｂ情報から抽出された動作コマンド、又は識別ＩＤに応じて動作コマンド変換テーブルから読み出された動作コマンドに従い、上記読み出されたバーチャルエージェント基本画像データを変化させる。そして、ステップＳ１１８においてエージェント表示制御モジュール６３を起動し、上記生成されたバーチャルエージェントの変換画像データを表示デバイス９に表示させる。なお、動作コマンドの構成、及び当該動作コマンドの内容を反映したバーチャルエージェントの変換画像データの生成処理は、第１の実施形態と同様に行われる。

また、Ｗｅｂ情報に複数の動作コマンド又はそれに代わる識別ＩＤが挿入されていた場合には、制御ユニット６Ｃはこれら複数の動作コマンド、又は識別ＩＤをもとに動作コマンド変換テーブルから読み出された複数の動作コマンドに従い、一定のインターバル期間をおくか又は連続的にバーチャルエージェントの変換画像データを生成し、この生成された変換画像データを表示デバイス９に順次表示させる。

以上述べたように第３の実施形態では、受信されたＷｅｂ情報から動作コマンド又はその識別ＩＤを抽出し、この抽出した動作コマンド、又は上記識別ＩＤをもとに動作コマンド変換テーブルから読み出した動作コマンドに従い、バーチャルエージェントの変換画像データを生成して、表示デバイス９に表示するようにしている。

したがって、Ｗｅｂ情報の内容をバーチャルエージェントの動作パターンによりユーザに伝えることが可能となる。例えば、防災情報に含まれる避難ルートをユーザに伝える場合に、通行止めや迂回の指示をバーチャルエージェントのジェスチャーによりユーザに伝えることが可能となる。このため、ユーザはこのバーチャルエージェントのジェスチャーにより避難ルートの状況を一目で認識することができる。

（第４の実施形態）
この発明の第４の実施形態は、この発明に係わるバーチャルエージェント制御機能を監視システムに適用したものである。すなわち、監視センタ等に設けられた通信装置において、監視対象の状態をセンサにより監視して、その監視結果を上記バーチャルエージェントの動作により表現するための動作コマンド又はその識別情報を生成し、この生成された動作コマンド又はその識別情報を含む通知情報を上記携帯端末へ送信する。一方、携帯端末においては、上記通知装置から送信された監視結果の通知情報から動作コマンド又はその識別情報を抽出する。そして、この抽出された動作コマンド、又は識別ＩＤをもとに動作コマンド変換テーブルから読み出した動作コマンドに従い、バーチャルエージェントの画像データを生成して表示デバイスに表示する。

図１２は、この発明の第４の実施形態に係わるバーチャルエージェント制御装置の機能構成を示すブロック図である。なお、同図において前記図１及び図２と同一部分には同一符号を付して詳しい説明は省略する。
この実施形態に係わるバーチャルエージェント制御装置は、この発明を実現するための機能が、監視センタ等に設けられた通信装置３０と、ユーザが所持する携帯端末とに分散して設けられている。

すなわち、通信装置３０は例えばサーバ・コンピュータにより構成され、動作コマンド変換テーブル３１と、センサ・コマンド変換部３２と、通知情報生成部３３と、通知情報送信部３４を備えている。このうち、センサ・コマンド変換部３２、通知情報生成部３３及び通知情報送信部３４は、アプリケーション・プログラムをＣＰＵに実行させることにより実現される。

動作コマンド変換テーブル３１には、使用が想定されるバーチャルエージェントの各動作パターンに対応する複数の動作コマンドが、その識別ＩＤに対応付けて予め記憶されている。センサ・コマンド変換部３２は、センサ４０から出力されたセンサ情報をしきい値と比較することにより監視対象の状態を複数の検出状態に分類する機能と、この分類された複数の検出状態を動作コマンドに変換する機能とを備える。この変換機能は、複数の検出状態を表す情報と動作コマンドとを相互に対応付けて記憶した変換テーブルを設け、この変換テーブルから上記分類された検出状態に対応する動作コマンドを選択的に読み出すことにより実現される。

通知情報生成部３３は、上記センサ・コマンド変換部３２により変換された動作コマンドに対応する識別ＩＤを上記動作コマンド変換テーブル３１から読み出し、この読み出した識別ＩＤを含む通知情報を生成しメモリに保存する。通知情報送信部３４は、携帯端末から通知情報の取得要求が送られた場合に、当該要求により指定された通知情報を上記通知情報生成部３３内のメモリから読み出し、この読み出した通知情報を通信ネットワークＮＷを介して要求元の携帯端末へ送信する。

一方、携帯端末の制御ユニット６Ｄには、この発明に係わる制御機能として、動作コマンド抽出制御モジュール６６と、エージェント生成モジュール６２Ｄと、エージェント表示制御モジュール６３が設けられている。動作コマンド抽出制御モジュール６６は、受信された通知情報を信号処理ユニット３から取り込み、この取り込んだ通知情報中に動作コマンドの識別ＩＤが挿入されているか否かを判定して、挿入されている場合には当該識別ＩＤを抽出する。そして、抽出された識別ＩＤに対応する動作コマンドを記憶ユニット７の動作コマンド変換テーブルから読み出す。

エージェント生成モジュール６２Ｄは、バーチャルエージェントの基本画像データを記憶ユニット７から読み出し、上記動作コマンド抽出制御モジュール６６により記憶ユニット７から読み出された動作コマンドをもとに上記基本画像データを変化させることにより、当該動作コマンドを反映したバーチャルエージェントの変換画像データを生成する。

次に、以上のように構成された通信装置３０及び携帯端末におけるバーチャルエージェント制御動作を説明する。図１３はその制御手順及び制御内容を示すフローチャートである。
通信装置３０は、ステップＳ１３１においてセンサ・コマンド変換部３２を起動し、センサ４０から定期的にセンサ情報を取り込んで、この取り込んだセンサ情報をステップＳ１３２により動作コマンドに変換する。続いて、ステップＳ１３３により通知情報生成部３３を起動し、上記変換された動作コマンドに対応する識別ＩＤを動作コマンド変換テーブル３１から読み出して、この識別ＩＤを含む監視結果の通知情報をステップＳ１３４により生成する。なお、識別ＩＤに変換せずに動作コマンドをそのまま通知情報に挿入して送信するようにしてもよい。

一方、携帯端末の制御ユニット６Ｄは、ステップＳ１４１でユーザによる情報取得操作を監視している。この状態で、ユーザが入力デバイス８を操作して監視結果の通知情報を取得するための要求を入力したとする。そうすると制御ユニット６Ｄは、ステップＳ１４２において、上記取得要求と共に入力されたＵＲＬに従い通信装置３０に対しアクセスし、この通信装置３０へ信号処理ユニット３を介して無線ユニット２から情報取得要求を送信する。

これに対し通信装置３０は、ステップＳ１３５により携帯端末からの情報取得要求の到来を監視している。この状態で情報取得要求が到来すると、ステップＳ１３６により通知情報送信部３４を起動し、上記要求により指定された通知情報を上記通知情報生成部３３内のメモリから読み出し、この読み出した通知情報を通信ネットワークＮＷを介して要求元の携帯端末へ送信する。

一方、携帯端末は上記通信装置３０から送られた通知情報を無線ユニット２で受信し、信号処理ユニット３で復号する。制御ユニット６Ｄは、ステップＳ１４３により上記信号処理ユニット３から上記復号された通知情報を取り込む。続いて、ステップＳ１４４により動作コマンド抽出制御モジュール６６を起動し、上記取り込んだ通知情報中から識別ＩＤの抽出を試みる。そして、抽出できた場合には、ステップＳ１４５からステップＳ１４６に移行し、当該抽出された識別ＩＤに対応する動作コマンドを記憶ユニット７の動作コマンド変換テーブルから読み出す。
なお、上記通知情報中から識別ＩＤを抽出できなかった場合には、制御ユニット６Ｄはバーチャルエージェントの表示制御を行わずに、例えば通知情報のテキストデータや画像データの表示処理を実行する。

次に制御ユニット６Ｄは、ステップＳ１４７によりエージェント生成モジュール６２Ｄを起動し、バーチャルエージェントの基本画像データを記憶ユニット７のエージェント基本画像記憶部７１から読み出す。そして、上記読み出された動作コマンドをもとに上記エージェント基本画像データを変化させることにより、当該動作コマンドを反映したバーチャルエージェントの変換画像データを生成する。そして、ステップＳ１４８によりエージェント表示制御モジュール６３を起動し、上記生成されたバーチャルエージェントの変換画像データを表示デバイス９に表示させる。

以上述べたように第４の実施形態では、通信装置３０において、センサ４０により検出されたセンサ情報を動作コマンドに変換し、この動作コマンドの識別ＩＤを含む通知情報を生成して携帯端末へ送信する。携帯端末では、上記通信装置３０から送られた通知情報から識別ＩＤを抽出して、この識別ＩＤに対応する動作コマンドを動作コマンド変換テーブルから読み出し、この動作コマンドに従いバーチャルエージェントの変換画像データを生成して表示デバイス９に表示するようにしている。

したがって、センサ４０による検出情報の内容をバーチャルエージェントの動作パターンによりユーザに伝えることが可能となる。例えば、センサ４０により不法侵入の警報や自宅の部屋の様子、子供やペットの様子、部屋や風呂の温度等を検出し、この検出結果を表す動作コマンドの識別ＩＤを通知情報に含めることで、上記不法侵入の警報や自宅の部屋の様子等をバーチャルエージェントの動きにより携帯端末ユーザに伝えることが可能となる。

（その他の実施形態）
第４の実施形態では、監視結果の内容を動作コマンドにより表した通知情報を、携帯端末からの情報取得要求に応じて通信装置３０が携帯端末へ送るようにした。しかし、それに限るものではなく、通信装置３０においてセンサ４０のセンサ情報をもとに監視対象の状況が携帯端末に通知すべき状況になったか否かを判定し、通知すべき状況になった場合に当該状況を表す動作コマンドの識別ＩＤを含む通知情報を電子メール本文に挿入又は添付して携帯端末に送信するようにしてもよい。この電子メールを受信したときの携帯端末のバーチャルエージェントの制御動作は前記第２の実施形態と同じである。

また、前記各実施形態では、バーチャルエージェントとして３Ｄポリゴンからなる画像データを動作コマンドに従いアニメーション表示する場合を例にとって説明したが、画像データのアニメーション表示と連動して音声や音楽を出力させるようにしてもよい。これは、画像データの動作パターンを表す動作コマンドに、音声又は音楽を表すコマンドを対応付けておき、上記画像の動作コマンドに従い３Ｄポリゴン画像を生成して表示させると共に、上記音声用のコマンドに従い音声合成手段により音声又は音楽データを生成してスピーカ４から出力させることにより実現できる。なお、画像と音声との間の同期は、画像用の動作コマンド及び音声用のコマンドにタイムスタンプを付しておくことにより制御できる。

その他、携帯端末の種類とその構成、バーチャルエージェントの制御手順と制御内容、動作コマンドの構成、バーチャルエージェントのキャラクタの種類と動作パターン、動作コマンドの入力手段、バーチャルエージェントの表示形態等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わるバーチャルエージェント制御機能を備えた携帯端末の概略構成を示すブロック図である。 図１に示した携帯端末の制御ユニットの機能構成を示すブロック図である。 図１に示した携帯端末の記憶ユニットの構成を示すブロック図である。 図３に示した記憶ユニットに記憶される動作コマンド変換テーブルの一例を示す図である。 図２に示した制御ユニットによるバーチャルエージェント制御手順と制御内容を示すフローチャートである。 図５に示したバーチャルエージェント制御で使用される動作コマンドの一例を示す図である。 図５に示したバーチャルエージェント制御によるバーチャルエージェントの表示例を示す図である。 この発明の第２の実施形態に係わるバーチャルエージェント制御を実行する制御ブロックの機能構成を示すブロック図である。 図８に示した制御ユニットによるバーチャルエージェント制御手順と制御内容を示すフローチャートである。 この発明の第３の実施形態に係わるバーチャルエージェント制御を実施するためのシステム構成を示すブロック図である。 図１０に示したシステムのうち携帯端末が備える制御ユニットによるバーチャルエージェント制御手順と制御内容を示すフローチャートである。 この発明の第４の実施形態に係わるバーチャルエージェント制御を実施するためのシステム構成を示すブロック図である。 図１２に示したシステムのうち携帯端末が備える制御ユニットによるバーチャルエージェント制御手順と制御内容を示すフローチャートである。

符号の説明

１…アンテナ、２…無線ユニット、３…信号処理ユニット、４…スピーカ、５…マイクロホン、６Ａ，６Ｂ，６Ｃ，６Ｄ…制御ユニット、７…記憶ユニット、８…入力デバイス、９…表示デバイス、１０…電源ユニット、１１…バッテリ、２０…Ｗｅｂサーバ、２１…Ｗｅｂ情報記憶部、２２…動作コマンド生成処理部、２３…Ｗｅｂ情報送信部、３０…通信装置、３１…動作コマンド変換テーブル、３２…センサ・コマンド変換部、３３…通知情報生成部、３４…通知情報送信部、４０…センサ、６１…キー入力受付制御モジュール、６２Ａ，６２Ｂ，６２Ｃ，６２Ｄ…エージェント生成モジュール、６３…エージェント表示制御モジュール、６４…メール入力受付制御モジュール、６５，６６…動作コマンド抽出制御モジュール、７１…エージェント基本画像記憶部、７２…動作コマンド変換テーブル記憶部。

Claims (8)

1. バーチャルエージェントを用いて携帯端末に情報を表示するバーチャルエージェント制御装置において、
   バーチャルエージェントの基本データを記憶するメモリと、
   前記バーチャルエージェントの動作内容をテキスト形式で記述した動作コマンドの入力を受け付ける手段と、
   前記メモリに記憶されたバーチャルエージェントの基本データに、前記受け付けた動作コマンドに記述された動作内容を反映させたバーチャルエージェントの変換データを生成する手段と、
   前記生成されたバーチャルエージェントの変換データを前記携帯端末の表示器に表示させる手段と
   を具備することを特徴とするバーチャルエージェント制御装置。
2. 前記動作コマンドの入力を受け付ける手段は、
   使用が想定される複数の動作コマンドを、当該各動作コマンドを識別する識別情報に対応付けて記憶する動作コマンド記憶手段と、
   前記識別情報の入力を受け付け、この受け付けた識別情報に対応する動作コマンドを前記動作コマンド記憶手段から読み出す動作コマンド読出手段と
   を備えることを特徴とする請求項１記載のバーチャルエージェント制御装置。
3. 前記動作コマンド読出手段は、
   前記携帯端末のキー入力部により入力される操作情報を、当該操作情報に予め対応付けられた識別情報に変換する手段と、
   前記変換された識別情報に対応する動作コマンドを前記動作コマンド記憶手段から読み出す手段と
   を備えることを特徴とする請求項２記載のバーチャルエージェント制御装置。
4. 前記携帯端末が、電子メールを受信するメール受信手段を備える場合に、
   前記動作コマンドの入力を受け付ける手段は、前記メール受信手段により受信された電子メールから前記動作コマンド又はその識別情報を抽出することを特徴とする請求項１又は２記載のバーチャルエージェント制御装置。
5. 前記携帯端末が、通信ネットワークを介して通信装置から情報を受信するブラウザ手段を備える場合に、
   前記動作コマンドの入力を受け付ける手段は、前記ブラウザ手段により受信された情報から前記動作コマンド又はその識別情報を抽出することを特徴とする請求項１又は２記載のバーチャルエージェント制御装置。
6. 前記通信装置に、監視対象の状態をセンサにより監視して、その監視結果を前記バーチャルエージェントの動作により表現するための動作コマンド又はその識別情報を生成し、この生成された動作コマンド又はその識別情報を含む通知情報を前記携帯端末へ送信する手段を備え、
   前記動作コマンドの入力を受け付ける手段は、前記ブラウザ手段により前記通知装置から受信された通知情報から動作コマンド又はその識別情報を抽出することを特徴とする請求項５記載のバーチャルエージェント制御装置。
7. 前記動作コマンドは、バーチャルエージェントの動作種別、動作部位、画像フレーム数、動作部位の最終Ｘ軸角度、動作部位の最終Ｙ軸角度、動作部位の最終Ｚ軸角度を、それぞれテキスト形式で１行に並べて記述したものからなることを特徴とする請求項１乃至６のいずれかに記載のバーチャルエージェント制御装置。
8. バーチャルエージェントを用いて携帯端末に情報を表示する処理をコンピュータに実行させるバーチャルエージェント制御プログラムにおいて、
   前記バーチャルエージェントの動作内容をテキスト形式で記述した動作コマンドの入力を受け付ける処理と、
   メモリに予め記憶されたバーチャルエージェントの基本データに、前記受け付けた動作コマンドに記述された動作内容を反映させたバーチャルエージェントの変換データを生成する処理と、
   前記生成されたバーチャルエージェントの変換データを前記携帯端末の表示器に表示させる処理と
   を、前記コンピュータに実行させるバーチャルエージェント制御プログラム。

Images