JP2008001247A - エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法 - Google Patents

Abstract

【課題】エージェント機能を複数のユーザ間で切り替えて利用する際に、エージェント機能の特性を生かした切替えを行うことができるようにする。
【解決手段】第１及び第２のインタフェースを介して第１及び第２の者をそれぞれ対象とする入力の受入れ及び出力を行うエージェント装置において、装置で具現化されたキャラクタを、第１及び第２インタフェースをそれぞれ構成する第１及び第２の表示装置のうちいずれか適宜選択した方において表示させるキャラクタ表示手段と、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、第１対象者とする場合には第１表示装置において（ステップ７２）、又は第２対象者とする場合には第２表示装置において（ステップ７７）、キャラクタの表示がなされるようにキャラクタ表示手段を制御する制御手段とを設ける。
【選択図】図７

Description

本発明は、エージェント装置で具現化されたキャラクタを、第１及び第２の者をそれぞれ対象とする第１及び第２のヒューマンインタフェースのうちいずれか適宜選択した方において表示させるようにしたエージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法に関する。

近年、ナビゲーション装置において、ナビゲーション以外の機能を有するものが増えてきている。また、車内のエンターテインメント性を高めるために、複数の表示装置を有するものも存在する。すなわち、後部座席においてテレビやＤＶＤコンテンツを視聴するために、後部座席用の表示装置であるリアモニタが追加的に設置されたものである。このような装置として、たとえば、後席用ディスプレイの表示画面に表示される情報の内容及び該情報の表示タイミングを、前席用操作リモコンの操作により予約設定可能なモードを設けるようにしたものが提案されている（たとえば特許文献１参照）。

さらに、表示装置において擬人化されたキャラクタを表示しながら、音声認識や音声合成によってユーザとの音声による対話を行うエージェント機能を有する車載装置も存在する。図９はこのような従来のエージェント装置の構成を示すブロック図である。同図に示すように、このエージェント装置は、ユーザが発する音声を音声信号に変換する入力部９１、入力部９１からの音声信号に基づいて出力用の音声信号を生成する音声対話システム９０、並びに音声対話システム９０からの音声信号を音声に変換して出力する出力部９２を備える。

エージェント装置は、ユーザに成り代って、ユーザのために各種情報の検索や助言等を行い、種々の便宜を図る、いわば代理人若しくは秘書としての機能を行うものであり、かかるエージェントとしての機能を達成するために、音声対話システム９０を有している。入力部９１は、マイク、タッチパネル、リモコン等により構成される。出力部９２は、ディスプレイやスピーカ等により構成される。ディスプレイにはエージェントを象徴するキャラクタが表示される。

音声対話システム９０は、入力部９１からの音声信号に基づき、音声認識を行って文章データを抽出する音声認識エンジン９３、音声認識エンジン９３からの文章データに基づき、テキストデータを生成する対話処理エンジン９４、対話処理エンジン９４が使用する各種データを記憶する記憶部９５、対話処理エンジン９４からのテキストデータに基づき、音声信号を生成して出力部９２に供給する音声合成エンジン９６を備える。

記憶部９５はシナリオデータを記憶している。シナリオデータとは、対話処理エンジン９４における処理の内容や流れの一部を定義したものである。すなわち、シナリオデータは、プログラムと協働して、対話処理エンジン９４の動作内容を決定する。つまり、対話処理エンジン９４はシナリオデータに基づき、音声認識エンジン９３及び音声合成エンジン９６を制御し、対話システム９０を実現している。

特開２００２−２３４４０１号公報

しかしながら、複数の表示装置を有する車載装置において、エージェント機能を実施する際、複数の表示装置のうち、たとえば、前部座席で視聴可能な１つの表示装置のみでエージェント機能を実施する場合には、後部座席で視聴可能な他の表示装置を利用する後部座席に着座しているユーザは、エージェント機能を利用するメリットを得ることはできない。

また、複数の表示装置において同時にエージェント機能を利用できるようにする場合、前部座席及び後部座席の双方における音声認識を誤認又は混同する可能性もある。さらに各々の表示装置間において、エージェント機能を切り替えて利用できるようにすることも可能であるが、単にエージェント機能を切り替えるのみでは機械的であり、単一の表示装置をそれぞれ利用している場合に比べ、大きな差異はない。

本発明の目的は、このような従来技術の問題点に鑑み、複数のユーザをそれぞれ対象として標示を行う複数の表示装置を有するエージェント装置において、エージェント機能を各ユーザ間で切り替えて利用する際に、エージェント機能の特性を生かした切替えを行うことができるようにすることにある。

上記目的を達成するため、第１の発明は、第１のインタフェースを介して第１の者を対象とする入力の受入れ及び出力を行い、第２のインタフェースを介して第２の者を対象とする入力の受入れ及び出力を行うエージェント装置に関する。このエージェント装置は、エージェント装置で具現化されたキャラクタを、前記第１及び第２インタフェースをそれぞれ構成する第１及び第２の表示装置のうちいずれか適宜選択した方において表示させるキャラクタ表示手段と、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記第１対象者とする場合には前記第１表示装置において、又は前記第２対象者とする場合には前記第２表示装置において、前記キャラクタの表示がなされるように前記キャラクタ表示手段を制御する制御手段とを具備することを特徴とする。

ここで、エージェント装置としては、たとえば、カーナビゲーション装置に組み込んだものが該当する。第１の者及び第２の者としては、たとえば、車両の前席及び後席に座っているユーザが該当する。インタフェースとしては、たとえば、マイク、スピーカ、タッチパネル、表示装置等により構成されるものが該当する。表示されるキャラクタは第１及び第２表示装置において異なるものであってもよい。たとえば、対象者が車両における後席の子供である場合には犬のキャラクタを後席に設けられた第２表示装置に表示し、対象者が前席の父親である場合には、執事風のキャラクタを前席に設けられた第１表示装置に表示することができる。入力の受入れ及び出力の所定の一部としては、たとえば音声入力の受入れが該当する。入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象は、たとえば、通常は第１対象者であり、第１対象者又は第２対象者からの要請や、何らかのトリガの発生に応じて、第２対象者に切り替わったりする。

この構成において、入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象が第１対象者であるとき、エージェント装置を具現化したキャラクタは、第１表示装置上にのみ表示される。同様の対象が第２対象者である場合には、キャラクタは第２表示装置上にのみ表示される。つまり、対象者が切り替わるとともにキャラクタの表示もそれに対応して切り替わることになる。したがって、第１対象者及び第２対象者は、エージェントとしてのキャラクタが目前の第１表示装置又は第２表示装置に表示されているか否かによって、自然に、自身が入力受入れ等の対象又は主たる対象となっていることを認識することができる。これにより、第１対象者及び第２対象者は、自然な感じで交代しながら、エージェント装置を共有することができる。

第２の発明に係るエージェント装置は、第１発明において、前記制御手段は、前記第１又は第２対象者からの前記第１又は第２インタフェースを介した所定の指示があったことに応答し、その指示を行った第１又は第２対象者に係る前記第１又は第２表示装置において前記キャラクタの表示がなされるように前記キャラクタ表示手段を制御するとともに、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記指示を行った第１又は第２対象者に切り替えるものであることを特徴とする。

第３の発明に係るエージェント装置は、第１又は第２発明において、前記第１及び第２インタフェースは音声を電気信号に変換する第１及び第２の変換器をぞれぞれ用いて構成され、前記制御手段は、前記第１又は第２変換器を介した所定の音声入力があったことに応答し、その音声入力があった方の前記第１又は第２変換器に対応する前記第１又は第２表示装置において前記キャラクタの表示がなされるように前記キャラクタ表示手段を制御するとともに、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記音声入力を行った第１又は第２対象者に切り替えるものであることを特徴とする。

第４の発明に係るエージェント装置は、第１又は第２発明において、前記第１及び第２インタフェースは音声を電気信号に変換する第１及び第２の変換器をぞれぞれ用いて構成され、前記第１又は第２変換器は入力切替手段によっていずれかが適宜入力先として選択されるものであり、前記制御手段は、前記入力切替手段による第１変換器の選択及び前記第１表示装置におけるキャラクタの表示が時間的に一致して行われ、かつ前記入力切替手段による第２変換器の選択及び前記第２表示装置におけるキャラクタの表示が時間的に一致して行われるように前記入力切替手段又はキャラクタ表示手段を制御するものであることを特徴とする。

第５の発明に係るプログラムは、第１〜第４のいずれかの発明に係るエージェント装置における各手段としてコンピュータを機能させることを特徴とする。

第６の発明に係るエージェント装置におけるキャラクタ表示方法は、第１のインタフェースを介して第１の者を対象とする入力の受入れ及び出力を行い、第２のインタフェースを介して第２の者を対象とする入力の受入れ及び出力を行うエージェント装置におけるキャラクタ表示方法に関する。この方法は、エージェント装置で具現化されたキャラクタを、前記第１及び第２インタフェースをそれぞれ構成する第１及び第２の表示装置のうちいずれか適宜選択した方において表示させるキャラクタ表示工程と、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記第１対象者とする場合には前記第１表示装置において、又は前記第２対象者とする場合には前記第２表示装置において、前記キャラクタの表示がなされるように前記キャラクタ表示工程を制御する制御工程とを具備することを特徴とする。

本発明によれば、エージェント装置による入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、第１対象者とする場合には第１表示装置において、又は第２対象者とする場合には第２表示装置において、エージェントのキャラクタの表示がなされるようにしたため、第１及び第２対象者は、表示されているキャラクタに対して働きかけるような感じでエージェント装置にアクセスすることにより、エージェント装置を自然な感じで交互に共用することができる。

また、第１又は第２対象者からの所定の指示があったことに応答し、その指示を行った第１又は第２対象者に係る第１又は第２表示装置においてキャラクタの表示を行うとともに、入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、指示を行った第１又は第２対象者に切り替えるようにしたため、第１又は第２対象者は、所望のタイミングにおいて、キャラクタを自身の前の第１又は第２表示装置に表示させ、エージェント装置に対し、アクセスすることができる。

また、第１又は第２変換器を介した所定の音声入力があったことに応答し、その音声入力があった方の第１又は第２変換器に対応する第１又は第２表示装置においてキャラクタの表示がなされるようにキャラクタ表示手段を制御するとともに、入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記音声入力を行った第１又は第２対象者に切り替えるようにしたため、第１又は第２対象者は、所望のタイミングにおいて、たとえばキャラクタを呼ぶだけで、自身の前の第１又は第２表示装置上にキャラクタを呼び出し、エージェント装置に対し、アクセスすることができる。

また、入力切替手段による第１変換器の選択及び第１表示装置におけるキャラクタの表示が時間的に一致して行われ、かつ入力切替手段による第２変換器の選択及び第２表示装置におけるキャラクタの表示が時間的に一致して行われるようにようにしたため、第１又は第２対象者からの音声入力を第２又は第１対象者からのものであると誤認し又は混同するのを入力切替手段によって防止しながら、音声入力が可能な方の第１又は第２変換器が対象とする第１又は第２対象者と、キャラクタが表示される方の第１又は第２表示装置が対象とする第１又は第２対象者とを一致させることができる。したがって、第１又は第２対象者は、眼前にキャラクタが居れば、話しかけや依頼を行い、居なければしようがないので沈黙し、又はキャラクタを呼び出して話かけを行うことにより、自然な感じで、エージェント装置を交互に、共用することができる。

図１は本発明の一実施形態に係る車載用のエージェント装置の構成を示すブロック図である。このエージェント装置は、たとえばナビゲーション装置の一部として実施することができる。同図に示すように、このエージェント装置は、前部座席のユーザがエージェント装置への入力のために使用する前部座席入力装置１１、後部座席のユーザがエージェント装置への入力のために使用する後部座席入力装置１２、前部座席入力装置１１及び後部座席入力装置１２からの音声信号等に基づいて出力用の音声信号や画像データを生成する音声対話システム１０、音声対話システム１０からの音声信号や画像データに基づいて音声出力や画像出力をそれぞれ前部座席のユーザ及び後部座席のユーザに対して行う前部座席出力装置１３及び後部座席出力装置１４、並びに、音声対話システム１０への音声信号の入力先を前部座席入力装置１１及び後部座席入力装置１２間で切り替える音声入力切替えスイッチ１５を備える。

エージェント装置は、一般的には、ユーザに成り代って、ユーザのために各種情報の検索や助言等を行い、種々の便宜を図る、いわば代理人若しくは秘書としての機能を行うものであり、かかるエージェントとしての機能を達成するために、本実施形態では音声対話システム１０を有している。エージェント装置は、主として音声対話システム１０により構成されるが、さらに、入出力機能を行う部分を含めた、専用の機器、たとえばナビゲーションシステム全体を意味する場合もある。

前部座席入力装置１１はマイク等の音声入力装置１１ａ及びタッチパネル、リモコン等のコマンド入力装置１１ｂにより構成される。後部座席入力装置１２も同様の音声入力装置１２ａ及びコマンド入力装置１２ｂにより構成される。前部座席出力装置１３はスピーカ等の音声出力装置１３ａ及びモニタ等の表示出力装置１３ｂにより構成される。後部座席出力装置１４も同様の音声出力装置１４ａ及び表示出力装置１４ｂにより構成される。

音声対話システム１０は、前部座席入力装置１１及び後部座席入力装置１２からの音声信号に基づき、音声認識を行って文章データを抽出する音声認識エンジン１６、音声認識エンジン１６からの文章データや、コマンド入力装置１１ｂ及び１２ｂからのコマンドに基づき、出力用のテキストデータや画像データを生成する対話処理エンジン１７、対話処理エンジン１７が使用する各種データを記憶する記憶部１８、対話処理エンジン１７からのテキストデータに基づき、音声信号を生成して前部座席出力装置１３及び後部座席出力装置１４に供給する音声合成エンジン１９を備える。表示出力装置１３ｂ及び１４ｂは対話処理エンジン１７からの画像データに基づき、画像表示を行う。

音声入力切替えスイッチ１５は、音声入力装置１１ａ及び１２ａと、音声認識エンジン１６との間に接続される。音声入力切替えスイッチ１５は、音声入力装置１１ａ及び１２ａからの音声信号が同時に音声認識エンジン１６へ入力されることがないように、音声認識エンジン１６への入力先を、音声入力装置１１ａ及び１２ａ間で切り替える。

記憶部１８はシナリオデータ１８ａ及び共有データ１８ｂを記憶する。シナリオデータとは、対話処理エンジン１７における処理の内容や流れの一部を定義したものである。すなわち、シナリオデータ１８ａは、プログラムと協働して、対話処理エンジン１７の動作内容を決定する。つまり、対話処理エンジン１７はシナリオデータ１８ａに基づいて音声認識エンジン１６及び音声合成エンジン１９を制御し、対話システム１０を機能させる。

音声対話システム１０との対話は、前部座席の音声入力装置１１ａ又は後部座席の音声入力装置１２ａを介して行われる。したがって、音声対話システム１０への音声信号の入力先として、音声入力切替えスイッチ１５により音声入力装置１１ａが選択されているときには、専ら前部座席のユーザがエージェント機能を享受することができる。一方、音声入力装置１２ａ選択されているときには、専ら後部座席のユーザがエージェント機能を享受することができる。

対話処理エンジン１７は、音声信号の入力先として前部座席の音声入力装置１１ａを選択しているとき、前部座席の表示出力装置１３ｂにおいて、エージェントを具現化したキャラクタを表示する。一方、後部座席の音声入力装置１２ａを選択しているとき、後部座席の表示出力装置１４ｂにおいてエージェントのキャラクタを表示する。つまり、このキャラクタの前部座席及び後部座席間の移動により、前部座席及び後部座席のいずれにおいてエージェント機能を享受することができる状態にあるかが表現されることになる。

図２はユーザの指示に応じてキャラクタを前部座席から後部座席へ移動させる際の対話処理エンジン１７における処理を示すフローチャートである。処理の開始時には、音声入力切替えスイッチ１５は音声信号の入力先として、前部座席の音声入力装置１１ａを選択しており、キャラクタは前部座席の表示出力装置１３ｂにおいて表示されている。この状態において、対話処理エンジン１７は、キャラクタを前部座席から後部座席へ移動させる処理を開始するためのトリガとして、キャラクタを前部座席から後部座席へ移動させる旨のユーザからの指示をステップ２１において検出すると、ステップ２２へ進む。

なお、この指示は、前部座席のユーザは、前部座席の音声入力装置１１ａ又はコマンド入力装置１１ｂを介して行うことができる。また、後部座席のユーザは、後部座席のコマンド入力装置１２ｂを介して行うことができる。後部座席の音声入力装置１２ａは、この場合、音声認識エンジン１６へ接続されていないので、使用することはできない。

ステップ２２においては、ステップ２１において検出した指示が、前部座席入力装置１１を介して与えられたものであるか否かを判定する。前部座席入力装置１１を介した指示であると判定した場合にはステップ２４へ進む。前部座席入力装置１１を介した指示ではないと判定した場合、つまり後部座席入力装置１２を介した指示である場合には、ステップ２３へ進む。

ステップ２３においては、当該キャラクタの移動を許可する旨の指示が、前部座席のユーザから得られたか否かを判定する。すなわち、前部座席出力装置１３により当該キャラクタの移動の指示を許可するかどうかを問い合わせる出力を行い、これに対する応答として、前部座席入力装置１１を介し、当該指示を許可する旨の音声等による入力がなされたか否かを判定する。当該指示を許可する旨の入力がなされたと判定した場合にはステップ２４へ進み、なされなかったと判定した場合には図２の処理を終了する。

ステップ２４へ進むと、前部座席出力装置１３及び後部座席出力装置１４においてキャラクタの移動中である旨の画面を表示する。次に、ステップ２５において、音声入力切替えスイッチ１５を音声入力装置１１ａ側から音声入力装置１２ａ側に切り替えることにより、前部座席の音声入力装置１１ａによる音声入力を不能とし、後部座席の音声入力装置１２ａによる音声入力を可能とする。これにより、前部座席のユーザはエージェント機能を使用することができなくなり、代わりに、後部座席のユーザがエージェント機能を使用することができるようになる。

次に、ステップ２６において、前部座席の表示出力装置１３ｂに表示されているキャラクタを消去し、代わりに、後部座席の表示出力装置１４ｂにおいてキャラクタの表示を行う。これにより、キャラクタは前部座席から後部座席へ移動し、エージェント機能が後部座席で享受することができるようになった旨をユーザに伝達することができる。

なお、以上の処理は、前部座席側から後部座席側へエージェントのキャラクタを移動させる場合についての処理であるが、後部座席側から前部座席側への移動も、同様の処理手順で行うことができる。

図３は図２の処理に際し、前部座席の表示出力装置１３ｂ及び後部座席の表示出力装置１４ｂにおける表示が変遷する様子を示す。図中の３１は前部座席の表示出力装置１３ｂにおける表示画面であり、３２は後部座席の表示出力装置１４ｂにおける表示画面である。同図（ａ）は、図２の処理の開始前における表示画面３１及び３２の状態を示している。前部座席の表示画面３１上に、エージェントのキャラクタ３３が表示されている。これにより、前部座席のユーザは、前部座席において、音声入力によるエージェント機能を使用することができる状態にあることを認識することができる。

一方、後部座席の表示画面３２においては、エージェントのキャラクタは表示されていない。これにより、後部座席のユーザは、後部座席において、音声入力によるエージェント機能を使用することができない状態にあることを認識することができる。なお、キャラクタが前部座席又は後部座席のいずれにおいて表示されている場合でも、前部座席及び後部座席におけるコマンド入力装置１１ｂ及び１２ｂによるコマンド入力は可能である。

図３（ｂ）は、図２のステップ２４の処理によって、キャラクタが移動している状態にあることを現す表示３４が、表示画面３１及び３２において行われている様子を示している。この状態においては、前部座席の音声入力装置１１ａによる音声入力は不能となり、後部座席の音声入力装置１２ａによる音声入力は可能となっている（ステップ２５）。ただし、コマンド入力は、前部座席及び後部座席のいずれにおいても可能である。

図３（ｃ）は、図２のステップ２６の処理によって、キャラクタが前部座席の表示画面３１から後部座席の表示画面３２に移動した様子を示している。前部座席の表示画面３１に表示されていたエージェントのキャラクタは消去されている。これにより前部座席のユーザは、前部座席において、音声入力によるエージェント機能を使用することができなくなったことを認識することができる。一方、後部座席の表示画面３２においては、エージェントのキャラクタ３３が表示されている。これにより、後部座席のユーザは、後部座席において、音声入力によるエージェント機能を使用することがでる状態になったことを認識することができる。

図４はエージェントのキャラクタが表示されていないときの後部座席の表示出力装置１４ｂにおける表示画面３２の別の例を示す。図中の４１はエージェントのキャラクタを呼び出すための呼出しボタンであり、４２は現在、エージェントのキャラクタが前部座席の方に居ることを示すメッセージである。後部座席のユーザが呼出しボタン４１を押下すると、対話処理エンジン１７は、これを図２のステップ２１におけるトリガとして捉え、図２におけるステップ２２以降の処理を開始する。

本実施形態によれば、音声入力切替えスイッチ１５による音声信号の入力先の切替えに連動してエージェントのキャラクタを移動させるようにしたので、前部座席及び後部座席のユーザはエージェント機能が自身の座席において使用可能であるかどうかを、話し相手としてのエージェントのキャラクタが目の前に居るかどうかによって、自然な感じで認識することができる。すなわち、前部座席及び後部座席のユーザは、音声入力が可能かどうかは特に意識する必要はなく、エージェントのキャラクタが目の前に居ればキャラクタに向かって話をし、居なければしようがないので沈黙し、どうしても話したくなったらエージェントを呼び出すといったように、自然なかたちで、エージェント機能を共有し、享受することができる。

また、前部座席及び後部座席において専用の音声入力装置１１ａ及び１２ａを設け、切り替えて使用するようにしたため、広い範囲の音声を１つの音声入力装置でカバーする必要がなくなり、音声認識における誤認識を減少させることができる。

また、エージェントのキャラクタが前部座席及び後部座席間で移動する際には、その旨の図形３４を表示するようにしたため、突然にエージェントが現れてびっくりしたり、驚いたり、恐怖を感じたりするのを防止することができる。

また、前部座席及び後部座席それぞれに専用のエージェント装置を設けるのではなく、前部座席及び後部座席において１つのエージェント装置を共有するようにしたため、構成の簡便化を図るとともに、前部座席及び後部座席間で、情報を共有することができる。

たとえば、エージェントのキャラクタの表示を、前部座席の表示出力装置１３ｂから後部座席の表示出力装置１４ｂ上に移動させる場合、移動前において、表示出力装置１３ｂによりＤＶＤコンテンツの再生が行われていたとすれば、その旨を共有データ１８ｂとして記憶部１８に記憶しておく。そして、キャラクタの移動後、「前の席ではＤＶＤを見てたけど、こっちでも見る？」との音声を、共有データ１８ｂに基づき、後部座席の音声出力装置１４ａから出力させることができる。あるいは、移動前において、前部座席の音声入力装置１１ａを介して得られたユーザの発話の内容「〜〜〜」を、共有データ１８ｂとして記憶しておき、キャラクタの移動後、「×××さんが〜〜〜って言ってたよ。」との音声を、後部座席の音声出力装置１４ａから出力させることができる。

図５は本発明の別の実施形態に係る車載用エージェント装置の構成を示すブロック図である。このエージェント装置は、たとえばナビゲーション装置の一部として実施することができる。同図に示すように、このエージェント装置は、前部座席のユーザがエージェント装置への入力のために使用する前部座席入力部５１ａ、後部座席のユーザがエージェント装置への入力のために使用する後部座席入力部５１ｂ、前部座席入力部５１ａ及び後部座席入力部５１ｂからの音声信号等に基づいて出力用の音声信号や画像データを生成する音声対話システム５０、並びに、音声対話システム５０からの音声信号や画像データに基づいて音声出力や画像出力を行う前部座席出力部５２ａ及び後部座席出力部５２ｂを備える。

前部座席入力部５１ａ及び後部座席入力部５１ｂは、それぞれ車両の前部座席及び後部座席専用に設けられており、マイク、タッチパネル、リモコン等により構成される。前部座席出力部５２ａ及び後部座席出力部５２ｂは、ディスプレイやスピーカ等により構成される。ディスプレイにはエージェントを象徴するキャラクタが表示される。前部座席入力部５１ａ及び後部座席入力部５１ｂ並びに前部座席出力部５２ａ及び後部座席出力部５２ｂは、通常、前部座席に設けられた入出力端子を介して音声対話システム５０に接続される。

音声対話システム５０は、前部座席入力部５１ａ及び後部座席入力部５１ｂからの音声信号に基づき、音声認識を行って文章データを抽出する音声認識エンジン５３、音声認識エンジン５３からの文章データに基づき、テキストデータを生成する対話処理エンジン５４、対話処理エンジン５４が使用する各種データを記憶する記憶部５６、対話処理エンジン５４からのテキストデータに基づき、音声信号を生成して前部座席出力部５２ａ及び後部座席出力部５２ｂに供給する音声合成エンジン５５を備える。

エージェント装置は、本実施形態においては、エージェント機能として、子守機能を有している。子守機能とは、後部座席に設けられたチャイルドシート等に着座等している子供に対し、後部座席入力部５１ｂ及び後部座席出力部５２ｂを介し、子守としての役割を果たす機能を意味する。エージェント装置は、また、子守機能の一部を構成する睡眠判別機能を有する。この機能は、後部座席の子供が睡眠状態に至ったかどうかを判別する機能である。

記憶部５６はシナリオデータ５６ａ及び子守用データ５６ｂを記憶する。シナリオデータとは、対話処理エンジン５４における処理の内容や流れの一部を定義したものである。すなわち、シナリオデータ５６ａは、プログラムと協働して、対話処理エンジン５４の動作内容を決定する。つまり、対話処理エンジン５４はシナリオデータ５６ａに基づいて音声認識エンジン５３及び音声合成エンジン５５を制御し、音声対話システム５０を実現する。子守用データ５６ｂは、子守機能を実現するために必要なデータである。子守用データ５６ｂには、子守に使用する本のテキストデータや、本の各場面に対応した画像のデータ等が含まれる。

図６は後部座席出力部５２ｂにおける出力の一例を示す。同図においては、子守機能の一例として、本を読み聞かせて子守を行う場合の例が示されている。同図（ａ）では、エージェント装置が、ある物語の本の一場面を後部座席出力部５２ｂの表示画面６１上に表示するとともに、この場面に対応する「桃を割るとそこから・・・」との音声６２を出力することにより、子守機能を果たしている様子が示されている。

図中の６３は、場面を次に進めるための選択肢の図形である。後席の子供が選択肢図形６３のタッチやその選択肢の音声入力により、エージェント装置に対し、次の場面へ移るように指示を与えることができるようになっている。選択肢図形６３が押下されると、エージェント装置は、次の場面の画像を表示画面６１上に表示し、対応する次の音声を出力する。選択肢図形６３の選択によらず、所定時間が経過したことに基づいて、次の場面へ進むようにしてもよい。

同図（ｂ）では、エージェント装置が、物語の別の一場面を後部座席出力部５２ｂの表示画面６１上に表示するとともに、この場面に対応する「お婆さんは出かけました・・・」との音声６４を出力することにより、子守機能を果たしている様子が示されている。図中の６５及び６６は、場面を次に進めるための選択肢の図形である。選択肢図形６５上にはそれをタッチすると川に関連した場面に移行することを暗示する「川」が表示されており、選択肢図形６６上にはそれを押下すると海に関連した場面に移行することを暗示させる「海」が表示されている。

後席の子供が選択肢図形６５又は６６をタッチすることにより、又は「川」若しくは「海」と発声することにより、エージェント装置に対し、川又は海に関連した場面へ移行するように指示を与えることができるようになっている。選択肢図形６５が選択されると、エージェント装置は次の場面として、川に関連した場面の画像を表示画面６１上に表示し、対応する音声を出力する。一方、選択肢図形６６が選択された場合には、エージェント装置は次の場面として、海に関連した場面の画像を表示画面６１上に表示し、対応する音声を出力する。これによれば、選択肢図形６５又は６６のいずれを選択するかに応じて、次の場面が異なったものになるので、ゲーム的要素が加わることになる。このようにして、エージェント装置は、子守機能を果たすことができる。

表１は子守機能において、後部座席の子供が睡眠状態に至るまでの各段階における反応時間の値及び対応する子供の状態の一例を示す。「反応時間」の欄に記載された各値は、所定の音声を出力してから、これに対する子供からの応答が入力されるまでの時間である。「子供の状態」の欄における各記述は、「反応時間」の欄の各値に対応する子供の状態を表している。

この表に従い、エージェント装置は、反応時間が３秒未満の場合には子供は普通の覚醒状態にあると判別し、３秒以上１０秒未満ではやや眠い状態、１０秒以上３０秒未満ではかなり眠たい状態、そして６０秒経過しても応答が得られない場合には眠った状態にあると判別することができる。この反応時間は、たとえば定期的に、「・・ちゃん、聴いていますか？」と問いかけ、それに対する応答、たとえば「うん！」に至るまでの時間を計測することによって取得することができる。表１に記載の反応時間は、一例であって、当然これらに限定されるものではなく、個々の子供や年齢に対しても異なるため、ユーザによる設定変更や、エージェントによる学習による設定変更が可能であってもよい。

なお、表２のように、反応時間の変化、すなわち前回の反応時間と今回の反応時間との差を測定し、子供の状態を把握するようにしてもよい。

この場合、表２に基づき、エージェント装置は、前回と今回の反応時間に差がない場合には普通の覚醒状態にあり、前回に比べ今回の反応時間が所定の小量だけ増加した場合にはやや眠い状態にあり、また、反応時間が所定量増加した場合にはかなり眠い状態にあると判定することができる。そして、反応時間が所定値以上となった時点で、睡眠状態に至ったと判定することができる。

睡眠判別機能を実施している間、エージェント装置は、反応時間が長くなり、一定の値を超えた場合、眠くなってきた、又は飽きてきたと判定し、出力音声のボリュームを下げたり、ディスプレイの照度を低下させたりして、睡眠欲を高める動作を行う。このようなボリュームや照度の低下は、反応時間に応じて段階的に行うことができる。

図７は音声対話システム５０による子守処理の流れを示すフローチャートである。ステップ７１において子守処理の開始の指示があったことを検出すると、音声対話システム５０はまず、ステップ７２及び７３において、後部座席出力部５２ｂ及び後部座席入力部５１ｂの電源をオン状態に移行させ、前部座席出力部５２ａにおけるエージェントのキャラクタの表示を消去し、かつ後部座席出力部５２ｂにおいてそのキャラクタの表示を行う。これにより、キャラクタが前部座席から後部座席に移動し、子守機能が開始されることになる。

次に、ステップ７４において、上述図６の子守機能を実施する。この間、上述の睡眠判別機能により、定期的に、反応時間の計測、及び表１に基づく子供の状態の判定を行い、ステップ７５において、後部座席の子供が睡眠状態に至ったか否かの判定を行う。睡眠状態に至ったと判定した場合には、ステップ７６へ進み、後部座席出力部５２ｂ及び後部座席入力部５１ｂの電源をオフ状態に移行させる。

次に、ステップ７７において、後部座席出力部５２ｂにおいて表示されているエージェントのキャラクタを消去し、かつ前部座席出力部５２ａにおいてこのキャラクタの表示を行う。これにより、キャラクタが後部座席から前部座席に移動することになる。

次に、ステップ７８において、子供が眠ったので、子守機能を終了する旨の出力を、全部座席出力部５２ａにおいて行う。これにより、子守処理を終了する。

図８は図７の子守処理に従って子守機能を享受する様子を模式的に示す。子守処理の開始前においては、前部座席出力部５２ａにおいて、同図（ａ）に示すように、執事風の男性エージェントのキャラクタ８１が表示されている。このとき、運転中の父親８２が、後部座席における子供８３の泣き声がうるさいので、キャラクタ８１に頼むようにして、「後ろをどうにかしてくれ！」と発話する。すると対話処理エンジン５４は、該発話に基づいて音声認識エンジン５３から得られる文章データ及びシナリオデータ５６ａに基づき、子守機能の依頼であると判定し（図７のステップ７１）、「かしこまりました。」との音声を出力して、図７の子守処理を開始する。

すなわち、同図（ｂ）に示すように、前部座席出力部５２ａにおけるキャラクタ８１の表示を消去し、後部座席入力部５１ｂ及び後部座席出力部５２ｂの電源をオン状態とし、犬のエージェントのキャラクタ８４を、後部座席出力部５２ｂにおいて表示する（ステップ７２、７３）。そして、対話処理エンジン５４は子守用データ５６ｂに基づき、キャラクタ８４が子供８３に語りかけるかのようにして、「昔むかし、あるところに・・・」と所定の本を読み聞かせる音声出力を開始する（ステップ７４）。また、これに伴い、本の内容の各場面に対応する画像の表示を開始する。

この子守機能による音声出力や画像表示が進行するにつれて、それに興味をもった子供８３は泣き止み、父親８２は、やっと静かになったことを感じることができる。この間、対話処理エンジン５４は、上述の睡眠判別機能による反応時間の計測を定期的に実施し、子供８３の状態をモニタするとともに、その状態に応じて、音声出力の音量やディスプレイの輝度を調整し、子供に対し睡眠を促す。

子供８３が睡眠状態に至ると、対話処理エンジン５４はその旨を検出し（ステップ７５）、後部座席入力部５１ｂ及び後部座席出力部５２ｂの電源をオフ状態とし（ステップ７６）、同図（ｃ）に示すように、前部座席出力部５２ａにおける執事風キャラクタ８１の表示を再開する（ステップ７７）。そして、「お休みになられました。」との音声を出力し、子供８３が睡眠状態に至った旨を父親８２に通知する（ステップ７８）。これにより子守機能を終了する。

本実施形態によれば、子守機能の開始及び終了に連動してエージェントのキャラクタの表示を、前部座席出力部５２ａ及び後部座席出力部５２ｂ間で移動させるようにしたため（ステップ７２、７７）、子守機能の実行に際しては後部座席の子供に対してエージェントのキャラクタが読み聞かせを行い、子供が眠って子守機能を終了するときには、前部座席において父親７２に対し、エージェントのキャラクタがその旨を報告するような印象を与えることができる。つまり、入力の受入れ及び出力の対象を、父親８２とする場合には前部座席出力部５２ａにおいて、又は子供８３とする場合には後部座席出力部５２ｂにおいて、キャラクタの表示がなされるようにしたため、前部座席及び後部座席において、自然なかたちでエージェント機能を共有しながら、享受することができる。なお、図６の子守機能の様子は、前部座席出力部５２ａによってモニタできるようにしてもよい。また、子守機能（ステップ７４）の実施中においても、前部座席入力部５１ａからの音声入力を可能にしておいてもよい。

なお、本発明は上述実施形態に限定されることなく、適宜変形して実施することができる。たとえば上述図２の例では、キャラクタの移動処理を開始するためのトリガとして、ユーザからの指示を用いているが、この代わりに、入力のない状態が所定期間継続したことをトリガとして用いるようにしてもよい。たとえば、前部座席の表示出力装置１３ｂにおいてエージェントのキャラクタが表示されている場合、一定時間入力が無いときには、前部座席出力装置１３により後部座席側へ移動してもよいかどうかを問い合わせる。そして移動してもよい旨の指示が得られた場合には、キャラクタの表示を、前部座席の表示出力装置１３ｂから後部座席の表示出力装置１４ｂ上へ移動させる。

さらに、別のトリガとして、ユーザ及びエージェント間の友好度を用いるようにしてもよい。友好度は、たとえば、エージェント装置からの質問に対し、肯定的回答が得られる頻度に基づいて測定することができる。たとえば、前部座席の表示出力装置１３ｂにおいてエージェントのキャラクタが表示されている場合、所定の質問すべてについて否定的回答「いいえ」が得られたとき、キャラクタの表情を困った顔つきの表情に変化させ、キャラクタの表示を、後部座席の表示出力装置１４ｂ上に移動させることができる。

また、上述の図３の例では、エージェントのキャラクタが移動中であることを示すために表示３４を用いているが、この代わりに、移動することを示す音声の出力やキャラクタの動作の表示を用いるようにしてもよい。たとえば、後部座席のユーザが図４の呼び出しボタン４１を押下したことに応じ、後部座席の音声出力装置１４ａから「今からいくね！」との音声を出力させると同時に、全部座席の表示出力装置１３ｂにおいて、ジャンプの飛び上がる動作とともにエージェントのキャラクタを消去する。そしてこの直後、後部座席の音声出力装置１４ａから「遊びにきたよ！」との音声を出力させると同時に、後部座席の表示出力装置１４ｂにおいて、エージェントのキャラクタを、ジャンプの着地動作とともに出現させることができる。すなわち、前部座席の表示出力装置１３ｂから後部座席の表示出力装置１４ｂへ、あたかもキャラクタが飛び移ったかのように見せるようにすることができる。

また、上述においては言及しなかったが、エージェント装置がナビゲーション装置の一部として実施されている場合、ナビゲーション機能に基づき、前部座席のコマンド入力装置１１ｂによりルート設定が行われた後、ルート上の観光ポイントを通過する時やそのポイントへの到着前に、エージェントのキャラクタの表示を後部座席の表示出力装置１４ｂに移動させ、「この場所の歴史はね、・・・」等の解説の音声を後部座席の音声出力装置から出力するようにしてもよい。

また、エージェント装置が、クイズを出題し、回答を受け入れ、正解か否かを通知するクイズ機能を有する場合には、たとえば、前部座席出力装置１３及び前部座席入力装置１１と、後部座席出力装置１４及び後部座席入力装置とを交互に用い、出題、回答の受入れ及び正否の通知を前部座席及び後部座席において交互に行い、これに連動させて、キャラクタを前部座席及び後部座席間で移動させ、交互に表示させるようにしてもよい。つまりキャラクタは、前席及び後席のユーザにクイズを出すために、前席及び後席の間を行ったり来たりするわけである。

本発明の一実施形態に係る車載用のエージェント装置の構成を示すブロック図である。 図１の装置の対話処理エンジンにおける処理を示すフローチャートである。 図２の処理に際し、前部座席及び後部座席の表示出力装置における表示が変遷する様子を示す図である。 エージェントのキャラクタが表示されていないときの後部座席の表示出力装置における表示画面の別の例を示す図である。 本発明の別の実施形態に係る車載用エージェント装置の構成を示すブロック図である。 図５の装置の後部座席出力部における出力の一例を示す図である。 図５の装置の音声対話システムによる子守処理の流れを示すフローチャートである。 図７の子守処理に従って子守機能を享受する様子を模式的に示す図である。 従来のエージェント装置の構成を示すブロック図である。

符号の説明

１０：音声対話システム、１１：前部座席入力装置、１１ａ：音声入力装置、１１ｂ：コマンド入力装置、１２：後部座席入力装置、１２ａ：音声入力装置、１２ｂ：コマンド入力装置、１３：前部座席出力装置、１３ａ：音声出力装置、１３ｂ：表示出力装置、１４：後部座席出力装置、１４ａ：音声出力装置、１４ｂ：表示出力装置、１５：音声入力切替えスイッチ、１６：音声認識エンジン、１７：対話処理エンジン、１８：記憶部、１８ａ：シナリオデータ、１８ｂ：共有データ、１９：音声合成エンジン、３１，３２：表示画面、３３：キャラクタ、３４：表示、４１：呼出しボタン、４２：メッセージ、５１ａ：前部座席入力部、５１ｂ：後部座席入力部、５２ａ：前部座席出力部、５２ｂ：後部座席出力部、５３：音声認識エンジン、５４：対話処理エンジン、５５：音声合成エンジン、５６：記憶部、５６ａ：シナリオデータ、５６ｂ：子守用データ、６１：表示画面、６２，６４：音声、６３，６５，６６：選択肢図形、８１，８４：キャラクタ、８２：父親、８３：子供、９０：音声対話システム、９１：入力部、９２：出力部、９３：音声認識エンジン、９４：対話処理エンジン、９５：記憶部、９６：音声合成エンジン。

Claims (6)

1. 第１のインタフェースを介して第１の者を対象とする入力の受入れ及び出力を行い、第２のインタフェースを介して第２の者を対象とする入力の受入れ及び出力を行うエージェント装置であって、
   エージェント装置で具現化されたキャラクタを、前記第１及び第２インタフェースをそれぞれ構成する第１及び第２の表示装置のうちいずれか適宜選択した方において表示させるキャラクタ表示手段と、
   前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記第１対象者とする場合には前記第１表示装置において、又は前記第２対象者とする場合には前記第２表示装置において、前記キャラクタの表示がなされるように前記キャラクタ表示手段を制御する制御手段とを具備することを特徴とするエージェント装置。
2. 前記制御手段は、前記第１又は第２対象者からの前記第１又は第２インタフェースを介した所定の指示があったことに応答し、その指示を行った第１又は第２対象者に係る前記第１又は第２表示装置において前記キャラクタの表示がなされるように前記キャラクタ表示手段を制御するとともに、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記指示を行った第１又は第２対象者に切り替えるものであることを特徴とする請求項１に記載のエージェント装置。
3. 前記第１及び第２インタフェースは音声を電気信号に変換する第１及び第２の変換器をぞれぞれ用いて構成され、
   前記制御手段は、前記第１又は第２変換器を介した所定の音声入力があったことに応答し、その音声入力があった方の前記第１又は第２変換器に対応する前記第１又は第２表示装置において前記キャラクタの表示がなされるように前記キャラクタ表示手段を制御するとともに、前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記音声入力を行った前記第１又は第２対象者に切り替えるものであることを特徴とする請求項１又は２に記載のエージェント装置。
4. 前記第１及び第２インタフェースは音声を電気信号に変換する第１及び第２の変換器をぞれぞれ用いて構成され、
   前記第１又は第２変換器は入力切替手段によっていずれかが適宜入力先として選択されるものであり、
   前記制御手段は、前記入力切替手段による第１変換器の選択及び前記第１表示装置におけるキャラクタの表示が時間的に一致して行われ、かつ前記入力切替手段による第２変換器の選択及び前記第２表示装置におけるキャラクタの表示が時間的に一致して行われるように、前記入力切替手段又はキャラクタ表示手段を制御するものであることを特徴とする請求項１又は２に記載のエージェント装置。
5. 請求項１〜４のいずれかのエージェント装置における各手段としてコンピュータを機能させることを特徴とするプログラム。
6. 第１のインタフェースを介して第１の者を対象とする入力の受入れ及び出力を行い、第２のインタフェースを介して第２の者を対象とする入力の受入れ及び出力を行うエージェント装置におけるキャラクタ表示方法であって、
   エージェント装置で具現化されたキャラクタを、前記第１及び第２インタフェースをそれぞれ構成する第１及び第２の表示装置のうちいずれか適宜選択した方において表示させるキャラクタ表示工程と、
   前記入力の受入れ及び出力の全部又は所定の一部の対象又は主たる対象を、前記第１対象者とする場合には前記第１表示装置において、又は前記第２対象者とする場合には前記第２表示装置において、前記キャラクタの表示がなされるように前記キャラクタ表示工程を制御する制御工程とを具備することを特徴とするエージェント装置におけるキャラクタ表示方法。
   

Images