JP4032492B2 - エージェント装置 - Google Patents
エージェント装置 Download PDFInfo
- Publication number
- JP4032492B2 JP4032492B2 JP09538698A JP9538698A JP4032492B2 JP 4032492 B2 JP4032492 B2 JP 4032492B2 JP 09538698 A JP09538698 A JP 09538698A JP 9538698 A JP9538698 A JP 9538698A JP 4032492 B2 JP4032492 B2 JP 4032492B2
- Authority
- JP
- Japan
- Prior art keywords
- agent
- background
- data
- voice
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、エージェント装置に係り、例えば、擬人化されたエージェントを相手に車両内での会話等が可能なコミュニケーション機能を備えたエージェント装置に関する。
【0002】
【従来の技術】
従来車両内において、運転者による走行環境を向上させるようにしたものとして、ラジオやカセットテーププレーヤが搭載されている。
また、車両に搭載したアマチュア無線機や携帯電話等の無線通信機器を使用して、車両外の知人等との会話を楽しむことで、走行環境を向上させるようにした車両もある。
【0003】
【発明が解決しようとする課題】
上述のような従来の車両におけるラジオ等では運転者に対して一方向の情報提示にすぎず、双方向の会話等をすることができなかった。
一方、携帯電話等による場合には会話をすることができるが、コール待ち、ダイヤル等によって通話相手を捜さなければならなかった。たとえ、通話相手が見つかったとしても、車両の状況といった運転者の一方的な都合にあわせた、適切な会話をしてくれるわけではなかった。
このように、従来の車両には、車両の過去の状態などの履歴・運転者の状態に応じて、擬人化されたエージェントが存在しないため、車両が愛着のわかないただの乗り物としての道具でしか役割を持たない場合もあった。
【0004】
なお、運転者に対する情報の伝達を、人間の表情や動作などにより行うようにした技術が特開平9−102098号公報において提示されている。
しかし、この公報に記載された技術は、過去の運転者の応答等の履歴や性別、年齢等のユーザ情報などに基づいて表示が変わるわけではなく、同一の状況が生じた場合には常に同一の表示がされるものである。すなわち、限られたセンサ出力に対して常に同一の表示を行うものであり、視認性が向上された従来の計器類の範疇に入るべきものである。また、車両においては、運転者が認知すべき情報は車内車外を含め多種多様に存在し、かつ安全性等からこれらの情報は一見して確実に把握する必要がある。しかし、人間の表情や動作により良好な視認性で種々の情報を伝達するには、情報量に限界がある。
【0005】
本発明は、擬人化されたエージェントによる行為とエージェントの背景とにより種々の情報を伝達し、且つ運転者とのコミュニケーションをはかることが可能なエージェント装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
請求項1に記載した発明では、擬人化されたエージェント及び該エージェントの背景を表示する画像表示装置と、前記画像表示装置に表示されるエージェントの行為を決定する行為決定手段と、前記画像表示装置に表示される前記背景を決定する背景決定手段と、前記行為決定手段で決定された行為を行うエージェントと前記背景決定手段により決定された背景とを前記画像表示装置に表示させる画像表示手段と、前記画像表示装置に表示されたエージェントの行為に対する、ユーザの音声による応答を音声認識する音声認識手段と、前記音声認識手段による、肯定を表す複数の単語からなる肯定単語グループと、否定を表す複数の単語からなる否定単語グループの各単語に対する音声認識率を算出する認識率算出手段と、を備え、前記背景決定手段は、ユーザからの音声による応答として、肯定を表す単語又は否定を表す単語の音声入力を待機する場合、音声認識可能な前記肯定単語グループの単語と前記否定単語グループの単語のうち、ユーザに音声入力を推奨する単語として、前記肯定単語グループの中で最も認識率が高い単語を表示したプラカードと、前記否定単語グループの中で最も認識率が高い単語を表示したプラカードを背景として決定する、ことを特徴とするエージェント装置を提供する。
請求項2記載の発明では、音声出力装置を備え、前記音声認識手段による音声認識が、前記音声出力装置によるエージェントの音声出力中や音声認識結果の判定中のために音声認識できない状態か否かを判断する音声認識状態判断手段と、をさらに備え、前記画像表示装置は、擬人化されたエージェント及び、該エージェントの表示画面の縁部に表示される枠を含めた背景を表示し、前記背景決定手段は、前記音声認識できない状態と判断された場合と、音声認識出来る状態と判断された場合とで、前記背景の枠の色を異なる色に決定する、ことを特徴とする請求項1に記載のエージェント装置を提供する。
【0010】
【発明の実施の形態】
以下、本発明のエージェント装置における好適な実施の形態について、図1から図11を参照して詳細に説明する。
(1)実施形態の概要
本実施形態のエージェント装置では、擬人化されたエージェントとその背景とを画像(平面的画像、ホログラフィ等の立体的画像等)により車両内の表示装置に表示させる。車両自体、運転者、同乗者、対向車等を含む車両の状況(運転者の応答や反応等も含む)の判断を行い、各時点での車両状況に基づいて、運転者や車両に対して様々なバリエーションをもった対応(行為=行動と音声)をする。更に、背景も、エージェントの行為と同様に、車両状況に基づいて決定され表示される。これにより運転者は、自分固有のエージェントと車両内でつき合う(コミュニケーションする)ことが可能になり、車両内での環境を快適にすることができる。また、エージェントと背景との両方により、多くの情報を、はっきりと区別して取得でき、車両内での環境をより快適にすることができる。
ここで、本実施形態において擬人化されたエージェントとは、特定の人間、生物、漫画のキャラクター等との同一性があり、その同一性のある生物が、同一性・連続性を保つようなある傾向の出力(動作、音声により応答)を行うものである。また、同一性・連続性は特有の個性を持つ人格として表現され、電子機器内の一種の疑似生命体としてもとらえることができる。車両内に出現させる本実施形態のエージェントは、人間と同様に判断する疑似人格化(仮想人格化)された主体である。
また、本実施形態中においては、エージェントは、車両自体や運転者を含む車両の状況を判断して経路案内や機器の作動等種々の動作を運転者に代わり行ったりそのアシストを行いつつ、更に、車両の状況や運転者の応答等を学習し、この学習結果を含めた判断により各種行為を行うものとなっている。従って、同一の車両状況であっても、過去の学習内容に応じてコミュニケーションの内容は異なる。ときには、車両の相応には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をするおともある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
また更に、本実施形態中においては、背景についても車両の状況や運転者の応答等の学習結果を含めた判断により表示が決定され、運転者に合わせた背景を表示することにより、より一層効果的なコミュニケーションや良好な走行環境を提供できるようになっている。
【0011】
(2)実施形態の詳細
図1は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、コミュニケーション機能全体を制御する全体処理部1を備えている。この全体処理部1は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部10、エージェント処理部11、ナビゲーション処理部10とエージェント処理部11に対するI/F部12、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部13、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部14、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部15を有している。
エージェント処理部11は、車両の状況から、車両内に出現させるエージェントの行為と背景とを決定し、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を運転者に応じて行うようになっている。
【0012】
ナビゲーション処理部10とエージェント処理部11は、データ処理及び各部の動作の制御を行うCPU(中央処理装置)と、このCPUにデータバスや制御バス等のバスラインで接続されたROM、RAM、タイマ等を備えている。両処理部10、11はネットワーク接続されており、互いの処理データを取得することができるようになっている。
ROMはCPUで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、RAMはCPUがワーキングメモリとして使用するランダムアクセスメモリである。
【0013】
本実施形態のナビゲーション処理部10とエージェント処理部11は、CPUがROMに格納された各種プログラムを読み込んで各種処理を実行するようになっている。なお、CPUは、記録媒体駆動装置23にセットされた外部の記録媒体からコンピュータプログラムを読み込んで、エージェント記憶装置29やナビゲーションデータ記憶装置、図示しないハードディスク等のその他の記憶装置に格納(インストール)し、この記憶装置から必要なプログラム等をRAMに読み込んで(ロードして)実行するようにしてもよい。また、必要なプログラム等を記録媒体駆動装置23からRAMに直接読み込んで実行するようにしてもよい。
【0014】
ナビゲーション処理部10には、現在位置検出装置21とナビゲーションデータ記憶装置30が接続され、エージェント処理部11にはエージェントデータ記憶装置29が接続され、I/F部12には入力装置22と記憶媒体駆動装置23と通信制御装置24が接続され、画像処理部13には表示装置27と撮像装置28が接続され、音声制御部14には音声処理装置25とマイク26が接続され、状況情報処理部15には状況センサ部40が接続されている。
【0015】
現在位置検出装置21は、車両の絶対位置(緯度、経度による)を検出するためのものであり、人工衛星を利用して車両の位置を測定するGPS(Global Positioning System)受信装置211と、方位センサ212と、舵角センサ213と、距離センサ214と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置215等が使用される。
GPS受信装置211とビーコン受信装置215は単独で位置測定が可能であるが、GPS受信装置211やビーコン受信装置215による受信が不可能な場所では、方位センサ212と距離センサ214の双方を用いた推測航法によって現在位置を検出するようになっている。
方位センサ212は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ213は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ214は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
【0016】
入力装置22は、車両の状況としての、ユーザに関する情報(年齢、性別、趣味、性格など)を入力したり、エージェントからの問い合わせに対して運転者が応答するための手段である。なお、ユーザに関する情報は、入力装置22からユーザが入力する場合に限らず、例えば、プロ野球が好きか否か、好きな球団名等に関する各種問い合わせをエージェントがユーザに行い、ユーザの回答内容から取得するようにしてもよい。
また、入力装置22は、ナビゲーション処理における走行開始時の現在地(出発地点)や目的地(到達地点)、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境(発信条件)、車両内で使用される携帯電話のタイプ(型式)などを入力するためのものでもある。
入力装置22には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
【0017】
記録媒体駆動装置23は、ナビゲーション処理部10やエージェント処理部11が各種処理を行うためのコンピュータプログラムを外部の記録媒体から読み込むのに使用される駆動装置である。記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。
ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フロッピーディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙(および、紙に相当する機能を持った媒体)を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。
【0018】
記録媒体駆動装置23は、これらの各種記録媒体からコンピュータプログラムを読み込む他に、記録媒体がフロッピーディスクやICカード等のように書き込み可能な記録媒体である場合には、ナビゲーション処理部10やエージェント処理部11のRAMや記憶装置29、30のデータ等をその記録媒体に書き込むことが可能である。
例えば、ICカードに、エージェント機能に関する学習内容(学習項目データ、応答データ)や、ユーザに関する情報等を記憶させ、他の車両を運転する場合でもこれらのデータを記憶させたICカードを使用することで、自分の好みに合わせて(過去の応対の状況に応じて)学習されたエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。
【0019】
通信制御装置24は、各種無線通信機器からなる携帯電話が接続されるようになっている。通信制御部24は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。
また、通信制御装置24を介して、エージェント機能に関する学習データやユーザに関する情報を送受信することも可能である。
【0020】
音声出力装置25は、車内に配置された複数のスピーカで構成され、音声制御部14で制御された音声、例えば、音声による経路案内を行う場合の案内音声や、エージェントの行動にあわせた音声や音が出力されるようになっている。この音声出力装置25は、オーディオ用のスピーカと兼用するようにしてもよい。なお、音声制御装置14は、運転者のチューニング指示の入力に応じて、音声出力装置25から出力する音声の音色やアクセント等を制御することが可能である。
マイク26は、音声制御部14における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(応答等)等を入出力する音声入力手段として機能する。このマイク26は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置25とマイク26とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
【0021】
表示装置27には、ナビゲーション処理部10の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部11によるエージェントの各種行動(動画)が表示されたりするようになっている。また、エージェントが表示される場合には、同時にエージェントの背景が表示されるようになっている。また、撮像装置28で撮像された車両内外の画像も画像処理部13で処理された後に表示されるようになっている。
表示装置27は、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置27は、例えばタッチパネル等の、前記入力装置22としての機能を兼ね備えたものとすることができる。
【0022】
撮像装置28は、画像を撮像するためのCCD(電荷結合素子)を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。撮像装置28の各カメラにより撮像された画像は、画像処理部13に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部11によるプログラム番号の決定にも使用するようになっている。
【0023】
エージェントデータ記憶装置29は、本実施形態によるエージェント機能を実現するために必要な各種データ(プログラムを含む)が格納される記憶装置である。このエージェントデータ記憶装置29には、例えば、フロッピーディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
この場合、例えば、学習項目データ292、応答データ293を持ち運びが容易なICカードやフロッピーディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
【0024】
エージェントデータ記憶装置29には、エージェントプログラム290、プログラム選択テーブル291、学習項目データ292、応答データ293、図4に例示したエージェントの容姿や行動、背景を画像表示するための画像データ294、背景選択テーブル296、応答認識データ298、その他のエージェントのための処理に必要な各種のデータが格納されている。
【0025】
エージェントプログラム290には、エージェント機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を背景と共に表示装置27に画像表示し、またその行動に対応した会話を音声出力装置25から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
このエージェントプログラム290には、各プログラム番号の音声に対して復習種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置22等から選択することができるようになっている。エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。なお、このエージェントの音声の選択は、適時変更することが可能である。
【0026】
プログラム選択テーブル291は、エージェントプログラム290に格納されているコミュニケーションプログラムを選択するためのテーブルである。
図2はプログラム選択テーブル291を表したものであり、図3はプログラム選択テーブル291で選択される各プログラム番号に対応した、エージェントの行為(行動と発声)内容を表したものである。
この図2、図3で示されているプログラム番号は、エージェントプログラム290に格納されている各コミュニケーションプログラムの番号と一致している。
【0027】
図4は、図2、図3のプログラム番号00001〜00002により表示装置27に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表したものである。
この図4に示されるように、エージェントEは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。この行動と共にエージェントEが話す言葉(発声)は、車両状況や学習状況、エージェントの性格等によって変えられる。
【0028】
エンジンの冷却水温度が低い場合には、エンジンの調子に合わせて行動「眠そうに…」が選択される。眠そうな表現として、瞼が下がった表情にしたり、あくびや伸びをした後に所定の行動(お辞儀等)をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。
例えば、3回に1回は目をこすり(A行動)、10回に1回はあくびをするようにし(B行動)、それ以外では瞼を下がった表情(C行動)にする。これらの変化は、行動Bや行動Cの付加プログラムを行動Aの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Aのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、エージェントEを走りながら画面に登場させたりすることで表現する。
【0029】
図2に表示された各項目は、各プログラム番号を選択するための選択条件を表したもので、状態センサ40により検出される車両や運転者の各種状況から決定される項目(時間、起動場所、冷却水温、シフトポジション位置、アクセル開度等)と、学習項目データ292や応答データ293に格納されている学習内容から決定される項目(今日のIG ON回数、前回終了時からの経過時間、通算起動回数等)とがある。
プログラム選択テーブル291中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「−」印、「無印」はそのプログラムの選択には考慮されない項目を示している。
【0030】
図2、図3では、イグニッションをONにした場合のコミュニケーション(挨拶)に関連する行為と選択条件について記載しているが、その他各種行為(行動と発声)を規定するプログラムを選択するためのプログラム番号と選択条件も種々規定されている。
例えば、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動とったり、驚き声をだすようなプログラムも規定されている。エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから3回目までは「しりもち」をつき、4回目から10回目までは「たたら」を踏み、10回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから1週間の間隔があいた場合には、1段階後退するようにする。
【0031】
学習項目データ292及び応答データ293は、運転者の運転操作や応答によってエージェントが学習した結果のデータである。従って、学習項目データ292と応答データ293は、各運転者毎にそのデータが格納・更新(学習)されるようになっている。
【0032】
学習項目データ292と応答データ293は共にエージェントの学習により格納、更新されるデータであり、その内容がそれぞれ図5、図6に概念的に示されている。
学習項目データ292には、図5に示されるように、プログラム選択テーブル291(図2)においてプロコミュニケーションプログラムを選択するための選択条件項目である通算起動回数、前回終了日時、今日のイグニッションON回数、前5回の給油時残量、オーディオ類作動条件とその時の作動機器、等が格納される。また、選択条件により選択されたプログラムを起動するか否か(お休みするか否か)を決定するためのお休み回数/日時、デフォルト値、その他のデータが格納される。
【0033】
通算起動回数には、イグニッションを起動した通算回数が格納され、イグニッションがONされる毎にカウントアップされる。
前回終了日時には、イグニッションをOFFにする毎にその日時が格納される。
今日のイグニッションON回数には、その日におけるイグニッションONの回数と、1日の終了時間が格納される。イグニッションがONされる毎にカウントアップされるが、1日が終了するとデータが”0”に初期化される。1日の終了時間はデフォルト値として24:00が格納されている、この時間はユーザ(運転者)の生活パターンによって変更することが可能である。時間が変更された場合には、変更後の時間が格納される。
【0034】
前5回の給油残量には、燃料(ガソリン)を給油する直前に検出された燃料の残量が格納され、新たに給油される毎に各データが左側にシフトされ(最も古い最左のデータが削除される)今回給油直前の残量が一番右側に格納される。
このデータは、後述する燃料検出センサ415の検出値G1が、全5回分の給油残量の平均値G2以下(G1≦G2)になった場合に、エージェントEが表示装置27に現れて給油を促す行動が表示装置27に表示され、「おなかが減ったなあ!ガソリンがほしいな!」等の音声が音声出力装置25から出力される。
オーディオ類作動条件は、ラジオ、CD、MD、カセットテーププレーヤ、テレビ等のオーディオ類のスイッチがONにされた時の時間帯及び場所であり、ラジオ及びテレビの場合には更に選択された局が該当する。また、作動機器は、ラジオ、CD、MD、カセットテーププレーヤ等のオーディオ類である。このオーディオ類作動条件と作動機器は、オーディオ類がスイッチONされた過去5回分について記憶される。
【0035】
お休み回数/日時には、該当するコミュニケーションプログラムが選択されたとしても実行せずにお休みした回数等が各プログラム番号毎に格納される。このお休み回数/日時は、例えば後述するエアコンの停止を提案するエージェントの行為(プログラム番号00123)のように、学習項目としてお休み項目が設定されているエージェント行為について格納される。
エージェントの提案や会話に対する運転者の応答が、拒否(拒絶)であった場合や無視(又は無応答)であった場合、コミュニケーションプログラムに応じて選択的に「お休み」が設定される。
【0036】
デフォルト値には、時間、回数、温度、車速、日時等の各項目に対する初期設定値が格納されており、前記した1日の終了時間のように学習項目の中で変更された値を初期値に戻す場合に使用される。
【0037】
学習項目データ292に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日(これはユーザ入力項目である)、祭日とその言われ、クリスマス、バレンタインデー、ホワイトデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。
【0038】
図6の応答データ293には、エージェントの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各コミュニケーションプログラム番号毎に格納される。ユーザ応答データは、図6(A)のコミュニケーションプログラム番号00123、00125のように最新の応答日時と応答内容が所定回分(プログラム番号00123は2回分)格納されるものと、プログラム番号00124のように最新の応答内容のみが1回分格納される(従って応答がある毎に更新される。)ものと、最新の応答内容のみが所定回分格納されるものと、最新の日時と応答内容が一回分格納されるものと、最新の日時だけが1回分または所定回分格納されるもの等がある。
図6(A)中に表示された記号A、B、Cは応答内容を表すもので、同図(B)に示すように、記号Aが無視された場合、記号Bが拒絶された場合、記号Cが受容された場合を表す。運転者の応答内容については、マイク26から入力される運転者の音声に対する音声認識の結果や、入力装置22による入力結果から判断される。
なお、本実施形態では運転者の応答を無視、拒絶、受容の3パターに分類しているが、「強く拒絶」、「怒られた」、「喜ばれてた」を新たに加えるようにしてもよい。この場合、新たに加えた応答により、学習項目データ292(例えば、お休み回数等)や応答データ293のを追加変更する。
【0039】
図1に示すエージェントデータ記憶装置29の画像データ294には、エージェントプログラム290のコミュニケーションプログラムのプログラム番号の行動に対して、複数種類のエージェントの容姿それぞれと各背景との組合わさった画像が格納されている。エージェントの容姿は、運転者の好みによって入力装置22等から選択することができるようになっており、この選択されたエージェントの容姿が、各種センサ等により取得された状況をもとに背景選択テーブル296により決定された背景とともに画像表示されるようになっている。なお、このエージェントの容姿の選択は、音声と同様に、適時変更することが可能である。
画像データ294に格納されるエージェントの容姿としては、人間(男性、女性)的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。
【0040】
画像データ294に格納される背景の画像としては、例えば、日の出や星空等の時間帯を表す風景、海や雪山、紅葉等の季節を表す風景、ゴルフコースや海等の目的地を表す風景、エージェントが「はい」「いいえ」の応答を待機している時の「はい」と「いいえ」のプラカード等の持ち物、ラジオやCD等で音楽を聞いているときの音符の模様や、エージェントが音声の応答を認識可能か否かの応答認識状態を色別に表す各色の枠、等が挙げられる。
【0041】
図7は、背景選択テーブル296を表したものであり、表示装置27に表示されるエージェントの背景を選択するためのテーブルである。このテーブル左側に示されるように、背景としては、エージェントのバックに表示される風景や模様の画像、エージェントが持つ持ち物の画像、及び表示装置27の表示画面の内枠に沿って表示される枠画像がある。これらの背景は、図7に示すように、時間帯、季節、走行状態、作動している機器、エージェントの状態、カーナビゲーションに設定された目的地といった各種項目に基づいて決定されるようになっている。
これらの各項目は、状態センサ40により検出される車両の走行状態等の各種状況から決定される項目と、学習項目データ292や応答データ293に格納されている学習内容も会わせて決定される項目(「はい」と「いいえ」のプラカードを持つか「YES」と「NO」のプラカードを持つか、オーディオ類を作動させる場合の背景の選択等)とがある。
そして、選択条件に基づいて、1つ又は複数の背景が選択されるようになっている。複数の背景が選択される場合には、バック、持ち物、枠それぞれのうちからは重複して選択されないようになっている。なお、テーブル中で「○」印は、その背景が選択されるために満たす必要がある項目を示し、「無印」はその背景が選択されるためには満たしてはいけない項目を示している。
【0042】
図8(a)、(b)、(c)及び(d)は、本実施形態において、上述の背景選択テーブル296により選択された背景をエージェントとともに表示装置に表示した一例を示すものである。
図8(a)は、エージェントが発話中や音声認識結果の判定中のために運転者の音声を認識できない状態の背景であり、背景として、音声認識不可能を示す赤色の枠Rが表示されている。尚、本表示(a)においてはエージェントが座って表示されているが、これは、車両が停車中であることをエージェントの姿勢で表現するものである。
図8(b)は、運転者からの応答として、肯定又は否定のワードを待機している状態であり、背景として肯定及び否定のワードのみが認識可能であることを示す黄色の枠Yが表示されている。また、エージェントの持ち物(背景)には、音声認識可能な応答のうちの推奨ワードとして、「はい」及び「いいえ」のプラカードが表示されている。尚、本表示(b)〜(d)においてはエージェントが立って表示されているが、これは、車両が走行中であることをエージェントの姿勢で表現するものである。
図8(c)は、ナビゲーションシステムにおいて目的地の都道府県の音声入力に対して待機している状態の画面であり、背景として音声認識可能状態を表す緑色の枠Gが表示されている。また、エージェントの持ち物(背景)には、音声認識可能な応答のうちの推奨ワードとして、「都道府県」のプラカードが表示されている。
図8(d)は、特に限定せずに「CDをかけて」や「窓を開けて」等の通常のコミュニエーションの音声を認識できる状態を表す緑色の枠Gが表示されている。
【0043】
応答認識データ298は、前述の学習項目データ292や応答データ293と同様に、運転者からの応答によってエージェントが学習した結果のデータであり、各運転者毎にそのデータが格納・更新(学習)される。
【0044】
図9は、応答認識データを表したものである。
この図9に示されるように、応答認識データ298には、応答認識結果と、この応答認識結果から求められた応答認識率、及び、肯定のワードのグループ及び否定のワードのグループそれぞれにおける最高応答認識率ワードが、運転者別に格納される。
応答認識結果は、「はい」と「いいえ」、「YES」と「NO」、「はい」と「NO」、「うん」と「やだよ」等の、背景として肯定及び否定のワードをプラカードで表示した場合に、運転者からのワードによる応答を正しく認識できたかどうかのデータである。応答が正しく認識できたかどうかは、取得した応答を認識した結果に基づいてエージェントが制御等を行った場合の運転者の反応から、認識結果が正しいか否かを判断し、各応答「はい」、「いいえ」、「YES」、「NO」、…について10回ずつ格納する。
【0045】
応答認識率は、上述の各前記応答認識結果から求められた応答認識率が次の数式1によって求められ、格納される。
【0046】
【数1】
応答認識率=(応答が正しく認識された回数/応答取得回数)×100
【0047】
最高認識率ワードは、「はい」や「YES」等の肯定のワードのグループ、及び、「いいえ」や「NO」等の否定のワードのグループそれぞれにおいて最も認識率の大きいワードを格納する。そして、肯定と否定の2つのプラカードを持った背景を表示させる場合に、背景選択テーブルにおいてこれらの最高認識率ワードが選択されるようになっている。
【0048】
図10は、ナビゲーションデータ記憶装置30(図1)に格納されるデータファイルの内容を表したものである。
図10に示されるように、ナビゲーションデータ記憶装置30には経路案内等で使用される各種データファイルとして、通信地域データファイル301、描画地図データファイル302、交差点データファイル303、ノードデータファイル304、道路データファイル305、探索データファイル306、写真データファイル307が格納されるようになっている。
このナビゲーションデータ記憶装置4は、例えば、フロッピーディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置4は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル46を読み書き可能な記録媒体(例えば、フラッシュメモリ等)で、その他のファイルをCD−ROMで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
【0049】
通信地域データファイル301には、通信制御装置24に接続され又は無接続で車内において使用される携帯電話が、車内から通信できる地域を表示装置5に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある2点の座標データによりデータ化するようにしてもよい。
通信地域データファイル301に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置24を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル301の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル301をフロッピーディスク、ICカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル302には、表示装置27に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
【0050】
交差点データファイル303には、各交差点を特定する交差点番号、交差点名、交差点の座標(緯度と経度)、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。
ノードデータファイル304には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、道路は、複数のノード列のそれぞれの間をアークで接続することによって表現される。
道路データファイル305には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル303、ノードデータファイル304、道路データファイル305にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
【0051】
探索データファイル306には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がり角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
写真データファイル307には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
【0052】
図11は、状況センサ部40を構成する各種センサを表したものである。
図11に示すように状況センサ部40は、イグニッションセンサ401、車速センサ402、アクセルセンサ403、ブレーキセンサ404、サイドブレーキ検出センサ405、シフト位置検出センサ406、ウィンカー検出センサ407、ワイパー検出センサ408、ライト検出センサ409、シートベルト検出センサ410、ドア開閉検出センサ411、同乗者検出センサ412、室内温度検出センサ413、室外温度検出センサ414、燃料検出センサ415、水温検出センサ416、ABS検出センサ417、エアコンセンサ418、体重センサ419、前車間距離センサ420、後車間距離センサ421、体温センサ422、心拍数センサ423、発汗センサ424、脳波センサ425、アイトレーサー426、赤外線センサ427、その他のセンサ(タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等)428等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。
【0053】
イグニッションセンサ401は、イグニッションのONとOFFを検出する。
車速センサ402は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ403は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ404は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ405は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ406は、シフトレバー位置を検出する。
ウィンカー検出センサ407は、ウィンカの点滅させている方向を検出する。
ワイパー検出センサ408は、ワイパーの駆動状態(速度等)を検出する。
ライト検出センサ409は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ410は、運転者、及び同乗者(補助席、後部座席)がシートベルトを着用しているか否かを検出する。着用していない場合には適宜(嫌われない程度に)エージェントが現れ、警告、注意、コメント等(学習により程度を変更する)を行う。
【0054】
ドア開閉検出センサ411は、ドアの開閉状態を検出し、いわゆる半ドアの場合には、エージェントがその旨を知らせる。ドア開閉検出センサ411は、運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア等の、車種に応じた各ドア毎の開閉を検出できるようになっている。
同乗者検出センサ412は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置28で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ413は室内の気温を検出し、室外温度検出センサ414は車両外の気温を検出する。
燃料検出センサ415は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去5回分の検出値が学習項目データ292に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
【0055】
水温検出センサ416は、冷却水の温度を検出する。イグニッションON直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。
ABS検出センサ417は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するABSが作動したか否かを検出する。
エアコンセンサ418は、エアコンの操作状態を検出する。例えば、エアコンのON・OFF、設定温度、風量等が検出される。
体重センサ419は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置28の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ292と応答データ293を使用することで、その運転者専用のエージェントを出現させるようにする。
前車間距離センサ420は車両前方の他車両や障害物との距離を検出し、後車間距離センサ421は後方の他車両や障害物との距離を検出する。
【0056】
体温センサ422は、心拍数センサ423、発汗センサ424は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。または、体温センサ422として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。
脳波センサ425は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー426は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ427は、ユーザの手の動きや顔の動きを検出する。
【0057】
次に、以上のように構成された本実施形態の動作について説明する。
図12は本実施形態のエージェントによる処理のメイン動作を表したフローチャートである。
エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、まず最初に初期設定を行う(ステップ11)。初期設定としては、RAMのクリア、各処理用のワークエリアをRAMに設定、プログラム選択テーブル291(図2)のRAMへのロード、フラグの0設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションONとしたが、例えばドア開閉検出センサ411によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
【0058】
次に、エージェント処理部11は、運転者の特定を行う(ステップ12)。すなわち、エージェント処理部11は、運転者から先に挨拶がかけられたときにはその声を分析して運転者を特定したり、撮像した画像を分析することで運転者を特定したり、体重センサ419で検出した体重から運転者を特定したり、設定されたシート位置やルームミラーの角度から運転者を特定したりする。なお、特定した運転者については、後述のエージェントの処理とは別個に、「○○さんですか?」等の問い合わせをする特別のコミュニケーションプログラムが起動され、運転者の確認が行われる。
【0059】
運転者が特定されると、次にエージェント処理部11は、現在の状況を把握する(ステップ13)。
すなわち、エージェント処理部11は、状況情報処理部15に状況センサ部40の各センサから供給される検出値や、撮像装置28で撮像した画像の処理結果や、現在位置検出装置21で検出した車両の現在位置等のデータを取得して、RAMの所定エリアに格納し、格納したデータから車両の状態等の現在の状況の把握する。例えば、水温検出センサ416で検出された冷却水の温度がt1である場合、エージェント処理部11は、この温度t1をRAMに格納すると共に、t1が所定の閾値t2以下であれば、車両の現在の状態として冷却水温(図2参照)は低い状態であると把握する。
現在の状況としては、他にマイク26からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ。」や「CDをかけてくれ。」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「CD」「かけて」等がプログラム選択テーブル291(図2)の選択条件(横軸項目)になる。
さらにエージェント処理部11は、現在状況の把握として、エージェントデータ記憶装置29の学習項目データ292と応答データ293をチェックすることで、エージェントがこれまでに学習してきた状態(学習データ)を把握する。
【0060】
エージェント処理部11は、現在の状況を把握すると、図11により後で詳述するように、把握した状況に応じたエージェントの処理を行う(ステップ14)。
ここでのエージェントの処理としては、エージェントによる判断、行為(行動+発声)、制御、学習、検査等の各種処理が含まれるが、把握した現在の状況によっては何も動作しない場合も含まれる。
【0061】
次に、エージェント処理部11は、メイン動作の処理を終了するか否かを判断し(ステップ15)、終了でない場合には(ステップ15;N)、ステップ13に戻って処理を繰り返す。
一方を終了する場合、すなわち、イグニッションがOFFされたことがイグニッションセンサ401で検出され(ステップ13)、室内灯の消灯等の終了処理(ステップ14)が完了した後(ステップ15;Y)、メイン処理の動作を終了する。
【0062】
図13は、把握した状況に応じたエージェントの処理動作を表したフローチャートである。
エージェント処理部11は、把握済みの現在の状況(起動回数、現在の天気、時間等)から、図2に示したプログラム選択テーブル291に基づいて、現在の状態で起動可能なコミュニケーションプログラム(の番号)があるか否かを判断し(ステップ21)、該当プログラムが無ければ(ステップ21;N)、メインルーチンにリターンする。
一方、起動可能なコミュニケーションプログラムがある場合(ステップ21;Y)、そのプログラム番号を決定する。そして、決定したプログラム番号に対する運転者の応答履歴を応答データ293から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する(ステップ22)。
【0063】
お休み状態ではない場合(ステップ22;N)、エージェント処理部11は、起動するコミュニケーションプログラムが、車両や車両に搭載された各種機器等の制御を行う制御プログラムかどうか確認し(ステップ23)、制御プログラムの場合(ステップ23;Y)はそのままこのコミュニケーションプログラムを起動し、プログラムに従った制御を行う(ステップ29)。
【0064】
コミュニケーションプログラムが制御プログラムでない場合(ステップ23;N)には、把握済みの現在の状況(現在の時間、季節、作動機器、エージェントの音声認識状況、カーナビゲーションシステムにおける目的地、等)及び、エージェントデータ記憶装置29の応答認識データ298から、背景選択テーブル296に従って、エージェントの背景を決定する(ステップ24)。
続いて、選択されているエージェントの容姿と決定された背景の画像のコミュニケーションプログラムを起動することで、図8(a)から(d)に示されるような、エージェントの行為(行動と音声)に従った画像を表示装置27に表示すると共に、音声出力装置25から音声出力する(ステップ25)。
【0065】
そして、このコミュニケーションプログラムが運転者からの応答を取得する応答取得プログラムでない場合(ステップ26;N)には、メインのルーチンにリターンする。また、このコミュニケーションプログラムが応答取得プログラムの場合(ステップ26;Y)には、エージェント処理部11は、コミュニケーションプログラムの起動によるエージェント行為に対する運転者の応答を、マイク26からの入力に基づく音声認識結果や、入力装置22からの入力結果から取得する(ステップ27)。そして、エージェント処理部11は、今回のコミュニケーションプログラムに関するデータを蓄積することで、エージェントに学習をさせ(ステップ28)、メインルーチンにリターンする。
データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には(ステップ22;Y)、学習項目データ292の該当プログラム番号の回数欄をカウントアップさせる。ただし、学習項目データ292のお休み回数/日時欄に格納されている回数をKa回とし、当該プログラム番号に対する前回までの応答データ293の履歴から決まるお休み回数をKb回とした場合、Ka=Kb−1であれば、今回のお休みで規定回数休んだことになる。そこで、学習項目データ292及び応答データ293の当該プログラム番号欄の(該当する位置に格納されている)データをクリアする。
【0066】
その他の場合(ステップ27の後、ステップ29の後)には、把握済みの現在状況(ステップ13)の中に学習項目があれば学習項目データ292の値を更新し、応答内容を履歴として格納すべきプログラム番号であればステップ17で取得した応答内容を応答データ293(図6)に格納する。この応答の履歴も各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。また、ステップ25により取得した応答が、その前に取得した肯定又は否定ワードについてのアンサーバックに関するものである場合には、この応答から肯定ワード又は否定ワードについての認識結果の正否を取得し、この認識結果についてのデータを応答認識データ298に格納し、応答認識率、及び、必要に応じて最高認識率ワードを書き換える。
【0067】
次に、以上説明したエージェント処理による具体的な行為として、ラジオを作動させる場合について説明する。
図14は、イグニッションON後における具体的なエージェント処理の内容を概念的に表したものである。
この図14(A)に示すように、エージェント処理部11は、現在の状況として、現在時刻が17時、現在位置検出装置21で検出された現在位置(緯度、経度)から求めた現在位置が「東京」、等の状況がステップ13において把握済みであるものとする。また、学習項目データ292と応答データ293についてチェックした学習データとしては、オーディオ類動作条件として、過去5回のオーディオ作動条件のうちに17時から18時の間に東京においてはラジオが作動され、また東京においてはラジオを聞く場合にはJ−waveが最も多く選局されているとチェック済みであるものとする。
【0068】
以上の把握状態に基づいて、エージェント処理部11は、プログラム選択テーブル291から対応するコミュニケーションプログラムを選択する。すなわち、プログラム番号00501のコミュニケーションプログラム(ラジオをかける提案をするプログラム)が選択されたものとする(ステップ21;Y)。そしてこのコミュニケーションプログラムがお休み対象で無いことを確認(ステップ22;N)する。
このコミュニケーションプログラムは制御プログラムではない(ステップ23;N)ので、エージェント処理部11は、続いて、背景選択テーブル296から背景を決定する(ステップ24)。この場合、時間帯が15時から18時であること、起動されるコミュニケーションプログラムが発話を伴い音声認識状態が不可能となること、等から、バックが夕焼けであり、枠が赤色である背景が決定される。
そして、当該番号のコミュニケーションプログラムを起動し(ステップ25)、図14(B)に示すように、選択されたエージェントと決定された背景(夕焼けのバックBKと赤色の枠R)を表示装置27に画像表示し、「ラジオでもつけよっか?」との発声による問い合わせを行う。このコミュニケーションプログラムは応答取得プログラムでない(ステップ26;N)ことから、そのままメインのルーチンにリターンする。
【0069】
続いて、今度は、現在状況として、プログラム番号00501により問い合わせが行われたことが新たに把握され、エージェント処理においては、プログラム番号00×××番の、肯定または否定の応答を取得するコミュニケーションプログラムが有ると判断される(ステップ21;Y)。そして、お休みでなく(ステップ22;N)、制御プログラムでない(ステップ23;N)ことから、エージェント処理部11は、背景選択テーブル296及び応答認識データ298の最高認識ワードから背景を決定する(ステップ24)。
この場合、時間帯が15時から18時であること、起動されるコミュニケーションプログラムが肯定及び否定ワードのみ認識可能となること、最高認識ワードが「はい」と「やだよ」であること、等から、バックが夕焼けであり、持ち物が「はい」と「やだよ」のプラカードであり、枠が黄色である背景が決定される。
【0070】
そして、エージェント処理部11は、このコミュニケーションプログラムを起動し、図14(C)に示すように、選択されたエージェントと決定された背景(夕焼けのバックBKとプラカードPCと黄色の枠Y)を表示装置27に画像表示し(ステップ25)、応答取得プログラムとして(ステップ26;Y)応答を取得する(ステップ27)。ここでは「はい」との応答を取得したものとする。
そして、エージェントの学習として、プログラム番号00501番の応答データを更新し(ステップ28)、メインのルーチンへリターンする。
【0071】
今度は、現在状況として、プログラム番号00×××によりラジオONについて肯定の応答を取得したことが新たに把握され、エージェント処理においては、プログラム番号00△△△番の、ラジオをかけるコミュニケーションプログラムが有ると判断される(ステップ21;Y)。そして、お休みでなく(ステップ22;N)、制御プログラムである(ステップ23;Y)ことから、プログラムが起動され、ラジオをかける制御が行われる。このとき、学習項目292データから、現在地である東京において最も多く選択された選択局が取得され、この局に自動チューニングされる。
そして、学習項目データ292のオーディオ類作動条件及び作動オーディオ機器が書き換えられる。また、運転者が「違うよ」「やめて」等、ラジオをかけることについて中断する応答をしないことから、「はい」との応答認識が正しかったことを把握し、応答認識データ298の「はい」の認識結果、書き換え後のデータに基づく「はい」の応答認識率の取得と書き換え、及び必要に応じて最高認識率ワードの書き換えを行い(ステップ28)、メインのルーチンへリターンする。
【0072】
今度は、現在状況として、ラジオが作動中であることが新たに把握され、エージェント処理としては、プログラム番号00▽▽▽番の、車両状況表示のコミュニケーションプログラムが有ると判断される(ステップ21;Y)。そして、お休みでなく(ステップ22;N)、制御プログラムでないことから、背景選択テーブルに基づいて背景が選択される。
この場合、時間帯が15時から18時であること、ラジオが作動していること、任意の発話音声が認識可能となること、等から、バックが夕焼けであり、持ち物がラジカセであり、枠が緑色である背景が決定される。
【0073】
続いて、エージェント処理部11は、このコミュニケーションプログラムを起動し、選択されたエージェントと決定された背景(夕焼けのバックBKと持ち物ラジカセと緑色の枠)を表示装置27に画像表示する(ステップ25)。そして、このプログラムは応答取得プログラムでない(ステップ26;N)ことから、そのままメインのルーチンへリターンする。
【0074】
以上説明したように本実施形態によれば、擬人化されたエージェントの表示と音声に加えて、エージェントの背景を表示することにより、情報の視認性を低下させることなく多くの情報を含み且つバラエティに富んだ画面の表示が可能となり、多くの情報を運転者に伝達し、運転者や状況に応じた内容の濃いコミュ二ケーションを確立することができる。
本実施形態によれば、エージェントにより伝達される情報と、背景により伝達される情報を区分することにより、より視認性を良好に情報の伝達することができる。
本実施形態によれば、背景として、エージェントのバックと、エージェントの持ち物とを表示し、且つ、これらの伝達する情報の種類を区分しているので、より視認性良好に情報を伝達することができる。
【0075】
本実施形態によれば、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、運転者とのコミュニケーションをはかることができ、車内での運転環境を快適にすることができる。
本実施形態によれば、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から背景が決定され、情報が提供されるので、車内での運転環境を快適にすることができる。
【0076】
本実施形態によれば、認識率の高い肯定ワード及び否定ワードが学習により取得され、背景としてのプラカードにより認識率の高いワードが提示されるので、運転者がこれに従った応答を行うことにより、エージェントが正確に応答を行うことができ、運転者とエージェントとの効率的かつ良好なコミュニケーションが可能となる。
本実施形態によれば、背景としての枠によりエージェントの音声認識状態が表されるので、運転者がこれに従ったタイミングで応答を行うことにより、運転者からの応答をエージェントが認識可能となり、運転者とエージェントとの効率的且つ良好なコミュニケーションが可能となる。
【0077】
尚、本発明のエージェント装置は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更可能である。
例えば、上述の各実施形態においては、画像データ294として、選択可能なエージェントの容姿それぞれと各背景との合成された画像データが格納されているが、エージェントの容姿の画像データと、背景の画像データとを別個に格納し、選択された容姿と決定された背景それぞれのデータを合成して表示装置に表示するようにしてもよい。
背景は上述のものに限られるものではなく、例えば、エージェントのバックとして風景以外に、オーディオを作動させているときに音符の模様や作動機器の絵等を表示してもよい。
また、背景として、例えば木を表示し、車速に応じて木が左方向へなびくような表示をしたり、横向きにのエージェントの足下に道を表示し、車両が登り坂に位置するときには、エージェントの前方側を高くしエージェントが上り坂を登っているように表示し、車両が下り坂に位置するときにはエージェントの前方側を低くしてエージェントが下り坂を降りているように表示してもよい。このような道路の状況等は、計器では見落とし易く、また安全性の点から重要であり、車両におけるエージェントとともに背景として視認性良好に表示することは、大きな利点となる。
【0078】
本実施形態では、応答の認識結果に基づいた制御に対する運転者の反応から、応答の認識結果が正しいか否かを判断しているが、これに限られるものではなく、認識結果について音声によるアンサーバックを行い運転者からの回答(入力操作)により判断したり、持っているプラカードのうち認識したグループと同じものを高く上げる等の画像によるアンサーバックに対し、運転者からの回答から判断してもよい。
表示された背景に対する運転者の嗜好度をエージェントの問いかけによる応答や状況センサから取得する背景嗜好度学習手段を具備し、他の同一条件下において選択可能な複数の背景を用意し、運転者に応じて嗜好度の高い背景を選択表示させるようにしてもよい。
【0079】
【発明の効果】
本発明のエージェント装置によれば、擬人化されたエージェントとエージェントの背景とにより多くの情報が視認性良く運転者に伝えられるので、車両の状況に応じた内容の濃いコミュ二ケーションを確立することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態におけるコミュニケーション機能を実現するための構成を示すブロック図である。
【図2】同上、実施形態におるプログラム選択テーブルの内容を概念的にあらわした説明図である。
【図3】同上、実施形態において、各プログラム番号に対応するエージェントの行為(行動と音声)を表した説明図である。
【図4】同上、実施形態におけるプログラム番号00001〜00002の起動により表示装置に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表した説明図である。
【図5】同上、実施形態における学習項目データの内容を概念的に表した説明図である。
【図6】同上、実施形態における応答データの内容を概念的に表した説明図である。
【図7】同上、実施形態における背景選択テーブルの内容を概念的に表した説明図である。
【図8】同上、実施形態において表示装置に表示されるエージェント及び背景の一例を示す図であり、(a)は、音声認識不可能状態における表示、(b)は肯定ワードと否定ワードのみの音声を認識可能な状態における表示、(c)は都道府県の入力を要求している状態の表示、(d)は任意の音声を認識可能な状態における表示を示す。
【図9】同上、実施形態における応答認識データの内容を概念的に表した説明図である。
【図10】同上、実施形態におけるナビゲーションデータ記憶装置に格納されるデータファイルの内容を概念的に表した説明図である。
【図11】同上、実施形態における状況センサ部を構成する各種センサを表した説明図である。
【図12】同上、実施形態においてエージェントによるメイン動作を表したフローチャートである。
【図13】同上、実施形態によるエージェント処理の動作を表したフローチャートである。
【図14】同上、実施形態において、イグニッションON後における具体的なエージェント処理の内容を概念的に表した説明図である。
【符号の説明】
1 全体処理部
10 ナビゲーション処理部
11 エージェント処理部
12 I/F部
13 画像処理部
14 音声制御部
15 状況情報処理部
21 現在位置検出装置
22 入力装置
23 記憶媒体駆動装置
24 通信制御装置
25 音声出力装置
26 マイク
27 表示装置
28 撮像装置
29 エージェントデータ記憶装置
30 ナビゲーションデータ記憶装置
40 状況センサ部
Claims (2)
- 擬人化されたエージェント及び該エージェントの背景を表示する画像表示装置と、
前記画像表示装置に表示されるエージェントの行為を決定する行為決定手段と、
前記画像表示装置に表示される前記背景を決定する背景決定手段と、
前記行為決定手段で決定された行為を行うエージェントと前記背景決定手段により決定された背景とを前記画像表示装置に表示させる画像表示手段と、
前記画像表示装置に表示されたエージェントの行為に対する、ユーザの音声による応答を音声認識する音声認識手段と、
前記音声認識手段による、肯定を表す複数の単語からなる肯定単語グループと、否定を表す複数の単語からなる否定単語グループの各単語に対する音声認識率を算出する認識率算出手段と、を備え、
前記背景決定手段は、ユーザからの音声による応答として、肯定を表す単語又は否定を表す単語の音声入力を待機する場合、音声認識可能な前記肯定単語グループの単語と前記否定単語グループの単語のうち、ユーザに音声入力を推奨する単語として、前記肯定単語グループの中で最も認識率が高い単語を表示したプラカードと、前記否定単語グループの中で最も認識率が高い単語を表示したプラカードを背景として決定する、
ことを特徴とするエージェント装置。 - 音声出力装置を備え、
前記音声認識手段による音声認識が、前記音声出力装置によるエージェントの音声出力中や音声認識結果の判定中のために音声認識できない状態か否かを判断する音声認識状態判断手段と、をさらに備え、
前記画像表示装置は、擬人化されたエージェント及び、該エージェントの表示画面の縁部に表示される枠を含めた背景を表示し、
前記背景決定手段は、前記音声認識できない状態と判断された場合と、音声認識出来る状態と判断された場合とで、前記背景の枠の色を異なる色に決定する、
ことを特徴とする請求項1に記載のエージェント装置。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09538698A JP4032492B2 (ja) | 1998-03-23 | 1998-03-23 | エージェント装置 |
US09/119,238 US6249720B1 (en) | 1997-07-22 | 1998-07-21 | Device mounted in vehicle |
EP98113679A EP0893308B1 (en) | 1997-07-22 | 1998-07-22 | Device mounted in vehicle |
DE69836846T DE69836846T2 (de) | 1997-07-22 | 1998-07-22 | Im Kraftfahrzeug eingebautes Gerät |
JP2005098225A JP3891202B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098227A JP2005313886A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098223A JP2005313885A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098224A JP3918850B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098226A JP2005293587A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2008156559A JP4353310B2 (ja) | 1997-07-22 | 2008-06-16 | 車載装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09538698A JP4032492B2 (ja) | 1998-03-23 | 1998-03-23 | エージェント装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11272639A JPH11272639A (ja) | 1999-10-08 |
JP4032492B2 true JP4032492B2 (ja) | 2008-01-16 |
Family
ID=14136221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09538698A Expired - Fee Related JP4032492B2 (ja) | 1997-07-22 | 1998-03-23 | エージェント装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4032492B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6411898B2 (en) | 2000-04-24 | 2002-06-25 | Matsushita Electric Industrial Co., Ltd. | Navigation device |
JP2003091299A (ja) * | 2001-07-13 | 2003-03-28 | Honda Motor Co Ltd | 車載用音声認識装置 |
US20040225416A1 (en) * | 2001-11-13 | 2004-11-11 | Tomoki Kubota | Data creation apparatus |
JP2010531478A (ja) | 2007-04-26 | 2010-09-24 | フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー | 感情に訴える助言システム及び方法 |
JP6312053B2 (ja) * | 2013-09-06 | 2018-04-18 | 株式会社ユピテル | システム及びプログラム |
JP6240863B2 (ja) * | 2016-04-27 | 2017-12-06 | 株式会社ユピテル | 運転支援システムおよび運転支援プログラム |
JP6639444B2 (ja) * | 2017-06-07 | 2020-02-05 | 本田技研工業株式会社 | 情報提供装置及び情報提供方法 |
JP2022141818A (ja) * | 2021-11-02 | 2022-09-29 | 株式会社ユピテル | 電子機器及びプログラム |
-
1998
- 1998-03-23 JP JP09538698A patent/JP4032492B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11272639A (ja) | 1999-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3873386B2 (ja) | エージェント装置 | |
JP3891202B2 (ja) | エージェント装置 | |
JP4193300B2 (ja) | エージェント装置 | |
JP4085500B2 (ja) | 車両状況把握装置、エージェント装置、および、車両制御装置 | |
JP3965538B2 (ja) | エージェント装置 | |
JP5019145B2 (ja) | 運転者情報収集装置 | |
JP4258585B2 (ja) | 目的地設定装置 | |
JPH11259446A (ja) | エージェント装置 | |
JPH11259271A (ja) | エージェント装置 | |
JP2000020888A (ja) | エージェント装置 | |
JP4441939B2 (ja) | 目的地設定装置 | |
JPH11272640A (ja) | エージェント装置 | |
JP4207350B2 (ja) | 情報出力装置 | |
JP4253918B2 (ja) | エージェント装置 | |
JP4284733B2 (ja) | エージェント装置 | |
JP4032492B2 (ja) | エージェント装置 | |
JP2000186942A (ja) | エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置 | |
JP2004045616A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2000203465A (ja) | 情報記録装置 | |
JP2003106846A (ja) | エージェント装置 | |
JP2004037953A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2004053251A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2004050975A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2004051074A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2004061252A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |