JP2004050975A - 車載装置、データ作成装置、及びデータ作成プログラム - Google Patents
車載装置、データ作成装置、及びデータ作成プログラム Download PDFInfo
- Publication number
- JP2004050975A JP2004050975A JP2002211658A JP2002211658A JP2004050975A JP 2004050975 A JP2004050975 A JP 2004050975A JP 2002211658 A JP2002211658 A JP 2002211658A JP 2002211658 A JP2002211658 A JP 2002211658A JP 2004050975 A JP2004050975 A JP 2004050975A
- Authority
- JP
- Japan
- Prior art keywords
- scenario
- data
- scene
- character
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】シナリオ作成装置において、タイマー設定機能を備えさせ、シナリオデータに組み入れる。そして、設定時間が経過したことを、次のシーン(画面要素)への移行条件として使用可能にする。
【選択図】 図19
Description
【発明の属する技術分野】
本発明は、車載装置、データ作成装置、及びデータ作成プログラムに係り、例えば、車両の搭乗者とのコミュニケーションにより会話をしたり機器操作等を自律的に行うエージェント機能を備えた車載装置、及びそのデータ作成装置、及びデータ作成プログラムに関する。
【0002】
【従来の技術】
例えば、犬などのペット型のロボットや、車室内においてナビゲーション装置等の機器操作の案内をしたり状況に応じた質問や提案等を行うことで搭乗者との対話や対応をするエージェント装置が開発され、車載装置として車両に搭載されている。そして、装置に対して考えられる種々の状態を想定すると共に、想定した各状態を検出した場合にとるべき対応が、所定のデータやプログラムに従って規定されている。
このような従来のエージェント装置では、ユーザに対して質問や指示の要求をして、ユーザからの音声による回答を認識することがある。この場合、ユーザの認識を開始するタイミングをどのようにするか、音声認識を認識に使用する辞書はなにか等については、予めプログラミングされている。
【0003】
【発明が解決しようとする課題】
このような従来のエージェント装置では、エージェントが自動で登場するための条件設定や、エージェントの動作規定する表示状態や処理、さらには、音声認識に対するコールバック(認識結果を確認するための音声出力)をするか否かについては、プログラムを作成及び修正することでしか実現できなかった。そのため、プログラムの知識が無いと作成や変更することができず、また、開発に費やす時間や費用も多く必要であった。
また、従来のエージェント装置では、音声認識を開始してから終了までの時間については設定されていなかったため、エージェントが質問をした後は、ユーザからの音声による解答又は画面による回答の選択がされるまで、待ち続ける必要があったため、回答がないと現在の処理が終了せずに継続してしまうという問題があった。
特に、車両に搭載されたエージェント装置のように、現在位置が刻々と変化することで、エージェントによる他の処理を実行する条件が満たされたとしても、現在音声認識中の処理が継続しているため、他の処理を実行できない場合があった。
【0004】
そして、人間同士の会話(コミュニケーション)では、一定時間の間に質問に対する回答が無かった場合、状況によって質問に対して回答がない(無回答)と判断し、質問を繰り返したり、別の話題に変更したりすることがよくある。
しかし従来のエージェント装置によるキャラクタとのコミュニケーションでは、質問に対する回答をユーザが行なうまで常に待ちつづけてしまうため、ユーザにとって常に回答しなければならず、煩わしく感じる場合がある。
【0005】
一方、ユーザからの回答を待つ場合ではなく、エージェントが質問せずに次々に場面(シーン)が進行していく場合、従来のエージェント装置では、各場面毎の処理が終了すると、所定時間経過後直ちに次の場面に移行していた。この次の場面(シーン)に移行するまでの時間も予めプログラムにより決められていた。
【0006】
本発明は上記課題を解決するためになされたもので、キャラクタの表示状態、キャラクタの処理内容の少なくとも1つが定義された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を実行すると共に、画面要素の指示内容に従って設定された時間が経過すると次の画面要素を実行することが可能な車載装置を提供することを第1の目的とする。
また本発明は、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも1つが定義された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を容易に作成すると共に、画面要素の指示内容に従って設定された時間が経過すると次の画面要素を実行することが可能なデータ作成装置を提供することを第2の目的とする。
また本発明は、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも1つが定義された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体をコンピュータで容易に作成すると共に、画面要素の指示内容に従って設定された時間が経過すると次の画面要素を実行することが可能なデータ作成プログラムを提供することを第3の目的とする。
【0007】
【課題を解決するための手段】
請求項1記載の発明では、キャラクタの表示内容、処理内容の少なくとも1つが規定された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体及び該画面要素推移体の起動条件を外部から取得して記憶する画面要素推移記憶手段と、車両の状態、使用者情報の少なくとも1つに基づき、前記起動条件を満たしているか判断する条件判断手段と、前記起動条件を満たした場合、前記画面要素推移体を構成する各画面要素を逐次実行することで当該画面要素推移体を実行する画面要素推移体実行手段と、を車載装置に具備させ、前記画面要素推移体実行手段は、前記画面要素に制限時間が設定された制限時間を超えると、次の画面要素を実行する、ことにより前記第1の目的を達成する。
請求項2に記載の発明では、請求項1に記載の車載装置において、走行中であるか否かを判断する走行判断手段を備え、前記画面要素推移体実行手段は、前記走行判断手段により走行中と判断された場合、該設定された制限時間に従って前記画面要素推移体を実行することを特徴とする。
請求項3に記載の発明では、キャラクタの表示内容と、処理内容のうち少なくとも1つに基づいて1つの画面要素を設定する画面要素設定手段と、前記画面要素設定手段で設定された1つの画面要素から次の画面要素に移行する制限時間を設定する制限時間設定手段と、前記画面要素及び前記制限時間に基づき車両内の表示装置で実行処理する画面要素推移体を作成する画面要素推移体作成手段と、をデータ作成装置に具備させて前記第2の目的を達成する。
請求項4に記載の発明では、請求項3に記載のデータ作成装置において、前記制限時間は、車両の走行状態と関連付けて時間の長さを設定することを特徴とする。
請求項5に記載の発明では、車両内の表示装置に表示するキャラクタの動作を、該キャラクタの処理内容毎に設定するキャラクタ表示処理設定手段と、をデータ作成装置に具備させ、該キャラクタ表示処理設定手段は、前記キャラクタの1つの動作処理から次の動作処理に移行するまでの制限時間を設定する移行制限時間設定手段を含む、ことにより前記第2の目的を達成する。
請求項6に記載の発明では、キャラクタの表示内容と、処理内容のうち少なくとも1つに基づいて1つの画面要素を設定する画面要素設定機能と、前記画面要素設定手段で設定された1つの画面要素から次の画面要素に移行する制限時間を設定する制限時間設定機能と、前記画面要素及び前記制限時間に基づき車両内の表示装置で実行処理する画面要素推移体を作成する画面要素推移体作成機能と、をコンピュータに実現させるデータ作成プログラムにより前記第3の目的を達成する。
請求項7に記載の発明では、請求項6に記載のデータ作成プログラムにおいて、前記制限時間は、車両の走行状態と関連付けて時間の長さを設定することを特徴とする。
【0008】
【発明の実施の形態】
以下、本発明の車載装置の好適な実施形態であるエージェント装置、データ作成装置の好適な実施形態であるシナリオ作成装置、及びデータ作成プログラムの好適な実施形態であるシナリオエディタについて、図1から図43を参照して詳細に説明する。
(1)実施形態の概要
本実施形態のエージェント装置では、所定の容姿からなるエージェント(キャラクタ)の画像(平面的画像、ホログラフィ等の立体的画像等)を車両内に表示する。そして、エージェント装置の機能である、センサ等の検出結果から周囲の状態(人の動きや音声を含む)を認識、判断し、その結果に応じた動作や音声を出力するという機能を、このエージェントの容姿の動きや音声と連動して実行する。例えば、「どのジャンルの食事がすきですか」等の回答(和食、洋食等)を要求する問かけを行い、この問いかけに対するユーザの回答内容を判別(回答音声の認識や、回答選択ボタン54aの選択から判別)して、次のシーン(画面要素)に応じた処理を実行する。このように、装置からの回答を要求する問いかけと、その回答に応じて、所定の操作の実行を開始するので、ユーザは、あたかも擬似人格を備えたエージェントが車両内に存在しているような体感をするようになる。以下の説明では、このようなエージェント装置の一連の機能の実行を、エージェントの行為や動作として説明する。
本実施形態のエージェント装置では、このエージェントに運転者との各種コミュニケーションや、操作の代行を行わせる。そしてエージェントが自律的に行う様々な行為(各行為)を複数のシナリオ(画面要素推移体)で構成する。そして、エージェントによる一連の連続した行為の内容を規定した複数のシナリオと、各シナリオの展開を自律的に開始(起動)するための自律起動条件(起動条件)とにより規格化したシナリオデータを保存する。
シナリオは、シーン(画面要素)を最小単位として、1又は連続する複数のシーンで構成される。自律的に行う処理内容とエージェントの画像及び音声の少なくとも1つから構成される場面が1シーンである。
シナリオは、所定のシーンから次のシーンに移行するための1の移行条件(連続条件)又は複数の移行条件(分岐条件(複数の状態が発生する場合の各状態毎へのシーンの移行するための条件))と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成が規定されている。
【0009】
一方、エージェント装置のユーザ等は、規定された規格に従った独自のシナリオを、シナリオ作成装置を使用して作成する。シナリオ作成装置は、シナリオ編集プログラムやデータをパーソナルコンピュータにインストールすることで構成することができる。
作成したシナリオは、インターネット等のネットワークを介してエージェント装置に送信し、又はダウンロードしてもらうことにより、また、所定の半導体メモリを介してエージェント装置に格納することで、自己(第三者)の希望通りの行為(コミュニケーションや処理)をエージェントに行わせることが可能になる。
作成するシナリオの最初のシーンに、例えば、人間に対する回答を要求する問いかけのシーンのシナリオとすることができる。そして、独自に作成したシナリオデータを、外部の装置から入力装置を介して入力することが可能である。この場合の入力装置は、半導体メモリに追加するシナリオデータが格納されている場合には、半導体メモリの内容を読みとる記憶媒体駆動装置が該当し、インターネット等のネットワークを介して特定のサーバ等からダウンロードする場合には通信制御装置が該当する。この新たに入力したシナリオデータに従って、シナリオを実行する。
【0010】
エージェント装置は、メール、ブラウザソフトを備えることにより、ブラウザソフト等を使ってシナリオをダウンロードし、そのダウンロードしたファイルがエージェントを機能させるシナリオデータであるか否か判断し、シナリオデータであればエージェントプログラムに組み込んで使用できるようにする。また、メールに添付されている場合も同様に、添付のファイルがシナリオであるか否か判断し、シナリオであればエージェントシステムに組み込んで使用できるようにする。
これにより従来の手法以外にも、既存の通信インフラであるメール、ネットワーク等を使った通信とを使用することにより、また、半導体メモリ等を介することで、パーソナルコンピュータ等を使用して作成した独自のシナリオを追加することができるようになる。
このように、ユーザは自分の思い通りにエージェントを機能させるシナリオを独自にまた、容易に作成することが可能になるので、エージェント装置の自律的な動作に対する抵抗がなくなる。
【0011】
さらに、エージェント装置では、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる(自動で登場させる)条件を満たしたかを判断する処理を定期的に、もしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができるシステムを備えさせる。
これによりシナリオ作成装置では、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを作成及び編集することができる。
例えば、オービスの設置してある2km手前の地点(東経北緯座標で指定)でかつ、道路種別が高速道路でかつ、車速が120km/h以上で走行している場合に自動で登場してオービスの警告をしてくれるシナリオの条件の中にある車速の条件を100km/h以上に変更するとか、毎年特定の日(例えばクリスマスイブ)にだけ起動するシナリオを作成することが可能となる。
【0012】
そして、シナリオ作成装置において、音声認識を自動で開始させるか否かの指示を設定できる機能を備えさせる。また、エージェント装置ではシナリオエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、ユーザである運転者が音声認識開始のトリガ(認識開始ボタンを押す)を指示しなくても音声認識を開始させる機能を備えさせる。
これにより、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【0013】
更に、シナリオ作成装置において、音声認識結果のコールバックの制御を指示できる機能を備えさせ、エージェント装置の制御データであるシナリオデータに組み入れる。
また、エージェント装置では、音声認識の結果が出たときに、シナリオエディタで作成したシナリオデータに示されている音声認識結果のコールバック制御指示(エージェント装置が判断(おまかせ)/コールバックをする/コールバックをしない)に従って、認識結果をコールバックする行為(聞き取った内容を聞き返す行為)をしたり、しなかったりと制御する機能を備えさせる。
音声認識結果のコールバック制御指示が「おまかせ」に設定されている場合、エージェント装置が、認識対象となっている語数(回答用音声認識辞書の語数)と車載センサから状況判断をし、認識結果をコールバックする行為を行なうか否か決定する。
【0014】
これにより、エージェント装置のユーザである運転者と、擬人化されたキャラクタとの会話において擬人化されたキャラクタは、常に認識結果を聞き返す(コールバック)事がなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか否かが制御されるため、例えば運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中の場合や、さらに2択の回答を要求されている場面などはコールバックしないことでスムーズな会話を実現できる。
人間同士の会話においては、聞き取った内容を聞き返す行為(コールバックする行為)は上記例のように状況によってされたりされなかったりするので、擬人化されたキャラクタとの会話において、人間同士の会話に存在する法則を組み入れた制御を行なうことで、人間同士の会話に近づけることができる。
【0015】
更に、シナリオ作成装置において、各シーン毎にシーンを開始してから終了するまでの時間を設定できる機能(タイマー設定機能)を備えさせ、シナリオデータに組み入れることで、質問に対するユーザからの回答の許容時間を設定できるようにする。
そして、シーン実行中に設定時間が経過した場合、音声認識等の処理を終了すると共に、設定時間が経過したことを、次のシーン(画面要素)への移行条件として使用可能にする。
また、時間設定を行う場合の条件として、車両状態を併せて設定できるようにする。車両状態としては、本実施形態では走行中か停車中かによる設定が可能になっており、(a)走行中も停車中も常に設定する、(a)走行中のみ設定する、(c)停車中のみ設定する、のいずれかを条件として設定できる。また、時間設定しない、との設定も可能であり、この場合従来と同様に回答(音声、画面による入力)があるまで継続することになる。
【0016】
一方、エージェント装置では、シナリオの各シーンで時間が設定されている場合、タイマー(計時手段)を設定時間に設定し、タイマー通知(設定時間が経過)まで音声認識を行う。そして、タイマー通知を移行条件として規定されたシーンを展開する。
また、シナリオの各シーンにおいて、時間と共に走行中か停車中かによる条件設定がされている場合、エージェント装置では、車速を検出することで走行中か停車中かを判断し、設定された条件に従ってタイマーの時間設定をし、又はしないようにする。
【0017】
このように、一定時間質問に対する回答が無かった場合は状況によって質問に対して無回答として判断する事ができるようにし、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
また、ユーザにとって、常に回答しなければならないという煩わしさを回避することができる。
エージェント装置としては、設定された時間内に回答がない場合に、無回答であることを移行条件として次のシーンに移行できるので、1つのシナリオが長時間実行中の状態になることを回避できる。このため、車両の移動等の状況変化により、新たに起動条件を満たしたシナリオが実行待機状態のままになることを回避することができる。
【0018】
(2)実施形態の詳細
図1は、エージェント装置とシナリオ作成装置からなる全体のシステム構成を表したものである。
このシステムでは、本実施形態のエージェント装置1と、指定された規格でシナリオデータを作成するユーザ又は第三者であるシナリオデータ作成者のシナリオ作成装置2と、サーバ3等を使用したインターネット等の通信手段から構成されている。
シナリオ作成装置2では、シナリオエディタにより独自のシナリオデータを作成する。そして、独自のシナリオデータを作成したユーザは、DVD−ROM、ICカード等の半導体記憶装置その他の記憶媒体7にシナリオデータを格納して、エージェント装置1に受け渡すことが可能である。そして、シナリオデータを受け取ったエージェント装置1では、記憶媒体駆動装置により記憶媒体7からシナリオデータを読み込んで、既に記憶しているシナリオデータに組み込むことで、シナリオ作成装置2で作成されたシナリオデータにしたがってエージェント装置1を動作させることが可能になる。なお、シナリオ作成装置2で作成するものは、エージェント装置1のユーザ自身でもよく、また、第三者でもよい。
また、エージェント装置1では、ユーザ自身や第三者が作成したシナリオデータを、インターネット等のネットワークを介して組み込み、また、メールに添付されたシナリオデータを組み込むことができる。
また、エージェント装置1のユーザに対してサービスの提供等を希望する第三者は、所定形式のシナリオデータを、例えば、シナリオエディタを使用してシナリオ作成装置2で作成し、ホームページに掲載してダウンロード可能にし、または電子メールの添付ファイルとしてエージェント装置1に送信する。エージェント装置1は、電子メールに添付されたシナリオデータ5を受信し、または、ユーザがサーバ3等の通信手段を介してシナリオデータファイル4をダウンロードするようになっている。また、エージェント装置1は、受信したシナリオデータの実行に従って取得されるユーザの回答(シナリオデータに対する回答メール)を、電子メール6の本文又は添付ファイルで、シナリオ作成者のシナリオ作成装置2に送信する。
【0019】
まず、開発者やユーザによって作成されたシナリオに従ってエージェントが自律的に機能するエージェント装置1について、その構成と動作を説明する。
図2は、本実施形態におけるエージェント装置1の構成を表したブロック図である。
本実施形態におけるエージェント装置1は、車両に搭載されおり、車両内のユーザーとの間でコミュニケーションを行う機能や車両に対して所定の処理を行う車両制御機能等のエージェント機能の他、ユーザーに走行経路の案内等を行うナビゲーション機能も備えている。
本実施形態のエージェント装置1では、エージェント機能および、ナビゲーション機能を実現するための中央処理装置(1)、表示装置(2)、音声出力装置(3)、音声入力装置(4)、入力装置(5)、各種状況検出装置(6)、各種車載装置(7)、通信制御装置(8)、通信装置(9)、外部記憶装置(10)を備えている。
【0020】
中央処理装置(1)は、種々の演算処理を実行するCPU(1−1)、外部記憶装置(10)からプログラムを読み込んで格納するフラッシュメモリ(1−2)、フラッシュメモリ(1−2)のプログラムチェック、更新処理を行なうプログラム(プログラム読み込み手段)を格納したROM(1−3)、CPU(1−1)がワーキングメモリとして演算処理中のデータを一時的に格納するRAM(1−4)、時計(1−5)、表示装置(2)への画面表示に使用する画像データが記憶された画像メモリ(1−7)、CPU(1−1)からの表示出力制御信号に基づいて画像メモリ(1−7)から画像データを取り出し、画像処理を施して表示装置(2)に出力する画像プロセッサ(1−6)、CPU(1−1)からの音声出力制御信号をアナログ信号に変換して音声出力装置(3)に出力する処理と、音声入力装置(4)から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なう音声プロセッサ(1−8)、入力装置(5)による入力内容を受け取る入力装置I/F部(1−9)、各種状況を検出するための検出器類から情報を受け取るための各種入力I/F部(1−10)、他の装置と情報のやり取りを行なう通信I/F部(1−11)、CD−ROMやICカード類、ハードディスク等といった外部記憶媒体(10−2)からデータ及びプログラムを読み込んだりデータを書き込んだりする外部記憶装置(10)を制御するための外部記憶装置制御部(1−12)を備えている。
【0021】
この中央処理装置(1)は、経路探索処理や、経路案内に必要な表示案内処理や、その他システム全体において必要な処理、本実施形態におけるエージェント処理(エージェントと運転者との各種コミュニケーションや操作代行、状況判断を行ないその結果に応じて自律的に行なう処理)を行うようになっている。
更新処理を行なうプログラム(プログラム読み込み手段)は、ROM(1−3)以外にもフラッシュメモリ(1−2)に格納するようにしてもよい。
本実施形態におけるプログラムを含め、CPU(1−1)で実行される全てのプログラムは、外部記憶媒体(10−2)であるCD−ROM等に格納されてもよいし、それらプログラムの一部または全てが本体側のROM(1−3)またはフラッシュメモリ(1−2)に格納するようにしてもよい。
この外部記憶媒体(10−2)に記憶されたデータやプログラムが外部信号として中央処理装置(1)に入力されて演算処理されることにより、種々のエージェント機能及びナビゲーション機能が実現されるようになっている。
また、本実施形態の中央処理装置(1)は、起動条件(自律起動条件)を満たしていると判断された場合、画面要素を逐次実行することで画面要素推移体(シナリオ)を実行する、画面要素推移体実行手段を形成している。
【0022】
表示装置(2)は、中央処理装置(1)の処理による経路案内用の道路地図や各種画像情報が表示されたり、キャラクタの各種行動(動画)及び画面構成のパーツで構成された画面要素推移体(シナリオ)が表示されたりするようになっている。
この表示装置(2)には、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置(2)は、例えばタッチパネル等の、入力装置(5)としての機能を兼ね備えたものとすることができる。
【0023】
音声出力装置(3)は、中央処理装置(1)の処理によって声による経路案内を行なう場合の案内音声や、エージェントによる運転者との通常のコミュニケーション用の会話や運転者情報取得のための質問による音声や音が出力されるようになっている。
音声出力装置(3)は、音声認識処理において、音声認識を開始する際(音声入力装置(4)で入力データの取得を開始する際)に、ユーザに対して音声による入力が可能であることを示す開始音を出力するようになっている(開始音出力手段)。本実施形態では、開始音として「ピー」等の音を出力するようになっているが、ブザー音やチャイム音であってもよい。
音声出力装置(3)は、車内に配置された複数のスピーカで構成されている。これらは、オーディオ用のスピーカと兼用するようにしてもよい。
【0024】
音声入力装置(4)は、運転者の音声を的確に収集するために指向性のある専用のマイクが使用されたりする。この音声入力装置(4)から入力されたアナログ信号を変換したデジタルの音声入力信号を使ってCPU(1−1)で音声認識処理が実行されるようになっている。
音声認識の対象となる音声としては、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(運転者による応答を含む)等があげられ、音声入力装置はこれらの音声を入力する音声入力手段として機能する。
なお、音声認識が必要なシーンか否かについては各シーンデータにおいて、音声認識の指示が設定されている。そして、音声認識の指示が設定されているシーンのシーンデータには、音声認識の対象となる音声を認識するための辞書が指定されている。この音声認識の指示は、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置(車載装置)が判断する」、のうちのいずれかが設定されている。音声認識の指示が「エージェント装置が判断する」である場合、エージェント装置は、運転者の負荷を走行中の道路状態(カーブ、交差点、直線等)や、運転動作状態(急加速中、急ブレーキ中、ステアリング操作中等)などから判断し、負荷が高い場合には音声認識を開始せず、負荷が低い場合には、開始音を出力した後に音声の入力を可能にする。
【0025】
尚、音声出力装置(3)と音声入力装置(4)とでハンズフリーユニットを形成させて、通信制御装置(8)及び通信装置(9)を用いて通話を行なえるようにしてもよい。
また、音声入力装置(4)、音声プロセッサ(1−8)及び音声認識処理とを組み合わせることで、運転者が同乗者と会話中か否かを検出する会話検出手段や、運転者の発する音声を使って運転者の状況を検出する状況検出手段として機能させてもよい。
【0026】
入力装置(5)は、目的地を設定する際に電話番号や地図上の座標などにて入力したり、目的地までの経路探索や経路案内を要求(リクエスト)するために使用される。また、入力装置(5)は、運転者情報を運転者が入力する場合や、エージェント機能の使用を開始する場合のトリガとしてとして使用される。さらに入力装置(5)は、エージェント機能による、エージェントとのコミュニケーションにおいて、エージェントからの問い合わせ等に対して運転者が応答するための1つの応答手段としても機能するようになっている。
入力装置(5)には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。
リモコンには、画面上に表示されたカーソルの移動操作等を行なうジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
また、上記の音声入力装置(4)を使った音声認識を入力装置の代わりに使用しても良い。
【0027】
中央処理装置(1)は、入力装置I/F部(1−9)を介して入力装置(5)から受け取った内容を使ってCPU(1−1)が運転者による入力操作中か否かを検出すること、又は/及び音声認識結果を併用して各種機器の操作状況を検出する機能(機器操作状況検出手段)を備えるようにしてもよい。
【0028】
図3は、各種状況検出装置(6)の構成を表したブロック図である。
各種状況検出装置(6)は、現在位置検出装置(6−1)と、交通状況情報受信装置(6−2)と、運転操作等の状況を検出するためにブレーキ検出器(6−3)と、サイドブレーキ(パーキングブレーキ)検出器(6−4)と、アクセル開度検出器(6−5)と、A/Tのシフト位置検出器(6−6)と、ワイパ検出器(6−7)と、方向指示器検出器(6−8)と、ハザード検出器(6−9)と、イグニッション検出器(6−10)を備えている。上記構成により、各種状況及び条件を検出することにより、検出手段が形成される。
また、各種状況検出装置(6)は、車両の速度(車速情報)を検出する車速センサ(6−11)を備えており、該車速センサが検出した車速が0か否によって走行中であるか否かを判断することにより、本願発明における走行判断手段が形成される。
【0029】
現在位置検出装置(6−1)は、車両の絶対位置(緯度、経度による)を検出するためのものであり、人工衛星を利用して車両の位置を測定するGPS(Global Positioning System)受信装置(6−1−1)と、GPSの補正信号を受信するデータ送受信装置(6−1−2)と、方位センサ(6−1−3)と、舵角センサ(6−1−4)と、距離センサ(6−1−5)等が使用される。
GPS受信装置(6−1−1)は単独で位置測定が可能であるが、GPS受信装置(6−1−1)による受信が不可能な場所では、方位センサ(6−1−3)、舵角センサ(6−1−4)及び距離センサ(6−1−5)の少なくとも1つ用いた推測航法によって現在位置を検出するようになっている。また、データ送受信装置(6−1−2)を用いてGPSの補正信号を受信することでGPS受信装置(6−1−1)による位置検出の精度を上げることができる。
方位センサ(6−1−3)は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ(6−1−4)は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ(6−1−5)は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
距離センサ(6−1−5)と舵角センサ(6−1−4)は運転操作状況検出手段としても機能する。
【0030】
交通状況情報受信装置(6−2)は、道路の混雑状況等を検出するためのものである。
交通情報受信装置(6−2)は、路上に配置されたビーコンから情報を受信するビーコン受信装置(6−2−1)と、FM放送電波を用いて情報を受信する装置(6−2−2)等が使用され、これらを用いて交通情報センターから渋滞情報や、交通規制情報等を受信する。
また、ビーコン受信装置(6−2−1)を現在位置検出手段として、現在位置検出装置(6−1)と併用してもよいものとする。
【0031】
ブレーキ検出器(6−3)は、フットブレーキが踏み込み状態か否かを検出する。
サイドブレーキ(パーキングブレーキ)検出器(6−4)は、運転者がサイドブレーキを操作中か否か、及びサイドブレーキの状態(ONかOFFか)を検出する。
アクセル開度検出器(6−5)は、運転者がアクセルペダルをどれぐらい踏み込んでいるかを検出する。
シフト位置検出器(6−6)は、運転者がA/Tのシフトレバーを操作中か否か、及びシフトレバー位置を検出する。
ワイパ検出器(6−7)は、運転者がワイパを使用しているか否かを検出する。
【0032】
方向指示器検出器(6−8)は、運転者が方向指示器の操作中であるか否か、及び方向指示器が点滅中か否かを検出する。
ハザード検出器(6−9)は、運転者がハザードを使用している状態か否かを検出する。
イグニッション検出器(6−10)は、イグニッションスイッチがONになっているか否かを検出する。
車速の検出には距離センサ(6−1−5)を使用することもできる。
各種状況検出装置(6)は、機器操作状況検出手段としてこれらの他にも、ヘッドランプやルームランプ等のランプ類の操作状況を検出するライト検出センサ、運転者のシートベルト着脱操作を検出するシートベルト検出センサ、その他のセンサを備えている。
【0033】
図2に示されるように、GPS受信装置(6−1−1)と、データ送受信装置(6−1−2)と、交通情報受信装置(6−2)は通信装置I/F部(1−11)に接続され、他は各種入力I/F部(1−10)に接続されている。
【0034】
通信装置I/F部(1−11)には、他にも通信制御装置(8)が接続できるようになっている。この通信制御装置(8)には、通信装置(9)(各種無線通信機器からなる携帯電話等)が接続されるようになっている。
これらを使って電話回線による通話の他、例えば車内での通信カラオケのために使用するカラオケデータを提供するような情報提供局との通信を行なったりすることもできるようになっている。
カラオケデータを提供する情報提供局の他にも、交通情報を提供する情報基地局との通信や、エージェント処理に用いるシナリオデータを提供する情報提供局と通信を、通信装置(9)と通信制御装置(8)を介して行うことも可能である。
【0035】
本実施形態において中央処理装置(1)は、通信制御装置(8)を介してシナリオが添付された電子メールを受信することができるようになっている。
また、中央処理装置(1)には、インターネット上のホームページを表示するブラウザソフトを組み込み、CPU(1−1)で処理させることが可能であり、通信制御装置(8)を介してホームページからシナリオを含めたデータをダウンロードすることができるようになっている。
なお、通信制御装置(8)は、通信装置(9)と一体になったものを使用してもよい。
【0036】
また、中央処理装置(1)は、通信I/F部(1−11)を通して車内通信を行なうことで他の車載装置(7)の操作状況を受け取ったり、また、車載装置に対する各種制御を行うようになっている。
例えば、中央処理装置(1)は、各種車載装置(7)であるエアコン装置から、運転者がエアコンの各種スイッチ等を操作中か否かの情報を受け取ったり、設定温度を上げるや、下げるといったようにエアコン装置を制御を行う。また、オーディオ装置から運転者がラジオ、CDプレーヤ、カセットプレーヤー等のオーディオ機器を操作中か否か、及びオーディオ機器による音声が出力中か否かの情報を受け取ったり、出力音量を上げるや、下げるといったようにオーディオ装置の制御を行うようになっている。
【0037】
外部記憶装置(10)は、外部記憶媒体駆動部(10−1)とその外部記憶媒体(10−2)を備えている。外部記憶装置(10)は、CPU(1−1)からの指示で外部記憶装置制御部(1−12)による制御のもとで外部記憶媒体(10−2)からデータやプログラムの読み込み、及び外部記憶媒体(10−2)へのデータやプログラムの書き込みを行うようになっている。
外部記憶媒体(10−2)には、例えば、フレキシブルディスク、ハードディスク、CD−ROM、DVD−ROM、光ディスク、磁気テープ、ICカード類、光カード等の各種記憶媒体が使用され、使用する媒体ごとにそれぞれの外部記憶媒体駆動装置(10−1)が使用される。
【0038】
外部記憶装置(10)は、システムにおいて複数個所持してもよいものとする。例えば、収集した個人情報である、運転者情報データ(10−2−3−6)と、学習項目データ及び応答データ(10−2−3−7)を持ち運びが容易なICカードやフレキシブルディスクで構成し、その他のデータをDVD−ROMで構成するといった例が考えられる。こうすることで、他の車両を運転する場合にこれらを記憶させたICカードからデータを読み出させて使用し、自分が過去に応対した状況を学習した状態のエージェントとコミュニケーションすることが可能になる。つまり、車両毎のエージェントではなく、運転者毎に固有な学習内容のエージェントを車両内に出現させることが可能になる。
また、シナリオデータ+シナリオで使用する画像データ(10−2−3−4)を一例としてDVD−ROMで持つ構成にした場合でも、ICカードを使って追加することも可能になっている。
これにより、ユーザ各自にとって固有のオリジナルシナリオを加えることが可能である。
このように、画面要素推移体(シナリオ)及び画面要素推移体の起動条件を外部から記憶することにより、本願発明の画面要素推移記憶手段が形成される。
【0039】
CPU(1−1)は各種エージェント機能やナビゲーション機能を実現するプログラム(10−2−1)や、演算処理に使用するエージェントデータ(10−2−3)とナビゲーションデータ(10−2−2)を、上記構成例で示すDVD−ROMやICカード等から別の外部記憶装置(例えばハードディスク装置等)に格納(インストール)し、この記憶装置から必要なプログラム等をフラッシュメモリ(1−2)に読み込んで(ロードして)実行するようにしてもよいし、演算処理に必要なデータをこの記憶装置からRAM(1−4)に読み込んで(ロードして)実行するようにしてもよい。
【0040】
次に、本発明におけるプログラムを含めたCPU(1−1)で実行されるプログラムの構成について説明する。
図4は、CPU(1−1)でプログラムが実行されることにより実現されるエージェント処理部(101)と、全体処理部(102)との関係を表したものである。
本実施例では、種々のナビゲーション機能を実現する全体処理部(102)に、エージェント機能を実現するエージェント処理部(101)を加えることでエージェント機能付きナビゲーション装置を実現する構成になっている。
【0041】
エージェント処理部(101)と全体処理部(102)は、互いの処理データをやり取りするためのI/F部をそれぞれが持っており、互いの処理データを取得し合えるようになっている。
例えば、エージェント処理部(101)は、シナリオデータに従って運転者とのコミュニケーションを実行した結果、運転者が設定したい目的地データを取得した場合に、このデータを全体処理部(102)に供給するようになっている。全体処理部(102)では、取得した目的地データにより経路探索をし、作成した走行経路データに基づく経路案内を行なう。この経路案内処理において、画像や音声による進路変更方向等の案内を行なう場合に、案内に必要なデータを全体処理部(102)からエージェント処理部(101)に供給し、走行経路案内をするシナリオをデータ化したシナリオデータに従ってエージェントが案内することも可能である。
【0042】
図5は、エージェント処理部(101)の構成を表したものである。
エージェント処理部(101)は、シナリオ駆動部(101−1)と、自律起動判断部(101−2)と、学習部(101−3)と、キャラクタ心理部(101−4)と、描画・音声出力部(101−5)と、音声認識部(101−7)と、エージェントOS部(101−8)と、外部I/F部(101−9)とを備えている。
シナリオ駆動部(101−1)は、シナリオデータ(10−2−3−4)を読み込み、そのシナリオデータに基づいて各処理部にメッセージ通信等を使って指示(各処理部が提供する機能を使用)する。シナリオ駆動部(101−1)は、シナリオの実行を管理し運転者に各種エージェント機能を提供するといったエージェント処理部の中心的な処理を行う。
【0043】
自律起動判断部(101−2)は、シナリオデータ(10−2−3−4)にある各シナリオの自律起動条件データを保持し、エージェントOS部(101−8)からだされる定期的な自律起動判断指示により、時間、位置、状態等の各種条件と各種状況との比較、判断を行なっている。
条件が一致した場合に、自律起動判断部(101−2)はシナリオ駆動部(101−1)に対し、条件が一致したシナリオの実行要求の指示を出す。
自律起動条件と比較するための各種状況はエージェントOS部(101−8)及び学習部(101−3)から入手している。
また、定期的な自律起動判断指示以外にも、状況の変化が大きいとされる場合は、エージェントOS部から自律起動判断指示が出されるので、自律起動判断部(101−2)は、自律起動判断処理を行なうようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、ナビゲーション機能による走行案内経路をはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等がある。
【0044】
図5において、学習部(101−3)は、エージェントとのコミュニケーションにおいて運転者の選択や応答によって入手した項目(実行結果や実行履歴)を運転者情報データ(10−2−3−6)や、学習項目データ及び応答データ(10−2−3−7)として格納する。学習部(101−3)は、シナリオが異なるシーンで終了する場合の終了の仕方を示すエンドIDも入手して応答データ(10−2−3−7)として格納する。これら入手した項目は、RAM(1−4)上に格納されているが、外部記憶媒体(10−2)であるICカード等にも出力できるようになっている。
また、学習部(101−3)は、エージェントOS部(101−8)から状況の変化を入手して運転操作に関する情報を記録する。例えば、運転者による乗車時間帯や、乗車頻度等の各種状況を判断するために、電源ON(イグニッションON)の日時を過去10回分記憶しておいたりもする。格納された情報は、例えばシナリオ駆動部(101−1)に提供されシナリオの展開に変化を与えるために使用されたり、自律起動判断の比較に使用されたりする。
なお、また、本実施形態における学習部(101−3)は、運転者情報の保持・参照も兼務しているが、運転者情報部として独立させてもよい。
【0045】
キャラクタ心理部(101−4)は、エージェントOS部(101−8)が管理している現在状況を入手し、メンタルモデル変更条件データに基づき、キャラクタの心理状態を表す5つのパラメータを自律的に変更する。
キャラクタの心理状態は、元気、友好、従順、自信、モラルの各パラメータで表され、各パラメータは例えば0〜100の値で表わされるようになっている。各パラメータは、車両状況(車両自体の状況、運転者の応答や反応、同乗者の有無、対向車等を含む車両の状況)の判断と学習をし、各時点での車両状況から、記憶された各パラメータの値を変化させるようになっている。例えば、運転者からのねぎらいの言葉が認識された場合には友好のパラメータの値が1上昇する等、段階的に変化するようになっている。
また、シナリオ駆動部からの指示でもキャラクタの心理状態を表す5つのパラメータを変化させる。
さらに、このキャラクタ心理部(101−4)は、5つのパラメータを使用して、キャラクタの心理状態を判断する。判断された心理状態は、例えばシナリオ駆動部(101−1)に提供されシナリオの展開に変化を与えるために使用されたり、描画・音声出力部(101−5)に提供されキャラクタの各種行動(動作)に変化を与えるために使用されたりする。
【0046】
描画・音声出力部(101−5)は、シナリオ駆動部(101−1)からの指示で選択ボタンやタイトル等のパーツから構成される画面を表示するための制御信号を作成する。また、シナリオ駆動部(101−1)からの指示で、シーンデータによる表示状態に対応するキャラクタの各種行動(動作)を表示するための制御信号も作成する。
本実施形態では、これらの制御信号は、エージェントOS部(101−8)に伝わり外部I/F部(101−9)から全体処理部(102)に伝わり、全体処理部(102)内にある画像プロセッサへの指示を行なう処理部を通して画像プロセッサ(1−6)へ伝わり画像処理を施し表示装置(2)に表示されるが、全体処理部(102)を通さずにエージェントOS部(101−8)において画像プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【0047】
描画・音声出力部(101−5)は、また、シナリオ駆動部(101−1)からの指示でエージェントが運転者とコミュニケーションを行なう際の台詞を出力するための制御信号を作成する。また、シナリオ駆動部(101−1)からの指示で各種効果音を出力するための制御信号も作成する。
本実施形態では、これらはエージェントOS部(101−8)に伝わり外部I/F部(101−9)から全体処理部(102)に伝わり、全体処理部(102)内にある音声プロセッサへの指示を行なう処理部を通して音声プロセッサ(1−8)へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置(3)に出力されるが、全体処理部(102)を通さずにエージェントOS部(101−8)において音声プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【0048】
なお、本実施形態の描画・音声出力部(101−5)は、各シーンにおけるキャラクタの動作描画機能と音声出力機能を備えているが、描画部(描画機能部)と、音声出力部(音声出力機能部)とを別々に構成するようにしてもよい。
【0049】
音声認識部(101−7)は、シナリオ駆動部(101−1)からの指示により、全体処理部(102)中の音声認識処理部に音声認識辞書を作成させるための制御信号を発する。また、音声認識部(101−7)は、シナリオ駆動部(101−1)からの指示で音声認識処理を開始させたり停止させたりする制御信号も発する。
本実施形態では、これらはエージェントOS部(101−8)に伝わり外部I/F部(101−9)から、全体処理部(102)内にある音声認識処理部に伝えられる。
この音声認識処理部は、音声認識処理を開始する指示及び停止する指示を、音声プロセッサ(1−8)に伝え、音声プロセッサ(1−8)は音声入力装置(4)から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なうことになっている。
音声入力信号が入力されると、音声認識処理部は、前記デジタルの音声入力信号を取得し、それをもとに音声認識処理部は認識処理を行ない、その結果は先ほどの経路と逆の流れで音声認識部(101−7)に伝えられる。音声認識部(101−7)は、音声認識結果をシナリオ駆動部(101−1)に通知する。
以上の構成により、音声を認識する音声認識手段が形成される。
【0050】
エージェントOS部(101−8)は、時間、場所、各種入力等の状況の変化(シナリオの追加も含む)を取得して現在の状況を管理し、状況の変化に対して必要に応じてメッセージ通信にて各処理部に通知する。状況の変化は、外部I/F部(101−9)を通して全体処理部(102)から供給されたり、問い合わせたりして入手する。
入手される情報は、各種状況検出装置(6)による検出結果等を、各種入力I/F部(1−10)と、通信I/F部(1−11)より取り込みRAM(1−4)に書き込まれたものである。入力装置(5)を使って入力された内容も、外部I/F部(101−9)を通して全体処理部(102)から供給され、その内容を必要に応じてメッセージ通信にて各処理部に通知する。
また、エージェントOS部(101−8)は、他にも各種のライブラリを持っており、各処理部の間でデータのやり取りなどを行なうメッセージ通信の提供、及び現在時刻の提供、メモリの管理を行ない各処理部が処理を行なう際に必要なメモリの提供、外部記憶媒体からのデータ読み込みや書き込み機能の提供などを行なう。
【0051】
またエージェントOS部(101−8)は、時間に関する処理を行ないタイマーの役割をして特定時間の経過通知を行うようになっている。すなわち、エージェントOS部(101−8)は、計時手段として機能し、シナリオの各シーンにおいて設定されたタイマー設定時間を計時する。計時開始と計時するタイマー設定時間は、シナリオ駆動部(101−1)からの通知され、タイマー設定時間が経過するとエージェントOS部(101−8)は、設定時間が経過したことをシナリオ駆動部(101−1)に通知する。
【0052】
エージェントOS部(101−8)は、自律起動判断部(101−2)に対して、定期的に自律起動判断指示を出すようになっている。この定期的な自律起動判断指示は、所定時間毎に出される。所定時間としては、定期的に出される自律起動判断指示によって定期的に処理される自律起動判断処理が、中央処理装置(1)全体の他の処理に影響しない範囲でできるだけ短い時間であることが望ましく、本実施形態では5秒間隔に設定されている。この所定時間は入力装置(5)からの操作によってユーザーが当該所定時間を任意に変更することができるようにしてもよい。
また、エージェントOS部(101−8)は、状況の変化が大きいと判断された場合にも、自律起動判断部(101−2)に対して、定期的に自律起動判断指示を出すようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、案内経路から車両がはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等であり、あらかじめ該当する項目が規定されRAM(1−4)等に記憶されている。
【0053】
外部I/F部(101−9)は、エージェント処理部(101)と全体処理部(102)との間のインターフェースになっている(全体処理部(102)には受け手であるエージェントI/F部が存在する)。エージェント処理において利用するナビゲーション情報等各種情報の取得と、エージェント処理部から全体処理部に制御信号を伝えてナビゲーションを制御したりする。
この外部I/F部(101−9)を通して全体処理部(102)に通知して行なっている、画像プロセッサ(1−6)への描画指示や、音声プロセッサ(1−8)への音声出力指示、入力装置I/F部(1−9)からの入力情報の取得等、他プロセッサ及びI/F部への指示を行なう処理部をエージェント処理部に持たせ直接指示をしたり情報を取得したりするようにしてもよい。
【0054】
図4における全体処理部(102)は、図示しないが地図描画部、経路探索部、経路案内部、現在位置計算部、目的地設定操作制御部等からなりナビゲーションの信号出力処理を行なうアプリケーション部、及び地図表示や経路案内に必要な表示出力制御、音声案内に必要な音声出力制御を行なうためのプログラム等のOS部等で構成されている。
また、この全体処理部(102)には音声認識を行なう音声認識処理部、テキストデータを音声データに変換する処理部も存在する。ブラウザ機能やメール機能を追加する場合の当該処理部はこの全体処理部(102)に追加される。
もしくは、エージェント処理部(101)がブラウザ機能やメール機能を持つような構成にしてもよい。
また、本実施形態ではエージェント処理を実行するための拡張機能が全体処理部(102)に加えられている。この拡張機能には、例えばナビゲーションデータの中にある道路データと現在位置から、走行中の道路の種別(高速道路、国道、等)を検出する手段や走行中の道路のカーブ状況(カーブ手前、カーブ終了)を検出する手段等が存在する。
【0055】
次に、外部記憶媒体(10−2)に格納されているデータ構成(プログラムを含む)について説明する。
図6は、外部記憶媒体(10−2)に集録されている情報を概念的に表したものである。
外部記憶媒体(10−2)には本実施形態による各種エージェント機能やナビゲーション機能を実現するプログラム(10−2−1)、及び必要な各種データとして、エージェントデータ(10−2−3)とナビゲーションデータ(10−2−2)が格納されている。
ナビゲーションデータ(10−2−2)は、地図描画、経路探索、経路案内、目的地設定操作等に必要な各種データで構成されている。例としては、経路案内に必要な地図データ(道路地図、住宅地図、建造物形状地図等)、交差点データ、ノードデータ、道路データ、写真データ、登録地点データ、目的地点データ、案内道路データ、詳細目的地データ、目的地読みデータ、電話番号データ、住所データ、その他のデータのファイルからなりナビゲーション装置に必要なすべてのデータが記憶されている。また、必要に応じて通信地域データ等も記憶される。
【0056】
描画地図データは、表示装置(2)に描画される描画地図データであり、この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
交差点データは、各交差点を特定する交差点番号、交差点名、交差点の座標(緯度と経度)、その交差点が始点や終点になっている道路の番号、および信号の有無などで構成されている。
ノードデータは、各道路における各地点の座標を指定する緯度、経度などの情報から構成されている。すなわち、このデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼び、複数あるノード列のそれぞれの間をアークで接続することによって道路が表現される。
道路データは、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などで構成されている。
写真データは、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してデジタル、アナログ、またはネガフィルムの形式で存在する。
【0057】
通信地域データは、通信制御装置(8)に接続され又は無接続で車内において使用される通信装置(9)である携帯電話が、車内から通信できる地域を表示装置(2)に表示したり、その通信できる地域を経路探索の際に使用したりするための通信地域データが、携帯電話のタイプ別に存在する。
エージェントデータ(10−2−3)は、メンタルモデルデータ(10−2−3−1)と、お勧め提案データ (10−2−3−3)と、知識データ(10−2−3−2)と、シナリオデータ(10−2−3−4)と、キャラクタデータ(10−2−3−5)と、運転者情報データ(10−2−3−6)と、学習項目データ及び応答データ(10−2−3−7)と、で構成されている。
【0058】
メンタルモデルデータ(10−2−3−1)は、キャラクタの心理状態を表す5つのパラメータ(友好度,従順度,自信度,モラル,元気度)及びメンタルモデル変更条件データとで構成されている。メンタルモデル変更条件データは、前記の各パラメータの指数を増減する条件と、変化するパラメータ及びその変化の度合いが記されたものである。このテーブルに従って、各パラメータが増減しキャラクタの心理状態を表している。
お勧め提案データ(10−2−3−3)は、運転者にお勧め情報としてレストラン等を提案する場合に使用する。このお勧め提案データ(10−2−3−3)にはレストラン名称、読み上げデータ、レストランのジャンルデータ、雰囲気データ、料金データ、地点データ、…等で構成され運転者情報データ(10−2−3−6)及び知識データ(10−2−3−2)を基にして運転者にお勧めのレストランを検索して提案したりする。
レストラン以外にも観光地、休憩場所などが存在する。
知識データ(10−2−3−2)は、統計データを基に年齢、性別による好みの傾向や、同乗者の有無によるシチュエーションによる選択傾向、場所による名産等を含んだ選択傾向、時期や時間による選択傾向をデータ化したものである。レストランの選択傾向、観光地の選択傾向、休憩場所の選択傾向、…等さまざまな選択傾向が存在する。
【0059】
シナリオデータ(10−2−3−4)は、エージェントが運転者とのコミュニケーションを取ったりする時の、状況に応じたエージェントの行為や質問内容、どういった状況において自律的にエージェントから情報提供を行なうのかといった条件等が規定されている。シナリオデータ(10−2−3−4)には、キャラクタとは別に表示する画像データ(後述するシーン表示画面54(図12参照)に表示する画像データ)も保存される。
【0060】
図7は、実機形式シナリオデータの構成を表したものである。
シナリオデータ(10−2−3−4)は、複数のシナリオで構成されており、それらを管理するためのデータと、個々のシナリオの内容を示すデータとで構成されている。
集録シナリオの管理データには、このシナリオデータの有効期限、作成された日や作成者等といった情報と、シナリオデータに収録されている個々のシナリオを全体的に管理するためのデータ(シナリオ番号、シナリオ名称、優先順位(プライオリティ))と、シナリオファイルに収録されているシナリオの自律起動条件データと、シナリオファイルに収録されているシナリオの中で運転者が入力装置(5)等を使って手動起動させることができるシナリオ一覧データが記されている。
【0061】
個々のシナリオの内容を示すデータには、それぞれのシナリオを管理する管理データと、シナリオを構成する個々のシーンの内容を示すシーンデータとで構成されている。
それぞれのシナリオを管理するデータには、シナリオに関する情報と、このシナリオで使用する音声認識辞書を作成するためのテキスト情報と、シナリオを構成する各シーンデータを全体的に管理するためのデータが記されている。
【0062】
シーンデータは、シーンを管理するデータと、画面構成データと、キャラクタ動作データと、各種処理データと、展開管理データとで構成されている。
シーンを管理するデータには、そのシーンに関する情報とシーンデータに属する各データセクションを管理するデータが記されている。
画面構成データには、このシーンにおいて表示装置(2)に表示する画面構成の各パーツのデータ(大きさや表示位置等)が記されている。
キャラクタ動作データには、このシーンにおいてキャラクタが行なう動作の指示データと、話す内容に関する指示データが記されている。動作の指示データには、シナリオデータで直接各キャラクタの表現手段で指示するものと、キャラクタに表現させたい状態で指示するものの2種類のうちどちらかで指示データが記されている。
【0063】
各種処理データには、このシーンにおいて外部機器を制御(処理をさせる)する情報や、ナビゲーションを制御する情報や、他のシナリオを実行する指示や、タイマー設定情報や、キャラクタ心理を示すメンタルモデルのパラメータを変化させる情報等が記されている。
タイマー設定情報には、シーンの時間を設定する情報としてタイマー設定時間と、タイマー設定条件が含まれる。タイマー設定条件は、車両の状態によってタイマーを設定するか否かを規定する条件で、本実施形態では、(a)走行中も停車中も常に設定する、(b)走行中のみ設定する、(c)停車中のみ設定する、(d)常にタイマー設定をしない(この場合にはタイマー設定時間は規定されない)、の各場合が存在する。
【0064】
外部機器とは通信I/F部(1−11)に接続されている各機器等があり、例えば通信制御装置がある。制御する内容は、特定の電話番号に電話をかけるや、通話を切断する等がある。
ナビゲーションの制御内容には、例えばこの地点を目的地に設定するといったものが存在する。
メンタルモデルのパラメータを変化させる指示としては、友好度を1減少する等がある。
【0065】
展開管理データには、このシーンで何かイベントが発生した場合に、シナリオを終了するのか、次に進むシーンが何であるか、もしくは何も展開しないのか、といった情報が記述されている。
ここでいうイベントとは、シーンの展開を次に進めるためのもので規定された何らかのアクションを示している。例えばキャラクタの台詞が終了した、設定しておいた時間が経過した、運転者がこのシーンで質問した内容に対して何らかの回答を選択した(例えば「はい」or「いいえ」の質問に「はい」と答えた)、等が存在する。
このイベントに加えて学習した結果によって展開を変えることもできる。
例えば、質問に対し運転者が「はい」を選択した場合で通算使用回数が10回未満の時といった使い方ができる。
学習した結果のほかに、日時、メンタルモデルを使ったキャラクタの心理状態、運転者情報、等も使用して展開を変えることもできるようになっている。
【0066】
図8はキャラクタデータの内容を概念的に表したものである。
キャラクタデータ(10−2−3−5)には、複数のキャラクタのデータが格納されており、運転者の好みによって入力装置(5)等から選択することができるようになっている。
キャラクタデータ(10−2−3−5)は、各キャラクタA、B、…毎に、キャラクタ画像データ102351と、キャラクタ音声データ102352と、キャラクタ画像選択データ102353とを備えている。
【0067】
キャラクタ画像データ102351は、シナリオにより指定された各シーンで表示されるキャラクタの状態を表す静止画像や、動作を表す動画(アニメーション)等が格納されている。例えば、キャラクタがお辞儀をする動画、うなずく動画、右手を挙げる動画等が格納されている。
これらの各静止画像や動画には画像コードが付けられている。
キャラクタ画像データ102351は、画像記憶手段として機能する。
キャラクタ画像データ102351として使用するキャラクタ(エージェントの容姿)としては、人間(男性、女性)的な容姿である必要はない。例えば、非人間型のエージェントとして、タコや、ひよこ、犬、猫、カエル、ネズミ等の動物自体の容姿や、人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、フロアスタンドや木などの容姿や、特定のキャラクタの容姿等であってもよい。
またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。
【0068】
キャラクタ音声データ102352は、選択されたシナリオのシーンに従って、エージェントが運転者と会話等を行うための音声データが格納されている。
エージェントによる会話の音声データは、エージェントが運転者情報を収集するための質問をするための音声データも格納されている。例としては、「こんにちは」、「よろしくね」、「またね」等が格納されている。
これらの各音声には音声コードが付けられている。
【0069】
キャラクタ画像選択データ102353は、個々の表示状態に対して各キャラクタの表現方法(動作)を表す画像データを割り当てた変換テーブルである。
シナリオデータ(10−2−3−4)は、キャラクタの種類によらない共通化した表示状態により各シーンの内容を規定している。
このためキャラクタ画像選択データ102353は、共通表現されたシーンの表示状態を、ユーザが選択したキャラクタに対する個別の動作内容を表示する画像データに変換するための変換テーブルであり、画像選択手段の一部として機能する。
【0070】
図9は、キャラクタ画像選択データ102353の内容を概念的に表したものである。
この図9では、各シーンデータで規定されている状態指示番号と、対応する統一の表示状態と、各キャラクタに対する動作内容が表示されているが、実際のキャラクタ画像選択データ102353には、状態指示番号と、状態指示番号に対応する動作内容を表示するための画像コードとが、各キャラクタ毎に記憶されている。状態指示番号には、キャラクタ画像データ102351の各静止画像や動画につけられた画像コードが対応つけられている。
図9に示した、変換テーブルを用いることにより、同じ表現したい状態に対してキャラクタによって異なる動作だったとしても共通の動作指示(表示状態の指定)ができるようになる。
図9に示されるように、例えば、日本人の日向えりの場合、「出会いの挨拶をする」という指示は「お辞儀をする」と規定されており、「話を聞く」という指示は「右手を耳にあてる」と規定されている。
これが欧米人のレディーの場合「出会いの挨拶をする」という指示は「右手を顔の横まで上げる」と規定され、ロボットのi−ballの場合「出会いの挨拶をする」という指示は「頭部メイン画面上をレーザースキャンが上下に移動する」と規定されている。
このように、エージェント装置では、同一のシナリオに対して、キャラクタの選択を変更することで、選択したキャラクタに対応した個別の動作をさせることが可能になる。
【0071】
図10は、運転者情報データを概念的に示したものである。
運転者情報データ(10−2−3−6)は、運転者に関する情報で、エージェントのコミュニケーションをより運転者の希望や趣味、嗜好に合ったものとするために利用される。
運転者情報データ(10−2−3−6)には、運転者毎に情報を格納するための運転者のID(識別情報)、名前、年齢、性別、結婚(既婚か未婚か)、子供の有無と人数と年齢からなる運転者基礎データや、趣味嗜好データとが格納されるようになっている。
趣味嗜好データとしては、スポーツ、飲食、旅行等の大項目と、これら大項目の概念に含まれる詳細項目とから構成されている。例えば、大項目スポーツには、野球が好きか嫌いか、サッカーが好きか嫌いか、ゴルフが好きか嫌いか等のデータが格納されるようになっている。
本実施形態では、これらの各運転者情報には優先順位が決められており、エージェントは、未だ格納されていない運転者情報のうち優先順位が高い順に運転者に質問をするようになっている。運転者基礎データは、趣味嗜好データよりも優先順位が高くなっている。
【0072】
運転者情報データ(10−2−3−6)は、その車両を運転する運転者が複数存在する場合には、運転者毎に作成される。そして、運転者を特定して該当する運転者情報が使用される。
運転者の特定は、例えば、電源オン時に、全運転者に共通するエージェントが登場して運転者の問い合わせをし、その回答から特定する。運転者の問い合わせは、入力済み運転者の氏名とその他を選択するボタンを表示装置に表示し、選択を促す音声を出力する。その他が選択された場合には新規ユーザ登録画面を表示する。
なお、体重、運転席(シート)の固定位置(前後位置、背もたれの角度)、ルームミラーの角度、視線の高さ、顔写真をデジタル化したデータ、音声の特徴パラメータIDカード等といった運転者固有の情報を少なくとも1つ運転者情報データ(10−2−3−6)に格納しておき、これらの情報から運転者を特定するようにしてもよい。
【0073】
図6における学習項目データ及び応答データ(10−2−3−7)は、エージェントとのコミュニケーションにおいて運転者の選択や応答によってエージェントが学習した結果を格納するデータである。
従って、学習項目データ及び応答データ(10−2−3−7)は、運転者毎にそのデータが格納・更新(学習)されるようになっている。
例えば、シナリオの使用状況として前回の選択結果や前回使用した日時、通算の使用回数等が格納される。
この学習内容に従って、例えば、毎回ナビ電源ON時に挨拶をするシナリオにおいて、前回使用から5分以内の場合に「つい先ほどにもお会いしましたね」と対応したり、逆に1ヶ月以上間があいている場合には「お久しぶりですね」と対応したりする。
【0074】
また、どの球団のファンであるか質問した結果の回答(無回答という対応も含めて)を格納したりもする。この応答の結果によって無回答の場合はもう一度どの球団のファンか質問したり、特定の球団が記憶されている場合はその球団についての会話を行なったりと対応を変えることができる。
無回答という対応の判定方法のとして、本実施形態では、タイマー設定時間内に回答がなく、タイマー通知(設定時間が経過)となった場合に無回答と判定する。
タイマー設定時間は、シナリオデータのシーンデータとして、タイマー設定情報中に規定されている。
【0075】
次に、以上のように構成されたエージェント装置による、シナリオの実行動作について説明する。
図11は、エージェント装置により車室内に登場させるエージェントのキャラクタを選択する場合の選択画面を表したものである。
エージェント装置1は、表示装置(2)に表示されるコミュニケーション設定画面(図11(a))からキャラクタを選択することができるようになっている。
図11(a)において、ユーザによってキャラクタの表示の「する」ボタンが選択されると、図11(b)に示すように、キャラクタデータ(10−2−3−5)に格納されている各キャラクタの名称が選択可能にリスト表示される(キャラクタ選択手段)。ユーザはこのリスト表示の中から、好みのキャラクタを選択する。選択は該当するキャラクタ名称の欄をタッチするか、キャラクタ名称を音声入力することで選択する。
キャラクタが選択されると、ユーザが選択したキャラクタを特定するデータが全体処理部(102)から外部I/F(101−9)を介して伝えられて、エージェントOS(101−8)によって管理される。
なお、ユーザが選択したキャラクタのデータが存在しない場合、いずれか1のキャラクタ、本実施形態では「日向えり」がデフォルト値として設定されており、デフォルトのキャラクタがエージェントOS(101−8)により管理される(設定手段)。
【0076】
図12は、シナリオのシーンデータに基づいて表示装置(2)に表示されるシーン画面の一例を表したものである。
この図12に示されるシーン画面は、未入力の運転者情報である趣味嗜好(食事)を取得するために運転者から質問をする質問シナリオのシーン画面(シーン番号0x0001)である。
シーン画面は、図12に示されるように、エージェントの画像(静止画、動画)が表示されるエージェント表示画面51、エージェントの音声に対応した文字が表示される吹き出し画面52、タイトル画面53、及び、各シーン固有の画像データ(実画像データの画像や回答選択ボタン等)が表示されるシーン表示画面54から構成されている。
エージェント表示画面51に表示されるエージェントは、ユーザが選択したキャラクタ、又はデフォルトのキャラクタである。
【0077】
エージェント処理部(101)のシナリオ駆動部(101−1)は、趣味嗜好(食事)の質問シナリオを起動すると、最初にシーンヘッダで指定されるシーンの画面構成データをシナリオデータ+画像(10−2−3−4)から読み出してシーン画面を表示装置(2)に表示すると共に、質問文に相当する質問音声を音声出力装置(3)から出力するようになっている。
図12(a)の質問シナリオのシーン画面では、吹き出し画面52に「どのジャンルの食事が好きですか?」と表示される。なお、吹き出し画面52の表示に対応する音声が音声出力装置(3)から出力されるようになっている。
また、図12(a)のシーン画面におけるシーン表示画面54には、4つの回答選択ボタン54aの「和食」、「洋食」、「中華」、「特に無し」が表示されている。
【0078】
この運転者に対する質問のシーンには、運転者の回答に応じた複数のシーンが分岐して続くようになっている。各シーンの分岐および続くシーンの特定については、各シーンの展開管理データに従って、運転者の回答に応じて決定される。すなわち、図12(a)のシーン画面(シーン番号0x0001)で運転者が回答選択ボタン「和食」を選択すると、シナリオ駆動部(101−1)は、回答に応じたシーン画面(b)に分岐して表示される。このシーン画面(b)では、選択された「和食」がタイトル画面53に表示されると共に、吹き出し画面には「和食がすきなのですね。」と表示され、なお、分岐後の和食のシーン画面では、和食の実画像がシナリオデータから読み出され、シーン表示画面54に表示される。そしてシナリオ駆動部(101−1)により、運転者の回答、例えば、「和食」が運転者情報として、運転者情報307の趣味嗜好データに格納されるようになっている。
このようにして、シナリオに規定された各シーン画像と音声が最後のシーンまで連続的に順次表示、出力されることで、1シナリオにおけるエージェントの行為が完了することになる。
【0079】
図13は、旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表したものである。
この案内シナリオは、複数のシーン画面のうち(a)〜(f)までのシーン画面が表示されており、シーン画面(c)に対するユーザの選択結果によって次のシーン画面が0x0004と0x0006に分岐している。また、図13の例では分岐していないが、シーン画面(d)においても選択した料理の種類に応じた料理をシーン表示画面54に表示するようにシーン画面を分岐させるようにしてもよい。
【0080】
以下図13に従って予約シナリオによるエージェントの各行為について説明する。
以下の各シーン画面に対応して説明するエージェントの動作や画面の表示はいずれも、外部シナリオのシナリオデータに格納されているデータや画像及び指示に従って表示等されるものである。また、エージェントの動作として説明するが、実際にはエージェント処理部(101)のシナリオ駆動部(101−1)が処理を行う。
【0081】
予約シナリオが起動されると、まず番号0x0001のシーン画面が表示装置(2)に表示される。このシーンでは、エージェントOS(101−8)で管理しているキャラクタのエージェントが、エージェント表示画面51に登場し、お辞儀をして音声による挨拶をする。音声による挨拶の内容は、吹き出し画面52に表示されている文章と同一である。
音声による挨拶は、旅館に代わってエージェントが代行して行うことになるが、旅館の女将の写真画像をシーン表示画面54に表示することで旅館からの挨拶であることが表現されている。この女将の画像は、外部シナリオの一部として受信し追加した画像で、シナリオデータ(10−2−3−4)の実画像データとして格納されている。
エージェントの動作に対する指示は、キャラクタ動作指示データに格納されている指示に従う。
エージェントによる挨拶が終了すると、次のシーン0x002に遷移する。
【0082】
次のシーン0x0002では、シーン表示画面54に露天風呂の画像が表示される。そして、この露天風呂の絵をエージェントが指し示して、旅館の名物(ここが売りだということ)を、エージェントが音声と吹き出し画面52の表示で説明する。
【0083】
エージェントの話が終了すると、次のシーン0x0003に遷移し、本日の食事の画像(懐石料理の画像)をシーン表示画面54に表示し、エージェントが料理の説明と、この料理で良いか否かを質問する。
そして、シーン0x0003のシーンデータにタイマー設定時間と、タイマー設定条件「走行中のみ設定する」が規定されているものとする。この場合、走行中であることを条件に、シーンの開始時にタイマーによる計時が開始される。走行中か否かは車速センサ(6−11)又は距離センサ(6−1−5)において、車速v=0が検出された場合に停車中と判断され、車速v≠0が検出された場合に走行中と判断される。
【0084】
そして、表示した料理でよいか否かの質問に対する回答としてユーザが「はい」を選択した場合にはシーン0x0004に分岐し、「いいえ」を選択した場合にはシーン0x0006に分岐する。
一方、タイマー設定時間内に、ユーザが音声による回答も、画面に表示された選択ボタンの選択による回答もせずにタイマー通知(設定時間の経過)した場合、シーン0x0003のシーンデータで規定されているタイマー通知時の移行条件に従って、そのシナリオを終了させる。
【0085】
このように、ユーザからの回答がない場合にも、無回答という選択がされたと判断して、無回答を移行条件とする次のシーン(図13の例では終了)に移行することで、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
【0086】
シーン0x0004では、懐石料理以外の選択可能なリストをシーン表示画面54に表示する。エージェントは、シーン表示画面54のリストを指し示して、どの料理が良いかを質問する。
そして、ユーザがいずれか1つを選択したらシーン0x0005に遷移する。
【0087】
シーン0x0005では、懐石料理から変更すべき人数のリストをシーン表示画面54に表示し、エージェントはこのリストを指し示して、人数の質問をする。
そしてユーザがいずれか1つを選択したらシーン0x0006に遷移する。
【0088】
シーン0x0006では、シーン表示画面54に旅館の外観写真画像を表示し、エージェントがお辞儀をして挨拶をする。
そして、エージェントは、ユーザが選択してきた結果、図13の案内シナリオの場合には食事に関する回答結果を、通信制御部24を介して実行中の外部シナリオを送信した第三者(旅館)に送信する。
このように、ユーザについての情報を取得したい場合には、外部シナリオの作成者は、取得したい情報が得られる質問のシーンをシナリオ中に設け、その回答を電子メールで送信するようにシナリオを作成する。なお、回答の送信が必要な場合には、作成者の電子メールアドレスをシナリオデータ中に含める。
最後のシーン(図13ではシーン0x0006)でのエージェントの話が終了すると、シナリオを終了させる。
【0089】
このようにして、シナリオ駆動部(101−1)は、シナリオに規定された各シーン画像と音声を最後のシーンまで順次表示、出力する。
起動したシナリオが終了すると、シナリオ駆動部(101−1)は、他のシナリオの実行についての起動条件の判断を行う。
【0090】
次に、このようなシナリオ駆動部(101−1)で実行される各種シナリオを自律的に起動するか否かの判断処理について説明する。
図14は、自律起動判断部によるシナリオの自律起動判断処理について表したものである。
この自律起動判断処理では、自律起動判断部(101−2)が装置の負荷を軽減するために、位置と日付に関する情報を受け取り、その受け取った位置と日付に近似する起動条件を、シナリオデータを保持している外部記憶装置(10)より読み出し(抽出手段)、RAM(1−4)に一時的に格納する処理を行う。
すなわち、自律起動判断部(101−2)は、今現在置かれている状況情報を取得するため、エージェントI/Fを介し、エージェントOS(101−8)より現在位置、時間などの状況情報を取得する(ステップ11)。
そして、自律起動判断部(101−2)は、取得した位置、時間などの状況情報が所定単位の変化があるか否かを判断する(ステップ12)。
判断の結果、所定単位の変化がありと判断された場合(ステップ12;Y)、自律起動判断部(101−2)は、その位置と時間などの条件に近似する条件を備えた自律起動条件を外部記憶装置(10)より読み出し、RAM(1−4)に一時的に格納する(ステップ13)。ここで、近似する条件とは、位置の場合、地図データの全範囲を所定単位の方形ブロックに区画し、自律起動条件に規定されている位置が存在するブロックと、そのブロックに隣接する7つのブロックに位置情報が含まれる条件をいい、日付の場合、その当日と翌日が該当する。そして、所定単位の変化とは、位置の場合には車両が他のブロックに移動した場合で、日付の場合には日付が変わった場合が該当する。
そして自律起動判断部(101−2)は、読み込まれた自律起動条件を、状況情報が満たしているか否かについての条件判断処理を行う(ステップ14)。
なお、ステップ12の判断で所定単位の変化なしと判断された場合(;N)、予め読み出されていた起動条件を変更する必要がないため、ステップ14の処理に進む。
【0091】
図15は、条件判断処理(ステップ14)の処理内容を表したものである。
自律起動判断部(101−2)は、RAM(1−4)から、最初の自律起動条件を取得し(ステップ21)、ステップ12で入手した各種状況情報による状況が、取得した自律起動条件を満たしているか否かを判断する(ステップ22)。自律起動条件を満たしている場合(ステップ22;Y)、自律起動判断部(101−2)は、その自律起動条件に対応するシナリオの実行要求メッセージを、シナリオ駆動部(101−1)に対して発行する(ステップ23)。
【0092】
次に自律起動判断部(101−2)は、次の自律起動条件がシナリオデータ(10−2−3−4)にあるか否かを判断し(ステップ24)、あれば(;Y)、次の自律起動条件を取得し(ステップ25)、以後ステップ22〜25の各処理を全ての自律起動条件に対する判断が終了するまで繰り返す。
ステップ24において、次の自律起動条件が存在しない場合(;N)、自律起動判断部(101−2)は、自律起動判断処理を終了する。
【0093】
次に、シナリオ駆動部(101−1)が、自律起動判断部(101−2)からシナリオ実行要求を受け取った場合のシナリオ実行処理について説明する。なお、以下に記す自律起動判断部の処理が、本願発明の条件判断手段を構成する。
図16は、シナリオ実行処理の流れを表したフローチャートである。なお、図16では、シナリオを実行する場合の、エージェント処理部(101)の各部、及び全体処理部(102)による一連の代表的な動作を表したものであり、各部はそれぞれ独立した処理を行うようになっている。すなわち、各部の独立した処理が、連続することで図16に示した代表的な流れになる。
具体的には、エージェント処理部(101)の各部、及び全体処理部(102)は、メッセージを受け取ったら、そのメッセージに対する処理を行ない、処理が完了したら次のメッセージを待つようになっている。
【0094】
シナリオ駆動部(101−1)は、自律起動判断部(101−2)からシナリオ実行要求を受け取ると、ワークメモリの確保、初期化によるエージェント開始準備処理を行う(ステップ505−1)。
そして、シナリオ駆動部(101−1)は、シナリオの実行要求が手動起動か自動起動かを確認する(ステップ505−2)。手動起動は、ユーザが表示装置(2)のメニューからシナリオ起動を選択した場合で、自動起動は、シナリオの自律起動条件を満たした場合である。
シナリオの実行要求が手動起動の場合はメニューシナリオの要求処理を行う(ステップ505−3)。その後、シナリオデータ読み込み処理(ステップ505−4)に移行する。
【0095】
一方、自動起動の場合には、自律起動条件を満たすことで実行要求されているシナリオが存在するので、そのままシナリオデータ読み込み処理(ステップ505−4)に移行する。
次にシナリオ駆動部(101−1)は、実行すべきシナリオデータをRAM(1−4)に読み込む(ステップ505−4)。シナリオデータを読み込む際、実行対象となっているシナリオが複数存在する場合(複数の自律起動条件が満たされた場合、手動起動要求と自動起動が重複した場合等)には、シナリオ駆動部(101−1)は、各シナリオに規定されている優先順位を判断し一番優先順位の高いシナリオデータを読み込む。優先順位が同じである場合には、自律起動判断部(101−2)から実行要求を受けた順に優先順位が高いものとして決定する。シナリオの優先順位は、シナリオデータ(10−2−3−4)の収録シナリオの管理データから確認する。
【0096】
シナリオデータの読み込みが完了すると、シナリオ駆動部(101−1)は、次に、シナリオを開始処理(シナリオを開始するための初期化処理)を行う(ステップ505−5)。ここでは、このシナリオの開始時刻の記録や使用回数の加算等の処理が行なわれる。これにより、学習部(101−3)が、学習項目データ(10−2−3−7)への記録、加算を行う。
【0097】
次にシナリオ駆動部(101−1)は、シナリオを構成するシーンの内容に応じてキャラクタの描画や音声を処理するシーン処理を実行する(ステップ505−6)。シーン処理の詳細は図17により後述する。
シーン処理が完了すると、シナリオ駆動部(101−1)は、シナリオ終了か確認を行なう(ステップ505−7)。
シナリオ終了の場合、シナリオ駆動部(101−1)は、シナリオ終了処理を行なう(505−8)。このシナリオ終了処理において、学習部(101−3)が、終了の仕方を示すエンドIDを入手して応答データ(10−2−3−7)に格納する。
シナリオ終了でない場合(シナリオがまだ続く場合)、シナリオの終了位置まで、ステップ(505−6)に戻って次のシーン、次のシーン、…とシーン処理を繰り返す。
【0098】
シナリオの終了処理の後、シナリオ駆動部(101−1)は、他にシナリオの実行要求が有るか否か確認し(ステップ505−9)、他のシナリオの実行要求が存在する場合は、シナリオデータの読み込み処理(ステップ505−4)に戻って同様に処理が実行される。
一方、他に実行するシナリオが存在しない場合、シナリオ駆動部(101−1)は、エージェント終了処理を実行する(505−10)。すなわち、エージェントOS(101−8)にシナリオの実行を要求する処理は終了したことを知らせる。
その後、表示装置(2)に表示される画面は通常のナビゲーション画面に戻るが、その後の処理はエージェントI/Fを介して全体処理部(102)に受け渡す。
なお、上述したように、各部は独立して処理されるため、図16のフローチャートには示されていないが、シナリオの実行中は、シナリオから別のシナリオを実行させるためのシナリオ実行要求はいつでも受付可能な構成になっている。
【0099】
図17は、シーン処理(ステップ505−6)の流れを表したフローチャートである。
シナリオ駆動部(101−1)は、シーン処理において、開始するシーンの種類を確認し(ステップ505−6−1)、通常のシーンの場合は、シーンデータの解析処理(ステップ505−6−2)に進み、クローンシーンの場合は、各種処理の依頼を行なう処理(ステップ505−6−5)に進み、条件追加シーンの場合は、展開判断処理(ステップ505−6−12)に進む。
ここで、クローンシーンは、あるシーンnの終了の仕方によって、元のシーン(直前に終了したシーン)nと同一の画面を表示する場合で、例えば、設定時間内に入力がされなかった場合に、同一の画面のまま入力を促す音声を出力するような場合のシーンである。
また、条件追加シーンは、ある特定のシーンに推移して開始させるために、当該シーンの前に設けられたシーンで、画面表示がされずに画面推移(分岐)のための条件判断を行うシーンである。
【0100】
開始するシーンが通常のシーンの場合、シナリオ駆動部(101−1)は、開始するシーンのデータを、ステップ504にて読み込まれたシナリオデータがおかれているRAM(1−4)を参照し、表示する画面構成やキャラクタの動作指示、等を解析する(ステップ505−6−2)。
解析した結果、音声認識辞書が存在する場合、シナリオ駆動部(101−1)は、シーンデータ中に規定されている音声認識辞書の設定(初期化)依頼を音声認識部(101−7)に対して通知する(ステップ505−6−3)。
【0101】
次に、シナリオ駆動部(101−1)は、描画・音声出力部(101−5)に対して画面描画の依頼を行なうための処理を行う(505−6−4)。この依頼は、図12に示されるシーン画面のうち、エージェント表示画面51を除く他の画面を構成する各パーツを該当箇所に表示するための依頼である。依頼内容としては、タイトル表示画面53へのタイトル表示、シーン表示画面54への選択ボタンや、固有の画像データ等の表示、吹き出し画面52へのテキスト表示、その他、背景の表示等である。
【0102】
次にシナリオ駆動部(101−1)は、各種処理(ナビや外部接続機器等への処理、ユーザからの回答が必要なシーン等でタイマー設定情報がシーンデータに規定されている場合には、時間計測(計時)の依頼処理等)の依頼を行なう処理を行う(ステップ505−6−5)。
【0103】
図18は、各種処理の指示(ステップ505−6−5)で行われる処理を例示したフローチャートである。
この図18に示されるように、各種処理の指示(ステップ505−6−5)は、ナビゲーション機能(ナビ機能)や外部接続機器への処理の依頼(ステップ505−6−5−1)、タイマー設定依頼処理(ステップ505−6−5−2)、AMMパラメータの変更依頼(ステップ505−6−5−31)の、3項目の処理を順に行っている。
【0104】
上記した3項目の各種処理の実行は、各種処理の実行要求通知のメッセージを受け取った時に行なう。各種処理の実行要求通知のメッセージとは、例えば画面の描画が完了した時や、クローンシーンが実行された場合に発行される(本実施例の場合)。
ナビや外部機器への処理依頼(ステップ505−6−5−1)は、指定した地点を目的地に設定するなどの全体処理部(102)へのナビゲーション処理の依頼や、オーディオの音量を上げ下げの依頼等の外部接続した機器への処理の依頼等が存在する。
【0105】
タイマー設定依頼(ステップ505−6−5−2)は、エージェントOS(101−8)に対してタイマー設定依頼を行なうものであるが、詳細は後述する。最後のAMMパラメータ変更依頼(ステップ505−6−5−3)は、AMMパラメータを変更する依頼で、パラメータの1つである友好度を1上げる等の依頼が存在する。
【0106】
なお、図18の説明では上記3項目を順次処理している場合について説明したが、それぞれの項目を分割して、それぞれのトリガにして(別々のメッセージを受け取ったとき)、処理を行なうようにしても良い。
すなわち、上述したようにシナリオを実行する場合のエージェント処理部(101)の各部や全体処理部(102)は、それぞれ独立した処理を行うようになっている。従って、3項目の各処理をそれぞれ個別に独立して行うようにしてもよい。
例えば、AMMのパラメータ変更はシーンの終了を示す通知を受け取ったときに実行するようにしてもよい。また、描画・音声出力部(101−5)から音声出力終了通知(画像描画と音声出力の両者の終了を示す通知の場合には該終了通知)をシナリオ駆動部(101−1)が受信した際に、タイマー設定を行うようにしてもよい。
【0107】
図19は、タイマー設定依頼処理の動作を表したフローチャートの一例である。
シナリオ駆動部(101−1)は、まず、車両の走行状態をエージェントOS(101−8)に問い合わせて取得する(ステップ505−6−5−2−1)。エージェントOS(101−8)は、問い合わせがあると、車速センサ(6−11)に車両が走行中か停車中かを確認し、シナリオ駆動部(101−1)に通知する。車速センサ(6−11)は、車速を検出しエージェントOSに車速情報を通知する。エージェントOSは、車速センサ(6−11)から受け取った車速情報を元に、車速v=0の場合に停車中と判断し、車速v≠0の場合に走行中と判断する。
【0108】
次にシナリオ駆動部(101−1)は、ステップ505−4でRAM(1−4)に読み込んだシナリオにおける実行中のシーンデータから、タイマー設定条件を取得し、タイマー設定条件と車両の走行状態とから、タイマー設定が必要か否かを判断する(ステップ505−6−5−2−2)。
シナリオ駆動部(101−1)は、(a)走行中も停車中も常に設定する、(b)走行中のみ設定する、(c)停車中のみ設定する、(d)常にタイマー設定をしない、のうちシーンデータに設定されているタイマー設定条件と、走行状態(走行中又は停車中)とから、タイマー設定を行うか否か判断する。
【0109】
すなわち、シナリオ駆動部(101−1)は、タイマー設定条件が(b)で停車中の場合、(c)で走行中の場合、及び(d)の場合には、タイマー設定を使用しないと判断して、リターンする。
一方、シナリオ駆動部(101−1)は、タイマー設定条件が(a)の場合、(b)で走行中の場合、及び(c)で停車中の場合には、タイマーを設定を使用すると判断する。
この場合、シナリオ駆動部(101−1)は、エージェントOS(101−8)に対して、タイマー設定時間を通知することでタイマー設定依頼を行ない(ステップ505−6−5−2−3)、リターンする。
【0110】
エージェントOS(101−8)は、シナリオ駆動部(101−1)からタイマー設定依頼があると、通知されるタイマー設定時間の計測を開始する。
そして、エージェントOS(101−8)は、シナリオ駆動部(101−1)から中止要求がされる前に、タイマー設定時間が経過した場合、その旨をシナリオ駆動部(101−1)に通知する。
一方、タイマー通知(設定時間の経過)前にシナリオ駆動部(101−1)から中止要求がされた場合、エージェントOS(101−8)は、時間の計測を終了する。
【0111】
なお、本実施形態では、シナリオ駆動部(101−1)からタイマー設定依頼があると、直ちにタイマー設定時間の計測を開始する場合について説明したが、エージェントOS(101−8)は、タイマー設定時間のタイマーの設定準備のみ行い、シナリオ駆動部(101−1)から計時開始通知を受けた場合に開始するようにしてもよい。
この場合、シナリオ駆動部(101−1)は、描画・音声出力部(101−5)からキャラクタ描画・音声出力処理終了の通知(又は、変形として後述する、音声出力終了通知)を受けた場合に、計時開始通知をエージェントOS(101−8)に通知する。
このように、質問の音声出力が終了した後にタイマーの計時を開始することで、質問音声の出力が長い場合に、ユーザの回答時間が短くなってしまうことが防止される。
【0112】
また、シナリオ駆動部(101−1)は、本実施形態で説明したタイマー設定処理を、キャラクタ描画・音声出力処理(ステップ505−6−6)の後でステップ505−6−7の前に行うようにしてもよい。
【0113】
次に、シナリオ駆動部(101−1)は、エージェント表示画面51(図12参照)に表示されるキャラクタの動作指示の依頼を描画・音声出力部(101−5)に対して行ない、描画・音声出力部(101−5)はシーンデータに従って、キャラクタ描画・音声出力処理を行う(ステップ505−6−6;図17)。キャラクタ描画・音声出力処理により、キャラクタがお辞儀をしたり、右方向や左方向を手で指したり、ユーザに話しかけたりするシーンが展開される。
【0114】
図20は、描画・音声出力部(101−5)によるキャラクタ描画・音声出力処理を表したフローチャートである。
描画・音声出力部(101−5)は、シナリオ駆動部(101−1)からキャラクタの動作指示の依頼を受けると、動作指示内容解析処理(ステップ505−6−6−1〜505−6−6−8)、動作再生処理(ステップ505−6−6−9)、要求終了返信(ステップ505−6−6−10)の順に処理を行う。
【0115】
動作指示内容解析処理において描画・音声出力部(101−5)は、まず、受け取った描画指示内容がキャラクタの種類によらない統一の(共通の)動作指示か否かを判断し(ステップ505−6−6−1)、描画指示がキャラクタ毎に特定された表現方法で指示(直接指示:図36(b)参照)されていれば、動作再生処理(ステップ505−6−6−9)に移行する。
【0116】
描画指示がキャラクタによらない統一の表示形態であれば、描画・音声出力部(101−5)は、指示内容の変換を行う。
変換はまず、その時点で設定されているキャラクタの種類をエージェントOS部(101−8)から取得する(ステップ505−6−6−2)。
次に描画・音声出力部(101−5)は、統一の動作指示(表示状態番号)とキャラクタ毎の動作指示内容(画像コード)の対応表が書かれた変換テーブル(キャラクタ画像選択データ)102353(図9参照)を外部記憶装置(10)のキャラクタデータ(10−2−3−5)から取得する。
そして、描画・音声出力部(101−5)は、変換テーブルを基に動作させるキャラクタの動作指示内容、すなわち、シーンデータの表示状態番号に対応するキャラクタの画像コードを取得する(ステップ505−6−6−4)。
【0117】
描画・音声出力部(101−5)は、取得した動作指示情報が、キャラクタの動作指示をシステムに自動で選択させる設定になっている場合、(ステップ505−6−6−5;Y)、更に以下の処理を行う。
すなわち、描画・音声出力部(101−5)は、まず時間、場所、運転者情報、エージェントメンタルモデル等の、動作自動選択条件情報をエージェントOS部(101−8)から取得する(ステップ505−6−6−6)。
次に時間等の統一の動作指示の選択条件情報と、キャラクタの統一の動作指示とが記述されている動作自動選択テーブルを外部記憶媒体(10−2)のエージェントデータ(10−2−3)から取得する(ステップ505−6−6−7)。そして、描画・音声出力部(101−5)は、時間等の統一の動作指示の選択条件情報と、自動選択テーブルを基に統一の動作指示を取得する。該統一の動作指示を基に、ステップ505−6−6−3で取得した変換テーブル102353を参照して動作指示内容(画像コード)を取得することにより動作指示を確定する(ステップ505−6−6−8)
【0118】
次に、描画・音声出力部(101−5)は、動作再生処理を行う(ステップ505−6−6−9)。
すなわち、描画・音声出力部(101−5)は、キャラクタの動作指示内容(画像コード)を基に、キャラクタデータ(10−2−3−5)の、選択されているキャラクタのキャラクタ画像データ102351(図8参照)から画像データを取得する。
また当該キャラクタの動作指示依頼が、キャラクタの動作にキャラクタのセリフ音声を同期させ出力させる内容であれば、キャラクタデータ(10−2−3−5)のキャラクタ音声データ102352から音声データを取得する。
【0119】
描画・音声出力部(101−5)で取得した画像データはエージェントOS部(101−8)に伝わり外部I/F部(101−9)から全体処理部(102)に伝わり、全体処理部(102)内にある描画プロセッサ(1−6)への指示を行う処理部を通して描画プロセッサ(1−6)へ伝わり画像処理を施し表示装置(2)に表示される。
また取得した音声データはエージェントOS部(101−8)に伝わり外部I/F部(101−9)から全体処理部(102)に伝わり、全体処理部(102)内にある音声プロセッサ(1−8)への指示を行う処理部を通して音声プロセッサ(1−8)へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置(3)に出力される。
【0120】
次に、描画・音声出力部(101−5)は、シナリオ駆動部(101−1)から要求されたキャラクタの動作処理をすべて行った後、要求されたシーンのキャラクタ描画・音声出力処理終了をシナリオ駆動部(101−1)に通知し(ステップ505−6−6−10)、処理を終了する。
また、キャラクタの台詞音声を同期させて出力する要求内容であった場合は、音声の出力が全て終了した時点で、キャラクタ音声出力処理終了をシナリオ駆動部(101−1)に通知する。
【0121】
なお、描画・音声出力部(101ー5)は、キャラクタ動作の描画の終了を通知する描画終了通知と、音声出力の終了を通知する音声出力終了通知とを、それぞれの処理が終了した時点で別々に通知するようにしてもよい。
【0122】
描画・音声出力部(101−5)からシーンのキャラクタ描画・音声出力処理終了が通知された後に、シナリオ駆動部(101−1)は、処理中のシーンデータにおいて音声認識についての指示がされているか否かを確認し(ステップ505−6−7:図17)、指示が無ければ、ステップ505−6−9に移行し、指示がある場合には音声認識処理を行う(ステップ505−6−8)。
【0123】
図21は、音声認識処理(ステップ505−6−8)の処理動作を表したフローチャートである。
キャラクタが話し終わった後(描画・音声出力部(101−5)からキャラクタの音声出力終了がシナリオ駆動部(101−1)に通知されたとき)に、シナリオ駆動部(101−1)は、シナリオデータに設定されている認識開始制御指示(音声認識の指示)を確認する(ステップ505−6−8−1)。
音声認識の指示が、「常に自動認識開始しない」(自動で開始しない)、である場合は、認識処理はしないでリターンする(図17のステップ505−6−9に移行する)。
音声認識の指示が、「常に自動で認識する」(自動で開始する)である場合にはステップ(505−6−8−3)に移行して音声認識(後述)を行う。
【0124】
一方、音声認識の指示が、状況判断結果次第の「おまかせ」(車載装置が開始を判断する)である場合、状況判断処理を行う(ステップ505−6−8−2)。
すなわち、シナリオ駆動部(101−1)は、各種状況検出装置(6)の検出データを全体処理部(102)から受け取り、走行中の道路の状況、車速、車速変化、ステアリング角、アクセルの踏み込み量、ブレーキの踏み込み量等から運転者の運転負荷を判断する(運転負荷判断手段)。
走行中の道路の状況は、全体処理部(102)のナビゲーション機能により、検出した車両の現在位置と、走行中の道路幅、走行地位(交差点か否、直線道路、曲線、蛇行道路、急傾斜道路等)等から判断され、シナリオ駆動部(101−1)に通知される。
本実施形態では、カーブや交差点を走行中の場合、車速変化が大きい場合、ブレーキの踏み込み量が大きい場合には運転負荷が高いと判断され、それ以外の場合には運転負荷が低いと判断される。
なお、カーブの曲率や、車速、車速変化、道路幅、交差点等に対して運転負荷を決定するための点数化しておき、その合計値が所定値を超えるか否かにより運転負荷を判定するようにしてもよい。すなわち、合計値が所定位置を超える場合には運転負荷が高いと判定し、所定値以下の場合に負荷が低いと判断するようにしてもよい。
なお、シナリオ駆動部は、運転者の負荷の例の他にも、車室内で検出される騒音が大きいと判断される場合は自動で認識開始しない等の判断を行うようにしてもい。
【0125】
シナリオ駆動部(101−1)は、運転者の負荷が高い場合には音声認識を開始せずにリターンし、運転者の負荷が低い場合にはステップ505−6−8−3に移行して音声認識の開始を音声認識部(101−7)に指示する。
【0126】
なお、シナリオ駆動部(101−1)は、図21に示した音声認識処理と独立した処理として、タイマー通知(設定時間が経過)した処理を行うようになっている。
すなわち、シナリオ駆動部(101−1)は、エージェントOS(101−8)から、タイマー設定時間が経過したことを意味するタイマー通知がなされると、展開判断処理(505−6−12)を実行する。
【0127】
シナリオ駆動部(101−1)から音声認識の開始指示がされると、音声認識部107は、以下に説明する音声認識を行う(ステップ505−6−8−3)。すなわち、音声認識開始が指示されると、音声認識部(101−7)は、音声入力の受付が開始されたことをユーザに示すために、「ピッ」等の開始音を音声出力装置(3)から出力する(開始音出力手段)。
なお、本実施形態では音声認識を開始する前に開始音を出力するようにしているが、開始音を出力しないようにしてもよい。また、開始音の出力と共に、表示装置(2)に音声認識中であることを示す表示、例えば、「音声認識中です」等の表示や、音声認識中を示すアイコンを表示するようにしてもよい。
【0128】
その後、音声認識部(101−7)は、音声認識の開始をエージェントOS部(101−8)を介して外部I/F部(101−9)から、全体処理部(102)内にある音声認識処理部に指示する。全体処理部(102)の音声認識処理部は、開始指示を音声プロセッサ(1−8)に伝え、音声プロセッサ(1−8)は音声入力装置(4)から入力されたアナログ信号をデジタルの音声入力信号に変換する。変換された音声入力信号が入力されると、全体処理部(102)の音声認識処理部は、デジタルの音声入力信号を取得し、ステップ505−6−3(図17)で設定された音声認識辞書を使用して、取得した音声入力信号の認識を行う(ステップ505−6−8−3)。
認識が完了すると全体処理部(102)の音声認識処理部は、音声認識の結果を、外部I/F部(101−9)、エージェントOS部(101−8)を介して音声認識部(101−7)に通知する。音声認識部(101−7)は、音声認識結果をシナリオ駆動部(101−1)に通知する。
【0129】
なお、本実施形態では、実際の音声認識の処理を全体処理部(102)の音声認識処理部で行っているが、音声認識部(101−7)で音声認識を行うようにしてもよい。この場合、音声認識部(101−7)が音声認識手段として機能する。また、音声認識部(101−7)で音声認識を行う場合、全体処理部(102)によるナビゲーション処理での音声認識と2カ所で行われることになるので、両者を共通して音声認識部(101−7)で行うようにしてもよい。
【0130】
次に、シナリオ駆動部(101−1)は、全体処理部(102)での音声認識の結果を判断する(ステップ505−6−8−4)。
シナリオ駆動部(101−1)は、認識失敗の場合にはステップ505−6−8−1に戻り、認識に成功した場合には以下のコールバック処理を行う。
すなわち、シナリオ駆動部(101−1)は、シナリオデータに設定されているコールバック制御指示(コールバックをするかしないかの指示)の内容を確認する(ステップ505−6−8−5)。
コールバック制御の指示が「コールバックしない」である場合は、コールバックを行わずにリターンし、「コールバックする」である場合にはコールバックのためのキャラクタ描画・音声出力処理を行う(ステップ505−6−8−7)。
【0131】
一方、コールバック制御の指示が「おまかせ」の場合(コールバックをするかしないかをエージェント装置が判断する場合)、シナリオ駆動部(101−1)は、状況判断処理(505−6−8−6)を行う。
【0132】
すなわち、シナリオ駆動部(101−1)は、本実施形態の場合、以下の判断基準に従って状況を判断し、認識結果をコールバックするか否かを決定する。
以下の条件(a)、(b)を両方とも満たしている場合に、シナリオ駆動部(101−1)は認識結果をコールバックする。
(a)走行中(車速≠0km/h)の場合
(b)音声認識辞書に言い換えを除いて3種類以上の単語が存在する場合(例えば、制御の感覚の質問で「強い」か「弱い」か「ちょうど良い」の回答を認識する場合)
一方、次の条件(c)、(d)の少なくとも一方を満たしている場合、シナリオ駆動部(101−1)は認識結果をコールバックしない。
(c)停車中(車速=0km/h)の場合
(d)音声認識辞に言い換えを除いて2種類の単語しか存在しない場合(例えば、「はい」か「いいえ」の回答を認識する場合)
なお、上記判断基準は本実施形態におけるものであり、他の基準を採用するようにしてもよい。例えば、認識結果の信頼性(確からしさ)が低い、もしくは、前述の運転負荷判定手段を用いて運転者の負荷が低いと判断される場合はコールバックする等の判断基準を持っても良い。
【0133】
コールバック制御の指示が「コールバックする」である場合、及び「おまかせ」で状況からコールバックをすると判断した場合、シナリオ駆動部(101−1)は、キャラクタ描画・音声出力処理を行い(ステップ505−6−8−7)、リターンする。
キャラクタ描画・音声出力処理では、(ステップ505−6−8−7)キャラクタの動作は現在動作のまま(音声認識開始時の動作)とし、シナリオデータの音声認識辞書に各認識結果に対して台詞の指示が記してありそれを使用する。すなわち、認識結果が「ちょうど良い」である場合、コールバック用の音声として、例えば、「ちょうど良い、ですね。」というように「認識結果」の音声に続けてコールバック用の音声「ですね。」を出力する。
このように音声認識の認識結果を確認する(コールバックする)ことにより、認識結果確認手段が形成される。
【0134】
なお、このコールバック用の音声は、ステップ505−6−6(図17)のキャラクタ描画・音声出力処理におけるキャラクタの種類による動作選択と同様に、選択される各キャラクタ毎にコールバック用音声を規定しておくようにしてもいい。
また、常に同一のコールバック音声が付加されると不自然な会話になるので、同一のキャラクタであっても、複数のコールバック音声を用意し、順番に出力したり、時間やコールバックの回数に応じて変更するようにしてもよい。
【0135】
シナリオ駆動部(101−1)は、音声認識の指示が無い場合、及び、音声認識処理(ステップ505−6−8)が終了した後、エージェントOS(101−8)からユーザ入力の知らせを受け取ったら、その入力が何であるか確認し(図17、ステップ505−6−9)、入力に対応した処理を行なう。
なお、上述したように、各処理は独立して実行されるため、音声認識処理(ステップ505−6−8)中であっても、エージェントOS(101−8)から入力が通知された場合にはその入力に対応した処理が並行して実行される。従って、音声認識処理中に、ユーザが音声認識の選択ボタンを選択しエージェントOS(101−8)から通知されると、音声認識処理による処理段階に関わらず、次の処理(ステップ505−6−9)が実行される。
【0136】
シナリオ駆動部(101−1)は、エージェントOS(101−8)から、例えば、カーソルの移動に関する入力を受け取った場合、カーソルを移動させて、画面の描画依頼(画面スクロールの依頼)の処理を行う(ステップ505−6−10)。
また、ユーザがシーン表示画面54(図12参照)に表示されているいずれかの回答選択ボタン54aを選択した場合、どの項目が選択されたか判断し(ステップ505−6−11)、その結果シーンの展開が有るかを判断する(ステップ505−6−12)。
なお、上述したように、図16〜図20の処理は、シナリオ処理の1例を示したものであり、実際には各部が独立して個別の処理を行っている。このため、上の図17には示していないが、音声認識開始もしくは中止が入力された場合、音声認識部に対し音声認識処理の開始もしくは中止の依頼を行なう等、ユーザ入力の確認(ステップ505−6−9)を行なった後の処理は他にも存在する。また、描画・音声出力部(101−5)からシーンのキャラクタ描画・音声出力処理終了が通知をされる前、つまり、指示したキャラクタの動作が終了する前であっても、ユーザの入力の確認(ステップ505−6−9)をすることも可能である。
【0137】
次に、シナリオ駆動部(101−1)は、展開判断処理(ステップ505−6−12)において、シナリオデータの展開管理データ(図7参照)を参照して次の展開を判断する。次の展開が存在しない場合は何も処理されずにユーザ入力判断に戻り、次の展開が存在する場合は、次の展開に進めるためにシーン終了処理(ステップ505−6−13)に進む。
シーン終了処理(505−6−13)では、シナリオ駆動部(101−1)が他の処理部に依頼している処理が有れば、その中止依頼を行ない(例えば音声認識処理の依頼をしていたら認識処理の中止依頼をする)、リターンする。リターンにより、図16のシナリオ終了判断(ステップ505−7)に移行する。
【0138】
以上説明したように、本実施形態のエージェント装置によれば、シナリオデータの各シーン毎にタイマー情報が設定されているか判断し、設定されている場合には、タイマー設定条件に従って、回答があるまでシーンを継続し、又は、タイマー設定時間だけシーンを実行する(シーンの開始と併せてタイマー設定時間の計測を開始してタイマー通知(設定時間の経過)となったときにシーンを終了する)、ようになっている。
そして、タイマー通知の場合には、タイマー通知を移行条件として次のシーンに移行するようになっている。このため、1つのシナリオがユーザの回答の有無等によって極端に長時間実行され続けることがなく、車両移動による状況変化によって新たに自律起動条件を満たして実行待ちの状態のシナリオが増加してしまうことが防止される。
【0139】
また、一定時間質問に対する回答が無かった場合は状況によって質問に対して無回答と判断して次のシーンに移行するので、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。また、ユーザにとって、常に回答しなければならないという煩わしさを回避することができる。
【0140】
また、本実施形態のエージェント装置によれば、音声認識の結果が出たときに、シナリオエディタで作成したシナリオデータに示されている音声認識結果のコールバック制御指示に従って、認識結果をコールバックする行為をしたり、しなかったりする機能を備える。
これにより、擬人化されたキャラクタが常に認識結果を聞き返すことがなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか、しないかが制御され、運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中の場合や、さらに2択の回答を要求されている場面などはコールバックしないことでスムーズな会話を実現できる。
さらに、コールバックしたりしなかったりすることで、擬人化されたキャラクタとの会話において、人間同士の会話に近づけることができる。
【0141】
また説明した実施形態のエージェント装置によれば、シナリオエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、音声認識を開始させる機能を備えている。
このため、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。
そして、人間同士の会話においては存在しない音声認識開始ボタン選択を不要としたので、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【0142】
また、説明した実施形態のエージェント装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化し、ユーザが選択したキャラクタの変換テーブルを参照することで、シナリオの各シーンで指定された表示状態に対応する各キャラクタの画像データを選択し、その画像データを再生することで各シーンを展開し、シナリオを実行するようにしたので、1のシナリオで、異なる複数のキャラクタに対応することができる。従って、キャラクタ毎のシナリオを記憶する必要がなくなるので、データ量を少なくすることができる。
【0143】
また、説明した実施形態によれば、シナリオ作成装置のユーザー(作成ユーザー)が作成したオリジナルのシナリオに組み込まれた自律起動条件を、シナリオの起動条件としてシナリオの実行を開始することができる。
従って、シナリオ作成装置のユーザーに対して、エージェントの登場を含めた各種シナリオを、自分の好みに合わせたタイミングで起動させるようなシナリオを自由に作成する場を提供することができる。
【0144】
また、本実施形態では5秒間隔で定期的に自律起動判断処理が実行されるようになっているので、各種状況の変化に対してほぼリアルタイムで、条件を満たしたシナリオを起動することが可能になる。
さらに、あらかじめシナリオの起動条件として選択される可能性が高い状況(状況の変化が大きい場合)も自律起動判断処理が実行されるので、定期的な判断処理が開始される前にも自律起動判断処理が実行され、かつ、この場合に該当する(条件を満たす)シナリオが多い。このため、よりリアルタイムに近い状態でシナリオを実行することができる。
【0145】
また、説明した実施形態によれば、エージェントの行為をシナリオデータで規定すると共に、このシナリオデータを複数の連続するシーンからなるシナリオによって規格化されているので、エージェント装置のユーザ及び第三者が自分でシナリオを作成し、組み込むことができる。
このように装置に予め格納されているデフォルトのシナリオに追加できるので、ユーザは自分に合った追加シナリオをインターネット等で探してダウンロードし、また自分でシナリオを作成することでエージェント装置をより快適に使用することができる。
【0146】
次に、ユーザや第三者が独自のシナリオを作成するシナリオ作成装置2の構成とその動作について説明する。
図22は、シナリオ作成装置の構成を表したものである。
シナリオ作成装置は、制御部(200)と、入力装置(210)と、出力装置(220)と、通信制御装置(230)と、記憶装置(240)と、記憶媒体駆動装置(250)と、入出力I/F(260)とを備えている。これら各装置は、データバスや制御バス等のバスラインにより接続されている。
【0147】
制御部(200)は、シナリオ作成装置全体を制御する。
シナリオ作成装置はシナリオ編集プログラムの実行だけでなく、その他プログラム類(例えばワープロや表計算等)を実行することもできる。制御部(200)は、CPU(200−1)と、メモリ(200−2)等から構成されている。
CPU(200−1)は、種々の演算処理を実行するプロセッサである。
メモリ(200−2)は、CPU(200−1)が種々の演算処理を実行する際にワーキングメモリとして使用される。
CPU(200−1)は、メモリ(200−2)にプログラムやデータなどを書き込んだり消去したりすることができる。
本実施の形態におけるメモリ(200−2)には、CPU(200−1)がシナリオエディタ(シナリオ編集プログラム)に従ってシナリオデータを作成、編集、記憶等するためのエリアが確保可能になっている。
【0148】
入力装置(210)は、シナリオ作成装置に対して文字や数字その他の情報を入力するための装置であり、例えばキーボードやマウスなどにより構成されている。
キーボードは、主にカナや英文字などを入力するための入力装置である。
キーボートは、例えばユーザがシナリオ作成装置にログインするためのログインIDやパスワードを入力したり、シナリオ作成の際に音声合成や音声認識の対象となる文を入力したりする際などに使用される。
マウスは、ポインティングデバイスである。
GUI(Graphical User Interface)などを用いてシナリオ作成装置を操作する場合、表示装置上に表示されたボタンやアイコンなどをクリックすることにより、所定の情報の入力を行なうこと等に使用される入力装置である。
【0149】
出力装置(220)は、例えば表示装置や印刷装置などである。
表示装置は、例えばCRTディスプレイ、液晶ディスプレイ、プラズマディスプレイなどが使用される。
表示装置には、シナリオを作成するためのメイン画面や、各シーンにおける画面構成を選択するための画面等の各種画面が表示される。また、各画面において選択された情報や入力された情報が表示されるようになっている。
印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置が使用される。
印刷装置で印刷するものは、例えば、作成したシナリオの全体の流れをチャート形式で表す図や、各シーンの設定状態を示すものがある。
【0150】
通信制御装置(230)は、外部との間で各種データやプログラムを送受信するための装置であって、モデム、ターミナルアダプタその他の装置が使用される。
通信制御装置(230)は、例えばインターネットやLAN(Local Area Network)などに接続可能に構成されている。通信制御装置(230)は、これらのネットワークに接続した他の端末装置あるいはサーバ装置などと通信によって信号及びデータのやり取りを行なうことで、装置で作成したシナリオデータを送信したり、第3者が作成したシナリオデータを受信(ダウンロード)したり、更に、シナリオデータの作成に必要なデータを取得したりすることができるようになっている。
通信制御装置(230)はCPU(200−1)によって制御され、例えば、TCP/IPなどの所定のプロトコルに従ってこれら端末装置やサーバ装置との信号及びデータの送受信を行う。
【0151】
記憶装置(240)は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。
当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。
記憶装置(240)には、シナリオ編集プログラム(240−1)、シナリオ編集データ(240−2)、及びその他のプログラム・データ(240−3)が格納されている。その他のプログラムとして、例えば、通信制御装置(230)を制御し、シナリオ作成装置とネットワークでつながれた端末装置やサーバ装置との通信を維持する通信プログラムや、メモリ管理や入出力管理などのシナリオ作成装置を動作させるための基本ソフトウェアであるOS(Operating
System)なども記憶装置(240)に格納されている。
【0152】
記憶媒体駆動装置(250)は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、ICカード類、データをパンチした紙テープ、CD−ROMなどがある。
本実施形態では、シナリオ作成装置で作成・編集したシナリオデータ(エージェント装置で使用する形態)は、主としてICカード類に書き込まれるようになっている。
シナリオ作成装置は、記憶媒体駆動装置(250)によって記憶媒体を駆動することにより、シナリオデータが格納された記憶媒体からシナリオを取得したり、あるいは、作成したシナリオデータを記憶媒体駆動装置から記憶媒体に格納したりすることができる。
【0153】
入出力I/F(260)は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。
入出力I/F(260)に当該インターフェースに対応した外部機器を接続することにより、シナリオ作成装置の機能を拡張することができる。このような外部機器として例えば、ハードディスクなどの記憶装置、通信制御装置、スピーカ、マイクロフォンなどがある。
【0154】
次に、シナリオ編集プログラム(240−1)と、シナリオ編集データ(240−2)の構成について説明する。
図23は、シナリオ編集プログラムとデータの構成を概念的に表したものである。
シナリオ編集プログラム(240−1)は、シナリオエディタ(240−1−1)と、シナリオコンパイラ(240−1−2)と、DB編集ツール(240−1−3)が存在する。
シナリオ編集データ(240−2)は、共通定義DB(240−2−1)と、ローカル定義DB(240−2−2)と、シナリオエディタで作成したSCE形式シナリオデータ(240−2−3)と、シナリオコンパイラで変換された実機形式(NAV形式)シナリオデータ(240−2−4)が存在する。
シナリオエディタ(240−1−1)は、シナリオデータを作成するアプリケーションプログラムである。
【0155】
シナリオコンパイラ(240−1−2)は、シナリオエディタ(240−1−1)で作成されたSCE形式シナリオデータ(240−2−3)を、エージェント装置で使用可能な実機形式シナリオデータ(240−2−4)に変換するアプリケーションプログラムで、変換手段として機能する。
図24は、データ形式の変換を概念提供に表したものである。
この図24に示されるように、シナリオコンパイラ(240−1−2)は、1個以上のSCE形式シナリオデータ(240−2−3)を、1個の実機形式(NAV形式)シナリオデータ(240−2−4)に変換する。
【0156】
DB編集ツール(240−1−3)は、共通定義DB(240−2−1)に格納されているデータを編集・更新するためのアプリケーションプログラムである。
共通定義DB(240−2−1)は、シナリオデータを作成する際の定義データが格納される。共通定義DB(240−2−1)には、後述する自律起動判断データ、シーン展開をするアクション項目及び追加判断項目、キャラクタの表示状態指示テーブル等が格納される。この共通定義DB(240−2−1)は、シナリオ作成装置の記憶装置ではなく、ローカルエリアネットワーク(LAN)でつながっているサーバ上に存在してもよい。こうすることで、ローカルエリアネットワーク(LAN)でつながっている各シナリオ作成装置は共通の共通定義DB(240−2−1)を使ってシナリオデータの作成ができる。
ローカル定義DB(240−2−2)は、シナリオ作成者がシナリオデータを作成中に定義した画面構成が格納される。
【0157】
SCE形式シナリオデータ(240−2−3)は、シナリオエディタ(240−1−1)で作成されたデータである。
実機形式(NAV形式)シナリオデータ(240−2−4)は、シナリオコンパイラ(240−1−3)によってSCE形式シナリオデータ(240−2−3)からエージェント装置で使用するためのデータ形式に変換されたデータである。
【0158】
図25は、自動起動項目として設定可能な項目を例示したものである。
この自動起動項目は、エージェント装置で検出、認識、確認可能な各項目の種類のサンプルを概念的に一覧表示したものである。
この自動起動項目は、共通定義DB(240−2−1)に記述されており、シナリオエディタ(240−1−1)でシナリオを作成する際に、自律起動条件を設定するために、自動起動項目が共通定義DB(240−2−1)から読み出され、リスト表示される(提示手段)。作成者は、このリスト表示(一覧表示)された中から自動起動項目を選択する(選択手段)。
それぞれ選択された項目の種類に記されている内容によって数値入力を行なうウインドウが表示されたり、一覧から選択するウインドウが表示されたりして自動起動項目の判断条件を入力する。この操作を1又は複数回繰り返しシナリオを自律的に起動するための判断条件である自律起動条件のデータが作成される。
このように、画面要素推移体(シナリオ)の起動条件を設定することにより、起動条件設定手段が形成される。
【0159】
図26、図27は、自動起動項目に対して、自律起動条件として選択可能な選択可能項目を例示したものである。
選択可能項目も共通定義DB(240−2−1)に記述されている。図25に例示した自動起動項目を示したテーブルのうち、種別の欄に一覧から選択と表記された項目について、更に下位の概念として選択可能な項目が、選択可能項目として図26、図27に規定されている。選択可能項目に規定されたグループと、自動起動項目の項目とは、一番左側のNo.の項目で対応付けられている。
表には示さないが他にもこれと同様に数値入力に関する定義テーブル等が存在し、時刻の入力ウインドウであったり、走行距離の入力ウインドウであったり、と異なった入力をするウインドウを作成することができるようになっている。
選択された自動起動項目と選択された選択可能項目及び入力された数値や時刻、距離等の組み合わせが、各シナリオに対する自律起動条件となる。例えば、ユーザによる選択が、自動起動項目「加速度」、選択可能項目「急減速状態」である場合、自律起動条件は「加速度−急減速」となる。
なお、本サンプルはあくまでもサンプルであり定義を変更してもよい。
例えば車速入力を一覧から選択にし、10km/h毎に区切られた項目の中から選択する形をとってもよい。
また、エージェント装置において新規にセンシングできる項目が増えた場合には、その項目を追加する事ができる。例えばシートベルト検知センサを組み込んだ場合、一覧から選択という入力手段でシートベルト状態という項目に対し、シートベルト未装着、シートベルトを装着しているといった項目が選択できる定義を組み込むことが考えられる。
これらの変更及び追加は、先に示したDB編集ツール(240−1−3)を使って行なう。
また、エージェント心理部からキャラクタの心理状態を入手して自律起動判断に加えてもよい。
この場合も、DB編集ツール(240−1−3)を使って定義データを追加する。例えば、一覧から選択という入力手段で自動起動項目としてキャラクタの心理状態、ブルー(落ち込んでいる)、機嫌がよい、等といった項目が選択できる定義を組み込むことが考えられる。
【0160】
図28は、シーンから次のシーンに分岐(シーン展開)をするための分岐項目(移行条件)が格納されたシーン分岐項目テーブルである。シーン分岐項目テーブルは、共通定義DB(240−2−1)に格納されている。
シーン分岐項目の各項目は、各シーンの展開構成を作成する際に読み出され、分岐イベントの選択ウィンドウ(図40(b))にリスト表示される。
このリスト表示された中から分岐条件項目を選択し、また、テーブルに格納されていない場合には別途分岐条件をDB編集ツール(240−1−3)を使って定義データを追加することにより、シーン展開構成が作成される。分岐条件項目の選択を繰り返すことで、複数の推移先を持つ(複数に分岐された)シーンを作成することができる。
【0161】
本実施形態では、キャラクタがしたユーザへの質問に対するユーザからの回答の入力を待つ時間としてタイマー設定時間とタイマー設定条件が設定。そして、タイマー設定時間内にユーザの回答が無い場合に、タイマー通知(設定時間の経過)による無回答と判断するようになっている。
図28に示されるように、本実施形態のシーン分岐項目テーブルには、移行条件としてタイマー通知が規定されている。
【0162】
図29は、更に詳細に分岐条件を設定する場合の追加条件テーブルを表したものである。追加条件テーブルも共通定義DB(240−2−1)に格納されている。
追加条件項目は、前記のシーン展開をするアクション(分岐条件項目)に対してさらに複数の展開を持たせるために使用する項目である。このとき分岐させるためのシーンを作成する。分岐させるためのシーンを作成すると、分岐させるためのシーンからの展開構成を作成する際には、追加判断項目が読み出さる。分岐させるためのシーン1個に対し、1分類のみ選択でき、選択された分類の項目が一覧リスト表示されて選択する、もしくは数値入力で範囲指定する。複数の分類を論理積で掛け合わせたい場合は、分岐させるためのシーンを重ねることで容易に作成する事ができるようになっている。
さらにエージェント装置は、学習部(101−3:図5参照)により、シナリオが複数のシーンに分岐していて、それぞれ異なるシーンでシナリオが終了する場合の終了の仕方をエンドIDとして記録するようになっている。また、学習部(101−3)は、シナリオのなかでユーザの応答や、通算使用回数等を学習データといして記録することができるようになっている。
【0163】
図29に示す追加条件テーブルには、これら記録されたシナリオ終了状態(エンドID)や、シナリオの通算使用回数、ユーザ情報(運転者情報)、メンタルモデル、日時などのその他の分類項目と、各分類における選択できる項目一覧の作成方法が定義されており、これらを追加分岐条件として選択し、1個のシーン展開をするアクションに対して複数の展開を持たせることが可能になっている。シーン展開をするアクション項目及び追加判断項目に関する定義データも自律起動判断データと同様に、変更及び追加がDB編集ツール(240−1−3)を使って行なうことができるようになっている。
【0164】
図30、図31は、共通定義DB(240−2−1)に格納されている、キャラクタによらない統一の動作指示テーブルの内容の一部を概念的に表したものである。以下図30、図31の説明より、キャラクタ設定手段を形成する。
このテーブルは、キャラクタの種類によらずに共通した動作の表示状態が規定されており、キャラクタに表現させたい内容毎に分類されている。
キャラクタによらない統一の動作指示テーブルは、複数存在し、本実施形態では、仕事の状態(図30)、精神状態(図31)、TPO状態、成長状態、スケール状態の各表示状態指示テーブルが存在する。
図30、図31に示されるように、各表示状態指示テーブルは、複数のツリー構造になっており、後述するキャラクタ動作の状態指示編集ウィンドウ(図36(c))に各ツリー構造の形と分類名が表示されるようになっている。
【0165】
図30、図31に示されるように、表示状態指示テーブルのツリーの末端の項目毎に状態指示番号が付されている。この状態指示番号が、エージェント装置1のキャラクタ画像選択データ(変換テーブル)102353の状態指示番号(図9参照)に対応している。
【0166】
キャラクタによらない統一の動作指示の中の仕事の状態テーブルは、図30に示されるように、ここでは最大4つまでに分類されており、基本姿勢、出会いの挨拶、別れの挨拶、感謝、謝罪、励ます、誉める、慰める、登場、退場、禁止等の動作指示が規定されている。
このように各分類の名称として、エージェントに表現させたい内容を用いることで、シナリオ作成者がイメージしているシナリオ、及びシーンの内容に対応した表示状態を選択しやすくなっている。
【0167】
キャラクタによらない統一の動作指示の中の精神状態テーブルは、図31に示されるように、5階層に分類されてる。喜怒哀楽の表現として、通常、喜ぶ、怒る、哀しむ、驚く等が規定され、その他としてあきれる、友好、眠気等が規定されている。
【0168】
キャラクタによらない統一の動作指示の中のTPO状態テーブルは、図示しないが、通常状態、おしゃれ状態等のそれぞれに対して、春夏秋冬の分類と月の分類が規定されており、イベント状態に対して、一般記念日(歳時記、元旦、子供の日、クリスマス等)、ユーザ固有記念日(エージェント装置の使用開始記念日、結婚記念日、誕生日等)等が規定されている。
キャラクタによらない統一の動作指示の中の成長状態テーブルは、長期成長状態1,2,3,…に分類され、その各々にたいして、短期成長状態1,2が規定されている。
キャラクタによらない統一の動作指示の中のスケール状態テーブルは、キャラクタを画面に表示する大きさについて規定されており、画角による分類が規定されている。
【0169】
これらのテーブルでは、図30、図31でも示されているように、表示状態に対する下層で定義されているレベル(丁寧に行なう、普通に行なう、強、中、弱等)をシステム(エージェント装置)に自動で選択させる項目「自動」を設けている。
この自動を選択したシーンに対して、エージェント装置では、キャラクタ心理状態、日付や時刻、等によってキャラクタのどのレベルの表示状態を使用するかを判断して、いずれかの表示状態を選択し実行することになる。
【0170】
共通定義DB(240−2−1)には、その他、音声認識に使用する音声認識用データと、キャラクタの動作指示に使用するデータ(別途台詞の指示データも存在する)と、各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データ及びキャラクタ台詞データ及びキャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルと、表示装置(2)に表示する各パーツデータ及びそれらをどのように配置するかが記された画面構成データと、シーンにおける処理内容として選択可能な項目、例えば、エージェントが処理可能な行為である、オーディオ装置のオン・オフやチャンネル選択、エアコン装置のオン・オフと温度設定、全体処理部(102)に供給する目的地の設定等の各種処理内容項目データ等が共通定義DB(240−2−1)に格納されている。
これら全ての定義データも、各定義データと同様に、変更及び追加がDB編集ツール(240−1−3)を使って行なうことができるようになっている。
【0171】
各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データは、エージェント装置に格納されている各種キャラクタの画像データが格納されている。
また、キャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルは、エージェント装置1のキャラクタデータ(10−2−3−5)のデフォルトキャラクタのキャラクタ画像選択データ102353(図8参照)と同一の変換テーブルが格納されている。
なお、ユーザは、エージェント装置から他のキャラクタについてのキャラクタ画像データと、変換テーブルをICカード7、又は、サーバ3を介してシナリオ作成装置2の共通定義DBに格納するようになっている。
【0172】
次に、このように構成されたシナリオ作成装置によるシナリオ作成の各動作について、画面の遷移に従って説明する。
図32は、シナリオエディタ(240−1−1)を起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
この図32に示されるように、メインウィンドウは、作成中のシーン画面(エージェント装置(1)の表示装置(2)に表示されるシーン画面(図12参照))が表示されるシーン画面301と、各種設定を行う設定項目が表示された設定画面303と、シーンの展開構成(分岐の状態)が各シーンを表すシーンアイコン307のツリー構造により表示されるシーン展開画面305で構成されている。
【0173】
シナリオエディタ(240−1−1)を起動すると、メインウインドウのシーン展開画面305には、スタートポイント308が表示される。このスタートポイント308を選択するとシナリオプロパティの編集ができる。選択は、例えば、マウスカーソルによるポイント位置をスタートポイント308に合わせて、マウスをダブルクリックすることで選択される。
画面構成の変更ボタン309は、クリックすると表示したい画面構成の選択ができる。
効果音設定ボタン110をクリックすると、後述するように、シナリオの各シーン毎に効果音を設定する画面が表示される。
エージェント表示画面311をマウスでダブルクリックすると、エージェント(キャラクタ)の動作の編集画面が表示される。
台詞編集ボタン313をクリックするとキャラクタの台詞の指示が編集できる。
ボタンパーツ・バックグラウンド音声認識辞書設定315をダブルクリックすると使用する音声認識辞書の編集ができる。シーン画面301の回答選択ボタン315a(54a)のマークで表示されている方を選択すると認識する単語の名称がシーン画面に表示され、バックグラウンドで認識する方315bを選択すると、音声認識の対象となるが認識する単語の名称は表示されない。
【0174】
タイマー設定ボタン317は、後述するように、タイマー設定情報を設定、及び変更するためのボタンである。
外部機器等の制御指示編集319では、外部機器等(ナビも含む)の制御指示を設定する。
【0175】
音声認識開始制御指示320aでは、作成中のシーンにおいて音声認識を行う場合に、音声認識の開始をどのようにするかを規定する音声認識の指示を設定する。音声認識の指示としては、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置(車載装置)が判断する(おまかせ)」、のうちのいずれかを選択可能になっている。
【0176】
コールバック制御指示320bでは、音声認識の結果を確認するためのコールバックを行うか否かについての指示を設定する。コールバックの指示としては、「コールバックする」、「コールバックしない」、エージェント装置が状況判断してコールバックをするかしないかを判断する「エージェント装置が判断(おまかせ)」のうちのいずれかを選択可能になっている。
【0177】
次のシーン作成ボタン321をクリックするとシナリオの流れを編集できる(次のシーンを作成する)。シーン作成ボタン321をクリックすると、現在選択しているシーンの次に展開するシーンの作成が可能になる。
シーン作成ボタン321でシナリオの流れを分岐させることで、各シーンの展開構成が作成される。例えば、シーンのアイコン1を選択した状態(アクティブ表示されている状態)で、次のシーン作成ボタン321をクリックするとシーン1に続くシーンのアイコンが下層側に表示され、複数回クリックすることでシーン1に続いて展開されるシーン2,3,…が分岐して作成される。
【0178】
すなわち、シーンmを選択した状態でシーン作成ボタン321をクリックすることで、シーンmに続く次のシーンm1が作成される。そして、再度シーンmを選択した状態で、シーン作成ボタン321をクリックするとシーンmに続く次のシーンm2が、シーンm1と並列に分岐して作成される。同様に再度シーンmを選択した状態でシーン選択ボタン321をクリックするとシーンm3が作成される。
そして、シーンm1に続くシーンを更に展開させたい場合には、シーンm1を選択した状態でシーン作成ボタンをクリックすることで、シーンm1に続く次のシーンm1−1が作成される。
そして、シーンm1−1を作成した状態で(シーンm1−1が選択されている状態)でシーン作成ボタン321をクリックすれば、シーンm1−1に続くシーンm1−1−1が作成され、シーンm1から分岐する別のシーンを作成する場合にはシーンm1を再度選択してシーン作成ボタン321をクリックすればシーンm1に続くシーンm1−2が作成される。
【0179】
シナリオの終了位置作成ボタン323をクリックするとシナリオの終了位置を作成できる。作成した各シナリオの終了位置には、終了番号がエンドIDとして割り振られるようになっている。
シナリオコンパイルボタン325をクリックすると作成したシナリオをナビゲーションで使うための実機形式(NAV形式)のフォーマットにコンパイルできる。
【0180】
図33は、シナリオプロパティを編集する画面操作の流れを表したものである。
図33の(a)に示したメインウインドウにおいて、シーン展開画面305に表示されているスタートポイント308をダブルクリックすると、図33(b)に示すシナリオプロパティの編集ウインドウがメインウィンドウ上に重ねて表示される。
【0181】
このシナリオプロパティの編集ウィンドウにおいて、シナリオ名称入力,カナ名称入力,アイコン選択,プライオリティの設定,有効期限(開始条件を満たしてから実際に開始するまでのタイムラグの上限値)の設定,シナリオの自律起動条件の設定(別ウインドウ),作成者名称入力,コメント入力が行なえる。この画面で入力されるシナリオ名称入力,カナ名称入力は、実機形式のシナリオデータにおける管理データ等となる。
シナリオプロパティの編集ウィンドウにおいて、決定ボタン402をクリックすると編集内容がデータに反映され、メインウインドウに戻る。一方、キャンセルボタン403をクリックするとデータに反映されなで、メインウインドウに戻る。
シナリオプロパティの編集ウィンドウにおいて、起動条件の設定ボタン401をクリックすると、シナリオ開始条件(自律起動条件)のメイン編集ウィンドウ(図33(c))が重ねて表示される。
シナリオ開始条件のメイン編集ウインドウ(図33(c))で完了ボタンをクリックするとシナリオ起動条件の編集を終了しシナリオプロパティの編集ウィンドウ(図33(b))に戻る。
【0182】
図34は、シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
シナリオ開始条件のメイン編集ウインドウ(図34(a)=図33(c))では、ユーザがシナリオを手動で開始できるように設定できる。この事例ではチェックボックス406のチェックを外して手動で起動しないに設定する。
このシナリオ開始条件のメイン編集ウインドウ(a)の左側の自動起動条件(自律起動条件)一覧にはシステムがシナリオを自動で開始する条件が表示される。図34(a)の状態では、まだ何も設定されていないので空欄の状態である。シナリオ開始条件のメイン編集ウインドウ(図34(a))において、新規作成ボタン405をクリックすると、自動開始条件選択ウインドウ(図34(b))が表示され、新しい開始条件の編集ができる。
【0183】
自動開始条件選択ウインドウ(図34(b))において、設定したい判断条件項目(カテゴリ)を選択し、決定をクリックすると自動開始する条件範囲の選択ウインドウ(図34(c))へ進む。この図34(b)の例示では、高速道路走行中にシナリオを自動で開始(自律起動)したいので、「道路の状態がどのようなときに起動するか選択」の中の「種類を選択」の項目を選択し、決定をクリックする。
キャンセルをクリックするとシナリオ開始条件のメイン編集ウインドウ(図34(a))に戻る。
【0184】
この自動開始条件選択ウインドウ(図34(b))に表示し、選択できる項目は、図25に表示した自動起動項目である。図34(b)において、「いつ起動させるかを選択」のフォルダ内を選択すると図25のNo.1〜10の条件項目が1つ下の階層に表示される。
同様に、「どこで起動させるかを選択」のフォルダを選択するとNo.10〜16が、「道路の状態がどのようなときに起動させるかを選択」のフォルダを選択するとNo.21〜23が、「車の状態がどのようなときに起動させるかを選択」のフォルダを選択するとNo.17〜20が、「ナビの状態がどのようなときに起動させるかを選択」のフォルダを選択するとNo.21〜28が、「ユーザーがどのようなときに起動させるかを選択」のフォルダを選択するとNo.29〜30が、それぞれ1つ下の階層に表示される。
【0185】
自動開始する条件範囲の選択ウインドウ(図34(c))では、前のウインドウ(b)で選択した判断条件項目(カテゴリ)によってウインドウの構成が変わる。図示した例では、道路の種類を選択する項目のウィンドウが表示されている。
自動開始する条件範囲の選択ウインドウ(図34(c))で、選択可能な項目は、自動開始条件選択ウインドウ(図34(b))で選択した自動起動項目に対応する、選択できる項目(図26)である。この選択できる項目は、選択項目欄408右側のマークをクリックすることで、プルダウンメニュー表示される。
自動で開始しても良い条件範囲を一覧から選択(又は数字で入力)し、追加ボタンをクリックすると選択した項目が設定されて下の欄に表示される。図示した例では、「高速道路」を選択して追加ボタンをクリックした場合が表示されている。
自動開始する条件範囲の選択ウインドウ(図34(c))で決定ボタンをクリックするとその設定状態に決定し、シナリオ起動条件のメイン編集ウインドウ(図34(d))に戻る。
キャンセルをクリックすると自動開始条件選択ウインドウ(図34(b))に戻る。
【0186】
図34(d)のシナリオ開始条件のメイン編集ウインドウでは、左側の自動起動条件一覧に、上記操作で設定した自動で開始する条件(道路の種類が高速道路だったら起動する)が表示されている。
また、自動起動の条件一覧画面に表示されている自動で開始する条件を選択して編集ボタンをクリックすると、選択した条件にさらに条件設定を追加するための自動開始条件選択ウインドウ(図34(b))が表示される。
【0187】
次に、自律起動条件以外の、シナリオを作成する各種操作について説明する。図35は、エージェント表示画面51(図12参照)に表示したい画面構成を選択する画面操作の流れを表したものである。
この図35(a)に示されるメインウィンドウのシーン展開画面305に表示されているシーンアイコン307を選択してアクティブ状態にすると、選択したシーンアイコンに対応するシーン画面310が表示される。そして、設定画面303の画面構成の変更ボタン309をクリックすると、画面構成の選択ウインドウ(b)が表示される。
この画面構成の選択ウインドウ(b)では、シーン表示画面54(図12参照)に表示可能なる画面構成が一覧表示される。何も表示されない基本画面、ボタンによる選択ボタンが2つ表示された2択画面、選択ボタンが複数表示されたボタン選択画面、例えば、都道府県名等の複数の項目がリスト表示されるリスト選択画面、画像データを表示する画像表示画面等の各種選択可能な画面が表示される。
一覧表示された各画面構成の中から1の画面構成を選択し、決定ボタンをクリックすると画面構成を変更する場合は確認ダイアログで確認後変更する場合は、その画面構成に変更してメインウィンドウ(a)に戻る。メインウィンドウに戻ると、シーン画面301が新たに選択した画面構成に変更されて表示される。
【0188】
以下図36から図38までが本実施形態におけるキャラクタの表示内容(画像、音声)、処理内容に基づいて画面要素を設定する画面要素設定手段、及び、キャラクタ表示処理設定手段を形成する。
図36は、キャラクタ動作(エージェントの動作)指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ(図36(a))において、エージェント表示画面311をマウスでダブルクリックすると、キャラクタごとの直接指示編集ウインドウ(b)又はキャラクタ動作の統一指示編集ウインドウ(c)が表示される。
いずれのウィンドウが表示されるかは、前回に使用したウィンドウが表示され、前回動作指示をキャラクタごとの直接指示で指示しているときは(b)が表示され、前回キャラクタに表現させたい状態で指示している場合は(c)が表示される。最初に使用する場合には、キャラクタ動作の統一指示編集ウインドウ(c)が表示される。
【0189】
図36(b)のキャラクタごとの直接指示編集ウインドウでは、モーション(動作),表情(感情表現の要素),髪型(成長表現の要素),服装(TPO表現の要素),スケール(キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素),口パクをする範囲(台詞を割り当てる範囲),動作の指示タイミング,及びキャラクタ表示領域の背景を選択する。
図36(b)のキャラクタごとの直接指示編集ウインドウにおいて、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ(a)に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ(a)に戻る。
また、表現内容指定ボタンをクリックすると、キャラクタに表現させたい状態で指示する状態指示編集ウインドウ(c)切り替わる。
【0190】
キャラクタごとの直接指示編集ウインドウで動作の指示(表示状態)が選択されると、キャラクタ固有の動作としてシーンが定義される。この場合、エージェント装置1では、図20の描画・音声出力部(101−5)によるキャラクタ描画・音声出力処理において、キャラクタによらない統一の動作指示でない(ステップ505−6−6−1;N)、と判断される。
【0191】
図36(c)のキャラクタ動作の状態指示編集ウインドウでは、キャラクタが表現する状態として、共通定義DB(240−2−1)に格納されているキャラクタによらない統一の動作指示テーブル(図30、図31参照)に対応して、仕事の要素,精神状態の要素,TPO表現の要素,成長表現の要素,スケール要素(キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素),が選択可能に表示される。また、動作の指示タイミング,及びキャラクタ表示領域の背景の選択画面が表示される。
ユーザは、このキャラクタ動作の状態指示編集ウインドウに表示された各表示状態を選択することで、キャラクタによらず各キャラクタに共通した動作として選択した表示状態に対応する表示状態番号が設定中のシーンの内容として設定される。
このウィンドウで、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ(a)に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ(a)に戻る。
直接指示指定ボタンをクリックすると、キャラクタ動作の直接指示で指示する直接指示編集ウインドウ(b)に切り替わる。
【0192】
図37は、キャラクタ(エージェント)の台詞指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ(図37(a))において、設定画面303の台詞編集ボタン313をクリックすると台詞の編集ウインドウ1(b)が表示される。
この台詞の編集ウインドウ1(b)では、「PCM」のタブ画面が表示され、PCM(録音されて用意されている肉声データ)の指示ができる。
台詞の編集ウインドウ1(b)で「TTS」タブを選択すると、台詞の編集ウインドウ2(c)が表示され、TTS(合成音声)の指示ができる。
PCMの場合台詞を全角ひらがなで入力(上記入力用ボックス)し該当する台詞が有るか検索(検索ボタンをクリックする:前方一致と完全一致の2種類の検索方法を用意)し、検索結果(検索結果一覧表示欄が存在する)から選択しキャラクタに話させる台詞を設定(追加ボタンをクリックすると設定できる)していく。
TTSの場合は台詞名称(吹き出し表示用データ)とフリガナ(合成音声を作成するためのデータ)を入力しキャラクタに話させる台詞を設定(追加ボタンをクリックすると設定できる)していく。
台詞の編集ウインドウ1(b)、2(c)において、決定ボタンをクリックすると編集内容が吹き出し画面430のデータとして反映されてメインウィンドウ(a)に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ(a)に戻る。
【0193】
図38は、音声認識辞書を編集する画面操作の流れを表したものである。
この操作は、エージェント装置側からの回答を要求する問いかけに対して、ユーザから返される音声による回答を認識するための音声辞書を設定するものである。
その一例として、図38では、車両の走行制御を行うシナリオにおいて、走行制御が終了した後に制御に対する感想を問いかけ、その回答を認識する1シーンでの画面操作を表している。
シーン画面の編集状態を表しているメインウィンドウ(図38(a))において、音声認識開始制御指示320aの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「自動で開始する」、「自動で開始しない」、「おまかせ」(エージェント装置(車載装置)が判断する場合)、が表示される。ユーザはこの表示の中から1つ音声認識の指示を選択する(音声認識開始設定手段)。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。
上記のように、音声認識を開始するか否かの条件(「自動で開始する」「自動で開始しない」)をユーザが設定しない場合、音声認識の開始を予め定められた条件(「おまかせ」)で判断するように設定することにより、車載判断設定手段が形成される。
ユーザによって選択された音声認識の指示は、選択したシーンのシーンデータとして設定される。
【0194】
このように、本実施形態のシナリオ作成装置2によれば、音声認識を自動で開始させるか否かの指示(音声認識の指示)を設定できる機能を備えているので、エージェント装置1に対して音声認識の開始をどうするかをシナリオの作成者が設定することができる。
そして、音声認識を「自動で開始する」を設定することで、ユーザである運転者は音声認識開始のトリガ(認識開始ボタンを押す)を選択しなくても回答する(音声入力する)ことができる。このようにエージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【0195】
また、本実施形態のシナリオ作成装置2では音声開始の指示として「おまかせ」(エージェント装置が判断)を設定でき、おまかせが設定されたシーンに対してエージェント装置では、運転負荷の高低によって音声認識を開始する、又は開始しないが選択される。
従って、運転者は、交差点の進路変更操作中等の負荷が高い場合には音声認識が開始されず、音声入力(運転者による回答)を要求する開始音が出力されないので、運転者は高負荷である運転操作に専念することができる。
【0196】
また、シーン画面の編集状態を表しているメインウィンドウ(図38(a))において、コールバック制御指示320bの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「コールバックする」、「コールバックしない」、「おまかせ」(エージェント装置(車載装置)が判断する場合)、が表示される。ユーザはこの表示の中から1つコールバック制御の指示を選択する(音声認識確認設定手段)。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。
ユーザによって選択されたコールバック制御の指示は、選択したシーンにおける音声認識後にコールバックするかしないかを決定するためのシーンデータとして設定される。
このように、音声認識の認識結果を確認するか否かの条件(「コールバックする」「コールバックしない」)をユーザが設定しない場合、音声認識の認識結果確認を予め定められた条件(「おまかせ」)で確認するように設定することにより、車載確認設定手段が形成される。
【0197】
このように、本実施形態のシナリオ作成装置2によれば、ユーザの音声による解答を音声認識した場合に、コールバックするか否かの指示(コールバック制御指示)を設定できる機能を備えているので、エージェント装置1に対して音声認識後のコールバックを行うか否かをシナリオ作成者が設定することができる。
そして、本実施形態のシナリオ作成装置2ではコールバック制御の指示として「おまかせ」(エージェント装置が判断)を設定でき、おまかせが設定されたシーンに対してエージェント装置では、認識対象となっている語数(回答用音声認識辞書の語数)と車速から状況判断をし、認識結果をコールバックする行為を行なうか否が決定される。
これにより、エージェント装置のユーザである運転者と、擬人化されたキャラクタとの会話において擬人化されたキャラクタは、常に認識結果を聞き返す(コールバック)ことがなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか、しないかが制御されるため、運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中で画面での認識結果の確認ができる場合や、さらに認識率が高い2択の回答を要求されていてる場合にはコールバックしないことでスムーズな会話を実現できる。
人間同士の会話においては、聞き取った内容を聞き返す行為(コールバックする行為)は状況によってされたりされなかったりするので、本実施形態によれば、エージェントとユーザ間で、人間同士の会話に近いコミュニケーションをとることができる。
【0198】
シーン画面の編集状態を表しているメインウィンドウ(図38(a))において、選択された画面構成にしたがって表示されるボタンパーツ部315a(画面構成によっては通常リストボックスパーツ部の場合も有る)をダブルクリックすると音声認識辞書選択ウインドウ(b)が表示される。また、バックグラウンドで認識する辞書の一覧表示部315bをダブルクリックしても音声認識辞書選択ウインドウ(b)が表示される。
【0199】
音声認識辞書選択ウインドウ(図38(b))において、辞書候補の一覧表示にある辞書名称をダブルクリックするとその音声認識辞書を使うものとして、一般辞書として選択した一覧に表示される。
決定ボタンをクリックすると編集内容がデータに反映されてメインウィンドウ(a)に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ(a)に戻る。
新規作成ボタンをクリックすると、音声認識辞書を新規に作成する音声認識辞書作成ウインドウ(図38(c))が表示される。
【0200】
音声認識辞書作成ウインドウ(図38(c))では、辞書の名称を入力して辞書追加ボタンをクリックするとその名称で音声認識辞書を新規に作成して音声認識辞書へ単語登録するウインドウ(d)が表示される。
音声認識辞書作成ウインドウ(c)でOKボタンをクリックすると音声認識辞書の作成を終了し、音声認識辞書選択ウインドウ(b)にもどる。
【0201】
音声認識辞書へ単語登録するウインドウ(図38(d))では、登録したい単語を半角カナでフリガナ欄に入力し、決定ボタンをクリックする。次に名称(表示させたい名称)を選択もしくは新規入力し、コールバックをする際のPCM音声を選択(無しを選択すればコールバックする場合はTTSを使用する)する。これら3項目の入力をした後に登録ボタンをクリックするとデータ登録され右側の登録単語一覧に追加される。
登録したい単語の登録を全て終わったら戻るボタンをクリックすると音声認識辞書作成ウインドウ(c)に戻る。
【0202】
次に、各シーンにおいて時間(タイマー設定)を設定する操作について説明する。
図39は、タイマー設定をする場合の画面操作の流れを表したものである。
この図39(a)に例示したメインウィンドウでは、キャラクタが野球が好きか否かを質問し、その回答として、2択の回答「好き」と「嫌い」の回答選択ボタン315a(54)作成した状態である。
このメインウィンドウ(図39(a))において、タイマー設定ボタン317を選択すると、タイマー設定情報ウィンドウ(図39(b))が表示される。但し、タイマー設定ボタン317の選択は、シーン設定のどの段階においても可能であり、キャラクタの質問の設定や、それに対する回答辞書の設定等の前後いずれでも可能である。
【0203】
タイマー設定情報ウィンドウにおいて、タイマー設定条件欄317aの右側に表示された逆三角形のボタンをクリックすると、選択可能なタイマー設定条件がプルダウンメニュー表示される。
選択可能なタイマー設定条件として本実施形態では、(a)走行中も停車中も常に設定する、(b)走行中のみ設定する、(c)停車中のみ設定する、(d)常にタイマー設定をしない(この場合にはタイマー設定時間は規定されない)、の各場合が存在し、プルダウンメニュー表示される。ユーザが選択したタイマー設定条件がタイマー設定条件欄317aに表示される。
【0204】
一方、タイマー設定時間バー317bのスライダをマウスで移動させることで1秒から5分の間でタイマー設定時間を設定することができる。設定されたタイマー設定時間は、タイマー設定時間バー317bの左側のタイマー設定時間表示欄に表示される。
【0205】
タイマー設定情報ウィンドウにおいて、タイマー設定情報の設定、変更が完了しユーザが決定をクリックすると、設定された情報が反映されてメインウィンドウに戻る。この際、タイマー設定ボタン317の右側のタイマー設定情報欄には、設定されたタイマー設定情報(タイマー設定時間の表示と、その後にタイマー設定条件がカッコ付きで表示される)が反映されて表示される。
【0206】
なお、ユーザが特にタイマー設定情報の設定、変更を行わない場合、デフォルト値として、タイマー設定時間=20秒、タイマー設定条件=(a)走行中も停車中も常に設定する、が設定されている。
【0207】
図40は、シナリオの流れを編集する画面操作の流れを表したものである。
メインウィンドウにおいて作成中のシーンアイコン307(図40ではアイコン1)を選択してアクティブ状態にする。この状態で、新規シーン作成ボタン321をクリックすると、移行の選択ウインドウ(図40(b))が表示される。この移行の選択ウインドウ(図40(b))において、新規に作成するシーンへ分岐させる条件を分岐イベント一覧から選択しすることで次のシーン(新規作成するシーン)への移行条件が選択される。図40(b)に示されるように、本実施形態では図39に示したタイマー設定情報ウィンドウで設定したタイマー設定時間内に音声認識や選択ボックスの選択等がされずにタイマー通知(設定時間の経過)となった場合が、移行条件として選択可能になっている(制限時間設定手段)。
【0208】
分岐イベントの選択ウィンドウ図40(b)において、次のシーン(新規作成するシーン)への移行条件を選択してOKボタンをクリックするとその条件(分岐イベント)に決定してメイン画面(a)へ戻る。
戻った後のメイン画面(c)では、シーン展開画面305に、新たにシーン(図ではシーンアイコン(4))が作成されている。新規に作成されたシーンアイコンでは、他のシーンアイコンと区別するため、NEWと表記される。
なお、分岐イベントの選択ウィンドウで選択できる分岐イベントは、図28に表示されている。
以上の図40の説明のように、1つの画面要素から次の画面要素に移行するための条件を設定することにより、本願発明における移行条件設定手段及びキャラクタの1つの動作処理から次の動作処理に移行するまでの制限時間を設定する移行制限時間設定手段が形成される。
【0209】
図41は、シナリオの終了位置を編集する画面操作の流れを表したものである。
メインウインドウ(a)において、シナリオの終了位置作成ボタン323をクリックするとエンドIDの指定ウインドウ(b)が表示される。
このエンドIDの指定ウインドウ(b)において、終了位置マークの持つID番号を指定する。通常は自動割付するが、自動で割り付けると書かれたチェックボックスのチェックをはずせばエディタの操作者が自分で割り付けることもできる。OKボタンをクリックするとID番号を決定し分岐イベント選択ウインドウ(c)が表示される。
【0210】
分岐イベント選択ウインドウ(c)では、新規シーン作成時と操作方法は同様にシナリオを終了するための分岐条件を設定する。追加条件設定も同様にできる。このウィンドウで、OKボタンをクリックするとその条件(移行条件)に決定してメインウィンドウ(d)へ戻る(移行条件設定手段)。このときシナリオ図には新たにシナリオ終了位置433が作成されている。
以上説明したように、キャラクタ(エージェント)の表示内容、処理内容の少なくとも1つが定義された画面要素を1画面要素(シーン)とし、該画面要素及び制限時間に基づき車両内の表示装置で実行処理する画面要素推移体(シナリオ)を作成する画面要素推移体作成手段が形成される。
【0211】
図42は、以上のようにして作成されたシナリオにおけるシーン展開の一例を表したものである。
図42に示すメイン画面には、作成されたシナリオの構成を示すシーンアイコン307が、シーン展開画面305に表示されている。なお、図42では、いずれのシーンアイコンも選択されていないため、右側のシーン表示画面54と設定画面には何も表示されていない。
【0212】
図42を使用して、運転者情報として野球が好きか否かを確認しユーザ情報を取得するシナリオを例に説明する。この場合の自律起動条件としては、例えば、ユーザ趣味が未取得で、直線道路が続いていて所定車速以下で走行している場合等の運転者の運転負荷が低い場合が設定されている。
このような自律起動条件を満足した場合に、まず最初のシーン1(中に数字1がかかれた四角のシーンアイコン、以下同じ)では、キャラクタが「野球をみることが好きですか?」と質問をする。このシーンでは、ユーザの回答として「好き」と「嫌い」が予定され、対応する表示の回答選択ボタン54と、音声認識辞書が設定されている。また、タイマー設定時間20秒と、タイマー設定条件(a)走行中も停車中も常に設定するがシーン1のタイマー設定情報として規定されているものとする。
【0213】
そして、ユーザの回答が「好き」であった場合を移行条件として分岐(展開)するシーンがシーン2で、「嫌い」であった場合を移行条件として分岐するシーンがシーン3で、ユーザが回答する前にタイマー通知となった場合を移行条件として分岐するシーンがシーン4として規定されているものとする。
この場合、「好き」と回答された場合に分岐するシーン2では、例えば、キャラクタが「だよね!日本人は野球が好きな人って多いよね。」と音声出力した後、シナリオを終了させる(丸形の終了アイコン1;以下同じ)。この場合の終了の仕方が終了アイコン1によって規定され、どのような終了の仕方をしたかが、エージェント装置1の学習項目データ10−2−3−7に格納されるようになっている。また、運転者情報データ10−2−3−6の趣味の項目として「野球が好き」というデータが蓄積される。
【0214】
一方、「嫌い」と回答された場合に分岐するシーン3では、例えば、キャラクタが「だよね!スポーツの趣味は野球ばかりじゃないよね。」と音声出力した後、シナリオを終了させる(終了アイコン2)。そして、終了アイコン2により終了したことが、エージェント装置1の学習項目データ10−2−3−7に格納されるようになっている。また、運転者情報データ10−2−3−6の趣味の項目として「野球が嫌い」というデータが蓄積される。
【0215】
更に、ユーザからの回答がなくタイマー通知になった場合に分岐するシーン4では、例えば、キャラクタは「野球に興味ないのかな?」といった質問を再度音声出力すると共に、ユーザの回答として「好き」と「嫌い」が予定され、対応する表示の回答選択ボタン54と、音声認識辞書が設定される。更に、例えば、タイマー設定時間20秒と、タイマー設定条件(a)走行中も停車中も常に設定するがシーン1のタイマー設定情報として規定される。
【0216】
シーン4による再度の質問に対してユーザが「好き」と回答した場合にはシーン2′に分岐する。この場合の分岐先を示すシーン2′のように、ダッシュがついたシーンアイコンは、ダッシュのついていないシーン2に分岐することを表している。従って、シーン4に対する回答が「好き」である場合にはシーン2に分岐して、野球が好きであることを確認する音声を出力した後に終了アイコン1による終了をする。
シーン4による再度の質問に対してユーザが「嫌い」と回答した場合、同様にシーン3′と表示されているので、シーン3に分岐し、シーン3以降の展開がされる。
一方、シーン4の質問に対しても、再度タイマー通知である場合には、終了アイコン3に移行し、終了すると共に、終了アイコン3で終了したことが、学習項目データ10−2−3−7に格納される。これにより、ユーザは、野球が好きか嫌いかに対する質問事態に関心がないと判断可能であり、同一のシナリオの実行は再度行わないようにすることが可能である。このような対応は、シナリオの自律起動条件として、以前に終了アイコン3で終了していないことという条件を加えることで可能である。
【0217】
図43は、作成したシナリオをエージェント装置で使用可能な実機形式(NAV形式)のフォーマットにコンパイルするための画面操作の流れを表したものである。
メインウインドウ(a)において、シナリオコンパイルボタン325をクリックすると、シナリオコンパイラのウインドウ(b)が表示される。
このシナリオコンパイラのウインドウ(b)において、コンパイルしたデータを出力するファイルの名称を指定し、同時に変換するシナリオを選択(シナリオ一覧リストにチェックしたシナリオを同時に変換する)し、コンパイルボタンをクリックするとデータ変換を開始する。データ変換の状況を結果表示部に表示する。
終了ボタンをクリックするとデータ変換を終了し、メインウィンドウ(a)にもどる。
【0218】
以上説明したように、本実施形態のシナリオ作成装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化したので、キャラクタにとらわれずに実行できるシナリオを作成することができ、キャラクタ毎に作成していたシナリオを1個にまとめることができるため、シナリオ作成が容易になる。
また、統一のキャラクタ動作指示形態の名称には、キャラクタに表現させたい内容、例えば、出会いのあいさつ、(情報等を)掲示する、喜ぶ、怒る等を用いたので、シナリオ作成装置においてキャラクタ動作の指示を作成する場合に、シナリオ作成者はキャラクタに何をさせたいかを、名称から直接選択するだけでよくなるため、シナリオ作成が容易になる。
【0219】
また、本実施形態によれば、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる(自動で登場させる)条件を満たしたかを判断する処理を定期的にもしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができる。
一方、本実施形態のシナリオ作成装置及びシナリオエディタによれば、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを容易に作成及び編集することができる。また、シナリオ作成装置に、音(効果音)を鳴らすor鳴らさないの設定及び鳴らす場合はどういった音を鳴らすかの設定ができる(作成した各シーンで設定できる)ので、自動でエージェントが登場したことを運転者が画面を見ることなく通知することができるシナリオを容易に作成することができ、運転操作中でも運転者は安全にエージェントの登場を知ることができる。
【0220】
また、説明した本実施形態によれば、シナリオ作成装置により、各シナリオ(画面要素)が終了してから次のシナリオに移行するまでの制限時間を容易に設定することができる。このため、シナリオ作成者は、ユーザにとっての煩わしく感じる可能性がある表示時間を短くしたり、逆に十分認識してもらいたい内容を含むシーンを長くしたりすることが可能になる。
一方、ナビゲーション装置では、シナリオに設定された制限時間が経過した時点で次の画面に移行することができる。
【0221】
以上、本発明の車載装置、データ作成装置、及びデータ作成プログラムにおける1実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各種の変形を行うことが可能である。
例えば、説明した実施形態では、タイマー設定を音声認識を行うシーンでの制限時間として説明したが、ユーザの質問に対する回答が入力されるまでの時間としてもよい。すなわち、ユーザの回答には音声入力による回答も含まれるが、音声による回答が設定されていない(回答用の音声認識辞書が設定されていない)場合や、画面の回答選択ボタン54(315a)からの回答のみを受け付けるようにシーンデータが構成される可能性がある。
このような場合に、音声認識の時間ではなく、回答が入力されるまでの時間をタイマー設定時間(制限時間)とすることで対応が可能になる。
【0222】
また、説明した実施形態では、タイマー設定情報を設定、変更する場合に、タイマー設定ボタン317を選択することで、タイマー設定情報ウィンドウ(図42(b))を表示させ、このウィンドウ上で設定するようにしたが、メインウィンドウ上でタイマー設定情報(タイマー設定時間とタイマー設定条件)を選択できるようにしてもよい。
【0223】
また、本願発明の実施例で、野球が好きか否かを音声認識により確認してユーザ情報を取得するシナリオにおけるタイマー設定について説明したが、本願発明は音声認識におけるタイマー設定に限定されるものではない。
例えば、走行中に情報提供として現在地付近のレストランを表示装置に表示するシナリオを作成した場合には、レストラン情報が表示される時間をタイマー設定することができる。この場合にも、音声認識のタイマー設定と同様に、ユーザが作成した画面要素の指示に従ってレストラン情報を表示する時間を設定することが可能となるので、いつまでもレストラン情報が表示されることでユーザが煩わしく感じたり、直ちに次の画面要素に移行してしまいレストラン情報を確認できなかったりすることが防止される。
このように、本発明では、ユーザに対する質問の有無や、音声認識の有無にかかわらず、各画面要素単位でその画面要素に対する時間を自由にタイマー設定できるので、シナリオの作成者は、作成するシナリオに変化(メリハリ)をつけることができる。また、シナリオ作成者は、画面要素毎にタイマー設定時間を変更することで、作成シナリオの進行速度を自由に設定、変化させることができる。
【0224】
また、説明した実施形態では、エージェントOSが、車速センサ(6−11)から受け取った車速情報を元に、車速v=0の場合に停車中と判断し、車速v≠0の場合に走行中と判断する場合について説明した。
しかし、本発明では、車速センサ(6−11)が、検出した車速から、車速v=0の場合に停車中、車速v≠0の場合に走行中と判断し、その判断結果をエージェントOSに通知するようにしてもよい。
【0225】
また、説明した実施形態のエージェント装置1では、おまかせ(エージェント装置が判断)が設定されていて運転負荷が高負荷である場合に、音声認識を行わないこととした。これに対して、運転者が高負荷である場合、直ちには音声認識を開始しないが、高負荷状態でなくなった時点で音声認識を開始するようにしてもよい。
すなわち、図21の状況判断(ステップ505−6−8−2)において、運転者が高負荷であると判断された場合にリターンする場合について説明したが、リターンせずに(ステップ505−6−8−2に戻るようにする。これにより、音声認識部(101−7)は運転者の負荷が低負荷に成るまで待ち、低負荷となった時点で音声入力を求める開始音を出力することになる。
【0226】
説明した実施形態では、図25〜図26に例示した、自律起動条件として選択可能な項目として「ユーザ性別」「ユーザ年齢」について規定したが、運転者に関する他の自動起動項目(図25参照)を追加するようにしてもよい。例えば、自動起動項目として、「熟練度」や「感情」等の運転者の状態に関する項目を追加する。そして、「熟練度」に対応する選択可能項目(図26、図27参照)として「低い」、「普通」、「高い」を追加し、「感情」に対応する選択可能項目として「不安」、「あせり」、「緊張」等を追加する。
【0227】
この場合、エージェント装置では、熟練度、感情といった運転者の状態を、運転者情報データ(10−2−3−6)や、学習項目データ(10−2−3−7)に格納される運転者の操作履歴等から状況情報として取得し、シナリオの起動条件と比較判断する。
すなわち、エージェント装置では、エージェントOS(101−8)が例えば各種状況検出装置(6)からの情報を外部I/F(101−9)を通して全体処理部(102)から取得し、また、学習部(101−3)が格納している運転者情報データ(10−2−3−6)や学習項目データ(10−2−3−7)に格納される運転者操作履歴等を基にして、学習部(101−3)が現在の運転者の状態を判断する。
判断する運転者状態の例としては、自律起動条件の各項目に対応する、運転者の不安、あせり、緊張感、…等や、エージェント装置に対する熟練度等も判断及び推測する。
例えば、一定時間内にスピード超過状態が長く続き、かつ急な加減速が多く行なわれた場合に時間に対してあせっている(急いでいる)と判断する例が考えられる。
また、エージェントの通算使用回数や、通算使用時間(コミュニケーション時間)、さらには自動起動が発生した回数等を使ってエージェント装置に対する熟練度を低い・普通・高い等3段階で判断したりする。段階の数や判断の条件は一例であり変更しても良いものとする。
【0228】
このように、エージェント装置側で検出可能な条件をシナリオ作成装置に登録し、シナリオエディタで使用可能にすることで、運転者状態を画面要素推移体(シナリオ)の起動条件(自律起動条件)として使用することができる。
これにより運転者があせっている場合は、エージェント側から自律的に登場してコミュニケーションを取らない(自律起動条件に「あせっていない場合」という条件を付加する)ことが可能になる。
【0229】
なお、本実施形態では、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動する車両用のエージェント装置を提供することを目的A、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することが可能なシナリオデータ作成装置を提供することを目的Bとして、以下のように構成することも可能である。
(a)車室内や車両の状態を判断し、その判断結果に応じた処理を自律的に行う機能を、エージェントの容姿の動きや音声と連動させて実行するエージェント装置であって、
所定の容姿を有するエージェントの画像を車室内に表示するエージェント表示手段と、
装置が行う処理内容とエージェントの画像及び音声の少なくとも1つから構成される場面を1シーンとし、1又は連続する複数のシーンで構成されたシナリオと、当該シナリオの展開を自律的に起動する自律起動条件とを有するシナリオデータを記憶したシナリオ記憶手段と、車室内や車両の状態を状況情報として取得する状況情報取得手段と、前記取得した状況情報が前記シナリオ記憶手段に記憶された各シナリオの自律起動条件を満たしているか否かを判断する条件判断手段と、前記条件判断手段で満たしていると判断された自律起動条件に対応するシナリオを自律的に起動して各シーンを順次展開するシナリオ実行手段と、を備え、前記条件判断手段は、所定のタイミングで状況情報が自律起動条件を満たしているか否かを判断することを特徴とするエージェント装置。
(b)前記条件判断手段は、所定時間毎の定期的に、及び、前記取得した状況情報から予め設定された特定の状況を満たした場合に判断を行う、ことを特徴とする(a)に記載のエージェント装置。
(c)前記シナリオ実行手段は、効果音が設定されたシーンの場合、効果音情報に対応する効果音を当該シーンを展開する際に出力することを特徴とする(a)又は(b)に記載のエージェント装置。
(d)車両用のエージェント装置が自律的に行う処理内容とエージェントの画像及び音声の少なくとも1つから構成される場面を1シーンとし、1又は連続する複数のシーンで構成されたシナリオを、当該シナリオの自律起動条件を満足した場合に自律的に起動するエージェント装置用のシナリオデータを作成するシナリオデータ作成装置であって、シーンの構成要素として選択可能なエージェントの処理内容とエージェント画像と音声データの少なくとも1つを選択するシーン要素選択手段と、前記取得したシーン構成要素から、エージェントによる処理内容、エージェントの画像及び、出力音声の少なくとも1で構成される場面を1シーンとして作成するシーン作成手段と、所定のシーンから次のシーンに移行するための1又は複数の移行条件と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成を作成するシーン展開構成作成手段と、前記エージェント装置により取得可能な車室内や車両の状態に関する状況情報の各項目を提示する提示手段と、提示した状況情報の各項目から1つ以上の項目を選択する選択手段と、前記選択された1または複数の状況表示の項目からシナリオの自律起動条件を作成する自律起動条件作成手段と、前記作成したシーンと前記作成した各シーンの展開構成と、前記作成したシナリオの自律起動条件とからなるシナリオデータを出力する出力手段と、を具備することを特徴とするシナリオデータ作成装置。
(e)前記シナリオは、エージェントによる提案、質問、挨拶等の能動的動作を内容とするシーンから開始することを特徴とする(d)に記載のシナリオデータ作成装置。
(f)シーンを選択するシーン選択手段と、1または複数の効果音を特定する効果音情報を、一覧表示する効果音表示手段と、前記表示された効果音情報から1の効果音情報を選択する効果音選択手段と、前記選択された効果音情報に対応する効果音を前記選択されたシーンの開始時に出力する効果音として設定する効果音設定手段と、を具備することを特徴とする(d)又は(e)に記載のシナリオデータ作成装置。
(a)の実施形態によれば、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動することが可能になる。
また(b)記載の実施形態によれば、プログラミングの十分な知識がなくても、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することができる。
【0230】
【発明の効果】
請求項1及び請求項2に記載の車載装置によれば、キャラクタの表示状態、キャラクタの処理内容の少なくとも1つが定義された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を実行すると共に、画面要素の指示内容に従って音声認識を設定された時間だけ行うことが可能になる。
請求項3から請求項5に記載のデータ作成装置によれば、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも1つが定義された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を容易に作成すると共に、画面要素において音声認識と音声認識を行う時間を設定することが可能になる。
請求項6及び請求項7に記載のデータ作成プログラムによれば、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも1つが定義された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体をコンピュータで容易に作成すると共に、画面要素において音声認識と音声認識を行う時間を設定することが可能になる。
【図面の簡単な説明】
【図1】本発明の一実施形態におけるエージェント装置を使用した、シナリオ追加システムについてのシステム構成図を表したものである。
【図2】本発明の一実施形態におけるエージェント装置の構成を示すブロック図である。
【図3】同上、エージェント装置における各種状況検出装置の構成図である。
【図4】CPUでプログラムが実行されることにより実現されるエージェント処理部と、全体処理部との関係を表した説明図である。
【図5】エージェント処理部の構成を表した説明図である。
【図6】外部記憶媒体に集録されている情報を概念的に表した説明図である。
【図7】実機形式シナリオデータの構成を表したものである。
【図8】キャラクタデータを概念的に表した説明図である。
【図9】キャラクタ画像選択データ内容を概念的に表した説明図である。
【図10】運転者情報データを概念的に示した説明図である。
【図11】エージェント装置により車室内に登場させるエージェントのキャラクタを選択する場合の選択画面を表した説明図である。
【図12】シナリオのシーンデータに基づいて表示装置に表示されるシーン画面の一例を表した説明図である。
【図13】旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表した画面遷移図である。
【図14】自律起動判断部によるシナリオの自律起動判断処理について表したフローチャートである。
【図15】条件判断処理の処理内容を表したフローチャートである。
【図16】シナリオ実行処理の流れの一例を表したフローチャートである。
【図17】シーン処理の流れの一例を表したフローチャートである。
【図18】各種処理の指示で行われる処理を例示したフローチャートである。
【図19】タイマー設定依頼処理の動作を表したフローチャートである。
【図20】描画・音声出力部によるキャラクタ描画・音声出力処理を表したフローチャートである。
【図21】音声認識処理の処理動作を表したフローチャートである。
【図22】シナリオ作成装置の構成図である。
【図23】シナリオ編集プログラムとデータの構成を概念的に表したものである。
【図24】データ形式の変換を概念的に表したものである。
【図25】自動起動項目として設定可能な項目を例示したものである。
【図26】自動起動項目に対して選択可能な項目を例示したものである。
【図27】自動起動項目に対して選択可能な項目を例示したものである。
【図28】シーンから次のシーンに分岐(シーン展開)をするための分岐項目(移行条件)が格納されたシーン分岐項目テーブルである。
【図29】追加条件テーブルを表したものである。
【図30】共通定義DBに格納されている、キャラクタの表示状態指示テーブルの内容の一部を概念的に表した説明図である。
【図31】共通定義DBに格納されている、キャラクタの表示状態指示テーブルの内容の他の一部を概念的に表した説明図である。
【図32】シナリオエディタを起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
【図33】シナリオプロパティを編集する画面操作の流れを表したものである。
【図34】シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
【図35】エージェント表示画面に表示したい画面構成を選択する画面操作の流れを表したものである。
【図36】キャラクタ動作(エージェントの動作)指示を編集する画面操作の流れを表したものである。
【図37】キャラクタ(エージェント)の台詞指示を編集する画面操作の流れを表したものである。
【図38】音声認識辞書を編集する画面操作の流れを表したものである。
【図39】タイマー設定をする場合の画面操作の流れを表したものである。
【図40】シナリオの流れを編集する画面操作の流れを表したものである。
【図41】シナリオの終了位置を編集する画面操作の流れを表したものである。
【図42】作成されたシナリオにおけるシーン展開の一例を表した説明図である。
【図43】作成したシナリオをナビゲーションで使用可能な実機形式のフォーマットにコンパイルするための画面操作の流れを表したものである。
【符号の説明】
1 エージェント装置装置
2 シナリオ作成装置
3 サーバ
(1) 中央処理装置
(2) 表示装置
(3) 音声出力装置
(4) 音声入力装置
(5) 入力装置
(6) 各種状況検出装置
(7)各種車載装置
(8)通信制御装置
(9)通信装置
(10)外部記憶装置
(200) 制御部
(210) 入力装置
(220) 出力装置
(230) 通信制御装置
(240) 記憶装置
(250) 記憶媒体駆動装置
(260) 入出力I/F
Claims (7)
- キャラクタの表示内容、処理内容の少なくとも1つが規定された画面要素を1画面要素とし、該画面要素を組み合わせて構成された画面要素推移体及び該画面要素推移体の起動条件を外部から取得して記憶する画面要素推移記憶手段と、
車両の状態、使用者情報の少なくとも1つに基づき、前記起動条件を満たしているか判断する条件判断手段と、
前記起動条件を満たした場合、前記画面要素推移体を構成する各画面要素を逐次実行することで当該画面要素推移体を実行する画面要素推移体実行手段と、を備え、
前記画面要素推移体実行手段は、前記画面要素に制限時間が設定された制限時間を超えると、次の画面要素を実行する
ことを特徴とする車載装置。 - 走行中であるか否かを判断する走行判断手段を備え、
前記画面要素推移体実行手段は、前記走行判断手段により走行中と判断された場合、該設定された制限時間に従って前記画面要素推移体を実行する
ことを特徴とする請求項1に記載の車載装置。 - キャラクタの表示内容と、処理内容のうち少なくとも1つに基づいて1つの画面要素を設定する画面要素設定手段と、
前記画面要素設定手段で設定された1つの画面要素から次の画面要素に移行する制限時間を設定する制限時間設定手段と、
前記画面要素及び前記制限時間に基づき車両内の表示装置で実行処理する画面要素推移体を作成する画面要素推移体作成手段と、
を具備することを特徴とするデータ作成装置。 - 前記制限時間は、車両の走行状態と関連付けて時間の長さを設定することを特徴とする請求項3に記載のデータ作成装置。
- 車両内の表示装置に表示するキャラクタの動作を、該キャラクタの処理内容毎に設定するキャラクタ表示処理設定手段と、を備え、
該キャラクタ表示処理設定手段は、前記キャラクタの1つの動作処理から次の動作処理に移行するまでの制限時間を設定する移行制限時間設定手段を含む
ことを特徴とするデータ作成装置。 - キャラクタの表示内容と、処理内容のうち少なくとも1つに基づいて1つの画面要素を設定する画面要素設定機能と、
前記画面要素設定手段で設定された1つの画面要素から次の画面要素に移行する制限時間を設定する制限時間設定機能と、
前記画面要素及び前記制限時間に基づき車両内の表示装置で実行処理する画面要素推移体を作成する画面要素推移体作成機能と、
をコンピュータに実現させるデータ作成プログラム。 - 前記制限時間は、車両の走行状態と関連付けて時間の長さを設定することを特徴とする請求項6に記載のデータ作成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002211658A JP2004050975A (ja) | 2002-07-19 | 2002-07-19 | 車載装置、データ作成装置、及びデータ作成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002211658A JP2004050975A (ja) | 2002-07-19 | 2002-07-19 | 車載装置、データ作成装置、及びデータ作成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004050975A true JP2004050975A (ja) | 2004-02-19 |
Family
ID=31934828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002211658A Pending JP2004050975A (ja) | 2002-07-19 | 2002-07-19 | 車載装置、データ作成装置、及びデータ作成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004050975A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005263155A (ja) * | 2004-03-22 | 2005-09-29 | Clarion Co Ltd | 車載用電子機器、その制御方法、制御プログラム及び記録媒体 |
JP2006072992A (ja) * | 2004-08-16 | 2006-03-16 | Mitsubishi Electric Research Laboratories Inc | 家電機器のネットワークの1つの共通グラフィカルユーザインタフェース及び家電機器ネットワーク |
JPWO2012077234A1 (ja) * | 2010-12-10 | 2014-05-19 | トヨタ自動車株式会社 | 車両用情報収集システム |
JP2015018146A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社Nttドコモ | 機能管理システム及び機能管理方法 |
KR20190022553A (ko) * | 2016-06-24 | 2019-03-06 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 상황 인식 개인 비서 |
JPWO2019202351A1 (ja) * | 2018-04-20 | 2021-05-20 | 日産自動車株式会社 | 機器制御装置及び機器を制御する制御方法 |
-
2002
- 2002-07-19 JP JP2002211658A patent/JP2004050975A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005263155A (ja) * | 2004-03-22 | 2005-09-29 | Clarion Co Ltd | 車載用電子機器、その制御方法、制御プログラム及び記録媒体 |
JP2006072992A (ja) * | 2004-08-16 | 2006-03-16 | Mitsubishi Electric Research Laboratories Inc | 家電機器のネットワークの1つの共通グラフィカルユーザインタフェース及び家電機器ネットワーク |
JPWO2012077234A1 (ja) * | 2010-12-10 | 2014-05-19 | トヨタ自動車株式会社 | 車両用情報収集システム |
JP2015018146A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社Nttドコモ | 機能管理システム及び機能管理方法 |
KR20190022553A (ko) * | 2016-06-24 | 2019-03-06 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 상황 인식 개인 비서 |
JP2019527387A (ja) * | 2016-06-24 | 2019-09-26 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 状況認知型のパーソナルアシスタント |
JP7195931B2 (ja) | 2016-06-24 | 2022-12-26 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 状況認知型のパーソナルアシスタント |
US11636305B2 (en) | 2016-06-24 | 2023-04-25 | Microsoft Technology Licensing, Llc | Situation aware personal assistant |
KR102606026B1 (ko) * | 2016-06-24 | 2023-11-23 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 상황 인식 개인 비서 |
JPWO2019202351A1 (ja) * | 2018-04-20 | 2021-05-20 | 日産自動車株式会社 | 機器制御装置及び機器を制御する制御方法 |
JP7192858B2 (ja) | 2018-04-20 | 2022-12-20 | 日産自動車株式会社 | 機器制御装置及び機器を制御する制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5019145B2 (ja) | 運転者情報収集装置 | |
EP1462317A1 (en) | Data creation apparatus | |
JP3873386B2 (ja) | エージェント装置 | |
JP4936094B2 (ja) | エージェント装置 | |
JPH11259446A (ja) | エージェント装置 | |
JP2008290714A (ja) | 車載装置 | |
JP4259054B2 (ja) | 車載装置 | |
JP2000020888A (ja) | エージェント装置 | |
JP4207350B2 (ja) | 情報出力装置 | |
JP4258607B2 (ja) | 車載装置 | |
JP2004037953A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP4253918B2 (ja) | エージェント装置 | |
JP2004054883A (ja) | 車載用エージェントシステム及び対話型操作制御システム | |
JP2004053251A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2004050975A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2000186942A (ja) | エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置 | |
JP2003157489A (ja) | 操作制御装置 | |
JP2005190192A (ja) | 車載装置 | |
JP2004061252A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2004051074A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP4356450B2 (ja) | 車載装置 | |
JP2003106846A (ja) | エージェント装置 | |
JP2004301651A (ja) | 車載装置及びデータ作成装置 | |
JP2004054300A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP4059019B2 (ja) | 車載装置、及びデータ作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080502 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |