JP3890747B2 - Control device - Google Patents

Control device Download PDF

Info

Publication number
JP3890747B2
JP3890747B2 JP16245798A JP16245798A JP3890747B2 JP 3890747 B2 JP3890747 B2 JP 3890747B2 JP 16245798 A JP16245798 A JP 16245798A JP 16245798 A JP16245798 A JP 16245798A JP 3890747 B2 JP3890747 B2 JP 3890747B2
Authority
JP
Japan
Prior art keywords
user
item
control device
contents
personal information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16245798A
Other languages
Japanese (ja)
Other versions
JPH11351901A (en
Inventor
美樹男 笹木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP16245798A priority Critical patent/JP3890747B2/en
Publication of JPH11351901A publication Critical patent/JPH11351901A/en
Application granted granted Critical
Publication of JP3890747B2 publication Critical patent/JP3890747B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、使用者の発話やキー操作入力など、使用者の意図が反映された入力情報に応じて、情報検索用機器や音声出力用機器などの所定の機器を動作させる制御装置に関する。
【0002】
【従来の技術】
近年、例えば自動車用のナビゲーション装置として、使用者が、音声コマンドとして予め定められた言葉を発話することにより、その音声コマンドに対応した動作を行うものが実用化されている。
【0003】
例えば、この種の装置では、使用者が「現在地」といった音声コマンドを発話すると、当該装置の中枢を成すマイクロコンピュータからなる制御部が、CD−ROMドライブなどの情報検索用機器に現在地付近の地名や施設などを検索させると共に、その検索結果に基づき、スピーカなどからなる音声出力用機器から「○○付近です」といった案内用の音声を出力させるようにしている。
【0004】
また例えば、使用者が「地図検索」といった音声コマンドを発話した後に、地名を発話すると、当該装置の制御部が、情報検索用機器に上記発話された地名の周辺地図を検索させると共に、その検索結果に基づき、CRTなどからなる表示用機器に上記発話された地名の周辺地図を表示させるようにしている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、1つの音声コマンドに対して、情報検索用機器の動作内容(即ち、何を検索するのかという検索内容)や音声出力用機器の動作内容(即ち、音声による発話内容)などが1つに定められている。よって、使用者は、本当に望んでいる機器動作(検索内容や発話内容など)を得るために、より多くの音声コマンドを発話しなければならなかったり、また、所望の機器動作を得ることができない場合が多かった。
【0006】
例えば、従来装置において、仮に「レストラン,検索」といった使用者の発話キーワードに対し、現在地付近のレストランを検索して該検索結果を音声により案内する、といった制御動作を行うようにプログラミングしたとする。ところが、この例の場合、車両が高速道路を走行している際に、使用者が食事をしたくなって「レストラン,検索」と発話しても、一般道路からでしか行くことのできないレストランが案内されて、意味の無い情報提供となってしまう。
【0007】
尚、こうした問題は、使用者が、自分の意図を発話によって入力する場合に限らず、キー操作入力などによって自分の意図を入力する場合についても同様である。
本発明は、こうした問題に鑑みなされたものであり、使用者からのより少ない入力情報で、その使用者の要望に即した機器動作を実現可能な制御装置を提供することを目的としている。
【0008】
【課題を解決するための手段、及び発明の効果】
上記目的を達成するためになされた請求項1に記載の本発明の制御装置は、使用者から該使用者の意図が反映された情報を入力する入力手段を備えており、その入力手段によって入力された情報(以下、入力情報ともいう)に応じて、所定の機器を動作させるものである。
【0009】
尚、機器としては、所定のデータベースから情報を検索する情報検索用機器,音声を出力する音声出力用機器,無線或いは有線による通信用機器,空調機器,テレビやテープレコーダといったオーディオ機器,CRTや液晶といった表示用機器,及び照明機器など、様々なものが考えられる。そして、当該制御装置が動作させる機器は、1つであっても良いし、複数個及び複数種類であっても良い。
【0010】
また、入力手段が入力する情報としては、使用者が発話した音声のキーワードや、使用者のキー操作或いはスイッチ操作による情報など、様々なものが考えられる。また更に、入力手段が入力する情報としては、無入力(つまり、使用者が意図的に情報を入力しないこと)を含むようにしても良い。
【0011】
ここで特に、本発明の制御装置は、対話データベースを備えている。この対話データベースは、少なくとも、入力手段により入力される情報の項目と、使用者の状況を表す複数の項目と、使用者の要求の項目と、機器の動作内容の項目との各々について、対応する内容が記述された形式の動作内容設定用データを複数組有したものである。
そして、本発明の制御装置では、状況検出手段が、前記使用者の状況を表す複数の項目の各々について、使用者が置かれている実際の状況を検出する。また、要求推定手段が、入力手段により入力された情報、状況検出手段により検出された状況、及び機器の実際の動作内容のうちの少なくとも1つに基づき、使用者の現在の要求を推定する。
【0012】
そして更に、設定手段が、対話データベースを構成する動作内容設定用データの各々について、前記各項目に記述されている内容と、入力手段により入力された情報の内容、状況検出手段により検出された複数の各状況の内容、及び要求推定手段により推定された要求の内容とを比較し、一致しているものに対して所定値ずつ点数を付けると共に、その合計点数をマッチングの度合いを表す評価値とし、その評価値が最大となった動作内容設定用データにて前記動作内容の項目に記述されている内容を、前記機器の動作内容として設定する。すると、機器制御手段が、前記設定手段により設定された動作内容に従って機器を動作させる。尚、本発明において、機器の動作内容としては、無動作(つまり、機器を動作させないこと)という内容も含む。
【0013】
このような本発明の制御装置によれば、入力手段により入力された使用者からの入力情報だけではなく、使用者が置かれている状況に応じて、機器の動作内容を変えることができる。
つまり、使用者からの入力情報が同じであっても、使用者が置かれている状況に応じて、機器の動作内容を最適なものにすることができる。よって、使用者からのより少ない入力情報で、その使用者の要望に即した機器動作を実現することができる。
【0014】
次に、請求項2に記載の制御装置では、請求項1に記載の制御装置に対して、要求推定手段が下記のようになっている。
【0015】
まず、前記動作内容設定用データの項目として、使用者が持つと考えられる推定要求の項目がある。
【0016】
そして、要求推定手段は、設定手段が前記機器の動作内容を設定するのに前回用いた動作内容設定用データにて前記推定要求の項目に記述されている内容を、使用者の現在の要求として推定する。
【0017】
次に、請求項3の制御装置では、請求項1,2の制御装置において、機器は、車両に搭載された機器であり、前記使用者の状況を表す複数の項目は、季節、時間帯或いは日時、目的地、現在地、車両周囲の環境、車外状況、及び車内状況のうちの少なくとも1つを含んでいる。
【0018】
また、請求項4の制御装置では、請求項3の制御装置において、前記車両周囲の環境の項目に記述される内容として、少なくとも一般道路と高速道路とがある。
【0019】
次に、請求項に記載の制御装置は、請求項1〜4の制御装置に対して、使用者の個人情報を記憶する個人情報記憶手段を追加して備えている。
そして更に、前記動作内容設定用データの項目として、使用者の個人情報の項目がある。
【0020】
そして、設定手段は、前記評価値を算出する際に、前記各動作内容設定用データにて個人情報の項目に記述されている内容と、前記個人情報記憶手段に記憶された個人情報との比較も行う。
【0021】
このような請求項に記載の制御装置によれば、当該装置を実際に使用する使用者の個人情報を、個人情報記憶手段に記憶しておくことにより、その使用者の個人情報がパラメータの1つとなって、機器の動作内容が設定されることとなる
【0022】
よって、この制御装置によれば、使用者に特有の要望に即した機器動作を実現することができ、有利である。
【0023】
次に、請求項に記載の制御装置は、請求項に記載の制御装置に対して、変更手段を追加して備えている。そして、変更手段は、前記動作内容設定用データを、個人情報記憶手段に記憶された個人情報に応じて変更する。
【0024】
このような請求項に記載の制御装置によれば、当該装置を実際に使用する使用者毎に、機器の動作内容を変えることができ、使用者に特有の要望に一層即した機器動作を実現することができる。
次に、請求項に記載の制御装置は、請求項に記載の制御装置において、個人情報記憶手段には、複数人分の個人情報が記憶されるようになっていると共に、その個人情報記憶手段に記憶されている複数人分の個人情報の中から、現在の使用者の個人情報を特定する識別手段を備えている。
【0025】
そして、変更手段は、前記動作内容設定用データを、識別手段により特定された個人情報に応じて変更し、設定手段は、前記評価値を算出する際に、前記識別手段により特定された個人情報を用いる。
【0026】
この請求項に記載の制御装置によれば、個人情報記憶手段に個人情報が記憶された複数人のうちの何れの人が、当該装置を使用しても、請求項に記載の制御装置による効果を得ることができる
【0027】
次に、請求項8の制御装置では、請求項1〜7の制御装置において、設定手段は更に下記の処理を行う。
【0028】
即ち、設定手段は、評価値が最大となった動作内容設定用データの評価値が、予め設定された閾値よりも大きくない場合には、その評価値を前記閾値よりも大きくさせるための不足情報を使用者に問い合わせる処理を行う。
【0029】
次に、請求項9に記載の制御装置では、請求項1〜請求項8に記載の制御装置において、入力手段が、前記情報(使用者の意図が反映された情報)として、使用者が発話したキーワードを入力する。
【0030】
して、機器は、音声を出力するための音声出力用機器と、他の機器とからなる。
【0031】
このような請求項に記載の制御装置によれば、対話データベースを構成する各動作内容設定用データの設定内容により、使用者と音声にて対話しながら音声出力用機器以外の他の機器を動作させる、対話型の機器制御装置を容易に構成することができる。特に、前記他の機器を、所定のデータベースから情報を検索する情報検索用機器とすれば、使用者の望む情報を的確に提供することのできる対話型の情報提供装置となる。
【0032】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。
まず図は、実施形態の制御装置1の構成を表すブロック図である。尚、本実施形態の制御装置1は、自動車(車両)に搭載されて、使用者としての車両の乗員(主に、運転者)と音声にて対話しながら、その車両に搭載された様々な機器を制御するものである。
【0033】
に示すように、本実施形態の制御装置1は、使用者が各種の指令やデータなどを外部操作によって入力するための入力装置3と、音声を入力するためのマイクロフォン5と、音声を出力するためのスピーカ7と、車両の現在位置(現在地)の検出や経路案内などを行う周知のナビゲーション装置9と、画像を表示するための表示装置11と、車内の空調を制御するエアコン装置13と、カセットテープレコーダ,CD(コンパクトディスク)プレーヤ,MD(ミニディスク)プレーヤ,ラジオ,及びテレビなどからなるオーディオ装置15と、周知のVICS(Vehicle Information and Communication System)の放送端末や、インターネットとの接続窓口であるインターネット放送端末との間で無線によりデータ通信を行う通信装置17と、車速や加減速状態などの車両運転状態,車両内外の温度,及び雨滴の有無などを検出するための各種センサ19と、車両のドアロック,窓ガラス(パワーウィンドウ),エンジン,及びブレーキ装置などを制御する他の制御装置(図示省略)とに接続されている。
【0034】
尚、ナビゲーション装置9は、車両の現在位置を検出するための周知のGPS装置や、地図データ,地名データ,施設名データなどの経路案内用データを記憶したCD−ROM、そのCD−ROMからデータを読み出すためのCD−ROMドライブ、及び、使用者が指令を入力するための操作キーなどを備えている。そして、ナビゲーション装置9は、例えば、使用者から操作キーを介して、目的地と目的地までの経路案内を指示する指令とが入力されると、車両の現在位置と目的地へ至るのに最適な経路とを含む道路地図を、表示装置11に表示させて経路案内を行う。また、表示装置11には、ナビゲーション装置9によって経路案内用の道路地図が表示されるだけでなく、情報検索用メニューなどの様々な画像が表示され、更に、オーディオ装置15がテレビのモードに設定されると、そのオーディオ装置15に備えられたテレビチューナにより受信されたテレビの受信画像が表示される。
【0035】
そして、制御装置1は、CPU,ROM,及びRAMなどからなるマイクロコンピュータを中心に構成されたシステム制御部21と、システム制御部21に入力装置3からの指令やデータを入力するインタフェース(I/F)23と、マイクロフォン5から入力された音声信号をデジタルデータに変換してシステム制御部21に入力する音声入力部25と、システム制御部21から出力されたテキストデータをアナログの音声信号に変換してスピーカ7に出力し、スピーカ7を鳴動させる音声合成部27と、上記ナビゲーション装置9,表示装置11,エアコン装置13,オーディオ装置15,通信装置17,各種センサ19,及び他の制御装置とシステム制御部21とをデータ通信可能に接続する機器制御インタフェース(機器制御I/F)29とを備えている。
【0036】
また、制御装置1には、通信装置17によりインターネットから所望の情報を検索及び取得するために、インターネットのアドレス(インターネットアドレス)を記憶するインターネットアドレスデータベース31と、検索制御部33とが備えられている。そして、システム制御部21が、検索制御部33へ検索内容(コンテンツ)を表す検索キーワードを出力すると、検索制御部33は、機器制御I/F29を介し通信装置17を動作させて、インターネット放送端末から上記検索キーワードに対応した情報を検索し、その検索結果をシステム制御部21へ入力させる。また、インターネットアドレスデータベース31には、検索制御部33によって過去に用いられたインターネットアドレスが、システム制御部21からの指令によって記憶され、検索制御部33は、システム制御部21から過去に入力した検索キーワードと同じ検索キーワードを受けると、インターネットアドレスデータベース31内のインターネットアドレスを再利用する。
【0037】
尚、本実施形態では、スピーカ7,ナビゲーション装置9,そのナビゲーション装置9に備えられたCD−ROMドライブ(図示省略),表示装置11,エアコン装置13,オーディオ装置15,通信装置17,及び他の制御装置(図示省略)が、機器に相当しており、以下、これらを総称して、機器という。また、これらの機器のうちで、スピーカ7が音声出力用機器に相当し、それ以外が他の機器に相当している。
【0038】
そして更に、制御装置1には、スピーカ7から出力する発話(以下、エージェント発話ともいう)の内容(即ち、スピーカ7の動作内容)とスピーカ7以外の上記他の機器の動作内容とを設定するためのデータを記憶する手段として、対話データベースを記憶する対話データ記憶部35と、使用者の複数人分の個人情報(以下、ユーザプロファイルともいう)を記憶するユーザプロファイル記憶部37とを備えている。尚、この対話データ記憶部35及びユーザプロファイル記憶部37と、前述したインターネットアドレスデータベース31は、データの読み出しと書き込みとが可能な不揮発性メモリによって構成されている。
【0039】
ここで、対話データ記憶部35に記憶される対話データベースと、ユーザプロファイル記憶部37に記憶されるユーザプロファイルとについて説明する。
まず、ユーザプロファイル記憶部37に記憶される個人情報としてのユーザプロファイルは、例えば以下の(P−1)〜(P−11)などの各項目について、使用者に固有の情報が記述されるものである。
【0040】
(P−1):その人の分類(一般,社長,若者,性別など)。
(P−2):氏名、或いは更に、その人を識別するための氏名以外の他の識別情報(パスワード,識別番号など)。
(P−3):生年月日(誕生日)。
【0041】
(P−4):出身地。
(P−5):住所。
(P−6):職業。
(P−7):役職。
【0042】
(P−8):趣味。
(P−9):趣味の目的で、よく行くところ。
(P−10):買物の目的で、よく行くところ。
(P−11):家族構成,家族の氏名,及び家族の生年月日。
【0043】
尚、このユーザプロファイルは、使用者が入力装置3を操作して上記各項目の内容を入力することにより、ユーザプロファイル記憶部37にシステム制御部21の書き込み動作によって記憶される。
次に、対話データ記憶部35に記憶される対話データベースは、その一例を図〜図に示すように、表形式のデータ構造を有している。そして、図〜図において、横方向の各ラインL1〜L23 が、1組の対話データになっており、こうした対話データの複数から対話データベースが構成されている。尚、図〜図では、各ラインL1〜L23 が2段に亘って表されている。
【0044】
即ち、対話データベースを構成する各対話データは、その対話データの分類の項目と、使用者が置かれている状況を表す複数の項目(本実施形態では、季節,時間帯或いは日時,目的地,現在地,車両周囲の環境,車外状況,車内状況)と、使用者の要求の項目と、使用者の状態の項目と、使用者の個人情報の項目と、マイクロフォン5及び音声入力部25を介して入力される使用者の発話(以下、ユーザ発話ともいう)の項目と、当該制御装置1が機器を動作させる際の動作内容(エージェント発話の内容及びスピーカ7以外の他の機器の動作内容)の項目と、推定される使用者の要求である推定要求の項目と、推定される使用者の状態である推定状態の項目と、推定される使用者の他の要求である推定関連要求の項目との各々について、対応する内容を記述するためのデータ領域を有している。そして、各対話データは、上記各項目のデータ領域に、対応する内容を記述したものである。尚、記述とは、予め確保されたデータ領域に、対応する内容を表すデータがセットされることを意味している。
【0045】
ここで、こうした対話データベースの各項目について、具体的に説明する。
(C−1):分類
「分類」の項目には、その対話データが、使用者との対話においてどの様な話題に関するものかを表す内容が予め記述され、特に、後述する「動作内容」の項目に記述されるエージェント発話の分類を表す内容が記述されている。
【0046】
そして、この「分類」の項目に記述される内容としては、例えば、図〜図に例示するように、挨拶,労い,家族,食事,駐車場,経路案内,検索,買物,趣味,機器操作などがあり、更に図示はされていないが、その他にも、導入,スポーツ,目的地,質問,確認,あいずち,一時停止,終了などがある。
【0047】
(C−2):季節
「季節」の項目には、春,夏,秋,冬といった四季の何れかや、初夏や盛夏など、四季を更に細分化した内容が予め記述されている。
(C−3):時間帯或いは日時
「時間帯或いは日時」の項目には、朝,昼,夜,早朝,深夜などや、何時から何時まで、といった具体的な時間帯の内容、或いは、何年何月何日何時何分、といった詳細な日時などが記述される。
【0048】
そして、この「時間帯或いは日時」の項目は、予め内容が記述されているものと、システム制御部21が内容を逐次記述するものとがある。例えば、図に例示するラインL1〜L3,L7の対話データと、図に例示するラインL15 ,L16 の対話データとにおいて、「時間帯或いは日時」の項目には、時間帯を表す内容が予め記述されている。また、図に例示するラインL11 の対話データにおいて、「時間帯或いは日時」の項目における<>内には、システム制御部21により現在の日時が逐次更新されて記述される。
【0049】
(C−4):目的地
「目的地」の項目には、システム制御部21により、使用者の意図する目的地が記述される。尚、システム制御部21は、ナビゲーション装置9から使用者によって設定された目的地を読み出したり、それまでの使用者との対話内容によって、「目的地」の項目に記述すべき内容を取得する。
【0050】
そして、この「目的地」の項目は、内容が記述されるものと記述されないものとがある。例えば、図に例示するラインL12 ,L13 の対話データにおいて、「目的地」の項目における<>内には、システム制御部21により、それまでの使用者との対話内容に応じた目的地が記述される。また、図〜図に例示する上記ラインL12 ,L13 以外の対話データにおいて、「目的地」の項目には、内容が記述されないようになっている。
【0051】
(C−5):現在地
「現在地」の項目には、システム制御部21により、車両の現在地が記述される。尚、システム制御部21は、ナビゲーション装置9から車両の現在地を読み出して、「現在地」の項目に記述すべき内容を取得する。
【0052】
そして、この「現在地」の項目は、「目的地」の項目と同様に、内容が記述されるものと記述されないものとがある。例えば、図に例示するラインL11 〜L13 の対話データにおいて、「現在地」の項目における<>内には、システム制御部21により、車両の現在地が記述される。また、図〜図に例示する上記ラインL11 〜L13 以外の対話データにおいて、「現在地」の項目には、内容が記述されないようになっている。
【0053】
(C−6):環境
「環境」の項目には、車両周囲の環境を表す内容が、予め記述されている。具体的には、道路環境を表す内容(高速道路,一般道路,国道,県道など)、道路状態を表す内容(路面凍結,路面が滑り易いなど)、交通環境を表す内容(速度制限,一方通行,進入禁止など)、及び、地理環境を表す内容(海が近い,山の中,街中,駅前など)が、予め記述されている。
【0054】
(C−7):車外状況
「車外状況」の項目には、車外の状況を表す内容が、予め記述されている。具体的には、現在地の天候を表す内容(晴れ,曇り,小雨,雨,大雨,雪,雷,台風など)、目的地の天候を表す内容(晴れ,曇り,小雨,雨,大雨,雪,雷,台風など)、交通状況を表す内容(渋滞,やや渋滞,すいている,事故発生など)、及び、車両周辺状況を表す内容(追い越し車両あり,追従車両あり、先行車両ありなど)が、予め記述されている。尚、車両周辺状況を表す内容としては、追い越し車両や追従車両の種別(トラック,乗用車,バイクなど)を付加して記述しておくこともできる。
【0055】
(C−8):車内状況
「車内状況」の項目には、車内の状況を表す内容が、予め記述されている。具体的には、運転状態を表す内容(渋滞した道路での走行,快適な走行,振動あり,速度オーバーなど)、乗車状態を表す内容(1人,2人,大勢(3人以上),家族連れ,或いは更に、どの座席にどの様な人が座っているかという詳細な内容など)、車室内温度を表す内容、移動目的を表す内容(家族とのドライブ,友人とのドライブ,恋人とのデートなど)、及び、オーディオ環境を表す内容などが、予め記述されている。
【0056】
(C−9):要求
「要求」の項目には、使用者が持つと考えられる要求を表す内容が、予め記述されている。具体的には、食事,飲み物,買物,ドライブ,休憩,遊び,公園,遊園地,テーマパーク,ボーリング,テニス,プール,ジョギング,海水浴,スキー,ゴルフ,ゴルフ場予約,経路案内,駐車場,エアコン設定温度を下げる,エアコン設定温度を上げる,エアコン操作不要など、といった内容が記述されている。
【0057】
(C−10):状態
「状態」の項目には、使用者がなると考えられる精神的状態または肉体的状態を表す内容が、予め記述されている。具体的には、空腹,空腹の前,移動の準備(移動しようとしている状態),快調,平常,暑い,喉が乾いた,元気はつらつ,ドライブを楽しんでいる,食事中,音楽鑑賞中,テレビ鑑賞中,満腹,疲労,帰りたい,遊びたい,早く目的地に着きたい,休憩中,いらいらしている,怒っている,気が沈んでいる(落ち込んでいる)など、といった内容が記述されている。
【0058】
(C−11):個人情報
「個人情報」の項目には、前述したユーザプロファイルの各項目(P−1〜P−11)のうちで、その対話データにおける他の項目(特に「分類」,「要求」,「ユーザ発話」,「動作内容」)の記述内容に関連した項目の内容が記述される。
【0059】
そして、この「個人情報」の項目としては、予め固定の内容が記述されているものと、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じてシステム制御部21により記述内容が変更されるものとがある。
例えば、図に例示するラインL8の対話データにおいて、「個人情報」の項目には、ユーザプロファイルの(P−11:家族構成)の項目に対応した内容(この例では、子供有り)が予め記述されている。また、図に例示するラインL17 の対話データにおいて、「個人情報」の項目には、ユーザプロファイルの(P−8:趣味)の項目に対応した内容(この例では、スキーが趣味)が予め記述されている。
【0060】
これに対して、例えば、図に例示するラインL16 の対話データにおいて、「個人情報」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−10:買物の目的で、よく行くところ)の項目に記述された内容(この例では、Aデパート)が記述される。また、図に例示するラインL18 の対話データにおいて、「個人情報」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−9:趣味の目的で、よく行くところ)の項目に記述された内容(この例では、Dゴルフ場)が記述される。
【0061】
つまり、上記ラインL16 ,L18 の「個人情報」の項目には、予め、ユーザプロファイルの各項目のうちで何れの項目に記述された内容を[]内に記述するのかを示す指示データがセットされており、システム制御部21は、上記指示データに基づいて、「個人情報」の項目における[]内に、ユーザプロファイルの内容を記述するようになっている。よって、上記ラインL16 ,L18 の「個人情報」の項目の記述内容は、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じて変更されることとなる。
【0062】
尚、上記ラインL18 の対話データにおける「個人情報」の項目には、予め、ゴルフが趣味、という内容も記述されている。
(C−12):ユーザ発話
「ユーザ発話」の項目には、マイクロフォン5及び音声入力部25を介して入力されると予想される使用者の発話中のキーワードが、予め記述されている。そして、本実施形態では、この「ユーザ発話」の項目に記述されるキーワード群が、当該制御装置1の認識語彙となっている。
【0063】
但し、図に例示するラインL11 の対話データにおける「ユーザ発話」の項目にて、<<>>内に記述されたキーワードは、地名を表す固有名詞が入力されることを想定した変数データであり、〔〕内に記述されたキーワードは、料理の種類を表す言葉が入力されることを想定した変数データである。また、図に例示するラインL17 の対話データにおける「ユーザ発話」の項目にて、<<>>内に記述されたキーワードは、山の名前を表す固有名詞が入力されることを想定した変数データである。
【0064】
(C−13):動作内容
「動作内容」の項目には、当該制御装置1が機器を動作させる際の動作内容(スピーカ7から出力すべきエージェント発話の内容及びスピーカ7以外の他の機器の動作内容)が、予め記述されており、特に、その対話データにて、上記(C−1)〜(C−12)の各項目に記述した内容に対応する機器の動作内容が、記述されている。
【0065】
例えば、図に例示するラインL9の対話データにおいて、「動作内容」の項目には、ナビゲーション装置9に備えられたCD−ROMドライブ或いは通信装置17に、現在地から最寄りのレストランを検索させると共に、その検索結果に基づいて、スピーカ7から「お食事ですね。この近くならば<a>,<b>,<c>など<X1 >件のお店があります。どこで食べますか。」というエージェント発話を出力させる、といった機器の動作内容が予め記述されている。尚、通信装置17には、インターネット放送端末と通信させてインターネットから必要な情報を検索させる。
【0066】
また例えば、図に例示するラインL10 の対話データにおいて、「動作内容」の項目には、上記CD−ROMドライブ或いは通信装置17に、現在地から近い2つのパーキングエリア(或いはサービスエリア)を検索させると共に、その検索結果に基づいて、スピーカ7から「<d>パーキングエリアまであと<X2 >分、次の<e>パーキングエリアならばあと<X3 >分です。」というエージェント発話を出力させる、といった機器の動作内容が予め記述されている。
【0067】
また更に、例えば、図に例示するラインL19 の対話データにおいて、「動作内容」の項目には、スピーカ7から「室内温度が40℃を越えています。エアコン設定温度を下げます。」というエージェント発話を出力させると共に、エアコン装置13に車室内の温度を下げさせる、といった機器の動作内容が予め記述されている。
【0068】
尚、図及び図において、「動作内容」の項目に記載された<>内の文字のうち、aからkまでのアルファベットと、○○レストラン及びC山スキー場とは、検索動作によって得られた固有名詞(具体的には、a,b,c,f,及び○○レストランは、検索されたレストラン名、d,eは検索されたパーキングエリア名、gは検索された駐車場名、h,iは検索された道路名、j,kは検索されたショッピングセンタ名)であり、X1 からX5 までのXで始まる記号は、検索動作によって得られた数や時間などの数値(具体的には、X1 は検索されたレストランa,b,cなどの総件数を表す数値、X2 ,X3 は検索されたパーキングエリアd,eまでの所要時間を表す数値、X4 ,X5 は検索されたレストランfの予約可能時刻を表す数値)である。
【0069】
一方更に、「動作内容」の項目としては、「個人情報」の項目と同様に、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じてシステム制御部21により記述内容が変更されるものがある。
例えば、図に例示するラインL16 の対話データにおいて、「動作内容」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−10:買物の目的で、よく行くところ)の項目に記述された内容(この例では、Aデパート)が記述される。また、図に例示するラインL18 の対話データにおいて、「動作内容」の項目における[]内には、システム制御部21により、ユーザプロファイルの(P−9:趣味の目的で、よく行くところ)の項目に記述された内容(この例では、Dゴルフ場)が記述される。
【0070】
つまり、上記ラインL16 ,L18 の「動作内容」の項目には、予め、ユーザプロファイルの各項目のうちで何れの項目に記述された内容を[]内に記述するのかを示す指示データがセットされており、システム制御部21は、上記指示データに基づいて、「動作内容」の項目における[]内に、ユーザプロファイルの内容を記述するようになっている。よって、上記ラインL16 ,L18 の「動作内容」の項目の記述内容(この例の場合、エージェント発話の内容)は、ユーザプロファイル記憶部37に実際に記憶されたユーザプロファイルに応じて変更されることとなる。
【0071】
具体的に説明すると、図に例示するラインL16 の「動作内容」の項目が示す機器の動作内容としては、上記のように[]内に記述されたAデパートで今日行われているバーゲンの対象商品を、通信装置17にインターネットから検索させると共に、その検索結果に基づいて、スピーカ7から「Aデパートですね。今日は○○(例えば電器用品)のバーゲンをやってます。」というエージェント発話を出力させる、といったものとなる。また、図に例示するラインL18 の「動作内容」の項目が示す機器の動作内容としては、上記のように[]内に記述された内容(Dゴルフ場)に基づき、スピーカ7から「Dゴルフ場ですね。予約状況を調べますか。」というエージェント発話を出力させる、といったものとなる。
【0072】
(C−14):推定要求
「推定要求」の項目には、使用者の置かれている実際の状況が、その対話データにおける状況の項目(C−2〜C−8)に記述した状況になると共に、使用者が、その対話データにおける「ユーザ発話」の項目(C−12)に記述されたキーワードを発話し、更に、その対話データにおける「動作内容」の項目(C−13)に記述した機器動作が実際に行われたと仮定した場合に、使用者が持つと常識的に考えられる要求の内容が、予め記述されている。
【0073】
そして、この「推定要求」の項目に記述される内容のバリエーション(種類)は、前述した「要求」の項目に記述される内容と同様である。
(C−15):推定状態
「推定状態」の項目には、「推定要求」の項目と同様に、使用者の置かれている実際の状況が、その対話データにおける状況の項目(C−2〜C−8)に記述した状況になると共に、使用者が、その対話データにおける「ユーザ発話」の項目(C−12)に記述されたキーワードを発話し、更に、その対話データにおける「動作内容」の項目(C−13)に記述した機器動作が実際に行われたと仮定した場合に、使用者がなると常識的に考えられる状態の内容が、予め記述されている。
【0074】
そして、この「推定状態」の項目に記述される内容のバリエーションは、前述した「状態」の項目に記述される内容と同様である。
(C−16):推定関連要求
「推定関連要求」の項目には、上記「推定要求」の項目と同様の仮定に基づいて、使用者が持つと常識的に考えられる要求のうち、その対話データにおける「推定要求」の項目に記述した内容とは別の要求の内容が、予め記述されている。
【0075】
そして、この「推定関連要求」の項目に記述される内容のバリエーションは、前述した「要求」の項目に記述される内容と同様である。
尚、本実施形態において、図〜図に示すように、「分類」と「動作内容」との2つの項目については、全ての対話データに内容が記述されているが、その他の項目については、内容が記述されない場合もある。つまり、図〜図における空欄の部分は、内容が記述されていないことを示している。そして、「分類」と「動作内容」以外の何れの項目に内容を記述するかは、「動作内容」の項目に記述する内容に応じて決定すれば良い。但し、「分類」と「動作内容」以外の項目のうち、少なくとも1つ以上の項目には、該当する内容が記述されている。
【0076】
次に、以上のように構成された本実施形態の制御装置1において、システム制御部21で実行される処理について、図を用い説明する。
に示すように、車両のイグニッションスイッチ(図示省略)がオンされるなどして当該制御装置1に電源が供給されると、システム制御部21は、まずステップ(以下、「S」と記す)110にて、入力装置3及びI/F23とマイクロフォン5及び音声入力部25との何れかを介して、キー入力或いは音声として入力される現在の使用者(ユーザ)からの識別情報(例えば、氏名,パスワード,識別番号,カード番号など)を読み込む。尚、識別情報としては、IDカードの情報を読み込むようにしても良い。
【0077】
そして、続くS120にて、ユーザプロファイル記憶部37に記憶されている複数人分のユーザプロファイルの中から、前述した項目(P−2)に記述されている内容(氏名や他の識別情報)と上記S110で読み込んだ識別情報とが一致しているユーザプロファイルを特定し、その特定したユーザプロファイルを、現在の使用者のユーザプロファイルとして、RAM内に予め設定されているバッファ領域に記憶する。
【0078】
そして更に、続くS130にて、上記バッファ領域に記憶したユーザプロファイルを用いて、対話データ記憶部35内の対話データベースの内容設定を行う。
つまり、対話データベースを構成する各対話データのうち、前述した指示データがセットされている対話データについて、その指示データに基づき、上記バッファ領域内のユーザプロファイルの内容を記述する。そして、このS130の処理により、図に例示するラインL16 ,L18 の対話データにおける「個人情報」と「動作内容」との各項目の[]内に、現在の使用者に固有の内容が記述されることとなる。
【0079】
また更に、このS130では、入力装置3及びI/F23を介して入力される使用者からの指令に応じて、対話データベースの「動作内容」の項目に記述されたエージェント発話の内容を、口調が異なるものに切り替える。つまり、本実施形態の制御装置1では、当該装置1の発話上の性格(口調)を、使用者からの指令に応じて、例えば、一般人,社長,若者,友人,女の子など、といった具合に変えることができるようになっている。尚、図〜図に例示するエージェント発話の内容は、使用者が“一般人”を指定した場合の標準形である。
【0080】
次に、システム制御部21は、S140にて、後述するS220以降の処理により対話データベースから使用者が置かれている実際の状況に適合した対話データを検索するために、自己に内蔵されている時計のデータに基づき、現在の日時(年,月,日,時刻)や四季及び時間帯など、対話データベースの「季節」及び「時間帯或いは日時」の項目に対応した実際の状況を検出し、その検出結果を上記バッファ領域に記憶する。
【0081】
また、システム制御部21は、このS140にて、前述したように、対話データベースを構成する各対話データのうちで、「時間帯或いは日時」の項目に内容を記述する必要がある対話データ(本実施形態では、図に例示するラインL11 の対話データ)について、その「時間帯或いは日時」の項目に現在の日時を記述する。
【0082】
そして、続くS150にて、車両の現在地をナビゲーション装置9から読み出すと共に、使用者が意図している目的地をナビゲーション装置9から読み出すか或いはそれまでの使用者との対話内容により把握し、このように検出した現在地と目的地とを上記バッファ領域に記憶する。
【0083】
また、システム制御部21は、このS150にて、前述したように、対話データベースを構成する各対話データのうちで、「目的地」の項目に内容を記述する必要がある対話データ(本実施形態では、図に例示するラインL12 ,L13 の対話データ)について、その「目的地」の項目に実際の目的地を記述する。また更に、システム制御部21は、このS150にて、前述したように、対話データベースを構成する各対話データのうちで、「現在地」の項目に内容を記述する必要がある対話データ(本実施形態では、図に例示するラインL11 〜L13 の対話データ)について、その「現在地」の項目に実際の現在地を記述する。
【0084】
次に、システム制御部21は、続くS160にて、通信装置17を介したインターネット検索などにより、下記の(a)(c)の分類にて、現在地と目的地付近での季節行事やイベントを確認し、その結果を上記バッファ領域に記憶する。
(a):正月やクリスマスなど、全国共通の季節行事。
【0085】
(b):祭りなど、ローカルだが毎年開催されるイベント。
(c):ローカル且つ特別のスケジュールで開催されるイベント。
そして、続くS170にて、対話データベースを構成する各対話データのうちで「分類」の項目の記述内容が“挨拶”である対話データ(具体的には、図に例示するラインL1〜L6の対話データ)の中から、上記S140及びS150の処理によって上記バッファ領域に記憶された検出結果(季節,時間帯や日時,目的地,現在地)と、後述するS200の処理により検出されて上記バッファ領域に記憶された実際の状況の検出結果(車両周囲の環境,車外状況,車内状況)とに最も適合する対話データを検索する。そして更に、その検索した対話データの「動作内容」の項目に記述されたエージェント発話の内容のテキストデータを音声合成部27に出力して、スピーカ7から「おはようございます」や「こんにちわ」といった挨拶のための発話(エージェント発話)を出力させる。
【0086】
例えば、上記S140で検出された現在の時刻が、4時から11時までの間であれば、図に例示するラインL1の対話データが検索されて、スピーカ7から「おはようございます」という発話が行われることとなる。また、上記S140で検出された現在の時刻が、11時から18時までの間であれば、図に例示するラインL2の対話データが検索されて、スピーカ7から「こんにちわ」という発話が行われることとなる。
【0087】
尚、このS170の挨拶発話のための処理は、当該制御装置1に電源が投入された直後の1回目だけか、或いは更に、使用者との対話を進めて行く上で所定の条件が成立した場合にだけ行われる。
次に、システム制御部21は、S180にて、マイクロフォン5及び音声入力部25を介して音声信号が入力されない無音状態が、予め定められた一定時間以上に亘って継続したか否かを判定し、上記一定時間以内に音声信号が入力された場合(S180:NO)には、S190に進んで、上記入力された音声信号から使用者が発話したキーワード(発話キーワード)を抽出すると共に、その抽出したキーワードを上記バッファ領域に記憶する、音声入力処理を行う。そして、その後、S200に進む。
【0088】
また、上記S180で無音状態が一定時間以上に亘って継続したと判定した場合(S180:YES)には、上記バッファ領域に、『無音(或いは、無応答)』という内容を記憶し、その後、S200に進む。
そして、S200では、使用者が置かれている実際の状況(実状況)のうちで、上記S140及びS150で検出した項目以外の実状況(即ち、時間的及び空間的以外の実状況であり、車両周囲の環境,車外状況,及び車内状況の各実状況)を検出するための処理を行い、その検出結果を上記バッファ領域に記憶する。
【0089】
ここで、S200の処理では、対話データベースの「環境」,「車外状況」,「車内状況」の各項目に記述される内容ついて、実状況を検出する。
例えば、車両周囲の「環境」のうちで、現在走行中の道路が高速道路,一般道路,国道,県道などの何れであるかといった道路環境の実状況と、現在走行中の道路の速度制限や、現在走行中の道路が一方通行であるとか進入禁止であるといった交通環境の実状況と、車両の現在位置が海の近くであるとか山の中であるといった地理環境の実状況との各々は、VICS情報(VICSの放送端末からの情報)を通信装置17で受信したり、ナビゲーション装置9からの情報(現在位置及び地図データ)に基づき検出する。そして、車両周囲の「環境」のうちで、現在走行中の道路が凍結しているとか滑り易いといった道路状態の実状況は、ブレーキ装置を制御している他の制御装置からの情報に基づき検出する。
【0090】
また、「車外状況」のうちで、現在地及び目的地の天候(晴れ,曇り,小雨,雨,大雨,雪,雷,台風など)の実状況と、現在走行中の道路が渋滞しているとか、すいているといった交通状況の実状況との各々は、VICS情報を通信装置17で受信することにより検出する。尚、現在地の天候が雨であることは、各種センサ19のうちの雨滴センサの信号から検出することもできる。そして、「車外状況」のうちで、追従車両の有無とか先行車両の有無といった車両周辺状況の実状況は、各種センサ19のうちの超音波センサからの信号やカメラによって検出する。
【0091】
一方、「車内状況」のうちで、室内温度の実状況は、各種センサ19のうちの温度センサからの信号によって検出する。また、「車内状況」のうちで、車両の乗員数(1人,2人,3人以上)といった乗車状態の実状況は、例えば、シートの座面に加わる圧力を検知する圧力センサからの信号によって検出する。
【0092】
そして、「車内状況」のうちで、運転状態(渋滞した道路での走行,快適な走行,振動ありなど)や、乗車状態(家族連れ,どの座席にどの様な人が座っているかという詳細な内容)、或いは更に、移動目的(家族とのドライブ,友人とのドライブ,恋人とのデートなど)といった、ナビゲーション装置9,通信装置17,各種センサ19,及び他の制御装置などからの情報により自動的に検出できない実状況については、使用者に対してスピーカ7からの発話や表示装置11に表示させるメッセージにより問い合わせて、使用者から音声やキー入力によって教示してもらうことで検出する。
【0093】
次に、システム制御部21は、S210にて、使用者の現在の要求と状態とを推定するための処理を行う。
ここで、S210の処理では、対話データベースの中から、後述するS270及びS280の前回の処理によって機器を動作させるのに用いられた対話データを読み出し、その読み出した対話データの「推定要求」と「推定関連要求」との両項目に記述されている内容を、使用者が現在持っていると推定される要求として上記バッファ領域に記憶し、更に、上記読み出した対話データの「推定状態」の項目に記述されている内容を、使用者が現在なっていると推定される状態として上記バッファ領域に記憶する。
【0094】
このため、S210の処理を終えた時点において、RAM内の上記バッファ領域には、現在の使用者のユーザプロファイル(個人情報)と、使用者が発話したキーワード(但し、無音或いは無応答という内容も含む)と、使用者が置かれている実状況を表す内容と、使用者の要求及び状態を推定した内容とが記憶されることとなる。
【0095】
そこで、システム制御部21は、続くS220にて、対話データベースをアクセスして各対話データを読み出し、その各対話データについて、「季節」,「時間帯或いは日時」,「目的地」,「現在地」,「環境」,「車外状況」,「車内状況」,「要求」,「状態」,「個人情報」,及び「ユーザ発話」の各項目に記述された内容と、上記バッファ領域に記憶されている内容とのマッチングを調査する。
【0096】
具体的には、使用者が実際に発話したキーワードと、対話データの「ユーザ発話」の項目に記述されているキーワードとのマッチング、使用者の要求を推定した内容と、対話データの「要求」の項目に記述されている内容とのマッチング、使用者の状態を推定した内容と、対話データの「状態」の項目に記述されている内容とのマッチング、使用者が置かれている実状況を表す各内容と、対話データの「季節」,「時間帯或いは日時」,「目的地」,「現在地」,「環境」,「車外状況」,「車内状況」の各項目に記述されている内容とのマッチング、及び、現在の使用者のユーザプロファイルと、対話データの「個人情報」の項目に記述されている内容とのマッチング、の各々について調査する。
【0097】
また、このS220では、特に、対話データベース中の対話データのうちで、「要求」と「ユーザ発話」の項目に内容が記述されている対話データを優先的に読み出す。そして、マッチングを調査するための処理としては、読み出した対話データの上記各項目について、上記バッファ領域に記憶されている内容と一致するものに対し所定値(例えば1点)ずつ点数を付け、その合計点数を、マッチングの度合を表す評価値とする。但し、対話データの各項目のうちの特定の項目について、点数を変えておくようにしても良い。
【0098】
そして更に、S220の処理では、各対話データのうちで、算出した評価値が最も大きいものから順にN個(例えば8個)の対話データについて、そのライン番号(即ち、図〜図に示すラインL の番号)を、RAM内に予め設定された上記バッファ領域とは異なる特定領域に記憶する。
【0099】
そして、続くS230にて、上記S220で算出した最大の評価値(即ち、上記特定領域にライン番号が記憶されたN個の対話データのうちで、算出された評価値が最大である対話データの評価値)が、予め設定された閾値よりも大きいか否かを判定し、その閾値よりも大きくなければ、前述したS190或いはS200の処理によって検出すべき内容(使用者の発話キーワード或いは実状況の内容)が不足していると判断して、S240に移行する。
【0100】
そして、このS240にて、不足している検出内容を使用者に問い合わせる発話をスピーカ7から出力して、その後、S180に戻る。
すると、S180〜S220の処理が再び行われることとなるが、このようにS240の処理による使用者への問い合わせが行われた場合には、S220では、上記特定領域にライン番号が記憶されたN個の対話データについてのみ、評価値が計算される。
【0101】
また、上記S230にて、上記S220で算出した最大の評価値が閾値よりも大きいと判定した場合には、S250に進む。
このS250では、上記特定領域にライン番号が記憶されたN個の対話データのうちで、算出された評価値が最大である対話データが複数個あるか否かを判定し、複数個ある場合には、その複数個の対話データから1つの対話データを絞り込む必要があると判断して、S260に移行する。
【0102】
そして、このS260にて、上記複数個の対話データから1つの対話データを絞り込むための内容を、使用者に問い合わせる発話をスピーカ7から出力して、その後、S180に戻る。
すると、この場合にも、S180〜S220の処理が再び行われることとなるが、このようにS260の処理による使用者への問い合わせが行われた場合にも、S220では、上記特定領域にライン番号が記憶されたN個の対話データについてのみ、評価値が計算される。
【0103】
一方、上記S250で否定判定された場合、即ち、上記特定領域にライン番号が記憶されたN個の対話データのうちで、評価値が最大である対話データが1つである場合には、S270に進んで、評価値が最大となった対話データを読み出し、その対話データの「動作内容」の項目に記述されている内容を、機器の動作内容としてRAM内に設定する。そして、続くS280にて、上記S270で設定された動作内容に従って、機器を動作させる。
【0104】
つまり、S220〜S280の処理では、対話データベースを構成する各対話データのうちで、「季節」,「時間帯或いは日時」,「目的地」,「現在地」,「環境」,「車外状況」,「車内状況」,「要求」,「状態」,「個人情報」,及び「ユーザ発話」の各項目に記述された内容が上記バッファ領域に記憶されている内容(使用者が置かれている実状況を表す内容、使用者の要求と状態を推定した内容、現在の使用者のユーザプロファイル、及び、使用者が発話したキーワード)に最も適合した対話データを検索して選択し、その選択した対話データの「動作内容」に記述されている内容に従って、スピーカ7を始めとする機器を動作させるようにしている。
【0105】
そして、その後、S290に進んで、使用者との対話が終了したか否かを判定する。尚、この判定では、例えば、使用者からの「うるさい」とか「さよなら」といった発話キーワードが入力された場合に、対話が終了したと判定する。そして、対話が終了していないと判定した場合には、S140へ戻るが、対話が終了したと判定した場合には、当該図の処理を終了する。
【0106】
次に、以上のような制御装置1の作用について、具体例を挙げて説明する。
まず、車両が一般道路を走行している際に、使用者が“めし”や“ご飯”といったキーワードを発話すると、S220〜S280の処理により、図に例示するラインL9の対話データが選択されて、その対話データ(L9)の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、ナビゲーション装置9のCD−ROMドライブ或いは通信装置17により、現在地から最寄りのレストランが検索されて、スピーカ7から「お食事ですね。この近くならば<a>,<b>,<c>など<X1 >件のお店があります。どこで食べますか。」というエージェント発話が出力される。
【0107】
これに対し、車両が高速道路を走行している際に、使用者が“めし”や“ご飯”といったキーワードを発話すると、S220〜S280の処理により、図に例示するラインL10 の対話データが選択されて、その対話データ(L10 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、ナビゲーション装置9のCD−ROMドライブ或いは通信装置17により、現在地から近い2つのパーキングエリアが検索されて、スピーカ7から「<d>パーキングエリアまであと<X2 >分、次の<e>パーキングエリアならばあと<X3>分です。」というエージェント発話が出力される。
【0108】
このように、本実施形態の制御装置1では、マイクロフォン5及び音声入力部25を介して入力される使用者の発話キーワードだけでなく、使用者が置かれている実際の状況に応じて、機器の動作内容を変えることができる。よって、使用者の発話内容が同じであっても、使用者が置かれている状況に応じて、機器の動作内容を最適なものにすることができ、使用者からのより少ない入力情報で、その使用者の要望に即した機器動作(この例の場合は、情報提供動作)を実現することができる。
【0109】
一方、例えば車両が愛知県・刈谷市の一般道路を走行している際に、使用者が“岡崎”,“めし”,“インド料理”という3つのキーワードを発話すると、S220〜S280の処理により、図に例示するラインL11 の対話データが選択されて、その対話データ(L11 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、通信装置17により、インターネットなどから、愛知県・岡崎市にあるインド料理のレストランfと、そのレストランfの予約可能時刻とが検索されて、スピーカ7から「<X4 >時<X5 >分に、<f>が予約できます。」というエージェント発話が出力される。尚、上記ラインL11 の対話データにおいて、「現在地」の項目には、それまでのS150の処理により<刈谷>が記述されている。
【0110】
そして、こうして上記ラインL11 の対話データが選択された場合には、次のS210の処理により、ラインL11 の対話データの「推定要求」と「推定関連要求」との両項目に記述されている内容(食事,行楽,駐車場,休憩,飲み物)が、使用者の推定される要求として上記バッファ領域に記憶されると共に、ラインL11 の対話データの「推定状態」の項目に記述されている内容(空腹の前)が、使用者の推定される状態として上記バッファ領域に記憶される。
【0111】
このため、上記ラインL11 の対話データに応じたエージェント発話が行われた後に、使用者が特に応答しなければ、次のS220〜S280の処理により、図に例示するラインL12 の対話データ(即ち、「環境」の項目に“一般道路”が記述され、「要求」の項目に“食事”と“駐車場”とが記述された対話データ)が選択されて、その対話データ(L12 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、通信装置17により、VICS情報などから、上記レストランfの近くにある駐車場gが検索されて、スピーカ7から「駐車場は<g>が空いています。」というエージェント発話が出力される。尚、上記ラインL12 の対話データにおいて、「目的地」と「現在地」との各項目には、直前のS150の処理により、夫々<岡崎のレストランf>と<刈谷>とが記述されている。
【0112】
また更に、こうして上記ラインL12 の対話データが選択された場合には、次のS210の処理により、ラインL12 の対話データの「推定要求」の項目に記述されている内容(経路案内)が、使用者の推定される要求として上記バッファ領域に記憶されると共に、ラインL12 の対話データの「推定状態」の項目に記述されている内容(移動の準備)が、使用者の推定される状態として上記バッファ領域に記憶される。
【0113】
このため、上記ラインL12 の対話データに応じたエージェント発話が行われた後に、使用者が特に応答しなければ、次のS220〜S280の処理により、図に例示するラインL13 の対話データ(即ち、「環境」の項目に“一般道路”が記述され、「要求」の項目に“経路案内”が記述された対話データ)が選択されて、その対話データ(L13 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、通信装置17により、VICS情報などから、現在地(愛知県・刈谷市)から目的地(愛知県・岡崎市)へ行くための主要な道路h,iと、その道路h,iの渋滞状況とが検索されて、スピーカ7から「<h>は混雑していますので<i>で行くことをお勧めします。」といったエージェント発話が出力される。尚、上記ラインL13 の対話データにおいて、「目的地」と「現在地」との各項目には、直前のS150の処理により、夫々<岡崎>と<刈谷>とが記述されている。
【0114】
一方、前述したラインL9の対話データが選択された場合には、次のS210の処理により、ラインL9の対話データの「推定要求」と「推定関連要求」との両項目に記述されている内容(食事,駐車場,休憩,飲み物)が、使用者の推定される要求として上記バッファ領域に記憶されると共に、ラインL9の対話データの「推定状態」の項目に記述されている内容(空腹)が、使用者の推定される状態として上記バッファ領域に記憶される。
【0115】
このため、例えば、上記ラインL9の対話データに応じたエージェント発話が行われた後に、使用者が“どこかいいところ”というキーワードを発話し、しかも、その際に家族連れで乗車しているのであれば、次のS220〜S280の処理により、図に例示するラインL14 の対話データ(即ち、「環境」の項目に“一般道路”が記述され、「車内状況」の項目に“家族連れ”が記述され、「要求」の項目に“食事”が記述され、「状態」の項目に“空腹”が記述され、「ユーザ発話」の項目に“どこかいいところ”が記述された対話データ)が選択されて、その対話データ(L14 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、通信装置17により、インターネットなどから、現在地から最寄りのファミリーレストランが検索されて、スピーカ7から「○○レストランでどうですか。」というエージェント発話が出力される。
【0116】
また、例えば、車内に人が乗っていると共に、車室内の温度が30℃以上であり、しかも、S210の処理によって推定された使用者の要求が“エアコン操作不要”でない場合には、S220〜S280の処理により、図に例示するラインL20 の対話データが選択されて、その対話データ(L20 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、スピーカ7から「暑いですね。エアコン設定温度を下げますか。」という問いかけのエージェント発話が出力される。
【0117】
そして、こうして上記ラインL20 の対話データが選択された場合には、次のS210の処理により、ラインL20 の対話データの「推定要求」の項目に記述されている内容(エアコン設定温度を下げる)が、使用者の推定される要求として上記バッファ領域に記憶されると共に、ラインL20 の対話データの「推定状態」の項目に記述されている内容(暑い,喉が乾いた)が、使用者の推定される状態として上記バッファ領域に記憶される。
【0118】
このため、上記ラインL20 の対話データに応じたエージェント発話が行われた後に、使用者が“はい”や“うん”或いは“下げる”というキーワードを発話するか、無応答であると、S220〜S280の処理により、図に例示するラインL22 の対話データが選択されて、その対話データ(L22 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、スピーカ7から「わかりました。エアコン設定温度を下げます。」というエージェント発話が出力されると共に、エアコン装置13が車室内の温度を下げるように動作することとなる。
【0119】
これに対して、上記ラインL20 の対話データに応じたエージェント発話が行われた後に、使用者が“いいえ”や“いや”或いは“下げない”や“このまま”というキーワードを発話すると、S220〜S280の処理により、図に例示するラインL23 の対話データが選択されて、その対話データ(L23 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、スピーカ7から「このままにしておきます。」というエージェント発話が出力されると共に、エアコン装置13が車室内の温度を維持するように動作することとなる。
【0120】
また、例えば、車室内の温度が20℃以上である場合に、使用者が“あつい”や“あついなあ”というキーワードを発話すると、S220〜S280の処理により、図に例示するラインL21 の対話データが選択されて、その対話データ(L21 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、前述したラインL20 の対話データが選択された場合と同様に、スピーカ7から「暑いですね。エアコン設定温度を下げますか。」という問いかけのエージェント発話が出力される。
【0121】
そして、こうして上記ラインL21 の対話データが選択された場合には、次のS210の処理により、ラインL21 の対話データの「推定要求」と「推定関連要求」との両項目に記述されている内容(エアコン設定温度を下げる,何か飲みたい,休みたい)が、使用者の推定される要求として上記バッファ領域に記憶されると共に、ラインL21 の対話データの「推定状態」の項目に記述されている内容(暑い,喉が乾いた)が、使用者の推定される状態として上記バッファ領域に記憶される。
【0122】
このため、上記ラインL21 の対話データに応じたエージェント発話が行われた後に、使用者が“はい”や“うん”といったキーワードを発話すれば、S220〜S280の処理により、前述したラインL22 の対話データが選択され、逆に、使用者が“いいえ”や“いや”といったキーワードを発話すれば、S220〜S280の処理により、前述したラインL23 の対話データが選択されることとなる。
【0123】
つまり、本実施形態の制御装置1では、S210の処理により、使用者からの実際の発話キーワードと、使用者の実状況と、機器を実際に動作させた動作内容との少なくとも1つに基づいて、使用者の要求が推定されることとなる。そして、S220〜S280の処理により、S210の処理で推定された要求を「要求」の項目の記述内容として持つ対話データが選択され、その選択された対話データの「動作内容」の項目に記述された動作内容に基づいて、機器動作が行われる。尚、S210の処理にて、使用者からの実際の発話キーワードと、使用者の実状況と、機器の動作内容とのうちで、何れの内容に基づき使用者の要求が推定されるかは、前回のS280の処理により機器を動作させるのに用いられた対話データの記述状態による。
【0124】
よって、本実施形態の制御装置1によれば、使用者の要望に、より即した機器動作(上記例の場合は、情報提供動作とエアコン装置13の動作)を実現することができる。
次に、例えば、9時から21時までの時間帯に家族連れで一般道路を走行している際に、使用者が“買物”や“ショッピング”といったキーワードを発話すると、S220〜S280の処理により、図に例示するラインL15 の対話データが選択されて、その対話データ(L15 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、ナビゲーション装置9のCD−ROMドライブ或いは通信装置17により、現在地から最寄りのショッピングセンタj,kが検索されて、スピーカ7から「お買物でしたら、<j>と<k>が近くにあります。」というエージェント発話が出力される。
【0125】
そして、こうして上記ラインL15 の対話データが選択された場合には、次のS210の処理により、ラインL15 の対話データの「推定要求」と「推定関連要求」との両項目に記述されている内容(買物,駐車場)が、使用者の推定される要求として上記バッファ領域に記憶されると共に、ラインL15 の対話データの「推定状態」の項目に記述されている内容(移動の準備)が、使用者の推定される状態として上記バッファ領域に記憶される。
【0126】
このため、上記ラインL15 の対話データに応じたエージェント発話が行われた後に、使用者が“いつものところ”というキーワードを発話し、しかも、その使用者のユーザプロファイルの項目(P−10:買物の目的で、よく行くところ)に記述されている内容が“Aデパート”であれば、次のS220〜S280の処理により、図に例示するラインL16 の対話データが選択される。
【0127】
即ち、「時間帯或いは日時」の項目に“9時から21時”が記述され、「環境」の項目に“一般道路”が記述され、「車内状況」の項目に“家族連れ”が記述され、「要求」の項目に“買物”が記述され、「状態」の項目に“移動の準備”が記述され、「個人情報」の項目に“Aデパートによく行く”が記述され、「ユーザ発話」の項目に“いつものところ”が記述された対話データ(L16 )が選択されて、その対話データ(L16 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、通信装置17により、インターネットなどから、Aデパートで今日行われているバーゲンの対象商品が検索されて、スピーカ7から「Aデパートですね。今日は○○(例えば電器用品)のバーゲンをやってます。」というエージェント発話が出力される。尚、上記ラインL16 の対話データにおいて、「個人情報」と「動作内容」との各項目における[]内には、S130の処理により、現在の使用者に固有の“Aデパート”が記述されている。
【0128】
一方、例えば、使用者が冬の季節に“C山”,“スキー”という2つのキーワードを発話し、しかも、その使用者のユーザプロファイルの項目(P−8:趣味)に記述されている内容が“スキー”であれば、S220〜S280の処理により、図に例示するラインL17 の対話データが選択されて、その対話データ(L17 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、スピーカ7から「C山スキー場へのルートガイドを開始します。」というエージェント発話が出力されて、ナビゲーション装置9による現在地からC山スキー場への経路案内動作が開始される。
【0129】
また、例えば、使用者が“ゴルフ”,“いつもの”という2つのキーワードを発話し、しかも、その使用者のユーザプロファイルの項目(P−8:趣味)に記述されている内容が“ゴルフ”であると共に、同ユーザプロファイルの項目(P−9:趣味の目的で、よく行くところ)に記述されている内容が“Dゴルフ場”であれば、S220〜S280の処理により、図に例示するラインL18 の対話データが選択されて、その対話データ(L18 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、スピーカ7から「Dゴルフ場ですね。予約状況を調べますか。」というエージェント発話が出力される。尚、上記ラインL18 の対話データにおいて、「個人情報」と「動作内容」との各項目における[]内には、S130の処理により、現在の使用者に固有の“Dゴルフ場”が記述されている。
【0130】
このように、本実施形態の制御装置1では、使用者に固有の情報であるユーザプロファイルが、対話データを選択する際のパラメータの1つとなり、その使用者のユーザプロファイルに応じた機器の動作内容が設定される。よって、使用者に特有の要望に即した機器動作を実現することができる。
【0131】
しかも、ユーザプロファイル記憶部37には複数人分のユーザプロファイルが記憶されると共に、S110〜S130の処理により、現在の使用者のユーザプロファイルを特定して、その特定したユーザプロファイルに応じて、対話データベースの内容(「個人情報」と「動作内容」の項目の記述内容)を自動的に変更するようにしている。そして、上記特定したユーザプロファイルに適合する対話データを選択して、その対話データの「動作内容」の項目に記述された内容に従い、機器の動作内容を設定するようにしている。
【0132】
よって、ユーザプロファイル記憶部37にユーザプロファイルが記憶された複数人のうちの何れの人が、当該制御装置1を使用しても、その人毎に機器の動作内容を変えることができ、その使用者に特有の要望に一層即した機器動作を実現することができる。
次に、例えば、車内に人が乗っており、しかも、車室内の温度が上昇して40℃以上になると、S220〜S280の処理により、図に例示するラインL19 の対話データが選択されて、その対話データ(L19 )の「動作内容」の項目に記述された内容が機器の動作内容として設定される。その結果、スピーカ7から「室内温度が40℃を越えています。エアコン設定温度を下げます。」というエージェント発話が出力されると共に、エアコン装置13が車室内の温度を下げるように動作することとなる。
【0133】
つまり、本実施形態の制御装置1では、検出した使用者の実状況のみからも、対話データが選択されて、機器の動作内容が設定される。よって、使用者が置かれている状況が特定の状況になった場合に、使用者の発話などの他の要因に拘らず、機器を所定の動作内容にて動作させることができ、有利である。
【0134】
以上詳述したように、本実施形態の制御装置1によれば、使用者の状況と要求に応じて、発話内容やエアコン装置13などの機器の動作を最適なものにすることができ、しかも、使用者に有益な情報を的確に提供することができる。また、使用者と親しみのある対話を行って、使用者に親近感を持たせることもできる。
【0135】
尚、本実施形態では、S180及びS190の処理が、入力手段に相当し、S140,S150,及びS200の処理が、状況検出手段に相当し、S220〜S270の処理が、設定手段に相当し、S280の処理が、機器制御手段に相当している。そして、S210の処理が、要求推定手段に相当し、S110及びS120の処理が、識別手段に相当し、S130の処理が、変更手段に相当している。
【0136】
また、本実施形態では、ユーザプロファイル記憶部37が、個人情報記憶手段に相当している。
そして、図〜図に例示した対話データが、動作内容設定用データに相当している。
【0137】
次に、他の具体例について説明する。
まず、本実施形態の制御装置1では、VICS情報や、対話による使用者からの教示、或いはセンサからの信号により、天候の実状況を把握している(S200)。尚、使用者から教示を受ける場合には、例えば、「今、晴れてますか。」といった問い合わせのエージェント発話を行って、使用者から「そうだ」とか「いや、雨だ」といった返事をもらえば良い。
【0138】
よって、例えば天候が晴れの場合には、「今日は、ゴルフには絶好の天気ですね。」といったエージェント発話を行って、使用者に親しみのある対話をすることができる。
また、本実施形態の制御装置1では、自己に内蔵されている時計のデータに基づいて、現在の日時や四季及び時間帯を把握しているため(S140)、例えば、季節が秋の場合には、「嵐山の紅葉は今が見頃じゃないですか。」といったエージェント発話を行ったり、時間帯が昼の場合には、「そろそろお昼ご飯の時間ですね。次のサービスエリアは10km先です。」といったエージェント発話を行って、使用者に親しみのある対話をすることができる。
【0139】
一方、制御装置1が把握する車内状況のうちの乗車状態であって、どの座席にどの様な人が座っているかという詳細な内容は、下記の[]内のように記述することができる。
[SEAT_ID ,PSTYPE,PATYPE,PTYPE ,PROFILE_ID]
尚、SEAT_ID は、座席(シート)の分類を表すデータであり、SEAT_ID =0が運転席を示し、SEAT_ID =1が助手席を示し、SEAT_ID =2が後部座席右を示し、SEAT_ID =3が後部座席中央を示し、SEAT_ID =4が後部座席左を示す。
【0140】
また、PSTYPEは、乗員の性別を表すデータであり、PSTYPE=0が荷物や動物などの人間以外を示し、PSTYPE=1が男性を示し、PSTYPE=2が女性を示す。
また更に、PATYPEは、乗員の年齢の分類を表すデータであり、PATYPE=0が乳児を示し、PATYPE=1が幼児を示し、PATYPE=2が小学生を示し、PATYPE=3が中学生を示し、PATYPE=4が高校生を示し、PATYPE=5が若者を示し、PATYPE=6が一般人を示し、PATYPE=7が老人を示す。
【0141】
そして、PTYPE は、乗員のタイプを表すデータであり、PTYPE =0が運転者(ドライバ)を示し、PTYPE =1が運転者の配偶者を示し、PTYPE =2が運転者の子供を示し、PTYPE =3が運転者の親を示し、PTYPE =4が運転者の他の家族を示し、PTYPE =5が家族以外の親しい人を示し、PTYPE =6が運転者の知人を示し、PTYPE =7がその他の人を示す。
【0142】
そして更に、PROFILE_IDは、乗員の氏名或いは名前を表すデータである。
よって、例えば、[SEAT_ID ,PSTYPE,PATYPE,PTYPE ,PROFILE_ID]=[2 ,1 ,2 ,2 ,○○太郎]の場合には、後部座席右に男子小学生であって、運転者の子供である○○太郎が座っていることを表す。
【0143】
そして、このような状況を制御装置1が把握することにより、例えば下記の(1)〜(3)のようなエージェント発話とそれに対応する動作とを行うことができる。
(1)車両が走行状態から停車した時に、「停車しました。太郎君、車外に出るときは後ろを確認してドアを開けて下さい。」といった警告のエージェント発話を行う。
【0144】
(2)車両が停車状態から発進する時に、「発進します。後部座席右はチャイルドロックをかけます。」といったエージェント発話を行うと共に、他の制御装置に後部右側ドアのチャイルドロックをかけさせる。
(3)使用者が“太郎”,“テレビ電話”という2つのキーワードを発話した時に、「太郎君にテレビ電話のカメラをあわせます。話す相手は誰ですか。」といった問い合わせのエージェント発話を行った後に、他の制御装置にテレビ電話のカメラの位置姿勢や焦点を太郎へ向けて調節させる。
【0145】
また、例えば、[SEAT_ID ,PSTYPE,PATYPE,PTYPE ,PROFILE_ID]=[2 ,2 ,6 ,1 ,○○花子],[SEAT_ID ,PSTYPE,PATYPE,PTYPE ,PROFILE_ID]=[2 ,2 ,0 ,2 ,○○さやか]の場合には、後部座席右に運転者の妻である○○花子が座っており、しかも、その花子が自分の子供で女の乳児である○○さやかを抱いていることを表す。
【0146】
そして、このような状況を制御装置1が把握することにより、例えば、車両の運転状況に応じて、「300メートル先から右方向に急カーブです。花子さん、さやかちゃんをしっかりと抱いて下さい。」といった警告のエージェント発話を行うことができる。
【0147】
一方また、制御装置1が把握する車内状況のうちのオーディオ環境の内容は、例えば、以下に説明する12ビットのデータ(以下、AUDIO_ENV と記す)によって記述することができる。
即ち、AUDIO_ENV の最下位ビットを0ビット目とした場合、例えば、0ビット目はカセットのオン/オフを示し、1ビット目はCDプレーヤのオン/オフを示し、2ビット目はMDプレーヤのオン/オフを示し、3ビット目はDVDのオン/オフを示し、4ビット目はラジオのFM放送を受信しているか否かを示し、5ビット目はラジオのAM放送を受信しているか否かを示し、6ビット目は道路交通センタの放送を受信しているか否かを示し、7ビット目はテレビのオン/オフを示し、8ビット目はビデオのオン/オフを示し、9ビット目は電話のオン/オフを示し、10ビット目と11ビット目は不使用か予備のビットである。
【0148】
よって、例えば、AUDIO_ENV =[1000 0001 0100]の場合には、カセットとテレビと電話とがオンになっていることを表す。尚、この例では、[]内の最も左側のビットが、0ビット目である。
そして、このような状況を制御装置1が把握することにより、例えば下記のようなエージェント発話とそれに対応する動作とを行うことができる。
【0149】
まず、上記のようにカセットとテレビと電話とがオンになっている時に、「電話中です。カセットとテレビの音量を下げてください。」といったエージェント発話を行う。
更に、車両が高速道路のトンネルに入ったことを検出すると、「トンネルに入りました。道路交通センタの放送をお伝えします。」といったエージェント発話を行った後に、他のオーディオ(この場合、カセットとテレビ)の音量を下げる。尚、これにより、AUDIO_ENV =[1000 0011 0100]となる。
【0150】
そして、これと同時に、車両のヘッドライトが点灯されていない場合には、「ヘッドライトを点灯させます。」といったエージェント発話を行った後に、ヘッドライトを点灯させる。
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々の形態を採り得ることは言うまでもない。
【0151】
例えば、上記実施形態の制御装置1は、車両に搭載されるものであったが、本発明は、室内に備え付けの各種機器を制御する装置に対しても、同様に適用することができる。
また、上記実施形態の制御装置1は、使用者の意図が反映された情報として、使用者の発話キーワードを入力するものであったが、使用者のキー操作による情報を入力するようにしても良い。
【図面の簡単な説明】
【図1】 実施形態の制御装置の構成を表すブロック図である。
【図】 実施形態の制御装置で実行される処理を表すフローチャートである。
【図】 対話データベースの一例を説明する図のうちの、その1である。
【図】 対話データベースの一例を説明する図のうちの、その2である。
【図】 対話データベースの一例を説明する図のうちの、その3である。
【図】 対話データベースの一例を説明する図のうちの、その4である。
【図】 対話データベースの一例を説明する図のうちの、その5である。
【符号の説明】
1…制御装置 3…入力装置 5…マイクロフォン 7…スピーカ
9…ナビゲーション装置 11…表示装置 13…エアコン装置
15…オーディオ装置 17…通信装置 19…各種センサ
21…システム制御部 23…インタフェース(I/F)
25…音声入力部 27…音声合成部
29…機器制御インタフェース(機器制御I/F)
31…インターネットアドレスデータベース 33…検索制御部
35…対話データ記憶部 L1〜L23 …対話データ
37…ユーザプロファイル記憶
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a control device that operates a predetermined device such as an information search device or a voice output device in accordance with input information that reflects a user's intention such as a user's speech or key operation input.
[0002]
[Prior art]
  In recent years, for example, navigation apparatuses for automobiles have been put into practical use in which a user speaks a predetermined word as a voice command and performs an operation corresponding to the voice command.
[0003]
  For example, in this type of device, when a user utters a voice command such as “current location”, a control unit comprising a microcomputer that forms the center of the device sends a place name near the current location to an information retrieval device such as a CD-ROM drive. And a facility are searched, and based on the search result, a voice for guidance such as “Near OO” is output from a voice output device such as a speaker.
[0004]
  Also, for example, when the user utters a place name after uttering a voice command such as “map search”, the control unit of the device causes the information search device to search the surrounding map of the uttered place name and the search. Based on the result, a map around the spoken place name is displayed on a display device such as a CRT.
[0005]
[Problems to be solved by the invention]
  However, in the above-described conventional apparatus, the operation content of the information search device (that is, the search content to be searched) and the operation content of the sound output device (that is, the speech content by voice) for one voice command. ) Etc. are defined as one. Therefore, the user has to speak more voice commands or obtain the desired device operation in order to obtain the device operation that he / she really wants (search content, utterance content, etc.). There were many cases.
[0006]
  For example, suppose that the conventional apparatus is programmed to perform a control operation such as searching for a restaurant near the current location and guiding the search result by voice for a user's utterance keyword such as “restaurant, search”. However, in this example, when the vehicle is traveling on a highway, even if the user wants to eat and speaks “restaurant, search”, there is a restaurant that can only be reached from the general road. You will be guided to provide meaningless information.
[0007]
  Such a problem is not limited to the case where the user inputs his / her intention by utterance, but also when the user inputs his / her intention by a key operation input or the like.
  The present invention has been made in view of these problems, and an object of the present invention is to provide a control device capable of realizing a device operation in accordance with a user's request with less input information from the user.
[0008]
[Means for solving the problems and effects of the invention]
  In order to achieve the above object, the control device according to the present invention as set forth in claim 1 is provided.MessengerAn input method for inputting information reflecting the intention of the user from the userStepAnd that input handIn stepsTherefore, depending on the input information (hereinafter also referred to as input information)VesselIt is what makes it work.
[0009]
  The machineVesselFor example, an information retrieval device for retrieving information from a predetermined database, an audio output device for outputting sound, a wireless or wired communication device, an air conditioner, an audio device such as a television or a tape recorder, a display such as a CRT or a liquid crystal display Various devices such as industrial equipment and lighting equipment are conceivable. And the machine which the control device operatesVesselThere may be one, a plurality, and a plurality of types.
[0010]
  Also input handStepsAs information to be input, various kinds of information such as a keyword of speech spoken by the user, information by a user's key operation or switch operation, and the like can be considered. Furthermore, the input handStepsInformation to be input may include no input (that is, the user does not intentionally input information).
[0011]
  In particular, the control device of the present invention isHas a dialogue database. This interactive database corresponds to at least each of the item of information input by the input means, the plurality of items representing the user's situation, the item requested by the user, and the item of the operation content of the device. It has a plurality of sets of operation content setting data in a format in which the contents are described.
In the control device of the present invention, the situation detection means detects the actual situation where the user is placed for each of the plurality of items representing the situation of the user. The request estimation unit estimates the current request of the user based on at least one of the information input by the input unit, the status detected by the status detection unit, and the actual operation content of the device.
[0012]
  AndFurthermore,Setting meansHowever, for each of the operation content setting data constituting the dialog database, the contents described in the respective items, the contents of the information input by the input means, and the contents of a plurality of situations detected by the situation detecting means , And the content of the request estimated by the request estimation means, and assigning a score for each matching value by a predetermined value, and using the total score as an evaluation value indicating the degree of matching, the evaluation value is Described in the operation content item in the maximum operation content setting dataContents of the machineVesselSet as operation content. Then, the device control handStepsThe setting handIn stepsAccording to the set operation details.VesselMake it work. In the present invention, the machineVesselThere are no actions (i.e.VesselThe content of “Do not operate” is also included.
[0013]
  According to such a control device of the present invention, the input handIn stepsDepending on the situation where the user is placed, not only the input information from the user entered moreVesselThe operation content can be changed.
  In other words, even if the input information from the user is the same, depending on the situation where the user is located,VesselThe operation content can be optimized. Therefore, it is possible to realize the device operation that meets the user's request with less input information from the user.
[0014]
  Next, the control device according to claim 2OKRequest estimation means for the control device according to claim 1Is as follows.
[0015]
  First, as an item of the operation content setting data, there is an estimation request item that is considered to be possessed by the user.
[0016]
  AndThe request estimation unit estimates the content described in the estimation request item in the operation content setting data used last time by the setting unit to set the operation content of the device as the current request of the user. .
[0017]
Next, in the control device according to claim 3, in the control device according to claims 1 and 2, the device is a device mounted on a vehicle, and the plurality of items representing the situation of the user include a season, a time zone, or It includes at least one of date / time, destination, current location, environment around the vehicle, situation outside the vehicle, and situation inside the vehicle.
[0018]
According to a fourth aspect of the present invention, there is at least a general road and a highway as the contents described in the environment item surrounding the vehicle in the control apparatus of the third aspect.
[0019]
  Next, the claim5The control device described in, ContractClaim1-4Personal information storage device for storing the personal information of the user on the control deviceStepIt has additional features.
  And furthermore,The operation content setting data item includes a user personal information item.
[0020]
  And setting meansWhen calculating the evaluation value, the contents described in the item of personal information in each operation content setting data are also compared with the personal information stored in the personal information storage means.
[0021]
  Such claims5According to the control device described in the above, personal information of a user who actually uses the device is stored in the personal information storage device.In stepsBy memorizing, the personal information of the user becomes one of the parameters, and the functionVesselThe operation content will be set.
[0022]
Therefore, according to this control device, it is possible to realize a device operation in accordance with a request specific to the user, which is advantageous.
[0023]
  Next, the claim6The control device described in, ContractClaim5Change the control device described inStepIt has additional features. And change handStage,in frontMovementWork content setting dataT, Personal information storage handIn stepsChange according to the stored personal information.
[0024]
  Such claims6According to the control device described in (1), for each user who actually uses the device,VesselThe operation content can be changed, and the device operation can be realized more in line with the demands specific to the user.
  Next, the claim7The control device described in, ContractClaim6A personal information storage deviceIn stepsIs designed to store personal information for multiple people and to store the personal information.In stepsAn identifier that identifies the personal information of the current user from among the stored personal informationStepI have.
[0025]
  And change handStage,in frontMovementWork content setting dataT, Identification handIn stepsChange according to the personal information specified more, setting meansWhen calculating the evaluation value,The identification handIn stepsUse more specific personal information.
[0026]
  This claim7According to the control device described in 1), the personal information storage handIn stepsEven if any one of a plurality of persons storing personal information uses the device, the claim6The effect of the control device described in.
[0027]
Next, in the control device according to the eighth aspect, in the control device according to the first to seventh aspects, the setting means further performs the following processing.
[0028]
That is, when the evaluation value of the operation content setting data having the maximum evaluation value is not larger than a preset threshold value, the setting means has insufficient information for making the evaluation value larger than the threshold value. Process to inquire the user.
[0029]
Next, in the control device according to claim 9, in the control device according to claims 1 to 8, the input means uses the user to speak as the information (information reflecting the user's intention). Enter the keyword.
[0030]
SoAnd machineVessel, Consisting of an audio output device for outputting audio and other devices.
[0031]
  Such claims9According to the control device described inConfigure the conversation databaseData for setting each operation contentOfDepending on the setting contents, it is possible to easily configure an interactive device control apparatus that operates other devices other than the sound output device while interacting with the user by voice. In particular, if the other device is an information retrieval device that retrieves information from a predetermined database, an interactive information providing apparatus capable of accurately providing information desired by the user is obtained.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
  Hereinafter, embodiments of the present invention will be described with reference to the drawings.
  First figure1These are block diagrams showing the structure of the control apparatus 1 of embodiment. The control device 1 of the present embodiment is mounted on an automobile (vehicle), and various voices are mounted on the vehicle while talking with a vehicle occupant (mainly a driver) as a user. It controls equipment.
[0033]
  Figure1As shown in FIG. 2, the control device 1 according to the present embodiment outputs an input device 3 for a user to input various commands and data by an external operation, a microphone 5 for inputting sound, and a sound. A known navigation device 9 for detecting the current position (current location) of the vehicle and route guidance, a display device 11 for displaying an image, an air conditioner 13 for controlling air conditioning in the vehicle, Audio device 15 composed of a cassette tape recorder, CD (compact disc) player, MD (mini disc) player, radio, television, etc., a well-known VICS (Vehicle Information and Communication System) broadcasting terminal, and a connection window to the Internet Communication device 17 that performs wireless data communication with an Internet broadcast terminal, vehicle speed and acceleration / deceleration Various sensors 19 for detecting the vehicle operating state such as the state of the vehicle, the temperature inside and outside the vehicle, and the presence or absence of raindrops, and other devices for controlling the vehicle door lock, window glass (power window), engine, brake device, etc. It is connected to a control device (not shown).
[0034]
  The navigation device 9 is a well-known GPS device for detecting the current position of the vehicle, a CD-ROM storing route guidance data such as map data, place name data, and facility name data, and data from the CD-ROM. A CD-ROM drive for reading out and an operation key for a user to input a command. The navigation device 9 is optimal for reaching the current position of the vehicle and the destination when, for example, a command for instructing the route to the destination and the destination is input via the operation key from the user. A road map including a simple route is displayed on the display device 11 to provide route guidance. The display device 11 not only displays a road map for route guidance by the navigation device 9, but also displays various images such as an information search menu, and the audio device 15 is set to the TV mode. Then, the received image of the television received by the television tuner provided in the audio device 15 is displayed.
[0035]
  The control device 1 includes a system control unit 21 mainly composed of a microcomputer including a CPU, a ROM, a RAM, and the like, and an interface (I / O) for inputting commands and data from the input device 3 to the system control unit 21. F) 23, a voice input unit 25 for converting a voice signal input from the microphone 5 into digital data and inputting the digital data to the system control unit 21, and a text data output from the system control unit 21 converted into an analog voice signal The voice synthesizer 27 for outputting to the speaker 7 and causing the speaker 7 to ring, the navigation device 9, the display device 11, the air conditioner device 13, the audio device 15, the communication device 17, various sensors 19, and other control devices. A device control interface (device control I / F) that connects the system control unit 21 so that data communication is possible. And a 29.
[0036]
  In addition, the control device 1 includes an Internet address database 31 that stores an Internet address (Internet address) and a search control unit 33 in order to search and acquire desired information from the Internet by the communication device 17. Yes. Then, when the system control unit 21 outputs a search keyword representing the search content (content) to the search control unit 33, the search control unit 33 operates the communication device 17 via the device control I / F 29, and the Internet broadcast terminal. The information corresponding to the search keyword is searched for, and the search result is input to the system control unit 21. The Internet address database 31 stores Internet addresses used in the past by the search control unit 33 according to commands from the system control unit 21, and the search control unit 33 searches the system control unit 21 in the past. When the same search keyword as the keyword is received, the Internet address in the Internet address database 31 is reused.
[0037]
  In this embodiment, the speaker 7, the navigation device 9, the CD-ROM drive (not shown) provided in the navigation device 9, the display device 11, the air conditioner device 13, the audio device 15, the communication device 17, and other devices. Control device (not shown)In a vesselHereinafter, these are collectively referred to as functions.VesselSay. Also these machinesVesselAmong them, the speaker 7 corresponds to an audio output device, and the others correspond to other devices.
[0038]
  Further, in the control device 1, the content of the utterance (hereinafter also referred to as agent utterance) output from the speaker 7 (that is, the operation content of the speaker 7) and the operation content of the other devices other than the speaker 7 are set. As a means for storing data, a dialog data storage unit 35 that stores a dialog database and a user profile storage unit 37 that stores personal information (hereinafter also referred to as user profiles) for a plurality of users are provided. Yes. The dialog data storage unit 35 and the user profile storage unit 37 and the Internet address database 31 described above are constituted by a nonvolatile memory capable of reading and writing data.
[0039]
  Here, the dialogue database stored in the dialogue data storage unit 35 and the user profile stored in the user profile storage unit 37 will be described.
  First, the user profile as personal information stored in the user profile storage unit 37 describes information specific to the user for each of the following items (P-1) to (P-11), for example. It is.
[0040]
  (P-1): Classification of the person (general, president, youth, gender, etc.).
  (P-2): Name or further identification information other than the name for identifying the person (password, identification number, etc.).
  (P-3): Date of birth (birthday).
[0041]
  (P-4): Hometown.
  (P-5): Address.
  (P-6): Occupation.
  (P-7): Title.
[0042]
  (P-8): Hobby.
  (P-9): Where I often go for hobby purposes.
  (P-10): Where I often go for shopping.
  (P-11): Family structure, family name, and family date of birth.
[0043]
  The user profile is stored in the user profile storage unit 37 by the writing operation of the system control unit 21 when the user operates the input device 3 to input the contents of the above items.
  Next, an example of the dialogue database stored in the dialogue data storage unit 35 is shown in FIG.3~ Figure7As shown in FIG. 4, it has a tabular data structure. And figure3~ Figure7In FIG. 5, each of the horizontal lines L1 to L23 is a set of dialogue data, and a dialogue database is constructed from a plurality of such dialogue data. The figure3~ Figure7In FIG. 2, each of the lines L1 to L23 is represented in two stages.
[0044]
  That is, each dialog data constituting the dialog database includes an item of classification of the dialog data and a plurality of items (in this embodiment, season, time zone or date, destination, Current location, environment around the vehicle, vehicle exterior, vehicle interior), user request items, user status items, user personal information items, microphone 5 and voice input unit 25. Items of user utterances (hereinafter also referred to as user utterances) to be input and the control device 1VesselItems of operation contents when operating (contents of agent utterances and operation contents of devices other than the speaker 7), items of estimation requests that are estimated user requests, and states of estimated users Each of the items of a certain estimation state and the items of the estimation-related request, which is another request of the estimated user, has a data area for describing the corresponding contents. Each dialogue data is a description of the corresponding contents in the data area of each item. The description means that data representing the corresponding contents is set in a data area reserved in advance.
[0045]
  Here, each item of the dialogue database will be specifically described.
  (C-1): Classification
  In the “classification” item, the contents indicating what topic the conversation data relates to in the conversation with the user are described in advance, and in particular, the agent utterance described in the “operation content” item described later. The contents representing the classification of are described.
[0046]
  The contents described in the “classification” item include, for example, FIG.3~ Figure7There are greetings, labor, family, meals, parking lots, route guidance, search, shopping, hobbies, equipment operations, etc., as shown in Fig. 1. In addition, introduction, sports, destination , Questions, confirmation, AIZUCHI, pause, end, etc.
[0047]
  (C-2): Season
  In the item of “season”, contents further subdivided into four seasons such as any one of the four seasons such as spring, summer, autumn, and winter, early summer, and midsummer are described in advance.
  (C-3): Time zone or date
  The item of “time zone or date and time” includes the contents of a specific time zone such as morning, noon, night, early morning, midnight, etc., from what hour to what hour, or what year, month, day, hour, and minute. Detailed date and time are described.
[0048]
  The items of “time zone or date / time” include those in which the contents are described in advance and those in which the system control unit 21 sequentially describes the contents. For example, the figure3Dialogue data of lines L1 to L3 and L7 illustrated in Fig.5In the dialogue data of the lines L15 and L16 illustrated in FIG. 6, the contents representing the time zone are described in advance in the item “time zone or date and time”. Also figure4In the dialogue data of the line L11 illustrated in FIG. 5, the current date and time are sequentially updated and described by the system control unit 21 in <> in the item “time zone or date and time”.
[0049]
  (C-4): Destination
  In the “Destination” item, the system control unit 21 describes the destination intended by the user. The system control unit 21 reads the destination set by the user from the navigation device 9 or acquires the contents to be described in the item “Destination” based on the contents of the dialogue with the user so far.
[0050]
  The “destination” item may be described in contents or not. For example, the figure4In the dialogue data of the lines L12 and L13 illustrated in Fig. 6, the destination according to the content of the dialogue with the user so far is described by the system control unit 21 in <> in the item of "Destination". Also figure3~ Figure7In the dialog data other than the lines L12 and L13 illustrated in FIG. 5, the contents are not described in the “Destination” item.
[0051]
  (C-5): Current location
  In the “current location” item, the system control unit 21 describes the current location of the vehicle. The system control unit 21 reads the current location of the vehicle from the navigation device 9 and acquires the content to be described in the item “current location”.
[0052]
  In addition, the item “current location” may or may not be described in the same manner as the item “destination”. For example, the figure4In the dialogue data of the lines L11 to L13 illustrated in FIG. 5, the current location of the vehicle is described by the system control unit 21 in <> in the item “current location”. Also figure3~ Figure7In the dialogue data other than the lines L11 to L13 illustrated in FIG. 5, the content is not described in the item “current location”.
[0053]
  (C-6): Environment
  In the item “environment”, contents representing the environment around the vehicle are described in advance. Specifically, content representing road environment (expressway, general road, national road, prefectural road, etc.), content representing road condition (road surface freezing, road surface slippery, etc.), content representing traffic environment (speed limit, one-way) , Entry prohibition, etc.) and contents representing the geographical environment (close to the sea, in the mountains, in the city, in front of the station, etc.) are described in advance.
[0054]
  (C-7): Outside the vehicle
  In the item “Outside the vehicle”, contents representing the situation outside the vehicle are described in advance. Specifically, content that represents the weather at the current location (sunny, cloudy, light rain, rain, heavy rain, snow, thunder, typhoon, etc.), content that represents the weather at the destination (sunny, cloudy, light rain, rain, heavy rain, snow, Lightning, typhoon, etc.), traffic conditions (congested, slightly congested, busy, accidents, etc.) and vehicle surroundings (passing vehicles, following vehicles, preceding vehicles, etc.) It is described in advance. The contents representing the vehicle surroundings can be described by adding overtaking vehicles and following vehicle types (trucks, passenger cars, motorcycles, etc.).
[0055]
  (C-8): Vehicle interior
  In the item “in-vehicle situation”, contents representing the in-vehicle situation are described in advance. Specifically, content indicating driving conditions (traveling on congested roads, comfortable driving, vibration, speed over, etc.), content indicating riding conditions (one person, two people, many (three or more)), family Companions, or detailed information such as who sits in which seat), car interior temperature information, moving purpose (drive with family, drive with friends, date with lover) Etc.) and contents representing the audio environment are described in advance.
[0056]
  (C-9): Request
  In the item “request”, contents representing a request that the user is considered to have are described in advance. Specifically, meal, drink, shopping, drive, break, play, park, amusement park, theme park, bowling, tennis, pool, jogging, swimming, skiing, golf, golf course reservation, route guidance, parking lot, air conditioner Contents such as lowering the set temperature, raising the air conditioner set temperature, and no air conditioner operation are described.
[0057]
  (C-10): State
  In the item “state”, contents representing a mental state or a physical state that the user is supposed to become are described in advance. Specifically, hungry, before hungry, preparation for movement (state to move), smooth, normal, hot, dry throat, cheerful, enjoying driving, eating, listening to music, TV Contents such as being appreciating, fullness, fatigue, wanting to return, wanting to play, wanting to get to their destination quickly, resting, irritated, angry, depressed (depressed), etc. Yes.
[0058]
  (C-11): Personal information
  The item “personal information” includes the other items (particularly “classification”, “request”, “user utterance”) in the dialogue data among the items (P-1 to P-11) of the user profile described above. , “Operation contents”), the contents of items related to the description contents are described.
[0059]
  As the item of “personal information”, the description content is changed by the system control unit 21 in accordance with what has fixed contents described in advance and the user profile actually stored in the user profile storage unit 37. There is something.
  For example, the figure3In the dialogue data of the line L8 illustrated in FIG. 6, the contents corresponding to the item (P-11: Family structure) of the user profile (in this example, with children) are described in advance in the item “personal information”. . Also figure5In the dialogue data of the line L17 illustrated in FIG. 6, the contents corresponding to the item (P-8: hobby) of the user profile (in this example, skiing is a hobby) are described in advance in the item “personal information”. .
[0060]
  In contrast, for example,5In the dialogue data of the line L16 illustrated in Fig. 6, the description in [] in the item of "personal information" is described in the item of the user profile (P-10: Where to go for shopping purposes) by the system control unit 21. Contents (in this example, A department store) are described. Also figure5In the dialogue data of the line L18 illustrated in FIG. 6, the description in [] in the item of “personal information” is described in the item of the user profile (P-9: Where to go frequently for hobby purposes) by the system control unit 21. Content (in this example, D golf course) is described.
[0061]
  That is, in the items of “personal information” on the lines L16 and L18, instruction data indicating which item of the user profile is described in [] is set in advance. The system control unit 21 describes the contents of the user profile in [] in the item “personal information” based on the instruction data. Therefore, the description content of the item “personal information” in the lines L16 and L18 is changed according to the user profile actually stored in the user profile storage unit 37.
[0062]
  The item “personal information” in the dialogue data of the line L18 also describes in advance the content that golf is a hobby.
  (C-12): User utterance
  In the item “user utterance”, a keyword that is expected to be input via the microphone 5 and the voice input unit 25 is described in advance. In the present embodiment, the keyword group described in the item “user utterance” is the recognition vocabulary of the control device 1.
[0063]
  However, figure4The keyword described in << >> in the item “user utterance” in the dialogue data of the line L11 illustrated in FIG. 5 is variable data assuming that a proper noun representing a place name is input. The keyword described in is variable data assuming that a word representing the type of dish is input. Also figure5The keyword described in << >> in the item “user utterance” in the dialogue data of the line L17 illustrated in FIG. 5 is variable data assuming that a proper noun representing a mountain name is input.
[0064]
  (C-13): Operation content
  In the item of “operation content”, the control device 1 has a function.VesselThe contents of the operation (the contents of the agent utterance to be output from the speaker 7 and the contents of the operation of equipment other than the speaker 7) are described in advance. ) To (C-12) corresponding to the contents described in each itemVesselThe operation contents are described.
[0065]
  For example, the figure4In the dialogue data of the line L9 illustrated in FIG. 5, the item “operation content” causes the CD-ROM drive or communication device 17 provided in the navigation device 9 to search for the nearest restaurant from the current location, and the search result On the basis of the speaker 7, the agent utterance “It is a meal. There are <X1> shops such as <a>, <b>, <c> etc. near here. Where do you eat?” Is output. , Such asVesselThe operation contents are described in advance. Note that the communication device 17 is made to communicate with an Internet broadcast terminal to retrieve necessary information from the Internet.
[0066]
  Also for example4In the dialogue data of the line L10 illustrated in FIG. 4, the “operation content” item causes the CD-ROM drive or the communication device 17 to search for two parking areas (or service areas) close to the current location, and the search results. Based on the above, an agent utterance is output from the speaker 7 such that “<d> more <X2> minutes until the parking area, and <X3> minutes if the next <e> parking area”.VesselThe operation contents are described in advance.
[0067]
  Still further, for example, the figure6In the dialogue data of the line L19 illustrated in Fig. 5, in the “Operation content” item, an agent utterance “The room temperature exceeds 40 ° C. Lower the air conditioner set temperature.” Is output from the speaker 7 and the air conditioner. A machine that causes the device 13 to lower the temperature in the passenger compartment.VesselThe operation contents are described in advance.
[0068]
  The figure4And figure5, Among the characters in <> described in the item of “operation content”, the alphabets from a to k, XX restaurant and C mountain ski resort are the proper nouns obtained by the search operation (specifically , A, b, c, f, and XX restaurants are searched restaurant names, d and e are searched parking area names, g is searched parking lot names, and h and i are searched. Road names, j and k are searched shopping center names), and symbols beginning with X from X1 to X5 are numerical values such as the number and time obtained by the search operation (specifically, X1 is searched) A numerical value indicating the total number of restaurants a, b, c, etc., X2, X3 are numerical values indicating the required time to the searched parking areas d, e, and X4, X5 are reservation possible times of the searched restaurant f. Numerical value).
[0069]
  On the other hand, as the item of “operation content”, the description content is changed by the system control unit 21 in accordance with the user profile actually stored in the user profile storage unit 37, as in the “personal information” item. There is.
  For example, the figure5In the dialogue data of the line L16 illustrated in Fig. 6, the description in [] in the item of "Operation content" is described in the item of the user profile (P-10: Where to go for shopping purposes) by the system control unit 21. Contents (in this example, A department store) are described. Also figure5In the dialogue data of the line L18 illustrated in Fig. 6, the description in [] in the item of "Operation content" is described by the system control unit 21 in the item of the user profile (P-9: Places often used for hobby purposes). Content (in this example, D golf course) is described.
[0070]
  In other words, in the item “operation content” of the lines L16 and L18, instruction data indicating which item of the user profile is described in [] is set in advance. The system control unit 21 describes the contents of the user profile in [] in the item “operation contents” based on the instruction data. Therefore, the description content of the “operation content” item of the lines L16 and L18 (in this case, the content of the agent utterance) is changed according to the user profile actually stored in the user profile storage unit 37. It becomes.
[0071]
  Specifically, figure5The machine indicated by the “Operation content” item on line L16VesselAs the operation content, the communication device 17 is searched from the Internet for the target product of the bargain currently performed at the A department store described in [] as described above, and from the speaker 7 based on the search result. The agent utterance “A department store. Today I ’m doing a bargain for XX (for example, electrical appliances)” is output. Also figure5The machine indicated by the “Operation content” item on line L18VesselAs the operation content, based on the content (D golf course) described in [] as described above, the speaker 7 outputs an agent utterance “D golf course. Do you check reservation status?” It will be something like that.
[0072]
  (C-14): Estimation request
  In the item “estimation request”, the actual situation where the user is placed becomes the situation described in the situation item (C-2 to C-8) in the dialog data, and the user The keyword described in the “user utterance” item (C-12) in the dialogue data is uttered, and the device operation described in the “operation content” item (C-13) in the dialogue data is actually performed. When it is assumed that the user has assumed, the contents of the request that the user has a common sense are described in advance.
[0073]
  The variations (types) of the contents described in the “estimation request” item are the same as the contents described in the “request” item.
  (C-15): Estimated state
  In the “estimated state” item, as in the “estimated request” item, the actual situation where the user is placed is described in the situation items (C-2 to C-8) in the dialog data. At the same time, the user speaks the keyword described in the “user utterance” item (C-12) in the dialogue data, and further, the “operation content” item (C-13) in the dialogue data. When it is assumed that the device operation described in (4) has actually been performed, the contents of a state that is commonly considered to be a user are described in advance.
[0074]
  The variation of the content described in the “estimated state” item is the same as the content described in the “state” item.
  (C-16): Estimation related request
  The “estimation-related request” item includes the “estimation request” item in the dialog data among the requests that are commonly thought of by the user based on the same assumptions as the above “estimation request” item. Request contents different from the described contents are described in advance.
[0075]
  The variation of the content described in the “estimation related request” item is the same as the content described in the “request” item.
  In this embodiment, the figure3~ Figure7As shown in FIG. 4, the contents of two items of “classification” and “operation content” are described in all the dialog data, but the contents of other items may not be described. That is, the figure3~ Figure7The blank part in indicates that the contents are not described. Which item other than “classification” and “operation content” is to be described may be determined according to the content described in the “operation content” item. However, among the items other than “classification” and “operation content”, the corresponding content is described in at least one item.
[0076]
  Next, in the control device 1 of the present embodiment configured as described above, the processing executed by the system control unit 21 is illustrated in FIG.2Will be described.
  Figure2As shown in FIG. 4, when power is supplied to the control device 1 by turning on an ignition switch (not shown) of the vehicle, the system control unit 21 first performs a step (hereinafter referred to as “S”) 110. Thus, identification information (for example, name, name, etc.) from the current user (user) that is input as key input or voice via any of the input device 3 and I / F 23, the microphone 5, and the voice input unit 25. Read password, identification number, card number, etc.). As identification information, information of an ID card may be read.
[0077]
  In the subsequent S120, the contents (name and other identification information) described in the item (P-2) described above from the user profiles for a plurality of persons stored in the user profile storage unit 37, and A user profile matching the identification information read in S110 is specified, and the specified user profile is stored in a buffer area set in advance in the RAM as the user profile of the current user.
[0078]
  Further, in the subsequent S130, the contents of the dialogue database in the dialogue data storage unit 35 are set using the user profile stored in the buffer area.
  That is, among the dialog data constituting the dialog database, the contents of the user profile in the buffer area are described for the dialog data in which the above-described instruction data is set, based on the instruction data. And by this processing of S130,5Contents specific to the current user are described in [] of each item of “personal information” and “operation contents” in the dialogue data of the lines L16 and L18 illustrated in FIG.
[0079]
  Furthermore, in S130, the content of the agent utterance described in the “operation content” item of the dialogue database is changed according to the instruction from the user input via the input device 3 and the I / F 23. Switch to a different one. That is, in the control device 1 of the present embodiment, the personality (tone) of the utterance of the device 1 is changed to, for example, a general person, a president, a youth, a friend, a girl, or the like according to a command from the user. Be able to. The figure3~ Figure7The contents of the agent utterance illustrated in FIG. 1 are standard forms when the user designates “general people”.
[0080]
  Next, in S140, the system control unit 21 is incorporated in itself in order to search for dialogue data suitable for the actual situation where the user is placed from the dialogue database by the processing after S220 described later. Based on the clock data, the actual date and time (year, month, day, time), the four seasons and the time zone, and other actual conditions corresponding to the “season” and “time zone or date” items in the dialogue database are detected. The detection result is stored in the buffer area.
[0081]
  In S140, the system control unit 21, as described above, among the pieces of dialogue data constituting the dialogue database, the dialogue data (this book) that needs to be described in the item “time zone or date / time”. In the embodiment, figure4The current date / time is described in the item “time zone or date / time”.
[0082]
  In the subsequent S150, the current location of the vehicle is read from the navigation device 9, and the destination intended by the user is read from the navigation device 9 or grasped by the content of the conversation with the user so far. The current location and destination detected in the above are stored in the buffer area.
[0083]
  Further, in S150, the system control unit 21 needs to describe the content in the item “Destination” among the pieces of dialogue data constituting the dialogue database as described above (this embodiment) OK, figure4The actual destination is described in the “Destination” item for the dialogue data of lines L12 and L13 illustrated in FIG. Further, in S150, the system control unit 21 needs to describe the content in the item “present location” among the pieces of dialogue data constituting the dialogue database as described above (this embodiment). OK, figure4In the “current location” item, the actual current location is described in the dialogue data of the lines L11 to L13 illustrated in FIG.
[0084]
  Next, in the subsequent S160, the system control unit 21 performs the following by searching the Internet via the communication device 17 or the like.(A)~(C)In the classification, seasonal events and events near the current location and the destination are confirmed, and the results are stored in the buffer area.
  (A): Seasonal events common throughout the country such as New Years and Christmas.
[0085]
  (B): Local and annual events such as festivals.
  (C): Events held on a local and special schedule.
  Then, in the subsequent S170, among the dialogue data constituting the dialogue database, the dialogue data in which the description content of the item “classification” is “greeting” (specifically, FIG.3Among the detection data (season, time zone, date and time, destination, current location) stored in the buffer area by the processing of S140 and S150, and the processing of S200 described later The dialogue data most suitable for the actual situation detection result (environment around the vehicle, outside situation, inside situation) detected by the processing and stored in the buffer area is searched. Further, the text data of the contents of the agent utterance described in the “action contents” item of the retrieved dialogue data is output to the speech synthesizer 27, and greetings such as “Good morning” and “Konichiwa” are output from the speaker 7. The utterance for the agent (agent utterance) is output.
[0086]
  For example, if the current time detected in S140 is between 4:00 and 11:00,3The dialogue data of the line L1 illustrated in FIG. 5 is retrieved, and the utterance "Good morning" is made from the speaker 7. If the current time detected in S140 is between 11:00 and 18:00,3The dialogue data of the line L2 illustrated in FIG. 6 is retrieved, and the utterance "Konchiwa" is made from the speaker 7.
[0087]
  Note that the processing for greeting utterance in S170 is only the first time immediately after the control device 1 is turned on, or further, a predetermined condition is established in proceeding with the dialogue with the user. Only done if.
  Next, in S180, the system control unit 21 determines whether or not a silent state in which no audio signal is input via the microphone 5 and the audio input unit 25 has continued for a predetermined time or more. If a voice signal is input within the predetermined time (S180: NO), the process proceeds to S190, and a keyword (utterance keyword) spoken by the user is extracted from the input voice signal and extracted. A voice input process is performed in which the keyword is stored in the buffer area. Then, the process proceeds to S200.
[0088]
  In addition, when it is determined in S180 that the silent state has continued for a certain time or longer (S180: YES), the content of “silent (or no response)” is stored in the buffer area, and then Proceed to S200.
  In S200, among the actual situations (actual situations) in which the user is placed, actual situations other than the items detected in S140 and S150 (that is, actual situations other than temporal and spatial) The processing for detecting the environment around the vehicle, the situation outside the vehicle, and the actual situation inside the vehicle) is performed, and the detection result is stored in the buffer area.
[0089]
  Here, in the process of S200, the actual situation is detected for the contents described in the items of “environment”, “situation outside the car”, and “situation inside the car” of the dialogue database.
  For example, among the “environment” around the vehicle, the actual situation of the road environment such as whether the road currently being driven is an expressway, general road, national road, prefectural road, etc. Each of the actual conditions of the traffic environment, such as the one-way road is prohibited or entry prohibited, and the actual situation of the geographical environment, such as the current position of the vehicle near the sea or in the mountains, , VICS information (information from a VICS broadcast terminal) is received by the communication device 17 or detected based on information (current position and map data) from the navigation device 9. And the actual situation of the road condition such as the road that is currently running is frozen or slippery among the “environment” around the vehicle is detected based on information from other control devices that control the brake device. To do.
[0090]
  In addition, the actual situation of the weather (sunny, cloudy, light rain, rain, heavy rain, snow, thunder, typhoon, etc.) of the current location and the destination, and the road that is currently running are congested. Each of the actual traffic conditions, such as rushing, is detected by receiving the VICS information by the communication device 17. In addition, it can also detect from the signal of the raindrop sensor of the various sensors 19 that the weather of the present location is rainy. In the “outside vehicle situation”, the actual situation of the vehicle surrounding situation such as the presence or absence of the following vehicle or the presence or absence of the preceding vehicle is detected by a signal from the ultrasonic sensor of the various sensors 19 or a camera.
[0091]
  On the other hand, in the “in-vehicle situation”, the actual situation of the room temperature is detected by a signal from the temperature sensor among the various sensors 19. In addition, in the “in-vehicle situation”, the actual state of the riding state such as the number of vehicle occupants (1, 2, 3 or more) is, for example, a signal from a pressure sensor that detects the pressure applied to the seat surface of the seat. Detect by.
[0092]
  In the "in-vehicle situation", the driving state (running on congested roads, comfortable driving, with vibrations, etc.) and the riding state (with family, what kind of person is sitting in which seat) Contents), or further, automatically based on information from the navigation device 9, communication device 17, various sensors 19, and other control devices such as travel purposes (drive with family, drive with friends, date with lover, etc.) The actual situation that cannot be detected automatically is detected by inquiring the user from the utterance from the speaker 7 or by a message displayed on the display device 11 and having the user teach by voice or key input.
[0093]
  Next, the system control unit 21 performs processing for estimating the current request and state of the user in S210.
  Here, in the process of S210, the function is determined from the previous process of S270 and S280 described later from the dialogue database.VesselIt is assumed that the user currently has the contents described in both the “estimation request” and “estimation related request” items of the read dialog data. Is stored in the buffer area as a request, and the contents described in the “estimated state” item of the read dialogue data are stored in the buffer area as a state that the user is assumed to be present. To do.
[0094]
  For this reason, at the time when the processing of S210 is completed, the buffer area in the RAM contains the current user's user profile (personal information) and the keyword spoken by the user (however, the contents of silence or no response are also included). And the contents representing the actual situation where the user is placed and the contents estimating the user's request and state are stored.
[0095]
  Therefore, in S220, the system control unit 21 accesses the dialogue database to read each dialogue data, and for each dialogue data, “season”, “time zone or date / time”, “destination”, “current location”. , “Environment”, “External situation”, “In-vehicle situation”, “Request”, “State”, “Personal information”, and “User utterance”, and the contents stored in the buffer area Investigate the matching with the content.
[0096]
  Specifically, the keyword actually spoken by the user and the keyword described in the “user utterance” item of the dialog data, the estimated content of the user's request, and the “request” of the dialog data Matching with the contents described in the item, matching the contents estimated from the user's state with the contents described in the "state" item of the dialog data, the actual situation where the user is placed Contents to be described and contents described in each item of “Season”, “Time zone or date / time”, “Destination”, “Current location”, “Environment”, “Exterior situation”, “In-vehicle situation” of dialogue data And the matching between the user profile of the current user and the content described in the “personal information” item of the dialog data.
[0097]
  In S220, among the dialogue data in the dialogue database, the dialogue data whose contents are described in the items “request” and “user utterance” are preferentially read out. Then, as a process for investigating matching, for each item of the read dialogue data, a score is given by a predetermined value (for example, one point) for the items that match the contents stored in the buffer area, Let the total score be an evaluation value representing the degree of matching. However, the score may be changed for a specific item among the items of dialogue data.
[0098]
  Further, in the process of S220, line numbers (that is, figure numbers) of N pieces of dialogue data in order from the largest evaluation value among the pieces of dialogue data (for example, eight pieces) are set.3~ Figure7Are stored in a specific area different from the buffer area set in advance in the RAM.
[0099]
  Then, in the next S230, the maximum evaluation value calculated in S220 (that is, the dialog data having the maximum evaluation value calculated among the N dialog data having the line number stored in the specific area). It is determined whether or not the evaluation value is larger than a preset threshold value. If the evaluation value is not larger than the predetermined threshold value, the content to be detected by the process of S190 or S200 described above (the user's utterance keyword or actual situation) Content) is insufficient, and the process proceeds to S240.
[0100]
  Then, in S240, an utterance for inquiring the user about the missing detection content is output from the speaker 7, and then the process returns to S180.
  Then, the processing of S180 to S220 is performed again. When an inquiry is made to the user through the processing of S240 in this way, in S220, the line number stored in the specific area is N. The evaluation value is calculated only for the interaction data.
[0101]
  If it is determined in S230 that the maximum evaluation value calculated in S220 is greater than the threshold value, the process proceeds to S250.
  In S250, it is determined whether or not there are a plurality of dialogue data having the maximum calculated evaluation value among the N dialogue data whose line numbers are stored in the specific area. Determines that it is necessary to narrow down one piece of dialogue data from the plurality of pieces of dialogue data, and proceeds to S260.
[0102]
  In S260, an utterance for inquiring the user about the contents for narrowing down one conversation data from the plurality of conversation data is output from the speaker 7, and then the process returns to S180.
  Then, also in this case, the processes of S180 to S220 are performed again. However, even when the user is inquired by the process of S260 as described above, in S220, the line number is assigned to the specific area. The evaluation value is calculated only for N pieces of interaction data in which is stored.
[0103]
  On the other hand, if a negative determination is made in S250, that is, if there is one conversation data having the maximum evaluation value among the N conversation data whose line numbers are stored in the specific area, S270. Go to, read the dialog data with the maximum evaluation value, and change the contents described in the `` Operation content '' item of the dialog data toVesselThe operation content is set in the RAM. Then, in subsequent S280, according to the operation content set in S270, the function is performed.VesselMake it work.
[0104]
  In other words, in the processing of S220 to S280, among the dialogue data constituting the dialogue database, “season”, “time zone or date / time”, “destination”, “current location”, “environment”, “exterior situation”, Contents stored in the above-mentioned buffer area (actual information where the user is placed) described in each item of “in-vehicle situation”, “request”, “state”, “personal information”, and “user utterance” Search and select dialog data that best fits the situation, content that estimated the user's request and status, the current user's user profile, and keywords spoken by the user), and the selected dialog In accordance with the contents described in the “operation contents” of the data, the machine including the speaker 7VesselI try to make it work.
[0105]
  Thereafter, the process proceeds to S290, where it is determined whether or not the dialogue with the user has ended. In this determination, for example, when an utterance keyword such as “noisy” or “goodbye” is input from the user, it is determined that the dialogue has ended. If it is determined that the dialogue has not ended, the process returns to S140. If it is determined that the dialogue has ended,2Terminate the process.
[0106]
  Next, the operation of the control device 1 as described above will be described with a specific example.
  First, when the user utters a keyword such as “meat” or “rice” while the vehicle is traveling on a general road, the process of S220 to S280 is performed.4The dialogue data of line L9 illustrated in Fig. 6 is selected, and the contents described in the item "Operation content" of the dialogue data (L9)VesselSet as operation content. As a result, the nearest restaurant is searched from the current location by the CD-ROM drive or the communication device 17 of the navigation device 9 and the speaker 7 reads “Dinning. If it is near, <a>, <b>, <c "There are <X1> shops such as>. Where do you eat?"
[0107]
  On the other hand, when the user utters a keyword such as “meat” or “rice” while the vehicle is traveling on the expressway, the process of S220 to S280 is performed.4The dialogue data of the line L10 illustrated in Fig. 5 is selected, and the content described in the item "Operation content" of the dialogue data (L10) is the function.VesselSet as operation content. As a result, the two parking areas close to the current location are searched by the CD-ROM drive or the communication device 17 of the navigation device 9, and the next <e> from the speaker 7 to the <d> parking area, the next <e>. The agent utterance is output, “<X3> minutes if parking area”.
[0108]
  As described above, in the control device 1 according to the present embodiment, not only the user's utterance keyword input through the microphone 5 and the voice input unit 25 but also the actual situation in which the user is placed is used.VesselThe operation content can be changed. Therefore, even if the user's utterance content is the same, depending on the situation where the user is placed,VesselThe operation content can be optimized, and the device operation (information providing operation in this example) that meets the user's request can be realized with less input information from the user.
[0109]
  On the other hand, for example, when a vehicle is traveling on a general road in Kariya city, Aichi, and the user speaks three keywords “Okazaki”, “Mushi”, “Indian cuisine”, the processing of S220 to S280 is performed. The figure4The dialogue data of the line L11 illustrated in Fig. 6 is selected, and the content described in the item "Operation content" of the dialogue data (L11) is the function.VesselSet as operation content. As a result, the communication device 17 retrieves the Indian restaurant f in Okazaki City, Aichi Prefecture, and the reservation time of the restaurant f from the Internet or the like, and the speaker 7 reads “<X4> hour <X5>”. The agent utterance “<f> can be reserved in minutes” is output. In the dialog data of the line L11, <Kariya> is described in the item “current location” by the processing of S150 so far.
[0110]
  When the dialogue data of the line L11 is selected in this way, the contents described in both the “estimation request” and “estimation related request” items of the dialogue data of the line L11 by the processing of the next S210. (Meals, vacations, parking lots, breaks, drinks) are stored in the buffer area as the user's estimated request, and the contents described in the “estimated state” item of the dialogue data on line L11 ( Is stored in the buffer area as the estimated state of the user.
[0111]
  For this reason, after the agent utterance corresponding to the dialogue data of the line L11 is performed, if the user does not respond in particular, the processing of the following S220 to S280 is performed.4The dialogue data of the line L12 shown in Fig. 5 (ie, dialogue data in which “general road” is described in the “environment” item and “meal” and “parking” is described in the “request” item) is selected. Therefore, the content described in the “Operation content” item of the dialog data (L12)VesselSet as operation content. As a result, the communication device 17 searches for the parking lot g near the restaurant f from the VICS information and the like, and the speaker utters “the parking lot has <g> free”. The In the dialogue data of the line L12, <Destination> and <Current location> are described as <Okazaki restaurant f> and <Kariya>, respectively, by the processing of S150 immediately before.
[0112]
  Furthermore, when the dialogue data of the line L12 is selected in this way, the contents (route guidance) described in the item “estimation request” of the dialogue data of the line L12 are used by the processing of the next S210. Is stored in the buffer area as the user's estimated request, and the content (preparation for movement) described in the “estimated state” item of the dialogue data on line L12 is Stored in the buffer area.
[0113]
  For this reason, after the agent utterance corresponding to the dialogue data of the line L12 is performed, if the user does not respond in particular, the processing of the following S220 to S280 is performed.4The dialogue data of the line L13 illustrated in FIG. 5 (ie, dialogue data in which “general road” is described in the “environment” item and “route guidance” is described in the “request” item) is selected. (L13) The contents described in the “Operation contents” item areVesselSet as operation content. As a result, the main road h, i for going from the current location (Aichi Prefecture, Kariya City) to the destination (Aichi Prefecture, Okazaki City) from the VICS information, etc. by the communication device 17 and the traffic jam on the road h, i The situation is searched, and an utterance of an agent such as “<h> is crowded and it is recommended to go with <i>” is output from the speaker 7. In the dialogue data of the line L13, <Okazaki> and <Kariya> are described in the items “Destination” and “Current location”, respectively, by the processing of S150 immediately before.
[0114]
  On the other hand, when the dialogue data of the line L9 is selected, the contents described in both the “estimation request” and “estimation related request” items of the dialogue data of the line L9 by the processing of the next S210. (Meals, parking lots, breaks, drinks) are stored in the buffer area as the user's estimated request, and the contents described in the “estimated state” item of the dialogue data on line L9 (hungry) Is stored in the buffer area as the state estimated by the user.
[0115]
  For this reason, for example, after an agent utterance corresponding to the dialogue data of the line L9 is performed, the user utters the keyword “somewhere good” and, at the same time, rides with a family. For example, the following S220 to S2805The dialogue data of the line L14 shown in FIG. 5 (ie, “general road” is described in the “environment” item, “family” is described in the “in-vehicle situation” item, and “meal” is displayed in the “request” item. Is described, "Hungry" is described in the "State" item, and "Interactive data with" somewhere good "" is selected in the "User utterance" item, and the "Operation content" of the dialog data (L14) is selected. The contents described in the itemVesselSet as operation content. As a result, the communication device 17 searches for the nearest family restaurant from the current location on the Internet or the like, and the speaker 7 outputs the agent utterance “How about XX restaurant?”.
[0116]
  Further, for example, when a person is in the vehicle, the temperature in the passenger compartment is 30 ° C. or higher, and the user's request estimated by the processing in S210 is not “air conditioner operation unnecessary”, S220˜ By the process of S280,6The dialogue data of the line L20 illustrated in Fig. 5 is selected, and the contents described in the "Operation content" item of the dialogue data (L20) areVesselSet as operation content. As a result, an agent utterance asking, “It's hot. Do you want to lower the air conditioner set temperature?” Is output from the speaker 7.
[0117]
  When the dialogue data of the line L20 is selected in this way, the content described in the item “estimation request” of the dialogue data of the line L20 (lowering the air conditioner set temperature) is processed by the next processing of S210. Is stored in the buffer area as the user's estimated request, and the contents (hot, dry throat) described in the “estimated state” item of the dialogue data on line L20 are estimated by the user. Is stored in the buffer area.
[0118]
  Therefore, after the agent utterance corresponding to the dialogue data of the line L20 is performed, if the user utters the keyword “Yes”, “Yes” or “Low”, or if there is no response, S220 to S280. By processing7The dialogue data of the line L22 illustrated in Fig. 5 is selected, and the content described in the item "Operation content" of the dialogue data (L22) is the function.VesselSet as operation content. As a result, the agent utterance “I understand. I will lower the air conditioner set temperature” is output from the speaker 7 and the air conditioner 13 operates to lower the temperature in the passenger compartment.
[0119]
  On the other hand, if the user utters the keywords “No”, “No”, “Do not lower”, or “As is” after the agent utterance corresponding to the dialogue data of the line L20, S220 to S280. By processing7The dialogue data of the line L23 illustrated in Fig. 5 is selected, and the content described in the item "Operation content" of the dialogue data (L23) is the function.VesselSet as operation content. As a result, the agent utterance “Leave as it is” is output from the speaker 7 and the air conditioner 13 operates so as to maintain the temperature in the passenger compartment.
[0120]
  Further, for example, when the temperature of the passenger compartment is 20 ° C. or higher and the user utters the keyword “hot” or “hot”, the process of S220 to S280 is performed.6The dialogue data of the line L21 illustrated in Fig. 5 is selected, and the content described in the item "Operation content" of the dialogue data (L21) is selected.VesselSet as operation content. As a result, as in the case where the dialogue data of the line L20 is selected, an agent utterance asking “It's hot. Do you want to lower the air conditioner set temperature?” Is output from the speaker 7.
[0121]
  When the dialogue data of the line L21 is selected in this way, the contents described in both the “estimation request” and “estimation related request” items of the dialogue data of the line L21 by the processing of the next S210. (Reducing the air-conditioner set temperature, wanting to drink something, wanting to take a rest) is stored in the buffer area as the user's estimated request, and is described in the “estimated state” item of the dialogue data on line L21. The stored contents (hot, dry throat) are stored in the buffer area as the estimated state of the user.
[0122]
  For this reason, if the user speaks a keyword such as “Yes” or “Yes” after the agent utterance corresponding to the dialogue data of the line L21, the dialogue of the line L22 described above is performed by the processing of S220 to S280. If the data is selected and the user speaks a keyword such as “No” or “No”, the dialogue data of the above-described line L23 is selected by the processing of S220 to S280.
[0123]
  That is, in the control device 1 of the present embodiment, the actual utterance keyword from the user, the actual situation of the user,VesselThe user's request is estimated based on at least one of the operation contents actually operated. Then, by the processes of S220 to S280, the dialog data having the request estimated in the process of S210 as the description content of the item “request” is selected and described in the “operation content” item of the selected dialog data. The device operation is performed based on the operation content. In S210, the actual utterance keyword from the user, the actual situation of the user, and the functionVesselAmong the operation contents, which of the contents is used to estimate the user's request is determined by the previous processing of S280.VesselIt depends on the description state of the dialog data used to make it work.
[0124]
  Therefore, according to the control apparatus 1 of this embodiment, the apparatus operation (in the case of the said example, information provision operation | movement and operation | movement of the air-conditioner apparatus 13) according to a user's request | requirement is realizable.
  Next, for example, when a user utters a keyword such as “shopping” or “shopping” while traveling on a general road with a family during the time from 9:00 to 21:00, the processing of S220 to S280 is performed. The figure5The dialogue data of the line L15 illustrated in Fig. 5 is selected, and the content described in the item "Operation content" of the dialogue data (L15) is the function.VesselSet as operation content. As a result, the nearest shopping center j, k is retrieved from the current location by the CD-ROM drive or the communication device 17 of the navigation device 9 and the speaker 7 reads “If shopping, <j> and <k> are close. Agent utterance is output.
[0125]
  When the dialogue data of the line L15 is selected in this way, the contents described in both the “estimation request” and “estimation related request” items of the dialogue data of the line L15 by the processing of the next S210. (Shopping, parking lot) is stored in the buffer area as the user's estimated request, and the contents (preparation for movement) described in the “estimated state” item of the dialogue data on line L15 are as follows: The state estimated by the user is stored in the buffer area.
[0126]
  For this reason, after the agent utterance corresponding to the dialogue data of the line L15 is performed, the user utters the keyword “usually”, and the user profile item of the user (P-10: purpose of shopping) If the content described in “Where to go” is “A department store”, the processing of the following S220 to S280 is performed.5The dialogue data of the line L16 illustrated in FIG.
[0127]
  That is, “9:00 to 21:00” is described in the “time zone or date and time” item, “general road” is described in the “environment” item, and “family” is described in the “in-vehicle situation” item. , “Shopping” is described in the “request” item, “preparation for movement” is described in the “state” item, “go to A department store” is described in the “personal information” item, and “user utterance” Dialogue data (L16) in which “usual place” is described in the item “” is selected, and the content described in the “Operation content” item in the dialogue data (L16) is selected.VesselSet as operation content. As a result, the target product of the bargain currently being held at the A department store is searched from the Internet or the like by the communication device 17, and the speaker 7 reads “A department store. Agent's utterance is output. In the dialogue data of the line L16, “A department store” unique to the current user is described in [] in each item of “personal information” and “operation content” by the process of S130. Yes.
[0128]
  On the other hand, for example, the user speaks two keywords “C mountain” and “ski” in the winter season, and the contents described in the user profile item (P-8: hobby) of the user. Is “ski”, the process of S220 to S2805The dialogue data of the line L17 illustrated in Fig. 5 is selected, and the contents described in the item "Operation content" of the dialogue data (L17) areVesselSet as operation content. As a result, an agent utterance “Starting route guide to the C mountain ski resort” is output from the speaker 7, and a route guidance operation from the current location to the C mountain ski resort by the navigation device 9 is started.
[0129]
  Further, for example, the user speaks two keywords “golf” and “usual”, and the content described in the user profile item (P-8: hobby) of the user is “golf”. In addition, if the content described in the item of the user profile (P-9: Where to go often for the purpose of hobbies) is “D golf course”, the process of S220 to S280 is performed.5The dialogue data of line L18 illustrated in Fig. 6 is selected, and the contents described in the item "Operation content" of the dialogue data (L18) areVesselSet as operation content. As a result, the agent utterance “D golf course. Do you want to check the reservation status?” Is output from the speaker 7. In the dialogue data of the line L18, “D golf course” unique to the current user is described in [] in each item of “personal information” and “operation content” by the processing of S130. ing.
[0130]
  As described above, in the control device 1 according to the present embodiment, the user profile, which is information unique to the user, is one of the parameters for selecting the conversation data, and the function according to the user profile of the user.VesselThe operation details are set. Therefore, it is possible to realize device operation in accordance with a request specific to the user.
[0131]
  In addition, user profiles for a plurality of users are stored in the user profile storage unit 37, and the user profile of the current user is specified by the processing of S110 to S130, and a dialogue is performed according to the specified user profile. The contents of the database (description contents of the items of “personal information” and “operation contents”) are automatically changed. Then, select the conversation data that matches the specified user profile, and follow the contents described in the “Action contents” item of the conversation data.VesselThe operation details are set.
[0132]
  Therefore, even if any one of a plurality of persons whose user profiles are stored in the user profile storage unit 37 uses the control device 1, the function is different for each person.VesselThe operation content can be changed, and the device operation can be realized more in line with the demand specific to the user.
  Next, for example, when a person is in the vehicle and the temperature in the passenger compartment rises to 40 ° C. or higher, the processing in S220 to S280 is performed.6The dialogue data of the line L19 illustrated in Fig. 5 is selected, and the content described in the item "Operation content" of the dialogue data (L19) is the function.VesselSet as operation content. As a result, an agent utterance “The room temperature exceeds 40 ° C. The air conditioner set temperature is lowered.” Is output from the speaker 7, and the air conditioner 13 operates to lower the temperature in the vehicle interior. Become.
[0133]
  That is, in the control device 1 of the present embodiment, the conversation data is selected only from the detected actual situation of the user, and the function is selected.VesselThe operation details are set. Therefore, when the situation in which the user is placed becomes a specific situation, regardless of other factors such as the user's utterance,VesselIt can be operated with a predetermined operation content, which is advantageous.
[0134]
  As described above in detail, according to the control device 1 of the present embodiment, it is possible to optimize the speech content and the operation of the equipment such as the air conditioner device 13 according to the user's situation and request, and It is possible to accurately provide useful information to the user. In addition, it is possible to make the user feel familiar by conducting a friendly dialogue with the user.
[0135]
  In the present embodiment, the processing of S180 and S190 is performed by the input hand.In stepsCorrespondingly, the processing of S140, S150, and S200 is the situation detection operator.In stepsCorrespondingly, the processing of S220 to S270 is the settingIn stepsCorrespondingly, the process of S280 is the device controlIn stepsIt corresponds. And the process of S210 is a request estimation process.In stepsCorrespondingly, the processing of S110 and S120In stepsCorrespondingly, the process of S130 is changedIn stepsIt corresponds.
[0136]
  In this embodiment,YuThe user profile storage unit 37 is a personal information storageIn stepsIt corresponds.
  And figure3~ Figure7Dialogue data illustrated inBut dynamicWork content setting dataToIt corresponds.
[0137]
  Next, another specific example will be described.
  First, the control device 1 according to the present embodiment grasps the actual weather situation from the VICS information, the instruction from the user through the dialogue, or the signal from the sensor (S200). When receiving instructions from the user, for example, if an agent utters an inquiry such as "Is it sunny now?" And receives a reply from the user such as "Yes" or "No, it's raining" good.
[0138]
  Therefore, for example, when the weather is fine, an agent utterance such as “Today is the best weather for golf” can be used to have a friendly conversation with the user.
  Further, since the control device 1 of the present embodiment grasps the current date and time, the four seasons, and the time zone based on the clock data built in itself (S140), for example, when the season is autumn If the agent utters "Is it the best time to see Arashiyama's autumn leaves?" Or if the time is noon, "It's time for lunch. The next service area is 10km away." The agent utters “and so on, and the user can have a friendly conversation.
[0139]
  On the other hand, the detailed contents of the state of boarding in the in-vehicle situation grasped by the control device 1 and which person is seated in which seat can be described as in the following [].
  [SEAT_ID, PSTYPE, PATYPE, PTYPE, PROFILE_ID]
  SEAT_ID is data representing the classification of the seat (seat), SEAT_ID = 0 indicates the driver's seat, SEAT_ID = 1 indicates the passenger seat, SEAT_ID = 2 indicates the rear seat right, and SEAT_ID = 3 indicates the rear The seat center is shown, and SEAT_ID = 4 shows the rear seat left.
[0140]
  PSTYPE is data representing the gender of the occupant. PSTYPE = 0 indicates non-humans such as luggage and animals, PSTYPE = 1 indicates male, and PSTYPE = 2 indicates female.
  Furthermore, PATYPE is data representing the occupant age classification, PATYPE = 0 indicates infants, PATYPE = 1 indicates infants, PATYPE = 2 indicates elementary school students, PATYPE = 3 indicates junior high school students, PATYPE = 4 indicates high school students, PATYPE = 5 indicates young people, PATYPE = 6 indicates ordinary people, and PATYPE = 7 indicates elderly people.
[0141]
  PTYPE is data representing the occupant type, PTYPE = 0 indicates the driver (driver), PTYPE = 1 indicates the driver's spouse, PTYPE = 2 indicates the driver's child, PTYPE = 3 indicates the driver's parent, PTYPE = 4 indicates the driver's other family, PTYPE = 5 indicates a friend other than the family, PTYPE = 6 indicates the driver's acquaintance, and PTYPE = 7 indicates Show others.
[0142]
  Further, PROFILE_ID is data representing the name or name of the occupant.
  So, for example, if [SEAT_ID, PSTYPE, PATYPE, PTYPE, PROFILE_ID] = [2, 1, 2, 2, XX Taro], it is a boy's elementary school student on the right of the back seat and a driver's child XX indicates that Taro is sitting.
[0143]
  Then, when the control device 1 grasps such a situation, for example, the following agent utterances (1) to (3) and corresponding operations can be performed.
  (1) When the vehicle stops from the running state, the agent utters a warning such as “Stopped. Taro, please check the back and open the door when you go out of the car.”
[0144]
  (2) When the vehicle departs from the stationary state, the agent utters “starts. The rear seat right is child locked” and the other control device is child locked on the rear right door.
  (3) When the user utters the two keywords “Taro” and “Videophone”, the agent utters an inquiry such as “Taro-kun has the videophone camera in hand. Then, the other control device is adjusted to adjust the position and focus of the video phone camera toward Taro.
[0145]
  Further, for example, [SEAT_ID, PSTYPE, PATYPE, PTYPE, PROFILE_ID] = [2, 2, 6, 1, XX Hanako], [SEAT_ID, PSTYPE, PATYPE, PTYPE, PROFILE_ID] = [2, 2, 0, 2 , XX Sayaka], the driver ’s wife XX Hanako is sitting on the right of the back seat, and that HANKO is embracing XX Sayaka, her child and a baby girl. Represents.
[0146]
  And when the control device 1 grasps such a situation, for example, according to the driving situation of the vehicle, “It is a sharp curve in the right direction from 300 meters ahead. Please hold Hanako-san and Sayaka-chan firmly. The agent utters a warning such as “
[0147]
  On the other hand, the contents of the audio environment in the in-vehicle situation grasped by the control device 1 can be described by, for example, 12-bit data (hereinafter referred to as AUDIO_ENV) described below.
  That is, when the least significant bit of AUDIO_ENV is the 0th bit, for example, the 0th bit indicates the cassette on / off, the 1st bit indicates the CD player on / off, and the 2nd bit indicates the MD player on / off. The third bit indicates whether the DVD is on / off, the fourth bit indicates whether a radio FM broadcast is received, and the fifth bit indicates whether a radio AM broadcast is received. The sixth bit indicates whether or not a road traffic center broadcast is received, the seventh bit indicates on / off of the TV, the eighth bit indicates on / off of the video, and the ninth bit indicates Indicates on / off of the telephone, and the 10th and 11th bits are unused or spare bits.
[0148]
  Thus, for example, AUDIO_ENV = [1000 0001 0100] indicates that the cassette, the TV, and the telephone are turned on. In this example, the leftmost bit in [] is the 0th bit.
  Then, by grasping such a situation, the control device 1 can perform, for example, the following agent utterance and the corresponding operation.
[0149]
  First, when the cassette, the TV, and the telephone are turned on as described above, an agent utterance such as “You are on the phone. Please lower the volume of the cassette and the TV.”
  Furthermore, when it detects that the vehicle has entered the tunnel of the expressway, after the agent utterance such as “I entered the tunnel. I will tell you the broadcast of the road traffic center”, other audio (in this case cassette) And the volume of the TV). As a result, AUDIO_ENV = [1000 0011 0100].
[0150]
  At the same time, if the headlight of the vehicle is not turned on, the headlight is turned on after the agent utters “turn the headlight on”.
  As mentioned above, although one Embodiment of this invention was described, it cannot be overemphasized that this invention can take a various form, without being limited to the said embodiment.
[0151]
  For example, although the control apparatus 1 of the said embodiment was mounted in a vehicle, this invention is applicable similarly also to the apparatus which controls the various equipment with which it is equipped indoors.
  Moreover, although the control apparatus 1 of the said embodiment inputs a user's speech keyword as information in which a user's intention was reflected, it may be made to input the information by a user's key operation. good.
[Brief description of the drawings]
[Figure1] ActualIt is a block diagram showing the structure of the control apparatus of embodiment.
[Figure2It is a flowchart showing processing executed by the control device of the embodiment.
[Figure3This is the first of the diagrams for explaining an example of the dialogue database.
[Figure4It is the second of the figures explaining an example of the dialogue database.
[Figure5It is the third of the figures for explaining an example of the dialogue database.
[Figure6This is the fourth of the diagrams for explaining an example of the dialogue database.
[Figure7It is part 5 of the diagrams for explaining an example of the dialogue database.
[Explanation of symbols]
  DESCRIPTION OF SYMBOLS 1 ... Control apparatus 3 ... Input device 5 ... Microphone 7 ... Speaker
  9 ... Navigation device 11 ... Display device 13 ... Air conditioner device
  15 ... Audio device 17 ... Communication device 19 ... Various sensors
  21 ... System control unit 23 ... Interface (I / F)
  25 ... Voice input unit 27 ... Speech synthesis unit
  29 ... Device control interface (device control I / F)
  31 ... Internet address database 33 ... Search control unit
  35 ... Dialogue data storage L1-L23 ... Dialogue data
  37 ... User profile storagePart

Claims (9)

使用者から該使用者の意図が反映された情報を入力する入力手段を備え、該入力手段により入力された情報に応じて、所定の機器を動作させる制御装置であって、
少なくとも、前記入力手段により入力される情報の項目と、使用者の状況を表す複数の項目と、使用者の要求の項目と、前記機器の動作内容の項目との各々について、対応する内容が記述された形式の動作内容設定用データを複数組有した対話データベースと、
前記使用者の状況を表す複数の項目の各々について、使用者が置かれている実際の状況を検出する状況検出手段と、
前記入力手段により入力された情報、前記状況検出手段により検出された状況、及び前記機器の実際の動作内容のうちの少なくとも1つに基づき、使用者の現在の要求を推定する要求推定手段と、
前記対話データベースを構成する動作内容設定用データの各々について、前記各項目に記述されている内容と、前記入力手段により入力された情報の内容、前記状況検出手段により検出された複数の各状況の内容、及び前記要求推定手段により推定された要求の内容とを比較し、一致しているものに対して所定値ずつ点数を付けると共に、その合計点数をマッチングの度合いを表す評価値とし、その評価値が最大となった動作内容設定用データにて前記動作内容の項目に記述されている内容を、前記機器の動作内容として設定する設定手段と、
該設定手段により設定された動作内容に従い、前記機器を動作させる機器制御手段と、
を備えたことを特徴とする制御装置。
A control device comprising input means for inputting information reflecting the user's intention from a user, and operating a predetermined device in accordance with the information input by the input means,
Corresponding contents are described for at least the items of information input by the input means, the plurality of items representing the user's situation, the items requested by the user, and the items of operation contents of the device. A dialogue database having a plurality of sets of operation content setting data in the format
For each of the plurality of items representing the user's situation, situation detection means for detecting the actual situation where the user is placed ;
Request estimation means for estimating a user's current request based on at least one of information input by the input means, a situation detected by the situation detection means, and an actual operation content of the device;
For each of the operation content setting data constituting the dialogue database, the contents described in each item, the contents of information input by the input means, and a plurality of situations detected by the situation detection means The content and the content of the request estimated by the request estimation means are compared, and a score is assigned to the matching items by a predetermined value, and the total score is set as an evaluation value indicating the degree of matching, and the evaluation Setting means for setting the content described in the operation content item in the operation content setting data having the maximum value as the operation content of the device;
Device control means for operating the device in accordance with the operation content set by the setting means;
A control device comprising:
請求項1に記載の制御装置において、
前記動作内容設定用データの項目として、使用者が持つと考えられる推定要求の項目があり、
前記要求推定手段は、前記設定手段が前記機器の動作内容を設定するのに前回用いた動作内容設定用データにて前記推定要求の項目に記述されている内容を、使用者の現在の要求として推定すること、
を特徴とする制御装置
The control device according to claim 1,
As an item of the operation content setting data, there is an estimation request item that a user is considered to have,
The request estimation means uses the content described in the estimation request item in the operation content setting data used last time by the setting means to set the operation content of the device as the current request of the user. To estimate,
A control device characterized by .
請求項1又は請求項2に記載の制御装置において、In the control device according to claim 1 or 2,
前記機器は、車両に搭載された機器であり、  The device is a device mounted on a vehicle,
前記使用者の状況を表す複数の項目は、季節、時間帯或いは日時、目的地、現在地、車両周囲の環境、車外状況、及び車内状況のうちの少なくとも1つを含むこと、  The plurality of items representing the user's situation includes at least one of a season, a time zone or a date, a destination, a current location, an environment around the vehicle, an outside situation, and an inside situation.
を特徴とする制御装置。  A control device characterized by.
請求項3に記載の制御装置において、The control device according to claim 3,
前記車両周囲の環境の項目に記述される内容として、少なくとも一般道路と高速道路とがあること、  There are at least general roads and highways as the contents described in the environment items around the vehicle,
を特徴とする制御装置。  A control device characterized by.
請求項1ないし請求項4に記載の制御装置において、
前記動作内容設定用データの項目として、使用者の個人情報の項目があり、
更に、使用者の個人情報を記憶する個人情報記憶手段を備え
記設定手段は、前記評価値を算出する際に、前記各動作内容設定用データにて個人情報の項目に記述されている内容と、前記個人情報記憶手段に記憶された個人情報との比較も行うこと、
を特徴とする制御装置。
The control device according to any one of claims 1 to 4 ,
As the operation content setting data item, there is a user personal information item,
Furthermore, the personal information storage means which memorize | stores a user's personal information is provided ,
Comparison of pre-Symbol setting means, when calculating the evaluation value, and contents described in the item of the personal information the in each operation content setting data, and personal information stored in the personal information storage unit Also do,
A control device characterized by.
請求項に記載の制御装置において、
記動作内容設定用データを、前記個人情報記憶手段に記憶された個人情報に応じて変更する変更手段を備えていること、
を特徴とする制御装置。
The control device according to claim 5 ,
The pre kidou operation contents setting data, that it comprises a changing means for changing in accordance with the personal information stored in the personal information storage means,
A control device characterized by.
請求項に記載の制御装置において、
前記個人情報記憶手段には、複数人分の個人情報が記憶されると共に、
前記個人情報記憶手段に記憶されている複数人分の個人情報の中から、現在の使用者の個人情報を特定する識別手段を備え、
更に、前記変更手段は、前記動作内容設定用データを、前記識別手段により特定された個人情報に応じて変更し、
前記設定手段は、前記評価値を算出する際に、前記識別手段により特定された個人情報を用いること、
を特徴とする制御装置。
The control device according to claim 6 ,
The personal information storage means stores personal information for a plurality of people,
An identification unit for identifying personal information of a current user from among personal information for a plurality of persons stored in the personal information storage unit;
Furthermore, the changing means, the pre kidou operation contents setting data, and change depending on the personal information identified by the identifying means,
The setting means uses the personal information specified by the identification means when calculating the evaluation value ;
A control device characterized by.
請求項1ないし請求項に記載の制御装置において、
前記設定手段は、評価値が最大となった動作内容設定用データの評価値が、予め設定された閾値よりも大きくない場合には、その評価値を前記閾値よりも大きくさせるための不足情報を使用者に問い合わせる処理を行うこと、
を特徴とする制御装置。
The control device according to any one of claims 1 to 7 ,
When the evaluation value of the operation content setting data having the maximum evaluation value is not larger than a preset threshold value, the setting means sets insufficient information for making the evaluation value larger than the threshold value. Process to contact the user,
A control device characterized by.
請求項1ないし請求項に記載の制御装置において、
前記入力手段は、前記情報として、使用者が発話したキーワードを入力し、
前記機器は、音声を出力するための音声出力用機器と、他の機器とからなること、
を特徴とする制御装置。
The control device according to any one of claims 1 to 8 ,
The input means inputs a keyword spoken by the user as the information,
The device comprises a sound output device for outputting sound and another device;
A control device characterized by.
JP16245798A 1998-06-10 1998-06-10 Control device Expired - Fee Related JP3890747B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16245798A JP3890747B2 (en) 1998-06-10 1998-06-10 Control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16245798A JP3890747B2 (en) 1998-06-10 1998-06-10 Control device

Publications (2)

Publication Number Publication Date
JPH11351901A JPH11351901A (en) 1999-12-24
JP3890747B2 true JP3890747B2 (en) 2007-03-07

Family

ID=15754986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16245798A Expired - Fee Related JP3890747B2 (en) 1998-06-10 1998-06-10 Control device

Country Status (1)

Country Link
JP (1) JP3890747B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370391B1 (en) * 2021-03-10 2022-06-28 State Farm Mutual Automobile Insurance Company Autonomous vehicle authorized use determination

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273065A (en) * 2000-03-23 2001-10-05 Honda Motor Co Ltd Agent system
JP2002092029A (en) 2000-09-20 2002-03-29 Denso Corp User information estimating device
JP2002259806A (en) * 2001-02-28 2002-09-13 Michio Kushima Shop information providing method, server and program allowing execution of the providing method
JP2002259830A (en) 2001-02-28 2002-09-13 Ricoh Co Ltd Messaging system, method of providing message, and program
JP3932045B2 (en) 2003-11-14 2007-06-20 松下電器産業株式会社 Navigation device
US7668824B2 (en) 2004-03-01 2010-02-23 Denso Corporation Interface device, inferring system, and visual expression method
JP2005283531A (en) * 2004-03-31 2005-10-13 Equos Research Co Ltd Vehicle-mounted device and data-preparing device
JP2006154926A (en) * 2004-11-25 2006-06-15 Denso Corp Electronic equipment operation system using character display and electronic apparatuses
JP2010078851A (en) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd Voice input device and voice input method
JP2018179547A (en) * 2017-04-04 2018-11-15 株式会社日立システムズ Safe travel assisting system, safe travel assisting method, and safe travel assisting program
JP7006041B2 (en) * 2017-09-06 2022-01-24 株式会社デンソー Vehicle control device
WO2019073618A1 (en) * 2017-10-12 2019-04-18 シャープ株式会社 Server and electrical apparatus
JP7314898B2 (en) * 2020-10-09 2023-07-26 トヨタ自動車株式会社 Agent device, agent method and agent program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370391B1 (en) * 2021-03-10 2022-06-28 State Farm Mutual Automobile Insurance Company Autonomous vehicle authorized use determination

Also Published As

Publication number Publication date
JPH11351901A (en) 1999-12-24

Similar Documents

Publication Publication Date Title
JP4353212B2 (en) Word string recognition device
JP3890747B2 (en) Control device
JP5972372B2 (en) Car information system
US6556970B1 (en) Apparatus for determining appropriate series of words carrying information to be recognized
US6249720B1 (en) Device mounted in vehicle
JP4156080B2 (en) Request estimation device
US7079925B2 (en) Agent apparatus
JP5677647B2 (en) Navigation device
JP6173477B2 (en) Navigation server, navigation system, and navigation method
US20120135714A1 (en) Information system for motor vehicle
JP2001014332A (en) Information service system
JPH11259271A (en) Agent device
JP2004334228A (en) Word string recognition device
JP4798431B2 (en) Agent device, in-vehicle navigation device with agent function, agent output method
JP2001034292A (en) Word string recognizing device
JP2000221049A (en) Vehicle situation grasping system, agent device, and vehicle controller
JP2001289661A (en) Navigator
JP2007108134A (en) Content data regeneration device
JP2000020888A (en) Agent device
JP2000222689A (en) Vehicle controller
JP2008203217A (en) Device for implementing vehicle onboard caretaking activities, technique, and program
JP4580230B2 (en) Navigation device
CN112534499B (en) Voice conversation device, voice conversation system, and method for controlling voice conversation device
JP3677833B2 (en) Navigation device, navigation method, and automobile
JP2000203465A (en) Information recording device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees