JP4132962B2 - 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 - Google Patents
対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 Download PDFInfo
- Publication number
- JP4132962B2 JP4132962B2 JP2002142192A JP2002142192A JP4132962B2 JP 4132962 B2 JP4132962 B2 JP 4132962B2 JP 2002142192 A JP2002142192 A JP 2002142192A JP 2002142192 A JP2002142192 A JP 2002142192A JP 4132962 B2 JP4132962 B2 JP 4132962B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- scenario
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、ナビゲーションユニットを備える車載用情報端末などに好適な対話型情報提供装置に関する。
【0002】
【従来の技術】
従来、券売機やカーナビゲーション装置など、キー又は音声などの入出力機能を備えた情報処理装置において1つ以上の機能を利用者が利用するためには、当該情報処理装置との入出力を連続的に行う必要がある。その際、情報処理装置内のプログラムは、利用者からの入力を受け取り、装置自身が機能を実行する上で必要な情報を取得し、装置を制御し、状態の経過又は結果を利用者へ提示するという一連の動作の繰り返しを規定した状態遷移によって利用者と対話的な入出力を実行する。上記の状態遷移は、利用者側から見ると、装置との情報交換によって目的を達成するための対話シナリオと考えることができる。装置は、提供する機能群に対応するシナリオを予め保持しており、利用者は装置の要求に従って入力を行い、対話シナリオを進行させていくことで、それらの機能を利用することができる。
【0003】
【発明が解決しようとする課題】
上記の対話シナリオを進行させる装置は、各対話において、画像や音声を用いて、装置を確実に動作させるために必要な適切な入力を利用者に促す。利用者がそのような適切な入力を行えば装置は次の対話に進む、しかし、利用者がそのような適切な入力を行わなければ、装置は応答しないか、又は利用者に対して適切な入力を要求し続ける。つまり、利用者と装置との間の対話における主導権の多くは装置側が握っている。利用者は常に装置側が要求する適切な入力を行う必要があり、それを行わない場合は装置に拒絶され、対話は成り立たなくなる仕組みになっている。利用者は、常に装置側が要求する適切な入力を行うことにより対話が進行するという仕組みを、操作が容易であるとして肯定的に評価できるであろう。しかし、その一方で、利用頻度が高くなると、利用者による入力の誤り、あいまいさに対する装置側の許容度の低さに不満を感じたり、毎回同じように進行する対話シナリオに飽きを感じるという欠点もある。
【0004】
本発明は、以上の点に鑑みてなされたものであり、状況に応じて利用者による入力のあいまいさを許容しつつ対話を強制進行することで、変化のある対話型情報提供を可能とすることを課題とする。
【0005】
【課題を解決するための手段】
本発明の1つの観点によれば、対話型情報提供装置は、利用者に対して情報を要求する情報要求出力を行う出力部と、前記情報要求出力に対する利用者の入力情報を受け取る入力部と、シナリオに従って前記出力部と前記入力部とを制御し、利用者との間で対話を進行させる対話制御部と、を備え、前記対話制御部は、前記シナリオに関連付けられた重要度パラメータに応じて、前記出力部が利用者に対して情報を要求するレベルを変化させ、前記対話制御部は、前記重要度パラメータの値が所定の閾値より小さい場合は、前記入力部が利用者からの入力情報を受け取らない場合でも、前記対話を進行させることを特徴とする。
【0006】
上記の対話型情報提供装置は、利用者に対して情報要求出力を行う出力部と、利用者からの入力情報を受け取る入力部とを備え、出力部と入力部の動作により、利用者との間で対話を進行させる。入力部は例えばマイクなどの音声入力部とすることができ、利用者は音声の発話により情報を入力することができる。また、出力部は、例えば予め用意された音声メッセージを再生する音声出力部及びスピーカにより構成することができる。
【0007】
利用者と対話型情報提供装置との間の対話は、予め用意されたシナリオに沿って行われる。即ち、シナリオに沿って、出力部から情報要求出力を行い、それに対する利用者の入力情報を受け取り、処理することにより対話が進行する。ここで、シナリオにはそのシナリオの内容などに応じて設定された重要度パラメータが関連付けられている。重要度パラメータは、そのシナリオに基づいて対話を進行させる際に、利用者に対してどの程度正確、厳密に情報の要求を行うかを示すパラメータである。対話の進行においては、この重要度パラメータに応じて、出力部が利用者に対して情報を要求するレベルが変化し、その結果に従って出力部による情報要求出力が制御される。これにより、シナリオの内容や性質などに応じて、適切なレベルで利用者に対して情報要求がなされつつ、対話が進行する。
また、重要度パラメータの値が小さい場合には、入力部が利用者からの入力情報を受け取らない場合でも前記対話を進行させることにより、たとえ利用者が情報要求出力に対して情報を入力しなかった場合でも対話を強制的に進行できるようにして、対話の継続性を確保することができる。
なお、「シナリオ」とは、対話の進行を規定する情報であり、1つのシナリオが複数の「状態」により構成される場合には、当該「シナリオ」の語は「状態」を含む概念と理解される。
【0008】
上記の対話型情報提供装置の一態様では、前記対話制御部は、前記重要度パラメータが所定の閾値より大きい場合には、前記重要度パラメータが前記閾値より小さい場合と比べて、より多くの情報を利用者に要求するように前記出力部を制御する。これにより、シナリオの内容が重要な処理を実行するものであるような場合は、利用者の正確な情報出力によってのみその処理を実行するように厳密に対話を進行させることができる。また、シナリオの内容がそれほど重要度を有しないような場合は、利用者に対して情報を要求するレベルを低くし、対話型情報提供装置側である程度強制進行的に対話を進行させることができる。
【0009】
好適な例においては、前記対話制御部は、前記重要度パラメータが所定の閾値より大きい場合には、前記重要度パラメータが前記閾値より小さい場合と比べて、前記出力部による情報要求出力の回数が多くなるように前記出力部を制御することができる。
【0010】
上記の対話型情報提供装置の他の一態様では、前記入力部は、前記入力情報を認識して認識結果を出力する認識手段と、前記認識結果が、前記情報要求出力に対応して予め用意された待ち受け情報と一致するか否かを判定する判定手段と、前記認識結果が前記待ち受け情報と一致しない場合に、前記出力部による情報要求出力を繰り返す繰り返し手段と、を備え、前記対話制御部は、前記重要度パラメータが所定の閾値より大きい場合には、前記繰り返し手段による前記情報要求出力の繰り返し回数を多くする。
【0011】
この態様では、利用者に対して情報要求出力を行ったときには、それに対する待ち受け情報が予め用意されている。利用者による入力情報の認識結果が待ち受け情報と一致しない場合は、一致するように繰り返し情報要求出力を行うことができる。ここで、重要度パラメータの値が大きい場合には、情報要求出力の回数を増加させることにより、待ち受け単語が得られるまで利用者の入力情報をチェックする。これにより、装置の制御など、重要な操作を行うシナリオなどにおいては、利用者の指示などが確認されることを条件に対話が進行し、処理が実行されるようになり、処理の正確性が確保される。
【0012】
上記の対話型情報提供装置の他の一態様では、前記入力部は、前記入力情報を認識して認識結果を出力する認識手段と、前記認識結果が、前記情報要求出力に対応して予め用意された待ち受け情報と一致するか否かを判定する判定手段と、を備え、前記対話制御部は、前記重要度パラメータの値が前記閾値より小さい場合は、前記認識結果が前記待ち受け情報と一致しない場合でも、前記対話を進行させることができる。これにより、重要度パラメータの値が小さい小さい場合には、利用者の入力情報をそれほど厳密に考慮せずに対話を強制的に進行できるようにして、対話の継続性を確保することができる。
【0014】
上記の対話型情報提供装置のさらに他の一態様は、前記情報要求出力に対して利用者が過去に入力した入力情報を利用者情報として記憶する第1の記憶部と、前記情報提供装置の状態に関連する装置固有情報を記憶する第2の記憶部と、を備え、前記対話制御部は、前記利用者情報及び/又は前記装置固有情報に基づいて、前記対話を進行させることができる。これによれば、利用者が過去に入力した利用者情報や情報提供装置の状態に関連する装置固有情報を利用して強制的に対話を進行させることができる。
【0015】
上記の対話型情報提供装置のさらに他の一態様では、前記対話制御部は、前記重要度パラメータの値が前記閾値よりも小さい場合は、前記利用者情報及び/又は前記装置固有情報に基づいて前記対話を進行させる度合いを変化させることができる。よって、重要度パラメータの値に応じて、利用者情報及び/又は装置固有情報を利用して対話を強制進行させる程度を適切に制御することが可能となる。これによれば、重要度パラメータの値が小さい場合には、利用者に対して情報を要求する度合いを減らし、利用者情報や装置固有情報をなるべく多く利用して強制的に対話を進行させることができる。
【0016】
上記の対話型情報提供装置のさらに他の一態様は、前記情報要求出力に対して利用者が過去に入力した入力情報を利用者情報として記憶する第1の記憶部と、前記情報提供装置の状態に関連する装置固有情報を記憶する第2の記憶部と、前記利用者情報及び/又は前記装置固有情報に基づいて、前記重要度パラメータの値を調整する調整手段と、をさらに備えることができる。この態様によれば、利用者の過去の入力情報に関連する利用者情報や装置の現在の状況などに関連する装置固有情報に基づいて、重要度パラメータの値を適切に調整することができるので、その時点での状況に適合した形態で対話を進行させることが可能となる。
【0017】
1つの好適な例では、前記調整手段は、過去に前記シナリオに従って対話進行を行った回数に応じて前記重要度パラメータの値を調整することができる。
【0018】
好適な態様では、対話型情報提供装置はナビゲーションユニットをさらに備え、前記利用者情報は、利用者が前記ナビゲーションユニットに対して入力した入力情報を含み、前記装置固有情報は、現在日時、現在位置及び走行履歴データを含むことができる。これにより、ナビゲーションユニットの利用者による使用履歴を含む利用者情報、及び/又は装置固有情報を利用して、重要度パラメータを適切に調整することができる。
【0019】
本発明の他の観点では、コンピュータにより実行される対話型情報提供プログラムは、前記コンピュータを、利用者に対して情報を要求するための情報要求出力を行う出力部、前記情報要求出力に対する利用者の入力情報を受け取る入力部、シナリオに従って前記出力部と前記入力部とを制御し、利用者との間で対話を進行させる対話制御部、として機能させ、前記対話制御部は、前記シナリオに関連付けられた重要度パラメータに応じて、前記出力部が利用者に対して情報を要求するレベルを変化させ、前記対話制御部は、前記重要度パラメータの値が所定の閾値より小さい場合は、前記入力部が利用者からの入力情報を受け取らない場合でも、前記対話を進行させる。
【0020】
また、本発明のさらに他の観点では、コンピュータにより実行される対話型情報提供プログラムを記憶したコンピュータ読み取り可能な記憶媒体において、前記プログラムは前記コンピュータを、利用者に対して情報を要求するための情報要求出力を行う出力部、前記情報要求出力に対する利用者の入力情報を受け取る入力部、シナリオに従って前記出力部と前記入力部とを制御し、利用者との間で対話を進行させる対話制御部、として機能させ、前記対話制御部は、前記シナリオに関連付けられた重要度パラメータに応じて、前記出力部が利用者に対して情報を要求するレベルを変化させ、前記対話制御部は、前記重要度パラメータの値が所定の閾値より小さい場合は、前記入力部が利用者からの入力情報を受け取らない場合でも、前記対話を進行させる。
【0021】
上記の対話型提供プログラムをコンピュータで実行することにより、上述の対話型情報提供装置を実現することができる。
【0022】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【0023】
[車載用情報端末]
図1に、本発明の実施形態にかかる車載用情報端末の機能ブロックを示す。図1に示すように、車載用情報端末100は、自動車などに搭載され、カーナビゲーション機能を有するとともに、利用者に対して音楽、映像その他の情報を提供する機能を有する。また、入出力デバイスを利用して、利用者との間で対話を進行させる機能を有する。
【0024】
図1において、車載用情報端末100は、カーナビゲーションユニット1と、入出力デバイス2と、入力認識部3と、出力生成部4と、シナリオ記述−機器制御信号変換部5と、利用者情報DB(データベース)6と、装置固有情報DB7と、シナリオDB8と、対話制御部10とを備える。
【0025】
カーナビゲーションユニット1は、利用者に対して地図情報の提供、目的地までの経路検索及び経路案内などを行うものであり、図示しない各種センサ類やGPS(Global Positioning System)ユニットなどを備える。
【0026】
入出力デバイス2は、入力デバイスとしてマイク、リモコンなどを含み、出力デバイスとしてスピーカ、液晶表示ディスプレイ(LCD)などを含む。後述する対話制御処理においては、利用者はマイクに対して発話することにより情報を入力し、スピーカから出力される音声メッセージとの間で対話を進行させる。
【0027】
入力認識部3は、利用者による発話に対応する音声データをマイクから取得し、音声認識処理を実行して利用者の発話内容を認識し、認識結果を対話制御部10へ供給する。また、出力生成部4は、対話制御部10から出力された音声メッセージを、音声信号に変換し、スピーカから出力させる。シナリオ記述−機器制御信号変換部5は、後述のシナリオ中の記述内容に対応する機器制御信号を生成し、カーナビゲーションユニット1へ供給する。これにより、カーナビゲーションユニット1は、シナリオに従って動作する。
【0028】
利用者情報DB6は、車載用情報端末100を使用する利用者に関連する個人情報などを記憶する。利用者情報DB6の記憶データ例を図2(c)に示す。図示のように、利用者情報DB6には、利用者毎に、その利用者による情報端末100の利用履歴などが記憶される。具体的には、1回の利用毎に履歴IDが付され、それに対応してその際に利用者が行った操作の種別、利用日時、利用内容を示す履歴データなどを記憶する。また、利用者毎に、その利用者の嗜好情報が、音楽、飲食、施設、スポーツ、文化などに分類されて記憶される。
【0029】
装置固有情報DB7は、当該車載用情報端末100に関する固有の情報を記憶する。装置固有情報DB7の記憶データ例を図2(b)に示す。図示のように、装置固有情報は、その車載用情報端末100が搭載された車両に関連する情報として、現在日時、現在位置、速度などを記憶する。また、1回の走行毎に履歴IDを付し、履歴ID毎にその自動車の走行に関連する履歴情報として、走行日時、走行履歴データ(走行したエリア、目的地、経由地その他)などを記憶する。
【0030】
シナリオDB8は、利用者と対話制御部10との間で対話を進行させるための制御データであるシナリオを記憶する。シナリオDB8の記憶データ例を図2(a)に示す。シナリオDB8内には、利用者との対話を実現するために利用されるべき多数のシナリオに対応するシナリオデータが記憶される。具体的には、シナリオIDによる分類の下、各シナリオの用途、そのシナリオに対して設定された重要度パラメータ、重要度パラメータ調整条件、シナリオデータを記憶する。ここで、シナリオの用途とは、そのシナリオがどのような状況の対話において使用されるかを示す情報である。また、重要度パラメータとは、そのシナリオを実行する際に、利用者に対して情報を要求するレベルを示すパラメータであり、具体的には重要度パラメータに応じて通常の対話処理を実行するか、強制進行による対話処理を実行するかが決定される。また、重要度パラメータ調整条件とは、後述する様々な重要度パラメータ調整要素に基づいて、重要度パラメータの値を調整する際の条件を示す。なお、重要度パラメータは本発明の中心部分に関連するものであり、後にさらに詳しく説明する。
【0031】
対話制御部10は、図1に示すように、シナリオ解析部11と、重要度パラメータ調整部12と、シナリオ入力部13と、利用者情報更新部14と、次シナリオ決定部15と、シナリオ内状態制御部16とを備える。
【0032】
シナリオ入力部13は、シナリオDB8からシナリオデータを取得してシナリオ解析部11へ送る。シナリオ解析部11は、シナリオデータを取得し、その内容を解析して実行する。シナリオの実行が音声メッセージなどの出力を伴う場合には、シナリオ解析部11はシナリオを実行するために出力生成部4へ音声メッセージを供給する。
【0033】
シナリオ内状態制御部16は、シナリオ解析部11によるシナリオの実行に応じて、当該シナリオ中の現在の状態遷移を判定して次シナリオ決定部15へ送る。次シナリオ決定部15は、次に進行させるべきシナリオを決定し、それをシナリオ入力部13へ伝える。これに応答して、シナリオ入力部13はシナリオDB8から次のシナリオデータを取得する。
【0034】
重要度パラメータ調整部12は、シナリオの進行中における状態遷移、利用者情報DB6内の利用者情報、装置固有情報DB7内の装置固有情報などに基づいて、重要度パラメータの値を調整する。また、利用者情報更新部14は、シナリオ内状態制御部16から与えられるシナリオ中の状態遷移に応じて、利用者情報DB6内の利用者情報を更新する。
【0035】
なお、上記の各構成要素は、車載用情報端末を構成するプロセッサなどが、予め用意されたプログラムを実行することにより実現される。即ち、車載用情報端末がコンピュータを備えて構成される場合、当該コンピュータに、予め用意された情報提供プログラムなどを実行させることにより、本発明の情報提供装置の好適な実施形態である車載用情報端末を実現することができる。
【0036】
[シナリオ]
次に、シナリオについて説明する。シナリオとは、利用者と、車載用情報端末100の対話制御部10との間で行われる対話の流れを規定するものであり、シナリオデータにより構成される。図3にシナリオの一例を示す。この例では、1つのシナリオは複数の「状態」により構成され、複数の状態間の状態遷移によりシナリオが進行する。なお、シナリオは、図3に示すような単純な一方向の状態遷移のみにより構成されるものから、複数の分岐などを有する複雑な状態遷移により構成されるものまで様々である。
【0037】
シナリオの構成要素である状態は、基本的には図3に示すように、初期応答、入力待ち、入力認識、装置制御、応答、及び、状態移行により構成される。即ち、1つの状態は、基本的には対話制御部10から利用者に対する1回の問いかけ(初期応答)により構成される。具体的には、まず、対話制御部10からの初期応答により利用者に問いかけを行い、対話制御部10はそれに対する利用者の入力(応答)待ちとなる。利用者が入力を行うと、対話制御部10はその入力を認識し、認識結果に応じてカーナビゲーションユニットなどの装置を制御し、さらに利用者に対して応答を行う。こうして1つの状態が終了し、対話制御部10は次の状態へ移行する。
【0038】
図3に示す状態1〜状態5の例はいずれも上記のような基本的な構成を有する状態の例であり、対話制御部10からの初期応答、利用者の入力、及び、対話制御部10の応答、により構成されている。しかし、このような対話制御部10の応答及び利用者の入力が複数回に渡って繰り返される状態もあるし、利用者の入力を待たずに装置制御を行うような状態もある。
【0039】
図4に、比較的複雑な構成を有する状態の例(「状態0」)を示す。
【0040】
まず、ステップS216で対話制御部10が初期応答として「どちらへおでかけですか?」などの音声メッセージを出力し、利用者からの応答待ちとなる。利用者からの音声入力があると(ステップS218;Yes)、その入力音声が正当であるか否かが判断される(ステップS219)。ステップS218の状態では、対話制御部10は特定の待ち受け単語を待ち受けている状態にある。即ち、ステップS216における「どちらにおでかけですか?」という問いかけに対して利用者が返事として入力するであろうと予想されるいくつかの単語を待ち受け単語として用意している。ステップS219では、利用者が実際に入力した入力音声の音声認識結果が待ち受け単語のいずれかと一致するか否かを判定する。一致する場合には、入力音声は正当であると判定し、一致しない場合は正当でないと判定する。
【0041】
入力音声が正当であると判定した場合(ステップS219;Yes)、対話制御部10はさらに、利用者の入力音声の認識結果が、「買い物」、「ショッピング」、「スーパー」、「デパート」などのいわゆる買い物に関連する単語であるか否かを判定し(ステップS220)、買い物に関連する単語である場合には予め用意された買い物案内シナリオに含まれる状態1に状態を遷移させる。
【0042】
一方、利用者の入力音声の認識結果が買い物に関連する単語ではない場合(ステップS220;No)、対話制御部10は利用者の入力音声の認識結果が「食事」、「レストラン」、「お腹」、「ラーメン」、「食べに」などのいわゆる食事に関連する単語であるか否かを判定し(ステップS221)、食事に関連する単語である場合には、予め用意されたレストラン案内シナリオに含まれる状態1へ状態を遷移させる。
【0043】
また、ステップS218で利用者による音声入力がなされなかった場合(ステップS218;No)及び利用者による入力音声が正しく認識できなかった場合(ステップS219;No)、対話制御部10は利用者情報DB6内の記憶内容を参照し、その利用者について食事の嗜好に関する情報が既に記憶されているか否かを判断する(ステップS222)。食事の嗜好に関する情報が記憶されている場合には、対話制御部10は現在時刻が食事の時間帯に属するか否かを判定し(ステップS223)、食事の時間帯である場合には、レストラン案内シナリオの状態1へ状態を遷移させる。
【0044】
また、対話制御部10は、利用者情報DB6内に食事の嗜好に関する情報が記憶されていない場合(ステップS222;No)、及び、現在時刻が食事の時間帯でない場合(ステップS223;No)には、当該車載用情報端末100のカーナビゲーションユニット1がミュージックサーバ機能を有しているか否かを判定し(ステップS224)、有している場合には予め用意されたミュージックサーバシナリオの状態1へ状態を遷移させる。なお、カーナビゲーションユニット1がミュージックサーバ機能を有していない場合には、所定の状態へ遷移する。
【0045】
こうして、初期応答に対する利用者の応答(音声入力)の有無や内容に応じて、適切にシナリオが進行される。所定のシナリオが終了した後は、対話制御部10は所定の応答(「またお役に立たせて下さい。」など)を発して、シナリオの進行を終了する。
【0046】
図4に示した状態0の例からもわかるように、本発明では対話制御部10により初期応答に対して、利用者による待ち受け単語の音声入力がなされた場合に限らず、利用者の音声入力が待ち受け単語と異なる場合や利用者が音声入力を行わなかった場合にも、利用者情報DB6や装置固有情報DB7内の記憶情報などを考慮して、シナリオの強制進行を可能としているところに1つの特徴を有する。カーナビゲーション装置などに採用されている一般的な対話制御装置では、利用者により待ち受け単語の音声入力がなされない場合(ステップS218又はS219がNoの場合)、対話制御部は待ち受け単語に対応する音声入力が得られるまで、数回に渡って利用者に対して再度の音声入力又は確認入力を行うように構成されている。しかし、シナリオの性質やその時点での状況などによって、このように繰り返し音声入力を求めて利用者の応答や指示を明確に理解することが必要か否かは変わるものである。例えば、対話制御部10からの初期応答が、カーナビゲーションユニットの操作や自動車自体の操作などの重要な操作に関連するものである場合には、利用者による応答、指示を正しく理解して、対応する操作を行う必要がある。一方、対話制御部10からの初期応答が、それほどの重要度を有しないような場合には、利用者の音声入力が認識不能であったり、音声入力自体がなされなかったような場合でも、状況に応じてそれなりの対応をし、対話を進行させる方が、利用者にとっても快適又は有意義であるということもある。
【0047】
このような観点から、本発明では、シナリオの重要度を示す重要度パラメータという概念を導入する。即ち、重要度パラメータ(以下、「X」で示す。)は、そのシナリオの進行において、どの程度厳密に利用者の情報入力を求めるかを示す指針であり、具体的にはシナリオの内容がカーナビゲーションユニットや自動車自体の制御に関連するような重要なものであるか、それほど重要ではないか、などを考慮して決定される。即ち、あるシナリオが、その内容を考慮した場合に、利用者からの応答を厳密に認識し、考慮してシナリオを進行させるべきであるとされる場合には重要度パラメータは大きく設定される。また、そのシナリオが、それほどの重要度を有さず、利用者からの応答がある程度あいまいであったり、あるいは応答がなかったような場合でも、それまでに得られている利用者情報や装置固有情報などを考慮して、ある程度臨機応変にシナリオを強制進行した方がよいとされる場合には、重要度パラメータは小さく設定される。
【0048】
図5に、重要度パラメータとの関連においていくつかのシナリオ例を示す。なお、図5の右側に示されるのは、各シナリオ例が進行される状態において、その利用者について装置固有情報DB7に記憶されている装置固有情報及び利用者情報DB6に記憶されている利用者情報の例である。また、シナリオ例1〜例6が挙げられているが、これらはおよそ重要度パラメータの大きい順に並んでおり、シナリオ例1の重要度パラメータは大きく、シナリオ例6の重要度パラメータは小さい。
【0049】
シナリオ例1では、利用者に渋滞情報を知らせた後、利用者から自宅へ電話をかけることを要求されている。これに対して対話制御部10は自宅に電話をかけてよいか確認をしているが、これに対して利用者の応答があいまいであると、かける必要が無いのに電話をかけてしまったり、かける必要があるのにかけなかったりという誤操作が生じる可能性がある。よって、シナリオ例1は重要度パラメータは高く設定され、必要に応じて応答を再度要求し、厳格に利用者の確認を得た上でシナリオが進行される。
【0050】
シナリオ例2は利用者がビックス(VICS)情報(渋滞情報)を要求するシナリオであり、ビックス情報の提供方法(FM又はビーコン、文字情報又は図形情報)について利用者に選択を求めている。このシナリオ例では、対話制御部10の問いかけに対して利用者が応答するという、基本的な対話形式でシナリオが進行している。よって、重要度パラメータはシナリオ例1の場合と同等か、又は多少小さい。
【0051】
シナリオ例3は、シナリオ例2と同様に、利用者がビックス情報を要求するシナリオであるが、重要度パラメータXはシナリオ例2の場合よりも小さい。このため、対話制御部10は、装置固有情報を参照し、その利用者が過去にビーコンの文字情報でビックス情報を要求したという履歴に基づいて、ビーコンの文字情報でビックス情報を提供している。
【0052】
シナリオ例4は、シナリオ例2と同様に、基本的な対話形式でシナリオが進行している。利用者が発話した「買い物」や「文房具」などの単語は、対話制御部10が待ち受け単語として用意している単語と一致しており、利用者はほぼ対話制御部10の要求通りに応答している。よって、重要度パラメータはシナリオ例2とほぼ同等である。
【0053】
シナリオ例5では、対話制御部10の初期応答「どちらへおでかけですか?」に対して利用者が「別にきめてないよ」というあいまいな応答をしている。シナリオの内容から考えて、対話制御部10としては目的地を厳密に特定する必要はなく、このシナリオ例の重要度パラメータXは比較的小さく設定されている。よって、対話制御部10は現在時刻と利用者情報中に嗜好データとして含まれるレストラン名とに応じて、そのレストランへの経路案内を提案している。
【0054】
また、シナリオ例6は、対話制御部10の初期応答「どちらへおでかけですか?」に対して利用者が応答をしていない。シナリオの内容から考えて、対話制御部10としては目的地を厳密に特定する必要はなく、重要度パラメータは比較的低く設定されているので、対話制御部10は音楽再生を提案している。
【0055】
シナリオ例5やシナリオ例6のような場合は、仮に重要度パラメータXが高く設定されているとすると、一般的なカーナビゲーション装置などのように、目的地を繰り返し聞き直すことになる。しかし、これらのシナリオの性質上、目的地を特定することは重要ではなく、対話制御部10の初期応答はむしろなんらかの会話を始めるきっかけという程度の意味でしかない。よって、このようなシナリオでは、利用者が応答があいまいであったり、応答が無い場合でも、利用者情報や装置固有情報などを利用して、シナリオを進行させる方が利用者にとっても有益となると考えられる。
【0056】
このように、シナリオの内容や性質を考慮して、シナリオ毎に重要度パラメータを設定することにより、対話制御部10は、利用者の回答を厳密に取得してシナリオを進めるか、利用者の回答がある程度あいまいであったり、回答がない場合でも、適宜シナリオを強制進行させるかを適切に決定することができる。
【0057】
また、本発明では、重要度パラメータを適宜変更する点に特徴を有する。重要度パラメータは、基本的にはシナリオ毎に初期値が決定されているが、そのシナリオを実行する際の利用者情報や装置固有情報に基づいて調整を行うことが望ましい。例えば、前述のシナリオ例3のように、ビックス情報の提供方法について、その利用者の嗜好に関する情報が利用者情報や装置固有情報として取得されている場合には、そのシナリオがナビゲーションユニットや自動車の操作などを行う重要なシナリオであって、利用者の厳密な確認が必要とされるもの(例えば図5のシナリオ例1)でない限り、利用者情報や装置固有情報を使用してシナリオを進行させることができるので、その分重要度パラメータを多少低くする調整を行うことができる。こうして、各シナリオの内容に基づいて、シナリオ毎に重要度パラメータの初期値を決定し、その後は実際にそのシナリオが実行される時点での状況に応じて重要度パラメータを調整することにより、適切な重要度パラメータの値をもって当該シナリオを進行させることができる。
【0058】
重要度パラメータの調整において考慮される調整要素の例を図6の表に示す。図6では、各シナリオの用途(図2(a)に示すシナリオDB内の記憶データ例を参照)をキーとして、どの装置固有情報及び利用者情報を利用して重要度パラメータの調整を行うかが示されている。重要度パラメータ調整条件は、重要度パラメータの値を数値的に調整する処理方法を示している。なお、重要度パラメータの調整処理の詳細については後述する。
【0059】
[対話制御処理]
次に、対話制御部10により実行される対話制御処理について図7乃至10を参照して説明する。図7は対話制御処理のメインルーチンを示し、図8は図7における通常の対話処理のサブルーチンを示し、図9は図7における強制進行による対話処理のサブルーチンを示し、図10は図7における重要度パラメータ調整処理のサブルーチンを示す。なお、以下の処理は、いずれも対話制御部10が、予め用意された対話制御プログラムを実行して、車載用情報端末100内の各構成要素を制御することにより実現される。
【0060】
図7において、まず、車載用情報端末100のカーナビゲーションユニット1によるナビゲーションを開始すると(ステップS1)、対話制御部10は、実行すべきシナリオを選択する(ステップS2)。シナリオの選択は、その時点における車内の状況や利用者からの発話などに応じて行われる。例えば、利用者が目的地を設定せずに車両の走行を開始した場合に、対話制御部10は予め用意された経路検索及び案内のシナリオを選択することができる。また、利用者が渋滞情報やレストラン情報などの要求する発話を行った場合には、それに応じて対話制御部10は予め用意された渋滞情報やレストラン情報を提供するシナリオを選択する。
【0061】
次に、対話制御部10は、ステップS2で選択されたシナリオのデータをシナリオDB8から取得し、当該シナリオに対する重要度パラメータXの値を、予め決定された所定の重要度パラメータ閾値IMP_THRESHと比較する(ステップS3)。重要度パラメータXが重要度パラメータ閾値IMP_THRESHより大きい場合、対話制御部10は、そのシナリオが利用者からの応答を比較的厳格に考慮して進行させるべきものであると判断し、通常の対話処理を実行する(ステップS4)。通常の対話処理は、前述のように、基本的に利用者からの応答を確実に認識し、必要であれば再確認などを行ってシナリオを進行させる処理であるが、その詳細は後述する。
【0062】
一方、重要度パラメータXが重要度パラメータ閾値IMP_THRESHより小さい場合、対話制御部10は、そのシナリオが、利用者からの応答が多少あいまいであったり、利用者からの応答がなかったような場合でも臨機応変に強制進行させるべきものであると判断し、強制進行による対話処理を実行する(ステップS5)。強制進行による対話処理は、前述のように、利用者からの応答があいまいな場合、又は、応答がない場合でも、利用者情報や装置固有情報などを利用して適当にシナリオを進行させる処理であるが、その詳細は後述する。
【0063】
こうして、通常の対話処理又は強制進行による対話処理により当該シナリオの進行が終了すると、対話制御部10は、シナリオの進行中に利用者から得られた応答などに応じて、利用者情報DB6内の情報を更新する(ステップS6)。
【0064】
次に、対話制御部10は、終了したシナリオに続く次のシナリオがあるか否かを判定する(ステップS7)。これは、複数のシナリオが所定の順序で実行されることが予め決められているような場合に、後続のシナリオとして決められているものがあるか否かを判定することにより実行される。次のシナリオがある場合(ステップS7;Yes)、対話制御部10はそのシナリオのデータをシナリオDB8から取得し、重要度パラメータの調整を行う(ステップS8)。重要度パラメータの調整処理は、図6に例示した重要度パラメータの調整要素に基づいて重要度パラメータの値を変更する処理であるが、その詳細は後述する。
【0065】
次のシナリオの重要度パラメータの調整が終了すると、対話制御部10は次のシナリオへ移行する(ステップS9)。よって、処理はステップS3へ戻り、次のシナリオについての重要度パラメータXを重要度パラメータ閾値IMP_THRESHと比較し、その結果に基づいて対話処理を実行する(ステップS3、S4又はS5)。
【0066】
こうして、1つ又は複数のシナリオが実行され、次に実行すべきシナリオがなくなったら(ステップS7;No)、対話制御部10はカーナビゲーションユニットによるナビゲーション処理が終了したか否かを判定する(ステップS10)。ナビゲーション処理が終了していない場合は、処理はステップS2へ戻って、新たなシナリオが選択されるのを待つ。一方、利用者が車両の走行を終了したときなど、ナビゲーション処理が終了した場合には、処理は終了する。
【0067】
次に、図8を参照して、ステップS4における通常の対話処理について説明する。図8は、ステップS4における通常の対話処理のフローチャートである。図8において、まず対話制御部10は、初期応答を発し、それに対する利用者からの入力待ち状態となる(ステップS11)。そして、利用者からの入力があると(ステップS12;Yes)、その入力音声を認識し、正当な入力であるか、即ち認識結果が予め用意されている待ち受け単語のいずれかに対応するか否かを判定する(ステップS13)。入力が正当であると判断された場合、対話制御部10はその入力内容に対応した処理及び応答を行い、次のシナリオを決定して(ステップS14)、図7に示すメインルーチンへ戻る。
【0068】
一方、利用者による入力がない場合(ステップS12;No)、及び、利用者による入力が正当な入力でない場合(ステップS13;No)、対話制御部10は不当入力処理Aとして、利用者による応答を確認するための処理を行う(ステップS15)。これは、例えば利用者が応答しない場合、又は、利用者の応答があいまいであるような場合に、再度同じ質問をして応答を待つとか、同じ内容を違う尋ね方で質問するとか、「はい」又は「いいえ」で答えて下さいというように、利用者の応答がいずれであるかを明確にするための処理を行う。そして、対話制御部10はそのような不当入力処理Aを所定回数に渡って繰り返したか否かを判定し(ステップS16)、所定回数繰り返したにも拘わらず利用者の応答、意志がはっきりしない場合には、不当入力処理Bとして、利用者の応答や意志がはっきりしない場合に対応する、予め決められた応答を発し、次のシナリオを決定する。こうして、処理は図7に示すメインルーチンへ戻る。
【0069】
次に、図9を参照して、ステップS5における強制進行による対話処理について説明する。図9は、強制進行による対話処理のフローチャートである。図9において、対話制御部10はまず、当該シナリオの進行に、利用者の入力を必要とするか否かを、利用者情報及び装置固有情報に基づいて決定する(ステップS21)。ここでは、例えば前述のビックス情報の提供方法(FM又はビーコン、文字又は図形)などのように、利用者情報又は装置固有情報中に含まれる利用者の選択履歴などにより、利用者から情報を得なくてもシナリオを進行できるか否かが判断される。また、そのときの利用車や車両の状況などにより、利用者に応答を要求すべきであるか否かという観点でも、検討がなされる。例えば、利用者が高速道路を高速走行中であるような場合には、安全性の面から応答を求めない方がよいという判定がなされる。
【0070】
そして、前述のシナリオ例3のように、利用者情報又は装置固有情報などの過去の情報に基づいて必要な情報が得られる場合には(ステップS22;No)、対話制御部10は入力を要求しない強制進行処理を行う。即ち、利用者情報や装置固有情報などを利用して当該シナリオを強制進行し、利用者の入力を要求しない場合として用意された応答を発し、次のシナリオを決定する。
【0071】
一方、ステップS22で、利用者の応答が必要であると判断した場合、対話制御部10は利用者に入力を要求する(ステップS23)。そして、利用者の入力を受け取り、認識して、正当な入力が得られたか、つまり、待ち受けていた入力が得られたか否かを判定する(ステップS24)。待ち受けていた入力が得られた場合には、その入力を使用してシナリオを強制進行させる(ステップS25)。即ち、対話制御部10は、利用者の正当な入力が得られた場合に対応する応答を発し、次のシナリオを決定する。なお、この場合は、利用者に入力を要求し、待ち受けていた入力を取得してシナリオを進行させるので、シナリオの内容によっては、結果的に前述の通常の対話処理と同じ処理が行われることもある。
【0072】
また、利用者の入力は得られたが、それが正当な入力でなかった場合(ステップS24;No)、対話制御部10は、所望の入力を得られない場合の強制進行処理を行う(ステップS26)。これは、例えば前述のシナリオ例4(図4参照)などの場合である。この場合には、対話制御部10は、利用者の入力を要求し、かつ正当な入力が得られなかった場合に対応する応答を発し、次のシナリオを決定する。つまり、対話制御部10は、利用者からの入力は不当であるが、あたかも了解したような応答を行い、次のシナリオへ進むように処理を行う。
【0073】
以上のように、ステップS3において、次のシナリオの重要度パラメータXが重要度パラメータ閾値IMP_THRESHよりも大きいと判定された場合は、そのシナリオは利用者からの情報を厳格に要求し、正確に受け取ってシナリオ進行させるべきであるので、図8の通常の対話処理に示すように、利用者による明確な応答を受け取ることを条件に処理及び応答を行ってシナリオを進行させる。一方、重要度パラメータXが重要度パラメータ閾値IMP_THRESHよりも小さいと判定された場合は、そのシナリオは過去の利用者情報や装置固有情報、及びそのときの利用者や車両などの状況に応じて臨機応変に進行させるべき(つまり、シナリオの進行を停止しないことをある程度重要と考える)であると判定されるので、図9の強制進行による対話処理のように、利用者の入力を要求せず、又は、正当な入力が得られなかった場合でも、過去の利用者情報や装置固有情報、及びそのときの利用者や車両などの状況に基づいてシナリオを強制進行させる。このように、重要度パラメータに応じてシナリオに基づく対話処理を制御することにより、適切な方法で対話を進行させることが可能となる。
【0074】
[重要度パラメータの調整処理]
次に、図10を参照して重要度パラメータの調整処理について説明する。対話制御部10は、図7のステップS7で次のシナリオがあると判定すると、そのシナリオの重要度パラメータXを取得する(ステップS31)。前述のように、本実施形態では重要度パラメータはシナリオ毎に設定されているので、対話制御部10はシナリオDB8から次のシナリオのデータを取得することにより、重要度パラメータXを取得する。次に、対話制御部10は、図6に例示する重要度パラメータ調整要素の対応表から、次のシナリオの重要度パラメータの調整条件を取得する(ステップS32)。図6の対応表では、シナリオの用度毎に重要度パラメータの調整要素及び調整条件が規定されているので、次のシナリオの用途に基づいて、対応表から重要度パラメータ調整条件を取得する。
【0075】
次に、対話制御部10は、図6の対応表に示される重要度パラメータ調整要素に対応する利用者情報及び装置固有情報の値(その時点における現在時刻、季節などの環境的要因を含む)に基づいて、ステップS32で取得した調整条件により重要度パラメータの調整量を求める(ステップS33)。これは、一例としては、図6に示す重要度パラメータ調整要素毎に重要度パラメータの調整量に対する寄与率のような指数を設定し、利用者情報DB6及び装置固有情報DB7内に記憶されている情報を数値化して、それらを重要度パラメータ調整条件に従って演算することにより、具体的な重要度パラメータ値Xの調整量(増減量)を算出することができる。そして、対話制御部10は、求められた調整量に従って、次のシナリオの重要度パラメータXを調整し(ステップS34)、図7に示すメインルーチンへ戻る。
【0076】
このように、シナリオ毎に予め決定された重要度パラメータの調整要素及び調整条件に基づいて、実際に各シナリオを進行させる時点で重要度パラメータを調整することにより、シナリオ実行時の状況に適合した重要度パラメータに基づいて、当該シナリオを通常の対話処理により進行させるか、強制進行による対話処理により進行させるかを適切に決定することができる。
【0077】
次に、重要度パラメータの調整例について説明する。
【0078】
(重要度パラメータ調整例1)
図11に、重要度パラメータの調整例の1つを示す。この例は、過去におけるシナリオの実行履歴に基づいて重要度パラメータを調整する例である。なお、重要度パラメータXは、過去に同一のシナリオを実行したことがあるか否かで2つの値に分類される。また、重要度パラメータ閾値IMP_THRESHはシナリオ毎に設定されているものとする。
【0079】
まず、対話制御部10はシナリオAを実行し、初期応答(ステップS41)に対して、利用者から交通情報を要求する旨の応答を受け取り(ステップS42)、交通情報を取得する旨の応答を行う(ステップS43)。次に、対話制御部10はその利用者に対する利用者情報を参照し、シナリオAを過去に実行したことがあるか否かを判定する(ステップS44)。過去に実行したことがある場合には、次に実行すべきシナリオBの重要度パラメータXをシナリオBの重要度パラメータ閾値IMP_THRESHより小さな値に設定し(ステップS46)、過去に実行したことがない場合には、次に実行すべきシナリオBの重要度パラメータXをシナリオBの重要度パラメータ閾値IMP_THRESHより大きな値に設定する(ステップS45)。
【0080】
そして、対話制御部10はシナリオBを実行する。即ち、シナリオBの重要度パラメータをシナリオBの重要度パラメータ閾値IMP_THRESHと比較し(ステップS47)、重要度パラメータXが重要度パラメータ閾値IMP_THRESHより大きい場合には前述の通常の対話処理を行う。即ち、利用者に交通情報の提供方法の入力を要求し(ステップS48)、利用者からの入力を受け取る(ステップS49)。そして、入力された方法に従って渋滞情報を提供するとともに、利用者履歴情報にFMで渋滞情報を取得したことを記録し、利用者履歴情報中のシナリオA及びBの実行回数を更新し(ステップS50)、次のシナリオへ移行する(ステップS54)。
【0081】
一方、ステップS47で、重要度パラメータXが重要度パラメータ閾値IMP_THRESHより小さいと判定された場合には、前述の強制進行による対話処理を行う。即ち、利用者に入力の要求を行うことなく、利用者情報から交通情報の提供方法に関する履歴(FM、図形情報)を取得し(ステップS51)、それに従って渋滞情報を提示する(ステップS52)。そして、利用者履歴情報中のシナリオA及びBの実行回数を更新し(ステップS53)、処理を終了する。
【0082】
この調整例によれば、過去に履歴情報がある場合には、その履歴情報を利用して対話進行をスムーズに進めることができる。
【0083】
(重要度パラメータ調整例2)
次に、図12及び13を参照して、重要度パラメータの他の調整例を説明する。この例は、図6に例示する重要度パラメータ調整要素のうち、現在時刻及び季節の情報に基づいて重要度パラメータを調整する方法である。なお、重要度パラメータXは2値のいずれかをとる。
【0084】
まず、対話制御部10は利用者の運転開始からの経過時間が、過去の運転開始から利用者による問いかけまでの最大経過時間(SPAN_TIME)より大きくなると(ステップS60)、シナリオAを開始し、初期応答を行わず、利用者に対して入力要求も行わず(ステップS61)、現在時刻及び季節情報を取得する(ステップS62)。そして、取得した現在時刻及び季節の情報に適合する情報提供シナリオがあるか否かを判定する(ステップS63)。
【0085】
ここで、取得した現在時刻及び季節の情報に適合する情報提供シナリオがあるか否かの判断は、図6に重要度パラメータ調整条件として例示されているように、時刻(昼間、夜)、季節(秋は紅葉、春は桜など)、走行位置などに関連する情報の総数を、調整要素(時刻、季節など)の数で割って得られる平均関連情報存在率がある一定値以上である場合に、「シナリオあり」と判定し、一定値以下である場合に「シナリオなし」と判定する。
【0086】
ステップS63で、該当するシナリオがある場合、対話制御部10は該当するシナリオを選択し(ステップS64)、次に利用者情報の履歴中に嗜好情報があるか否かを判定する(ステップS65)。嗜好情報がある場合、対話制御部10はその嗜好情報に基づいてシナリオを再選択する(ステップS66)。この例では、シナリオCが選択されている。一方、利用者情報の履歴中に嗜好情報がない場合には、対話制御部10はステップS64で選択したシナリオの選択を確定する(ステップS67)。この例ではシナリオBが確定されている。そして、対話制御部10はシナリオB、Cの重要度パラメータを、重要度パラメータ閾値IMP_THRESHより小さく設定し、各シナリオへ移行する。
【0087】
一方、ステップS63で現在時刻及び季節情報に適合する情報提供シナリオがないと判断した場合、対話制御部10は例えば休憩案内シナリオGを選択及び確定し(ステップS69)、シナリオGの重要度パラメータを重要度パラメータ閾値IMP_THRESHより大きく設定し(ステップS70)、各シナリオへ移行する。
【0088】
シナリオBでは、重要度パラメータと重要度パラメータ閾値IMP_THRESHとが比較され(ステップS71)、重要度パラメータの方が小さい場合、対話制御部10は初期応答を行い(ステップS72)、利用者の応答を受け取り、それが休憩関連の発話であるか否かを判定する(ステップS73)。休憩関連の発話ではない場合、対話処理部10は利用者に対して案内の応答を行い(ステップS74)、ステップS60へ戻る。また、ステップS71で重要度パラメータが重要度パラメータ閾値IMP_THRESHよりも大きい場合は、シナリオCへ移行する。また、ステップS73で受け取った利用者の入力が休憩関連の発話である場合には(ステップS74;Yes)、利用者は休憩に関心があると判断し、シナリオGへ移行する。
【0089】
シナリオCでは、重要度パラメータと重要度パラメータ閾値IMP_THRESHとが比較され(ステップS75)、重要度パラメータの方が小さい場合、対話制御部10は初期応答を行い(ステップS76)、利用者の応答を受け取り、それが休憩関連の発話であるか否かを判定する(ステップS77)。休憩関連の発話ではない場合、対話処理部10は利用者に対して案内の応答を行い(ステップS78)、ステップS60へ戻る。また、ステップS71で重要度パラメータが重要度パラメータ閾値IMP_THRESHよりも大きい場合は、シナリオCへ移行する。また、ステップS77で受け取った利用者の入力が休憩関連の発話である場合には(ステップS77;Yes)、利用者は休憩に関心があると判断し、シナリオGへ移行する。
【0090】
シナリオGでは、重要度パラメータXと重要度パラメータ閾値IMP_THRESHとが比較され(ステップS80)、重要度パラメータの方が大きく設定されているので、対話制御部10は初期応答を行い(ステップS81)、利用者の応答を受け取り、それが希望項目(この例では休憩所の指定など)の発話であるか否かを判定する(ステップS82)。希望項目の発話である場合、対話制御部10は希望項目に対応する応答を行い(ステップS83)、利用者による確認入力(はい又はいいえ)を求める(ステップS85)。一方、ステップS82で利用者の応答が希望項目の発話ではない場合、対話制御部10は最寄りの休憩所などを提案する応答を行い(ステップS84)、利用者による確認入力(はい又はいいえ)を求める(ステップS85)。そして、確認が得られた後(ステップS85;Yes)、処理はステップS60へ戻る。
【0091】
(重要度パラメータ調整例3)
次に、図14及び15を参照して、重要度パラメータのさらに他の調整例を説明する。この例は、車両の走行情報に応じて重要度パラメータを調整する例である。
【0092】
図14において、対話制御部10はシナリオAを実行し、初期応答(ステップS101)に対して、利用者から交通情報を要求する旨の応答を受け取り(ステップS102)、交通情報を取得する旨の応答を行う(ステップS103)。次に、対話制御部10は装置固有情報に含まれる走行情報を取得し(ステップS104)、車両が高速走行中であるか否かを判定する(ステップS105)。高速走行中である場合には、対話制御部10は、一定時間間隔毎に重要度パラメータXを減少させ(ステップS107)、高速走行中でない場合には、対話制御部10は一定時間間隔毎に重要度パラメータXを増加させる(ステップS106)。即ち、車両の高速走行を続けるほど、シナリオを強制進行させる可能性が高くなり、低速走行を続けるほど強制進行させる可能性が低くなる。これは、高速走行中に利用者に音声入力を求めるのは運転の安全性の面から問題があると考えられるからである。
【0093】
こうして、高速走行の度合いに応じて重要度パラメータが調整された後、シナリオBが実行される。まず、重要度パラメータが重要度パラメータ閾値IMP_THRESHより大きい場合(ステップS108;Yes)、対話制御部10は通常の対話処理を行う。即ち、利用者に交通情報の提供方法の入力を要求し(ステップS109)、利用者からの入力を受け取り(ステップS110)、入力された方法に従って渋滞情報を提供する。また、利用者履歴情報にFMで渋滞情報を取得したことを記録し(ステップS111)、利用者履歴情報中のシナリオA及びBの実行回数を更新し、次のシナリオへ移行する(ステップS112)。
【0094】
一方、ステップS108で、重要度パラメータXが重要度パラメータ閾値IMP_THRESHより小さいと判定された場合には、前述の強制進行による対話処理を行う。よって、渋滞情報の提供方法に関する履歴があるか否かを判定し(ステップS113)、ある場合には、利用者に入力の要求を行うことなく、利用者情報から交通情報の提供方法に関する履歴(FM、図形情報)を取得し(ステップS114)、それに従って渋滞情報を提供する(ステップS115)。そして、利用者履歴情報中のシナリオA及びBの実行回数を更新し(ステップS116)、処理を終了する。また、渋滞情報の提供方法に関する履歴がない場合(ステップS113;No)、対話制御部10は、予め設定されているデフォルトの渋滞情報提供方法に従って渋滞情報を応答し(ステップS117)、利用者履歴情報中のシナリオA及びBの実行回数を更新し(ステップS118)、処理を終了する。
【0095】
このように、走行情報に基づいて重要度パラメータを調整することにより、高速走行中の利用者からの入力を極力減らすなどして、走行中の安全を確保しながら、適切な対話を行うことができる。
【0096】
(重要度パラメータ調整例4)
次に、図16及び17を参照して、重要度パラメータのさらに他の調整例を説明する。この例は、利用者情報中の履歴に応じて重要度パラメータを調整する例である。
【0097】
図16において、対話制御部10はシナリオAを実行し、初期応答(ステップS121)に対して、利用者から音楽の再生を要求する旨の応答を受け取り(ステップS122)、音楽を再生する旨の応答を行う(ステップS123)。次に、対話制御部10は利用者情報に含まれる音楽嗜好情報に基づき、その利用者が過去に聞いた音楽のジャンルの分散を求め(ステップS124)、その利用者が最も頻繁に聞いたジャンルの頻度が他のジャンルの音楽に比べて著しく高いか否かを判定する(ステップS124)。著しく高い場合、重要度パラメータXを減少し(ステップS127)、著しく高く無い場合、重要度パラメータXを増加させる(ステップS126)。これにより、その利用者の特定のジャンルに対する嗜好が著しく高い場合には、その利用者が好むであろうジャンルと仮定して、そのジャンルの中から提供する音楽を決定し、そうでない場合には利用者が希望の音楽を選択できるように通常の対話を行って、利用者が希望した音楽を提供するようにする。
【0098】
こうして、利用者の音楽の嗜好に応じて重要度パラメータが調整された後、シナリオBが実行される。まず、重要度パラメータが重要度パラメータ閾値IMP_THRESHより大きい場合(ステップS128;Yes)、対話制御部10は通常の対話処理を行う。即ち、利用者に音楽のタイトル、アーチスト、ジャンルなどの入力を要求し(ステップS129)、利用者からの入力を受け取り(ステップS130)、入力されたジャンルを利用者情報中に更新し(ステップS131)、その音楽を提供する旨を伝える(ステップS132)。
【0099】
一方、ステップS128で、重要度パラメータXが重要度パラメータ閾値IMP_THRESHより小さいと判定された場合には、強制進行による対話処理を行う。まず、音楽嗜好情報を参照してその利用者の嗜好にあっていると考えられる曲を提案し(ステップS133)、利用者の希望の入力を促し(ステップS134)、希望がある場合にはその項目を利用者情報中の音楽嗜好情報に追加し(ステップS135)、その曲を再生する旨を伝える(ステップS136)。一方、利用者が曲の希望が無い場合、対話制御部10はその利用者情報に基づいて利用者の嗜好に適合する曲を再生する旨を伝える(ステップS137)。そして、対話制御部10は次のシナリオへ進み、楽曲リストを提示し、曲を再生する(ステップS138)。
【0100】
このように、利用者情報の中の嗜好情報に応じて重要度パラメータを調整することにより、利用者の嗜好が特に強い場合には、その利用者の嗜好に適合した情報を自動的に提供し、利用者の嗜好がそれほど強くない場合には、利用者に必要な情報の入力を求めて、利用者が希望した情報を確実に提供することができる。
【0101】
[変形例]
上記の実施形態においては、シナリオ毎に重要度パラメータが設定されているが、その代わりに、シナリオを構成する状態毎に重要度パラメータを設定することもできる。
【0102】
また、上記の実施形態では、本発明による対話制御を、カーナビゲーション装置を備える車載用情報端末の対話制御に適用した場合を説明したが、カーナビゲーション以外の情報端末装置やAV機器などとの間の対話制御に適用することも可能である。
【0103】
【発明の効果】
以上説明したように、本発明では、文字や音声、画像などの入出力機構を備えた情報処理装置における対話型操作を構成する各状態が、装置の動作に大きく影響する場合、つまり利用者による入力の確実な判断を伴う動作の場合には、利用者は装置の指示に従って厳密、確実な入力を行うことが要求される。一方、対話型操作を構成する各状態が、装置の動作に大きく影響しない場合、つまり利用者の入力がそれほど正確に認識されなくても、装置の動作が利用者の意向に背く可能性が低く、強制的な対話進行が有意義な結果をもたらす可能性が高い場合には、利用者はある程度のあいまいさを含む入力を行うことができる。その結果、対話進行のシナリオに応じて、厳格さを要求される処理と、あいまいさを含んで強制進行が可能な処理とを適切に区別して実行することが可能となる。
【0104】
また、カーナビゲーション装置その他の豊富な機能を装備した装置においては、利用者は機能の存在を知らないがために限られた機能しか利用できないことが多いが、本発明による対話シナリオの適切な強制進行を利用することにより、利用者が知らなかった有用な機能を紹介し、利用者が装置の各種機能をより有益に利用できるようにすることも可能となる。
【図面の簡単な説明】
【図1】本発明を適用した車載用情報端末の構成を示すブロック図である。
【図2】図1に示す各データベースの記憶データ例を示す。
【図3】対話制御に用いられるシナリオの構成例を示す。
【図4】シナリオの構成要素である状態の例を示す。
【図5】シナリオの具体例を示す。
【図6】重要度パラメータの調整要素及び調整条件の例を示す図表である。
【図7】対話制御処理のメインルーチンを示すフローチャートである。
【図8】図7の通常の対話処理のフローチャートである。
【図9】図7の強制進行による対話処理のフローチャートである。
【図10】図7の重要度パラメータの調整処理のフローチャートである。
【図11】重要度パラメータの調整例1を示すフローチャートである。
【図12】重要度パラメータの調整例2を示すフローチャートである。
【図13】重要度パラメータの調整例2を示す他のフローチャートである。
【図14】重要度パラメータの調整例3を示すフローチャートである。
【図15】重要度パラメータの調整例3を示す他のフローチャートである。
【図16】重要度パラメータの調整例4を示すフローチャートである。
【図17】重要度パラメータの調整例4を示す他のフローチャートである。
【符号の説明】
1 カーナビゲーションユニット
2 入出力デバイス
3 入力認識部
4 出力生成部
5 シナリオ変換部
6 利用者情報データベース
7 装置固有情報データベース
8 シナリオデータベース
10 対話制御部
11 シナリオ解析部
12 重要度パラメータ演算部
13 シナリオ入力部
14 利用者情報更新部
15 次シナリオ決定部
16 シナリオ内状態制御部
Claims (12)
- 利用者に対して情報を要求する情報要求出力を行う出力部と、
前記情報要求出力に対する利用者の入力情報を受け取る入力部と、
シナリオに従って前記出力部と前記入力部とを制御し、利用者との間で対話を進行させる対話制御部と、を備え、
前記対話制御部は、前記シナリオに関連付けられた重要度パラメータに応じて、前記出力部が利用者に対して情報を要求するレベルを変化させ、
前記対話制御部は、前記重要度パラメータの値が所定の閾値より小さい場合は、前記入力部が利用者からの入力情報を受け取らない場合でも、前記対話を進行させることを特徴とする対話型情報提供装置。 - 前記対話制御部は、前記重要度パラメータが前記閾値より大きい場合には、前記重要度パラメータが前記閾値より小さい場合と比べて、より多くの情報を利用者に要求するように前記出力部を制御することを特徴とする請求項1に記載の対話型情報提供装置。
- 前記対話制御部は、前記重要度パラメータが前記閾値より大きい場合には、前記重要度パラメータが前記閾値より小さい場合と比べて、前記出力部による情報要求出力の回数が多くなるように前記出力部を制御することを特徴とする請求項1に記載の対話型情報提供装置。
- 前記入力部は、
前記入力情報を認識して認識結果を出力する認識手段と、
前記認識結果が、前記情報要求出力に対応して予め用意された待ち受け情報と一致するか否かを判定する判定手段と、
前記認識結果が前記待ち受け情報と一致しない場合に、前記出力部による情報要求出力を繰り返す繰り返し手段と、を備え、
前記対話制御部は、前記重要度パラメータが前記閾値より大きい場合には、前記繰り返し手段による前記情報要求出力の繰り返し回数を多くすることを特徴とする請求項1に記載の対話型情報提供装置。 - 前記入力部は、
前記入力情報を認識して認識結果を出力する認識手段と、
前記認識結果が、前記情報要求出力に対応して予め用意された待ち受け情報と一致するか否かを判定する判定手段と、を備え、
前記対話制御部は、前記重要度パラメータの値が前記閾値より小さい場合は、前記認識結果が前記待ち受け情報と一致しない場合でも、前記対話を進行させることを特徴とする請求項1に記載の対話型情報提供装置。 - 前記情報要求出力に対して利用者が過去に入力した入力情報を利用者情報として記憶する第1の記憶部と、
前記情報提供装置の状態に関連する装置固有情報を記憶する第2の記憶部と、
を備え、
前記対話制御部は、前記利用者情報及び/又は前記装置固有情報に基づいて、前記対話を進行させることを特徴とする請求項1乃至5のいずれか一項に記載の対話型情報提供装置。 - 前記対話制御部は、前記重要度パラメータの値が前記閾値よりも小さい場合は、前記利用者情報及び/又は前記装置固有情報に基づいて前記対話を進行させる度合いを変化させることを特徴とする請求項6に記載の対話型情報提供装置。
- 前記情報要求出力に対して利用者が過去に入力した入力情報を利用者情報として記憶する第1の記憶部と、
前記情報提供装置の状態に関連する装置固有情報を記憶する第2の記憶部と、
前記利用者情報及び/又は前記装置固有情報に基づいて、前記重要度パラメータの値を調整する調整手段と、をさらに備えることを特徴とする請求項1乃至7のいずれか一項に記載の対話型情報提供装置。 - 前記調整手段は、過去に前記シナリオに従って対話進行を行った回数に応じて前記重要度パラメータの値を調整することを特徴とする請求項8に記載の対話型情報提供装置。
- ナビゲーションユニットをさらに備え、
前記利用者情報は、利用者が前記ナビゲーションユニットに対して入力した入力情報を含み、
前記装置固有情報は、現在日時、現在位置及び走行履歴データを含むことを特徴とする請求項1乃至9のいずれか一項に記載の対話型情報提供装置。 - コンピュータにより実行される対話型情報提供プログラムであって、前記コンピュータを、
利用者に対して情報を要求するための情報要求出力を行う出力部、
前記情報要求出力に対する利用者の入力情報を受け取る入力部、
シナリオに従って前記出力部と前記入力部とを制御し、利用者との間で対話を進行させる対話制御部、として機能させ、
前記対話制御部は、前記シナリオに関連付けられた重要度パラメータに応じて、前記出力部が利用者に対して情報を要求するレベルを変化させ、
前記対話制御部は、前記重要度パラメータの値が所定の閾値より小さい場合は、前記入力部が利用者からの入力情報を受け取らない場合でも、前記対話を進行させることを特徴とする対話型情報提供プログラム。 - コンピュータにより実行される対話型情報提供プログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
利用者に対して情報を要求するための情報要求出力を行う出力部、
前記情報要求出力に対する利用者の入力情報を受け取る入力部と、
シナリオに従って前記出力部と前記入力部とを制御し、利用者との間で対話を進行させる対話制御部、として機能させ、
前記対話制御部は、前記シナリオに関連付けられた重要度パラメータに応じて、前記出力部が利用者に対して情報を要求するレベルを変化させ、
前記対話制御部は、前記重要度パラメータの値が所定の閾値より小さい場合は、前記入力部が利用者からの入力情報を受け取らない場合でも、前記対話を進行させることを特徴とする記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002142192A JP4132962B2 (ja) | 2002-05-16 | 2002-05-16 | 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 |
US10/437,432 US7418391B2 (en) | 2002-05-16 | 2003-05-14 | Interactive information providing apparatus, interactive information providing program, and storage medium having stored same |
EP03011234A EP1363205A3 (en) | 2002-05-16 | 2003-05-16 | Interactive information provision |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002142192A JP4132962B2 (ja) | 2002-05-16 | 2002-05-16 | 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003337039A JP2003337039A (ja) | 2003-11-28 |
JP4132962B2 true JP4132962B2 (ja) | 2008-08-13 |
Family
ID=29267823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002142192A Expired - Fee Related JP4132962B2 (ja) | 2002-05-16 | 2002-05-16 | 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7418391B2 (ja) |
EP (1) | EP1363205A3 (ja) |
JP (1) | JP4132962B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348658A (ja) * | 2003-05-26 | 2004-12-09 | Nissan Motor Co Ltd | 車両用情報提供方法および車両用情報提供装置 |
JP2005199875A (ja) * | 2004-01-16 | 2005-07-28 | Nippon Seiki Co Ltd | 車両用情報提供装置 |
JP4442266B2 (ja) * | 2004-03-16 | 2010-03-31 | マックス株式会社 | リングバインダー用のバックプレート並びにファイルカバー |
WO2007008248A2 (en) * | 2005-07-11 | 2007-01-18 | Voicedemand, Inc. | Voice control of a media player |
JP5011856B2 (ja) * | 2006-07-11 | 2012-08-29 | 株式会社Jvcケンウッド | コンテンツ提案装置、コンテンツ提案方法及びプログラム |
WO2009035281A2 (en) * | 2007-09-13 | 2009-03-19 | Lg Electronics Inc. | Refrigerator |
JP4547721B2 (ja) * | 2008-05-21 | 2010-09-22 | 株式会社デンソー | 自動車用情報提供システム |
JP5829000B2 (ja) * | 2008-08-20 | 2015-12-09 | 株式会社ユニバーサルエンターテインメント | 会話シナリオ編集装置 |
CN101957202B (zh) * | 2009-07-15 | 2012-07-18 | 常州市新科汽车电子有限公司 | 导航仪的用户待办事件的提醒方法 |
US8509396B2 (en) * | 2009-09-24 | 2013-08-13 | International Business Machines Corporation | Automatic creation of complex conversational natural language call routing system for call centers |
US10225683B1 (en) * | 2010-08-02 | 2019-03-05 | Intellectual Ventures Fund 79 Llc | Systems, methods, and mediums for receiving reminders and/or identifying available goods and/or services |
US9123338B1 (en) | 2012-06-01 | 2015-09-01 | Google Inc. | Background audio identification for speech disambiguation |
US9679568B1 (en) * | 2012-06-01 | 2017-06-13 | Google Inc. | Training a dialog system using user feedback |
CN105490890A (zh) * | 2014-09-16 | 2016-04-13 | 中兴通讯股份有限公司 | 智能家庭终端及其控制方法 |
US10796253B2 (en) * | 2016-06-17 | 2020-10-06 | Bank Of America Corporation | System for resource use allocation and distribution |
JP6886689B2 (ja) * | 2016-09-06 | 2021-06-16 | 国立大学法人千葉大学 | 対話装置及びこれを用いた対話システム |
US10446144B2 (en) * | 2016-11-21 | 2019-10-15 | Google Llc | Providing prompt in an automated dialog session based on selected content of prior automated dialog session |
US11514910B2 (en) * | 2018-01-29 | 2022-11-29 | Ntt Docomo, Inc. | Interactive system |
JP7169096B2 (ja) * | 2018-06-18 | 2022-11-10 | 株式会社デンソーアイティーラボラトリ | 対話システム、対話方法、およびプログラム |
JP7259680B2 (ja) * | 2019-09-25 | 2023-04-18 | トヨタ自動車株式会社 | 情報処理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5548681A (en) * | 1991-08-13 | 1996-08-20 | Kabushiki Kaisha Toshiba | Speech dialogue system for realizing improved communication between user and system |
US5774860A (en) * | 1994-06-27 | 1998-06-30 | U S West Technologies, Inc. | Adaptive knowledge base of complex information through interactive voice dialogue |
US5822743A (en) * | 1997-04-08 | 1998-10-13 | 1215627 Ontario Inc. | Knowledge-based information retrieval system |
US6044347A (en) * | 1997-08-05 | 2000-03-28 | Lucent Technologies Inc. | Methods and apparatus object-oriented rule-based dialogue management |
US6236968B1 (en) * | 1998-05-14 | 2001-05-22 | International Business Machines Corporation | Sleep prevention dialog based car system |
EP1044416A1 (en) * | 1998-10-09 | 2000-10-18 | Scansoft, Inc. | Automatic inquiry method and system |
US6885990B1 (en) * | 1999-05-31 | 2005-04-26 | Nippon Telegraph And Telephone Company | Speech recognition based on interactive information retrieval scheme using dialogue control to reduce user stress |
GB9926134D0 (en) * | 1999-11-05 | 2000-01-12 | Ibm | Interactive voice response system |
JP3674453B2 (ja) * | 2000-04-14 | 2005-07-20 | 株式会社デンソー | 対話型ユーザインターフェース装置 |
US6728679B1 (en) * | 2000-10-30 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Self-updating user interface/entertainment device that simulates personal interaction |
US6934756B2 (en) * | 2000-11-01 | 2005-08-23 | International Business Machines Corporation | Conversational networking via transport, coding and control conversational protocols |
US7257537B2 (en) * | 2001-01-12 | 2007-08-14 | International Business Machines Corporation | Method and apparatus for performing dialog management in a computer conversational interface |
-
2002
- 2002-05-16 JP JP2002142192A patent/JP4132962B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-14 US US10/437,432 patent/US7418391B2/en not_active Expired - Fee Related
- 2003-05-16 EP EP03011234A patent/EP1363205A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20030217160A1 (en) | 2003-11-20 |
JP2003337039A (ja) | 2003-11-28 |
EP1363205A2 (en) | 2003-11-19 |
EP1363205A3 (en) | 2004-03-03 |
US7418391B2 (en) | 2008-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4132962B2 (ja) | 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体 | |
US6598018B1 (en) | Method for natural dialog interface to car devices | |
CN112015530B (zh) | 用于将第三方服务与数字助理相结合的***和方法 | |
EP1050872A2 (en) | Method and system for selecting recognized words when correcting recognized speech | |
US20110040707A1 (en) | Intelligent music selection in vehicles | |
US20050021341A1 (en) | In-vehicle controller and program for instructing computer to excute operation instruction method | |
JP6202041B2 (ja) | 車両用音声対話システム | |
JP4533705B2 (ja) | 車載対話装置 | |
JP4686905B2 (ja) | 対話制御方法及びその装置 | |
JP7338493B2 (ja) | エージェント装置、エージェントシステム及びプログラム | |
JP4259054B2 (ja) | 車載装置 | |
JP6281202B2 (ja) | 応答制御システム、およびセンター | |
JP2007279971A (ja) | エージェント装置及びエージェントシステム | |
JP5500100B2 (ja) | 音声案内システム | |
JP7407047B2 (ja) | 音声出力の制御方法および音声出力制御装置 | |
US11620994B2 (en) | Method for operating and/or controlling a dialog system | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN115203359A (zh) | 信息输出***、服务器装置以及信息输出方法 | |
JP2005190192A (ja) | 車載装置 | |
CN114333791A (zh) | 语音识别方法、服务器、语音识别***、可读存储介质 | |
JP4356450B2 (ja) | 車載装置 | |
JP4206818B2 (ja) | 車載装置及びデータ作成装置 | |
JP2000181475A (ja) | 音声応答装置 | |
JP7407046B2 (ja) | 音声出力の制御方法および音声出力制御装置 | |
CN111739524B (zh) | 智能体装置、智能体装置的控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |