JP2001249924A - 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体 - Google Patents

対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体

Info

Publication number
JP2001249924A
JP2001249924A JP2000058485A JP2000058485A JP2001249924A JP 2001249924 A JP2001249924 A JP 2001249924A JP 2000058485 A JP2000058485 A JP 2000058485A JP 2000058485 A JP2000058485 A JP 2000058485A JP 2001249924 A JP2001249924 A JP 2001249924A
Authority
JP
Japan
Prior art keywords
explanation
user
voice
question
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000058485A
Other languages
English (en)
Inventor
Yoshiaki Noda
喜昭 野田
Osamu Yoshioka
理 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000058485A priority Critical patent/JP2001249924A/ja
Publication of JP2001249924A publication Critical patent/JP2001249924A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

(57)【要約】 【課題】 商品や使用方法、案内等の説明を、利用者の
要望に合わせて分かりやすく自動的に行えるような対話
型自動説明装置、方法を提供する。 【解決手段】 予め対話シナリオを作成し、その対話シ
ナリオに記述された説明の手順に従って、対話シナリオ
に格納された説明に必要な画像である説明資料を画面表
示する。その説明資料上で、アニメーションキャラクタ
を動作させ、その動作に合わせてアニメーションキャラ
クタにより自動的に説明を行う。一通りの、もしくは一
区切りの説明の後、利用者からの音声による質問、聞き
直し、詳細説明等の要求を、利用者の音声を認識するこ
とによって受け付け、対話シナリオに記述された対応手
順に従って、双方向的に自動的に説明を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、利用者への物品や
使用方法、案内等を、対話シナリオに基づいて、音声と
映像とを同期させて説明し、その説明中において利用者
の音声を認識して利用者の要求に応じながら、利用者と
双方向的に説明を自動的に進める対話型自動説明装置お
よびその方法に関する。
【０００２】
【従来の技術】従来、利用者に商品や使用方法等を人手
に依らずに説明する方法としては、説明書の提示、ビデ
オによる説明などの一方通行の説明方法の他、インター
ネット上のＷＷＷで使用されるＨＴＭＬ等のハイパーテ
キスト等を用いて、パソコン等による動画、静止画、音
声を統合した説明に加え、ボタン押下やマウス操作を利
用者が行うことで、詳細な説明や関連する説明を行う方
法がある。
【０００３】
【発明が解決しようとする課題】従来の自動説明装置、
自動説明方法のうち説明書の提示、ビデオによる説明で
は、利用者が質問、問い合わせ、聞き直し、詳細説明を
得たくても対応できなかった。また、パソコン等による
自動説明システムにおいてボタン押下やマウス操作を利
用者が行うことで、詳細な説明を得ることも可能である
が、コンピュータ操作が苦手な利用者にとって利用しに
くいものであった。
【０００４】本発明の課題は、物品や使用方法、案内等
の説明を自動的に提示する過程において、利用者の要望
に合わせた分かりやすい説明を自動的に行えるような対
話型自動説明装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】本発明は、以下に列記す
る手段により上記の課題を解決する。
【０００６】その一手段は、利用者への物品もしくは使
用方法もしくは案内を含む説明を、該説明に必要な画像
とアニメーションキャラクタの動作と音声とを互いに同
期させて行う自動説明装置であって、前記説明に必要な
画像データと音声データを格納するとともに、前記画像
と音声による説明の手順、該音声データと同期した前記
アニメーションキャラクタの動作手順、および利用者の
質問および要望への対応手順を記述した対話シナリオ
と、前記アニメーションキャラクタを動作させ表示させ
るためのアニメーションキャラクタ表示部と、前記説明
に必要な画像と前記アニメーションキャラクタとを合成
して表示するための画像表示部と、前記アニメーション
キャラクタの音声を出力するための音声出力部と、前記
利用者の音声を認識して、利用者からの質問もしくは要
望を認識する音声認識部と、前記対話シナリオに記述さ
れた画像と音声による説明の手順に従って、説明に必要
な画像データを前記画像表示部に送り、それと同期した
前記音声データを音声出力部に送り、前記アニメーショ
ンキャラクタの動作手順に従って、前記音声データと同
期したアニメーションキャラクタの動作の指示を前記ア
ニメーションキャラクタ表示部に送り、説明中の所定の
時期に前記音声認識部で利用者の質問もしくは要望が認
識された場合には前記対話シナリオに記述された利用者
の質問および要望への対応手順に従って説明の制御を行
う対話制御部とを備えることを特徴とする対話型自動説
明装置である。この発明では、当該装置が表示する説明
資料上で、アニメーションキャラクタが自動的に説明を
行い、利用者からの音声による質問、聞き直し、詳細説
明等の要求を受け付けるようすることで、利用者に合わ
せた分かりやすい説明を自動的に行えることを特徴とす
る。
【０００７】あるいは、ボタン入力部を備え、前記対話
制御部は、任意の時期に利用者が前記ボタン入力部を操
作した後、前記音声認識部が利用者の質問もしくは要望
が認識された場合には、現在の説明を一時中断させ、前
記対話シナリオに記述された利用者の質問および要望へ
の対応手順に従って説明の制御を行うものとすることを
特徴とする対話型自動説明装置である。この発明では、
アニメーションキャラクタが説明中の任意の時点で、利
用者が割り込んでアニメーションキャラクタに質問、問
い合わせ、聞き直し、詳細説明等を要求できることを特
徴とする。
【０００８】あるいは、前記対話シナリオが遠隔地にあ
ることを想定し、遠隔地から該対話シナリオを前記対話
制御部へ伝送するための対話シナリオ送受信部を備える
ことを特徴とする対話型自動説明装置である。この発明
では、アニメーションキャラクタの動作、説明の順番、
対話の手順等の説明対象によって異なるコンテンツであ
る対話シナリオを、遠隔地から対話制御部へ伝送できる
ことを特徴とする。
【０００９】あるいは、前記対話制御部は、利用者から
の質問および要望、もしくは質問別および要望別の統計
情報を利用者の嗜好情報として出力するものとし、前記
利用者の嗜好情報を顧客情報として蓄積あるいは遠隔地
に伝送するための顧客情報送受信部を備えることを特徴
とする対話型自動説明装置である。この発明では、利用
者ヘアニメーションキャラクタが自動的に説明する中
で、利用者の要求した質問、問い合わせ、聞き直し、詳
細説明等の記録、あるいは対話の中で得られた利用者の
嗜好情報を顧客情報として、蓄積あるいは遠隔地に伝送
できることを特徴とする。
【００１０】あるいは、前記対話シナリオに記述された
利用者の質問および要望への対応手順には、説明に必要
な画像中で利用者が質問できる項目のキーワードを通常
の文章に対して目立つようにする指示が記述されてお
り、前記対話制御部は、前記対話シナリオに記述された
利用者の質問および要望への対応手順に従って説明の制
御を行う際には、前記指示に従って前記説明に必要な画
像中で利用者が質問できる項目のキーワードを通常の文
章に対して目立つようにする指示を前記画像表示部に送
るものとすることを特徴とする対話型自動説明装置であ
る。この発明では、利用者へ説明する資料において、音
声で質問できる項目のキーワードの文字色等を通常の文
章に対して変える、あるいはキーワードに下線を引くあ
るいは反転させるなど目立つようにすることで、利用者
にとって音声で質問できる項目が直観的に分かりやすく
なることを特徴とする。
【００１１】あるいは、前記音声認識部は、利用者から
質問もしくは要望を認識した結果とともに、利用者から
入力された音声の質の情報、想定外の質問がされたか否
かの判定情報、および音声認識の誤りやすさを表す情報
を出力できるものとし、前記対話制御部は、前記出力さ
れた情報に基づいて利用者の音声の再発声が必要か否か
を判断し再発声が必要と判断される場合には、前記音声
出力部には再発声と再発声の方法を促すための音声デー
タを、前記アニメーションキャラクタ表示部には該再発
声と再発声の方法を促すための音声データに同期したア
ニメーションキャラクタの動作の指示を送るものとする
ことを特徴とする対話型自動説明装置である。この発明
では、利用者から入力された音声の質（音声の音量、周
囲雑音の大きさ、音声の時間長等）の情報、想定外の質
問がされたか否か判定情報、音声認識の確からしさを示
すスコア等の認識の誤りやすさにつながる情報を、認識
結果と共に取得して、それらの情報を基に必要な場合に
は、利用者に音声の再発声、再発声の方法を促すように
対話を行うことで、次に利用者が音声入力を行う際に認
識誤りの割合を低減できることを特徴とする。
【００１２】あるいは、利用者への物品もしくは使用方
法もしくは案内を含む説明を、該説明に必要な画像とア
ニメーションキャラクタの動作と音声とを同期させて行
う自動説明方法であって、前記説明に必要な画像データ
と音声データを格納するとともに、前記画像と音声によ
る説明の手順と該音声と同期した前記アニメーションキ
ャラクタの動作手順と利用者の質問および要望への対応
手順とを記述した対話シナリオを予め作成する段階と、
前記対話シナリオに記述された画像と音声による説明の
手順に従って説明に必要な画像データから画像を出力
し、それと同期した音声データから音声を出力し、前記
音声データと同期したアニメーションキャラクタの動作
手順に従ってアニメーションキャラクタを動作させ前記
画像と合成して表示する段階と、説明中の所定の時期に
音声認識により利用者の質問もしくは要望が認識された
場合には前記対話シナリオに記述された利用者の質問お
よび要望への対応手順に従って対話による説明を行う段
階とを有することを特徴とする対話型自動説明方法であ
る。この発明では、表示された説明資料上で、アニメー
ションキャラクタが自動的に説明を行い、利用者からの
音声による質問、聞き直し、詳細説明等の要求を受け付
けるようすることで、利用者に合わせた分かりやすい説
明を自動的に行えることを特徴とする。
【００１３】あるいは、前記対話による説明を行う段階
では、利用者がボタン入力部を操作した任意の時期に前
記音声認識により利用者の質問もしくは要望が認識され
た場合には、現在の説明を一時中断して前記対話シナリ
オに記述された利用者の質問および要望への対応手順に
従って対話による説明を行うものとすることを特徴とす
る対話型自動説明方法である。この発明では、アニメー
ションキャラクタが説明中の任意の時点で、利用者が割
り込んでアニメーションキャラクタに質問、問い合わ
せ、聞き直し、詳細説明等を要求できることを特徴とす
る。
【００１４】あるいは、前記対話による説明を行う段階
では、利用者からの質問および要望、もしくは質問別お
よび要望別の統計情報を利用者の嗜好情報として、前記
利用者の嗜好情報を顧客情報として蓄積あるいは遠隔地
に伝送することを特徴とする対話型自動説明方法であ
る。この発明では、利用者ヘアニメーションキャラクタ
が自動的に説明する中で、利用者の要求した質問、問い
合わせ、聞き直し、詳細説明等の記録、あるいは対話の
中で得られた利用者の嗜好情報を顧客情報として、蓄積
あるいは遠隔地に伝送できることを特徴とする。
【００１５】あるいは、前記対話シナリオを予め作成す
る段階では、利用者の質問および要望への対応手順に
は、説明に必要な画像中で利用者が質問できる項目のキ
ーワードを通常の文章に対して目立つようにする指示を
記述し、前記対話による説明を行う段階では、前記対話
シナリオに記述された利用者の質問および要望への対応
手順に従って説明の制御を行う際に、前記指示に従って
前記説明に必要な画像中で利用者が質問できる項目のキ
ーワードを通常の文章に対して目立つようにすることを
特徴とする対話型自動説明方法である。この発明では、
利用者へ説明する資料において、音声で質問できる項目
のキーワードの文字色等を通常の文章に対して変える、
あるいはキーワードに下線を引くあるいは反転させるな
ど目立つようにすることで、利用者にとって音声で質問
できる項目が直観的に分かりやすくなることを特徴とす
る。
【００１６】あるいは、前記対話による説明を行う段階
では、音声認識において、利用者から質問もしくは要望
を認識した結果とともに、利用者から入力された音声の
質の情報、想定外の質問がされたか否かの判定情報、お
よび音声認識の誤りやすさを表す情報を出力し、前記出
力された情報に基づいて利用者の音声の再発声が必要か
否かを判断し、再発声が必要と判断される場合には再発
声と再発声の方法を促すための音声を出力し、該音声に
同期させてアニメーションキャラクタを動作させて表示
することを特徴とする対話型自動説明方法である。この
発明では、利用者から入力された音声の質（音声の音
量、周囲雑音の大きさ、音声の時間長等）の情報、想定
外の質問がされたか否か判定情報、音声認識の確からし
さを示すスコア等の認識の誤りやすさにつながる情報
を、認識結果と共に取得して、それらの情報を基に必要
な場合には、利用者に音声の再発声、再発声の方法を促
すように対話を行うことで、次に利用者が音声入力を行
う際に認識誤りの割合を低減できることを特徴とする。
【００１７】あるいは、上記の対話型自動説明方法にお
ける段階をコンピュータに実行させるためのプログラム
を、前記コンピュータが読み取り可能である記録媒体に
記録したことを特徴とする対話型自動説明方法の実行プ
ログラムを記録した記録媒体である。この発明では、上
記した対話型自動説明方法を記録媒体として配布した
り、保存したり、提示したりすることが可能となり、コ
ンピュータを用いて本発明の方法を実現することが可能
となる。
【００１８】
【発明の実施の形態】以下、図面を参照して本発明に係
る実施の形態について説明する。
【００１９】図１に、本発明の実施形態例を説明するた
めの対話型自動説明装置のブロック図を示す。
【００２０】本発明の第１の実施形態例において、対話
型自動説明装置１４は、対話制御部１、音声認識部２、
音声出力部３、アニメーションキャラクタ表示部４、画
像表示部５、および対話シナリオ８から構成される。
【００２１】対話シナリオ８には、アニメーションキャ
ラクタが利用者へ商品、使用方法、案内等を説明する際
に必要となる説明画像データと音声のデータが格納さ
れ、アニメーションキャラクタの説明の手順とその説明
に同期させた動作手順、利用者から受け付ける質問等の
要求の中身と対応の手順などが記述されている。利用者
から質問等の要求を受け付ける時期は、説明の手順で規
定される。
【００２２】対話制御部１は、対話シナリオ８の記述に
従い、画像表示部５に指示を行うことで説明資料である
説明画像の画像出力１２を行い、アニメーションキャラ
クタ表示部４に動作指示を行うことでアニメーションキ
ャラクタを動作させ画像表示部５で説明画像と合成させ
て画像出力１２を行い、音声出力部３に指示を行うこと
で、説明資料の画像およびアニメーションキャラクタの
動作に同期した説明音声の音声出力１１を行う。すなわ
ち、予め格納された説明画像データと音声データとを互
いに同期をとって再生し、さらにアニメーションキャラ
クタの動作と互いに同期をとって出力させる。利用者か
らの音声入力１０を受け付ける際には、音声認識部２で
認識された質問等の要求内容が対話制御部１に返され
る。対話制御部１は、対話シナリオ８で記述された対応
方法に従って、質問等の要求内容に対応したアニメーシ
ョンキャラクタの動作、画像出力、音声出力を、上記と
同様に行って、利用者の要望に合わせた説明を行う。
【００２３】図２は、本発明に係わる対話型自動説明装
置が利用者に提示する画面イメージである。図２では、
図２内の鳥のアニメーションキャラクタが飛び回って、
商品説明を行いたい仮想の携帯電話機種の特徴を、利用
者に説明している。このアニメーションキャラクタは、
一通りの、または一区切りの商品説明を終えると、利用
者に「聞きたいことがあったらマイクに向かってしゃべ
ってね。」等と質問を行い、利用者の質問、要望を音声
で入力してもらえるように促す。利用者から入力された
音声は音声認識部２で認識され、その認識結果に基づい
て、利用者からの質問、要望の内容に対応した説明をア
ニメーションキャラクタが行う。例えば、図２で利用者
が「ＳＮ１０１について教えてください。」と質問する
と、アニメーションキャラクタがそれを把握し、ＳＮ１
０１のより詳細な説明資料の提示と共に、詳細の説明を
行ってくれる。始めに概要の説明を行い、その後は利用
者の音声入力による質問、要望によって、利用者対応に
特定の詳細な説明を行うことも可能になる。利用者の要
望としては、問い合わせ、聞き直し、詳細説明の要求な
どがある。これらの質問、要望に対応した説明を終えた
後、新たな質問、要望を受け付けたり、通常の説明に戻
ったり、説明を終了したりする場合も、対応手順に従っ
て対話的に行うことが可能である。
【００２４】本発明の第２の実施形態例では、第１の実
施形態例の対話型自動説明装置１４に、入力手段として
ボタン入力部６を追加する。アニメーションキャラクタ
が利用者に説明している任意の時点で、利用者がボタン
入力１３を行うと、対話制御部１は、アニメーションキ
ャラクタによる説明を一時中断し、利用者からの質問、
要望の音声入力１０を受け付けて、対話シナリオ８に記
述された対応手訓に従って説明を行う。これにより利用
者はアニメーションキャラクタによる一通りの、または
或る区切りの説明の終了を待つことなく、質問や要望を
したいときに、いつでも音声による質問や要望をするこ
とができる。これらの質問、要望に対応した説明を終え
た後、新たな質問、要望を受け付けたり、一時中断した
説明に戻ったり、説明を終了したりする場合も、対応手
順に従って対話的に行うことが可能である。
【００２５】本発明の第３の実施形態例では、第１また
は第２の実施形態例において、対話シナリオ８の格納場
所が対話制御部１と物理的に離れた所に格納されていて
も動作するように、対話シナリオ送受信部７を対話型自
動説明装置１４に追加し、通信手段や伝送手段を介して
遠隔地の対話シナリオ８の格納手段から対話制御部１に
対話シナリオ８を伝送する。これにより、１つの対話シ
ナリオ８の内容を複数の対話型自動説明装置１４に反映
できるようになる。例えば、説明内容、手順をより良い
ように改善するために対話シナリオ８を修正する場合、
１箇所の対話シナリオ８の修正のみで、多数の対話型自
動説明装置１４に自動配信することができる。このた
め、多数の端末での説明サービスの管理が効率的で容易
なものとなる。
【００２６】本発明の第４の実施形態例では、第１〜第
３のいずれかの実施形態例の対話型自動説明装置１４
に、顧客情報送受信部１５と顧客情報９の格納手段を追
加することにより、利用者の嗜好などの情報を蓄積でき
るようにする。アニメーションキャラクタが利用者に説
明を行う中で、利用者が質問や要望した音声あるいは質
問内容や要望内容そのもの、あるいは所定の期間、質問
内容別や要望内容別にカウントした統計情報を嗜好情報
として対話制御部１が取得し、顧客情報送受信部１５を
通じて顧客情報９の格納手段に蓄積する。これにより、
例えば、対話型自動説明装置１４を用いて商品説明を利
用者に行う場合、利用者の好みに合わせて対話制御部１
がお勧めの商品を利用者に紹介できると共に、統計的な
嗜好情報等から、将来の商品企画に必要となる顧客のニ
ーズを得ることが可能となる。顧客情報９の格納手段
は、遠隔地に配置してもよく、その場合には多数の対話
型自動説明装置１４からの顧客情報９を自動収集するこ
とができ、より確かな嗜好情報と顧客のニーズが得られ
る。
【００２７】本発明の第５の実施形態例では、アニメー
ションキャラクタが利用者に説明を行う中で、利用者が
質問する際に、質問出来る範囲が利用者に分かりやすい
ようにするものである。例えば、図２では、「音声認識
機能」、「音声合成機能」、「携帯を楽しむ」、「ＳＮ
１０１」、「ＳＧ１０１」、「ＡＴ１０１」の文字が赤
字になっている。初めて対話型自動説明装置１４を利用
する利用者は、何を聞いてよいか分からないため、質問
に対して沈黙あるいは失敗することになるが、これによ
りアニメーションキャラクタが「赤い字になっていると
ころなら分かるから聞いてね。」というように、予め想
定した質問の内容や質問の仕方を利用者に提示し説明す
る。要するに、説明の手順に従って、対話制御部１が、
キーワードを通常の文章より目立つように画像表示部５
へ指示する。目立つようにする方法としては、上記のよ
うにキーワードの文字色を通常の文章に対して変える以
外に、キーワードに下線を引く、あるいは反転させる、
あるいはブリンクさせる等である。これにより、利用者
は何を質問してよいか理解できるようになるため、アニ
メーションキャラクタとの対話が円滑なものとなる。ま
た、２回目以降に使用する利用者は、アニメーションキ
ャラクタが質問方法について煩雑な説明しなくても利用
できる。現状の音声認識技術では、全ての言葉を認識す
ることが困難なため、認識できる言葉の範囲を限定する
ことが一般的であるが、その認識できる言葉の範囲を利
用者にうまく伝えることによって、利用者は何を話せは
うまくアニメーションキャラクタと対話ができるのかが
理解できるようになり、円滑に対話が出来るようにな
る。また、広い範囲の言葉の音声認識ができるようにな
っても、このようにすることによって、利用者が何を話
してよいかが分からなくなって混乱することを避けられ
る利点もある。
【００２８】本発明の第６の実施形態例では、音声認識
部２からの認識の状態を示す情報により、対話制御部１
がその情報を基に利用者に音声の再発声、再発声の方法
を促す。音声認識部２からは、入力された音声の認識を
行う際に、音声の質の情報（音声の音量、周囲雑音の大
きさ、音声の時間長等）、想定外の質問がされたか否か
の判定情報、音声認識の確からしさを示すスコア情報等
が得られる。対話制御部１は、これらの情報を基に、再
発声が必要か否か判断し、必要な場合には再発声を促す
音声データを音声出力部３に送り、それに同期したアニ
メーションキャラクタの動作をアニメーションキャラク
タ表示部に指示する。例えば、音の質の情報（音声の音
量）から入力された音声が大きすぎる場合に、アニメー
ションキャラクタが「もう少し小さな声でしゃべって
ね。」というように再発声の方法を促したり、音の質の
情報（周囲雑音の大きさ）から入力された音声に雑音が
多く含まれる場合に、アニメーションキャラクタが「周
りで大きな音がしたので、静かになったらもう一度しゃ
べってね。」というように再発声の方法を促したり、認
識できる言葉の範囲を超えて想定外の質問がされたと判
定された場合には、アニメーションキャラクタが「ちょ
っと分からないや。赤い字になっているところなら分か
るから聞いてね。」というように再発声の方法を促した
りすることで、利用者に認識処理に失敗した原因を伝
え、次に発声する際の発声方法、発声内容のガイドを行
うことが可能である。これを行うことで、１度目に音声
認識を失敗した利用者でも、２度目以降の失敗や認識誤
りの確率を低減することができる。これは、現状の音声
認識技術が音量が大きすぎたり、背景の雑音が大きな場
合等に、認識誤りの割合が高くなるということが一般に
あることに基づいている。
【００２９】以上説明したように、アニメーションキャ
ラクタが自動的に説明を行い、利用者が音声によって質
問、要求を行える対話型自動説明装置１４を提供するこ
とで、人手の必要としない自動説明を利用者に分かりや
すく行うことができる。
【００３０】なお、以上で説明した処理や制御の手順
は、コンピュータにより実行できることは言うまでもな
く、その処理や制御の手順をコンピュータに実行させる
ためのプログラムを、そのコンピュータが読み取り可能
な記録媒体、例えば、ＦＤ（フロッピー（登録商標）デ
ィスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶ
Ｄ、リムーバブルディスクなどに記録して、保存した
り、提示したり、配布したりすることが可能である。
【００３１】なお、本発明の説明の対象である物品は商
品に限るものではなく、本発明は、店頭や展示会場での
商品や展示品の説明、使用方法の説明、道案内、学習教
材、対話的に動く絵本の説明、購入後の機器の操作方法
の説明等に、広く適用することができる。
【００３２】
【発明の効果】以上、詳述したように、本発明によれ
ば、アニメーションキャラクタが自動的に説明を行い、
利用者が音声によって質問、要求を行えるようにしたの
で、従来の紙による説明やビデオによる説明のように一
方的な説明ではなく、対話的に利用者の要望に合わせた
説明を、分かりやすく行うことができる。
【図面の簡単な説明】
【図１】本発明の対話型自動説明装置のブロック図
【図２】対話型自動説明装置が利用者に提示する画面の
イメージ図
【符号の説明】
１…対話制御部 ２…音声認識部 ３…音声出力部 ４…アニメーションキャラクタ表示部 ５…画像表示部 ６…ボタン入力部 ７…対話シナリオ送受信部 ８…対話シナリオ ９…顧客情報 １０…音声入力 １１…音声出力 １２…画像出力 １３…ボタン入力 １４…対話型自動説明装置 １５…顧客情報送受信部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 3/00 ５７１Ｕ Ｆターム(参考） 2C028 AA12 BA03 BB04 BB07 BC05 BD03 CA06 5B091 AA15 CB12 CB14 CB24 CB32 CC01 CD03 CD13 DA06 5D015 AA05 KK02 KK04 5D045 AB21 9A001 HH17 HH18 JJ32 KK09

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 利用者への物品もしくは使用方法もしく
    は案内を含む説明を、該説明に必要な画像とアニメーシ
    ョンキャラクタの動作と音声とを互いに同期させて行う
    自動説明装置であって、 前記説明に必要な画像データと音声データを格納すると
    ともに、前記画像と音声による説明の手順、該音声デー
    タと同期した前記アニメーションキャラクタの動作手
    順、および利用者の質問および要望への対応手順を記述
    した対話シナリオと、 前記アニメーションキャラクタを動作させ表示させるた
    めのアニメーションキャラクタ表示部と、 前記説明に必要な画像と前記アニメーションキャラクタ
    とを合成して表示するための画像表示部と、 前記アニメーションキャラクタの音声を出力するための
    音声出力部と、 前記利用者の音声を認識して、利用者からの質問もしく
    は要望を認識する音声認識部と、 前記対話シナリオに記述された画像と音声による説明の
    手順に従って、説明に必要な画像データを前記画像表示
    部に送り、それと同期した前記音声データを音声出力部
    に送り、前記アニメーションキャラクタの動作手順に従
    って、前記音声データと同期したアニメーションキャラ
    クタの動作の指示を前記アニメーションキャラクタ表示
    部に送り、説明中の所定の時期に前記音声認識部で利用
    者の質問もしくは要望が認識された場合には前記対話シ
    ナリオに記述された利用者の質問および要望への対応手
    順に従って説明の制御を行う対話制御部とを備えること
    を特徴とする対話型自動説明装置。
  2. 【請求項２】 ボタン入力部を備え、 前記対話制御部は、任意の時期に利用者が前記ボタン入
    力部を操作した後、前記音声認識部が利用者の質問もし
    くは要望が認識された場合には、現在の説明を一時中断
    させ、前記対話シナリオに記述された利用者の質問およ
    び要望への対応手順に従って説明の制御を行うものとす
    ることを特徴とする請求項１記載の対話型自動説明装
    置。
  3. 【請求項３】 前記対話シナリオが遠隔地にあることを
    想定し、遠隔地から該対話シナリオを前記対話制御部へ
    伝送するための対話シナリオ送受信部を備えることを特
    徴とする請求項１または２記載の対話型自動説明装置。
  4. 【請求項４】 前記対話制御部は、利用者からの質問お
    よび要望、もしくは質問別および要望別の統計情報を利
    用者の嗜好情報として出力するものとし、 前記利用者の嗜好情報を顧客情報として蓄積あるいは遠
    隔地に伝送するための顧客情報送受信部を備えることを
    特徴とする請求項１から３までのいずれか１項記載の対
    話型自動説明装置。
  5. 【請求項５】 前記対話シナリオに記述された利用者の
    質問および要望への対応手順には、説明に必要な画像中
    で利用者が質問できる項目のキーワードを通常の文章に
    対して目立つようにする指示が記述されており、 前記対話制御部は、前記対話シナリオに記述された利用
    者の質問および要望への対応手順に従って説明の制御を
    行う際には、前記指示に従って前記説明に必要な画像中
    で利用者が質問できる項目のキーワードを通常の文章に
    対して目立つようにする指示を前記画像表示部に送るも
    のとすることを特徴とする請求項１から４までのいずれ
    か１項記載の対話型自動説明装置。
  6. 【請求項６】 前記音声認識部は、利用者から質問もし
    くは要望を認識した結果とともに、利用者から入力され
    た音声の質の情報、想定外の質問がされたか否かの判定
    情報、および音声認識の誤りやすさを表す情報を出力で
    きるものとし、 前記対話制御部は、前記出力された情報に基づいて利用
    者の音声の再発声が必要か否かを判断し再発声が必要と
    判断される場合には、前記音声出力部には再発声と再発
    声の方法を促すための音声データを、前記アニメーショ
    ンキャラクタ表示部には該再発声と再発声の方法を促す
    ための音声データに同期したアニメーションキャラクタ
    の動作の指示を送るものとすることを特徴とする請求項
    １から５までのいずれか１項記載の対話型自動説明装
    置。
  7. 【請求項７】 利用者への物品もしくは使用方法もしく
    は案内を含む説明を、該説明に必要な画像とアニメーシ
    ョンキャラクタの動作と音声とを同期させて行う自動説
    明方法であって、 前記説明に必要な画像データと音声データを格納すると
    ともに、前記画像と音声による説明の手順と該音声と同
    期した前記アニメーションキャラクタの動作手順と利用
    者の質問および要望への対応手順とを記述した対話シナ
    リオを予め作成する段階と、 前記対話シナリオに記述された画像と音声による説明の
    手順に従って説明に必要な画像データから画像を出力
    し、それと同期した音声データから音声を出力し、前記
    音声データと同期したアニメーションキャラクタの動作
    手順に従ってアニメーションキャラクタを動作させ前記
    画像と合成して表示する段階と、 説明中の所定の時期に音声認識により利用者の質問もし
    くは要望が認識された場合には前記対話シナリオに記述
    された利用者の質問および要望への対応手順に従って対
    話による説明を行う段階とを有することを特徴とする対
    話型自動説明方法。
  8. 【請求項８】 前記対話による説明を行う段階では、利
    用者がボタン入力部を操作した任意の時期に前記音声認
    識により利用者の質問もしくは要望が認識された場合に
    は、現在の説明を一時中断して前記対話シナリオに記述
    された利用者の質問および要望への対応手順に従って対
    話による説明を行うものとすることを特徴とする請求項
    ７記載の対話型自動説明方法。
  9. 【請求項９】 前記対話による説明を行う段階では、利
    用者からの質問および要望、もしくは質問別および要望
    別の統計情報を利用者の嗜好情報として、前記利用者の
    嗜好情報を顧客情報として蓄積あるいは遠隔地に伝送す
    ることを特徴とする請求項７または８記載の対話型自動
    説明方法。
  10. 【請求項１０】 前記対話シナリオを予め作成する段階
    では、利用者の質問および要望への対応手順には、説明
    に必要な画像中で利用者が質問できる項目のキーワード
    を通常の文章に対して目立つようにする指示を記述し、 前記対話による説明を行う段階では、前記対話シナリオ
    に記述された利用者の質問および要望への対応手順に従
    って説明の制御を行う際に、前記指示に従って前記説明
    に必要な画像中で利用者が質問できる項目のキーワード
    を通常の文章に対して目立つようにすることを特徴とす
    る請求項７から９までのいずれか１項記載の対話型自動
    説明方法。
  11. 【請求項１１】 前記対話による説明を行う段階では、
    音声認識において、利用者から質問もしくは要望を認識
    した結果とともに、利用者から入力された音声の質の情
    報、想定外の質問がされたか否かの判定情報、および音
    声認識の誤りやすさを表す情報を出力し、前記出力され
    た情報に基づいて利用者の音声の再発声が必要か否かを
    判断し、再発声が必要と判断される場合には再発声と再
    発声の方法を促すための音声を出力し、該音声に同期さ
    せてアニメーションキャラクタを動作させて表示するこ
    とを特徴とする請求項７から１０までのいずれか１項記
    載の対話型自動説明方法。
  12. 【請求項１２】 請求項７から１１までのいずれかに１
    項記載の対話型自動説明方法における段階をコンピュー
    タに実行させるためのプログラムを、 前記コンピュータが読み取り可能である記録媒体に記録
    したことを特徴とする対話型自動説明方法の実行プログ
    ラムを記録した記録媒体。
JP2000058485A 2000-03-03 2000-03-03 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体 Pending JP2001249924A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000058485A JP2001249924A (ja) 2000-03-03 2000-03-03 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000058485A JP2001249924A (ja) 2000-03-03 2000-03-03 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2001249924A true JP2001249924A (ja) 2001-09-14

Family

ID=18579075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000058485A Pending JP2001249924A (ja) 2000-03-03 2000-03-03 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2001249924A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165194A (ja) * 2000-11-28 2002-06-07 Omron Corp 情報提供システム及び方法
WO2003030150A1 (fr) * 2001-09-27 2003-04-10 Matsushita Electric Industrial Co., Ltd. Dispositif de dialogue, dispositif de dialogue pere, dispositif de dialogue fils, methode de commande de dialogue et programme de commande de dialogue
JP2003208196A (ja) * 2002-01-11 2003-07-25 Matsushita Electric Ind Co Ltd 音声対話方法および装置
JP2004037953A (ja) * 2002-07-04 2004-02-05 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
JP2004045616A (ja) * 2002-07-10 2004-02-12 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
KR100554397B1 (ko) * 2003-03-25 2006-02-22 조승호 대화형 음성 인식 시스템 및 방법
JP2011139143A (ja) * 2009-12-25 2011-07-14 Sharp Corp 表示装置、テレビジョン受像機、表示方法、プログラムおよび記録媒体
JP2011248688A (ja) * 2010-05-27 2011-12-08 Kyocera Corp 携帯電子機器及び画像投影ユニット
JP2013511856A (ja) * 2009-09-17 2013-04-04 ノキア コーポレイション 遠隔通信システムおよび方法
US9010942B2 (en) 2010-05-27 2015-04-21 Kyocera Corporation Mobile electronic device and image projection unit

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165194A (ja) * 2000-11-28 2002-06-07 Omron Corp 情報提供システム及び方法
WO2003030150A1 (fr) * 2001-09-27 2003-04-10 Matsushita Electric Industrial Co., Ltd. Dispositif de dialogue, dispositif de dialogue pere, dispositif de dialogue fils, methode de commande de dialogue et programme de commande de dialogue
JP2003208196A (ja) * 2002-01-11 2003-07-25 Matsushita Electric Ind Co Ltd 音声対話方法および装置
JP2004037953A (ja) * 2002-07-04 2004-02-05 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
JP2004045616A (ja) * 2002-07-10 2004-02-12 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
KR100554397B1 (ko) * 2003-03-25 2006-02-22 조승호 대화형 음성 인식 시스템 및 방법
JP2013511856A (ja) * 2009-09-17 2013-04-04 ノキア コーポレイション 遠隔通信システムおよび方法
US8908003B2 (en) 2009-09-17 2014-12-09 Nokia Corporation Remote communication system and method
JP2011139143A (ja) * 2009-12-25 2011-07-14 Sharp Corp 表示装置、テレビジョン受像機、表示方法、プログラムおよび記録媒体
JP2011248688A (ja) * 2010-05-27 2011-12-08 Kyocera Corp 携帯電子機器及び画像投影ユニット
US9010942B2 (en) 2010-05-27 2015-04-21 Kyocera Corporation Mobile electronic device and image projection unit

Similar Documents

Publication Publication Date Title
US20200175890A1 (en) Device, method, and graphical user interface for a group reading environment
EP1332491B1 (en) User interface for the administration of an external database
US6728679B1 (en) Self-updating user interface/entertainment device that simulates personal interaction
CN112074899A (zh) 基于多模态传感输入的人机对话的智能发起的***和方法
CN107704169B (zh) 虚拟人的状态管理方法和***
KR20210008521A (ko) 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
US11776541B2 (en) Communicating announcements
JP2008507007A (ja) 車両及び他の複雑な装置用の双方向マニュアル、システム及び方法
WO2002037250A2 (en) Environment-responsive user interface / entertainment device that simulates personal interaction
CN107403011B (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
JP7283384B2 (ja) 情報処理端末、情報処理装置、および情報処理方法
AU2004248274A1 (en) Intelligent collaborative media
JP2001229392A (ja) 少ないメッセージ交信により会話式キャラクタを実施する合理的アーキテクチャ
US20140315163A1 (en) Device, method, and graphical user interface for a group reading environment
WO2017200080A1 (ja) 対話方法、対話装置、及びプログラム
US20050080629A1 (en) Multi-mode interactive dialogue apparatus and method
CN110050303A (zh) 基于第三方代理内容的语音到文本转换
CN109862302B (zh) 在线会议中客户端设备的可访问音频切换的方法、***
JP2001249924A (ja) 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体
McDonnell et al. “Easier or Harder, Depending on Who the Hearing Person Is”: Codesigning Videoconferencing Tools for Small Groups with Mixed Hearing Status
JPH11109991A (ja) マンマシンインターフェースシステム
CN113850898A (zh) 场景渲染方法及装置、存储介质及电子设备
US20210136323A1 (en) Information processing device, information processing method, and program
CN113157241A (zh) 交互设备、交互装置及交互***
WO2021200307A1 (ja) 情報処理装置、対話型ロボット、制御方法