JP2005062240A - 音声応答システム - Google Patents

音声応答システム Download PDF

Info

Publication number
JP2005062240A
JP2005062240A JP2003207456A JP2003207456A JP2005062240A JP 2005062240 A JP2005062240 A JP 2005062240A JP 2003207456 A JP2003207456 A JP 2003207456A JP 2003207456 A JP2003207456 A JP 2003207456A JP 2005062240 A JP2005062240 A JP 2005062240A
Authority
JP
Japan
Prior art keywords
user
voice
response
unit
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003207456A
Other languages
English (en)
Inventor
Toshihiro Ide
敏博 井手
Hiroshi Sugitani
浩 杉谷
Hideo Ueno
英雄 上野
Yayoi Nakamura
やよい 中村
Shingo Suzumori
信吾 鈴森
Koji Yamamoto
幸二 山本
Taku Yoshida
卓 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003207456A priority Critical patent/JP2005062240A/ja
Publication of JP2005062240A publication Critical patent/JP2005062240A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

【課題】利用者の置かれている状況から生まれる利用者の求める応対を提供する。
【解決手段】利用者に対して音声応答サービスを提供する音声応答システムであって、利用者音声から音声情報を生成する音声入力部と、利用者が置かれている現在の状況を特定する状況特定部と、利用者の現在の感情を推測する感情分析部と、前記音声入力部により生成された音声情報に対して音声認識処理を実行する音声認識部と、利用者が置かれている状況ごとに、利用者の感情と応対パターンとを対応付けた個人特性情報を含む利用者特性情報が格納される格納部と、前記状況特定部により特定された利用者が置かれている現在の状況と前記感情分析部により推測された利用者の現在の感情とに対応する応対パターンを、前記個人特性情報から取得する応対パターン決定部と、前記応答パターン決定部により取得された応対パターンと前記音声認識部による認識結果とに対応する発話文を取得する応答処理部と、前記応答処理部により取得された発話文を読上げる音声出力部と、を備える。
【選択図】 図6

Description

【0001】
【発明の属する技術分野】
本発明は、音声を利用した音声応答サービス分野に関する。
【0002】
【従来の技術】
近年、様々な分野で音声応答サービスが利用されている。このサービスは、音声認識技術を備えたシステムと利用者が対話を行うことで、システムが利用者に対して様々なサービスを提供する(例えば図26参照)。具体的には、デジタルデバイド世代向けに、キーボードやマウスを利用することなく、音声で簡単に操作できるパソコン、利用者がパソコンや電話から音声を用いてアクセスし、サービスを受けることができるボイスポータル等がある。
【0003】
一般に、音声応答サービスは、システムが持つシナリオに沿って提供される。
システムは、利用者から発声された音声を認識し、その認識結果とシナリオを照らし合わせ、次の発話文を生成または選択し、応答する。
【0004】
また近年では、利用者の音声入力の状態から感情を分析し、その分析結果に応じて、応答を変化させることが可能である(特許文献1参照)。
【0005】
また、利用者のシステム使用頻度による対話進行の変更や、利用者の個人情報を持つことで、利用者の対話進行に関する好みに合わせることが可能である対話制御方法が開示されている(特許文献2参照)。
【0006】
【特許文献1】
特開平10−55194号公報
【特許文献2】
特開2002−99404号公報
【0007】
【発明が解決しようとする課題】
しかしながら、利用者のシステム使用頻度と個人情報だけを用いて、音声応答を変更する場合は、常に変化する利用者の置かれている状況(利用場所、利用手段、利用時間等)を把握していないため、利用者の置かれている状況から生まれる利用者の求める応対を柔軟に提供することができないという問題がある。即ち、適切な応対を行うためには、利用者の感情を把握することだけでは難しく、また、利用者のシステム使用頻度や個人情報だけを用いても難しい。
【0008】
また、従来技術では、利用者の音声入力に注目し、音声入力の状態(利用者の声のピッチ、音量)のみから、その利用者の感情を推測し、応答を決定している。それゆえ、例えば、元々早口な人がゆっくり話す場合と、元々ゆっくり話す人が早口で話す場合と、普通の人が通常の速度で話す場合を区別できない。この場合、元々早口な人はくつろいでいると推測するのが、元々ゆっくり話す人は焦っていると推測するのが、それぞれ妥当であると思われる。これらの違いを考慮しないと、間違った状態を把握してしまうということに繋がり、利用者に対して不適当な応答をする可能性があるという問題がある。
【0009】
本発明の第1の課題は、利用者の置かれている状況から生まれる利用者の求める応対を提供することにある。本発明の第2の課題は、利用者の特性を考慮して、利用者に対して適切な応答をすることにある。
【0010】
【課題を解決するための手段】
本発明は、上記課題を解決するために、利用者に対して音声応答サービスを提供するシステムであって、利用者音声から音声情報を生成する音声入力部と、利用者が置かれている現在の状況を特定する状況特定部と、利用者の現在の感情を推測する感情分析部と、前記音声入力部により生成された音声情報に対して音声認識処理を実行する音声認識部と、利用者が置かれている状況ごとに、利用者の感情と応対パターンとを対応付けた個人特性情報を含む利用者特性情報が格納される格納部と、前記状況特定部により特定された利用者が置かれている現在の状況と前記感情分析部により推測された利用者の現在の感情とに対応する応対パターンを、前記個人特性情報から取得する応対パターン決定部と、前記応答パターン決定部により取得された応対パターンと前記音声認識部による認識結果とに対応する発話文を取得する応答処理部と、前記応答処理部により取得された発話文を読上げる音声出力部と、を備える構成とした。
【0011】
本発明によれば、音声出力部により読み上げられる発話文は、応対パターン(利用者が置かれている現在の状況と利用者の現在の感情とにより定まる。)と音声認識部による認識結果により定まる。従って、本発明によれば、利用者の置かれている状況から生まれる利用者の求める応対を提供することが可能となる。
【0012】
例えば、利用者の置かれている現在の状況が「自宅」の場合は、その利用者は「ゆっくりと落ち着いた応答サービス」を望み、利用者の置かれている現在の状況が「会社」の場合は、その利用者は「淡々とスピーディな応答サービス」を望むという利用者の求める応答サービスに応じることが可能となる。なお、利用者の置かれている現在の状況については、例えば、発信番号を用いることで、又は音声応答サービスの初期の段階で利用者から聞き出すことで、特定(把握)できる。
【0013】
上記音声応答システムにおいては、例えば、前記利用者の感情と応対パターンとの対応関係を更新する更新部をさらに備える。
【0014】
このようにすれば、利用者に対する次回の音声応答サービスをより最適化することが可能となる。例えば、音声応答サービスの開始から終了までの間の利用者の応答履歴に基づいて両者の対応関係を更新することが考えられる。
【0015】
上記音声応答システムにおいては、例えば、前記感情分析部は、予め格納されている個人音声特性情報を用いて比較分析を行うことにより、利用者の現在の感情を推測する。
【0016】
このようにすれば、利用者の個人音声特性(音量レベルや音声ピッチ等の音声特性)を考慮して、利用者の感情を把握することが可能となるため、利用者に対してより適切な応答をすることが可能となる。
【0017】
上記音声応答システムにおいては、例えば、前記利用者特性情報、前記音声入力部により生成された音声情報、及び前記音声応答サービス開始から終了までの間の利用者の応答履歴に基づいて利用者特性情報を追加及び更新する利用者分析部をさらに備える。
【0018】
このようにすれば、利用者に対する次回の音声応答サービスをより最適化することが可能となる。
【0019】
上記音声応答システムにおいては、例えば、前記応答履歴は、前記音声応答サービスによる音声出力と利用者の音声入力の開始終了のタイミング情報を含み、利用者特性情報は、その利用者の過去に音声応答サービスを利用した際の音声応答サービスによる音声出力と利用者の音声入力の開始終了のタイミング情報を含む。
【0020】
このようにすれば、利用者に対する次回の音声応答サービスをより最適化することが可能となる。
【0021】
また、本発明は次のように特定することができる。
【0022】
利用者に対して音声応答サービスを提供する音声応答システムが、利用者の音声情報から推測される利用者の感情に応じた応対を行う音声応答サービスを提供する方法であって、利用者の置かれている状況、利用者の話し方、前記音声応答サービスの開始から終了までの間の利用者の感情の変化を含む応答履歴から推測される利用者特性情報、及びその利用者特性情報に基づいて得られる利用者の置かれている状況を考慮した感情情報をもとに、利用者に対する応答の順序や応答内容を変更する音声応答サービス提供方法。
【0023】
このようにすれば、利用者の置かれている状況とその時の利用者の感情に応じて臨機応変に柔軟に応対することができる。
【0024】
また、本発明は次のように特定することができる。
【0025】
利用者に対して音声応答サービスを提供する音声応答システムであって、利用者の音声から音声情報を生成する音声入力部と、利用者の利用者特性情報を推測し利用者特性情報を生成する利用者分析部と、利用者の感情を推測し感情情報を生成する感情分析部と、発話文の作成に必要な文章が蓄積されているシナリオ蓄積部と、音声情報から利用者の言葉を識別し、前記利用者特性情報と前記感情情報をもとに、前記シナリオ蓄積部から発話文を作成する応答処理部と、前記発話文を読上げる音声出力部と、を備える音声応答システム。
【0026】
このようにすれば、利用者の置かれている状況とその時の利用者の感情に応じて、応答の順序や応答内容を変更することができる。
【0027】
【発明の実施の形態】
以下、本発明の実施形態である音声応答システムについて説明する。
【0028】
(音声応答システムの原理)
【0029】
図1〜図4は、本実施形態の音声応答システムの原理を説明するための図である。
【0030】
(音声応答システムの概略システム構成)
【0031】
図1に示すように、音声応答システム10は、音声入力部110、音声出力部120、応答処理部130、利用者認証部140、感情分析部150、利用者分析部160、シナリオ蓄積部410、応答履歴格納部420、利用者特性情報格納部430等を備えている。
【0032】
(音声応答システムの概略動作)
【0033】
本実施形態の音声応答システムの動作について、図2、図3、及び図4を参照しながら説明する。
【0034】
図2は、本実施形態の音声応答システムの動作を説明するためのフローチャートである。図3は、本実施形態の音声応答システムの動作原理図である。これは、データの流れも示している。図4は、利用者分析部の動作を説明するためのフローチャートである。
【0035】
<利用者認証(S100)>
【0036】
利用者認証部140は、本システムの利用者とその利用者が置かれている状況を特定する。この特定は、例えば、利用者が電話によって本システムにアクセスした場合には、発信番号通知機能、音声認証技術等、その他利用者を特定できる方法を用いることによって実現可能である。特定された内容は利用者情報として応答処理部130へ渡される。
<利用者特性情報設定(S110)>
【0037】
応答処理部130は、利用者情報をもとに、利用者特性情報格納部430から、利用者が置かれている状況に対応する利用者の個人特性情報を取得する。また、応答処理部130は、利用者情報を感情分析部150へ渡す。
【0038】
感情分析部150は、応答処理部130から渡された利用者情報をもとに、利用者特性情報格納部430から、利用者の置かれている状況に対応する利用者の個人音声特性情報を取得する。
<音声入力(S120)>
【0039】
音声入力部110は、利用者音声から音声情報を生成し、これを応答処理部130と感情分析部150に渡す。
【0040】
<感情分析(S130)>
【0041】
感情分析部150は、利用者特性情報格納部430から取得された個人音声特性情報を用いて、音声入力部110から渡された音声情報から抽出した音声特性情報と比較分析する。これにより、利用者の置かれている状況が考慮され、感情が推測され、感情情報作成される。その感情情報は、応答処理部130へ渡される
【0042】
<音声認識(S140)>
【0043】
応答処理部130は、音声入力部110から渡された音声情報に対する音声認識処理を実行する。即ち、利用者から発話された言葉の識別を行う。これにより、音声認識処理の結果(識別情報)が取得される。
【0044】
<発話文作成(S150)>
【0045】
応答処理部130は、感情分析部150から渡された感情情報、利用者特性情報格納部430から取得された個人特性情報、及び利用者の音声情報から取得された識別情報をもとに、シナリオ蓄積部410から最適な応答の順序で、最適な応答内容の発話文を選択する。この選択された発話文は音声出力部120へ渡される。
【0046】
<音声出力(S160)>
【0047】
音声出力部120は、応答処理部130から渡された発話文を、音声合成技術による読み上げ等の利用者にメッセージを伝える何らかの方法によって、利用者へ通知される。
【0048】
なお、音声入力(S120)から音声出力(S160)までの処理は、音声応答サービスが終了するまで繰り返される。
【0049】
<応答履歴登録(S180)>
【0050】
利用者と音声応答システム10の音声応答サービスが終了すると(S170:Yes)、応答処理部130は、利用者の置かれている状況(利用場所、利用時間、利用手段等)、利用者の話し方(音量情報、ピッチ情報、発話タイミング情報等)、及びその音声応答間の利用者の感情の変化を含む応答履歴情報を、応答履歴格納部420へ渡す(格納する)。
【0051】
<利用者分析(S190)>
【0052】
図4に示すように、利用者分析部160は、応答履歴格納部420に応答履歴情報が渡されると、その応答履歴情報を取得する(S200)。また、利用者分析部160は、利用者特性情報の要求を行い(S210)、その利用者の利用者特性情報があれば(S220:Yes)、利用者特性情報格納部430からその利用者の利用者特性情報を取得する(S230)。そして、それらの情報をもとに、その利用者の利用者特性情報が再び分析(又は推測)され(S240)、作成される(S250)。
【0053】
一方、利用者分析部160は、その利用者の利用者特性情報が無い場合は(S260)、一般的な利用者特性情報を取得する(S260)。そして、その利用者の利用者特性情報が新規に作成される。
【0054】
<利用者特性情報登録(S200)>
【0055】
利用者分析部160は、上記S250で作成した利用者特性情報を、利用者特性情報格納部430へ渡す。これにより、利用者特性情報が追加又は更新される(S260)。なお、ここで作成された利用者特性情報は、利用者の次回の音声応答サービス利用時に用いられる。
【0056】
以上説明したように、本実施形態においては、利用者の置かれている状況とその時の利用者の感情に応じて、応答の順序や応答内容を変更することができる。
従って、臨機応変に柔軟にすることができる音声応答サービスを行うことが可能となる。
【0057】
(実施例)
【0058】
以下、本発明を、ホテル予約用の音声応答システムに適用した例について説明する。
【0059】
(音声応答システムの概要)
【0060】
図5は、ホテル予約用の音声応答システム(以下単に音声応答システムという)の概略システム構成を説明するための図である。
【0061】
音声応答システム10は、公衆電話網40に接続されており、電話機30から利用者の着呼があった場合に、その利用者に対して、ホテル予約のための音声応答サービス(ガイダンス音声の読み上げ等)を行う。
【0062】
この音声応答サービスは、利用者が置かれている現在の状況と利用者の現在の感情を考慮して行われる。この音声応答サービスを行うため、音声応答システム10は、後述する利用者特性情報格納部430等を備える。
【0063】
また、同一利用者に対する次回の音声応答サービスをより最適化するため、利用者特性情報格納部430の格納内容が更新される。
【0064】
(音声応答システムの概略システム構成)
【0065】
図6に示すように、音声応答システム10は、音声入力部110、音声出力部120、応答処理部130、利用者認証部140、感情分析部150、利用者分析部160、シナリオ蓄積部410、応答履歴格納部420、利用者特性情報格納部430等を備えている。
【0066】
音声入力部110は、電話機30を介して入力される利用者音声(利用者が発した音声)から音声情報を生成するためのものである。
【0067】
音声出力部120は、応答処理部130により取得(選択又は生成等)された発話文(応答文)等を、既存の音声合成技術により読み上げるためのものである。音声出力部120により読み上げられた発話文は、電話機30を介して利用者に報知される。
【0068】
応答処理部130は、図7に示す各種の処理の実行等を行うためのものである。
【0069】
利用者認証部140は、電話機30から利用者の発呼があった場合に、その利用者とその利用者が置かれている状況を特定(又は認証)するためのものである。これらの認証は、例えば発信者番号通知機能により通知される発信者番号と利用者データベースとを照合することで特定することが考えられる。
【0070】
感情分析部150は、利用者の現在の感情を推測するためのものである。
【0071】
利用者分析部160は、利用者特性情報、音声入力部120により生成された音声情報、及び音声応答サービス開始から終了までの間の利用者の応答履歴に基づいて利用者特性情報を追加及び更新するためのものである。
【0072】
シナリオ蓄積部410には、音声応答システム10のサービスの流れと発話文(シナリオ)が、シナリオの流れと利用者の感情ごとに作成されて蓄積されている。なお、シナリオは、利用者の感情ごとのテーブルとして蓄積されていてもよい。
【0073】
応答履歴格納部420は、音声応答サービスの開始から終了までの間、利用者の応答履歴を格納するためのものである。応答履歴としては、利用者が置かれている状況(利用場所、利用時間、利用手段等)、利用者の話し方(音量情報、ピッチ情報、発話タイミング情報等)、その音声応答間の利用者の感情の変化、音声応答システム10の音声出力と利用者の音声入力の開始終了のタイミング情報等がある。
【0074】
利用者特性情報格納部430は、利用者が置かれている状況ごとに、利用者の感情と応対パターンとを対応付けた個人特性情報を含む利用者特性情報(図10)を格納するためのものである。
【0075】
(音声応答システムの動作)
【0076】
上記構成の音声応答システムの動作について、図面を参照しながら説明する。
図7は、本実施例の音声応答システムの動作を説明するためのフローチャートである。
【0077】
<サービススタート(S300)>
【0078】
音声応答システム10は、電話機30から利用者Aの着呼があった場合に、以下のホテル予約のための音声応答サービスを開始する。
【0079】
<利用者認証(S301)>
【0080】
音声応答システム10は、電話機30から利用者Aの着呼があると、利用者認証部140により、その利用者Aとその利用者Aが置かれている状況を特定(認識)する。特定結果は、利用者情報として応答処理部130へ渡される(図6▲1▼)。
【0081】
ここでは、利用者等の認証のために、音声応答システム10は、音声出力部120により、「ご利用ありがとうございます。こちらは、ホテル予約システムです。お名前よろしいですか?」を読み上げる。この読み上げられた発話文は、電話機30を介して利用者Aに報知される。これに対して、利用者Aが「利用者Aです。」と応えると、音声応答システム10は、音声認識処理を実行すること等により、「利用者A」という利用者名を特定(又は認識)する。また、音声応答システム10は、その利用者Aが置かれている現在の状況を特定(又は認識)する。この特定は、例えば、発信者電話番号と利用者データベース(電話番号と、利用手段及び利用場所等とを対応付けたもの)とを照合等することにより行う。
ここでは、利用者Aが置かれている現在の状況として、「固定電話」という利用手段、「会社」という利用場所(電話がかけられている場所)が特定(又は認識)されたものとする。
【0082】
利用者認証部140は、これらの特定結果(「利用者A」、「会社」、「固定電話」)を、利用者情報(図8)として応答処理部130へ渡す(図6▲1▼)。
【0083】
<利用者特性情報設定(S302)>
【0084】
応答処理部130は、利用者情報をもとに、利用者特性情報格納部430(図9)から、その利用者Aが置かれている現在の状況(「会社」、「固定電話」)に対応する個人特性情報(図10)を取得する(図6▲2▼)。この個人特性情報は、自己のメモリ等の所定記憶部に格納(又は設定)される。
【0085】
また、応答処理部130は、利用者情報を感情分析部150へ渡す(図6▲3▼)。感情分析部150は、応答処理部130から渡された利用者情報をもとに、利用者特性情報格納部430から、その利用者Aが置かれている現在の状況(「会社」、「固定電話」)に対応する個人音声特性情報(図11)を取得する(図6▲4▼)。この個人音声特性情報は、自己のメモリ等の所定記憶部に格納(又は設定)される。
【0086】
<音声入力(S303)>
【0087】
利用者Aが発話を開始すると、音声応答システム10は、音声入力部110により、電話機30を介して入力される利用者Aの音声から音声情報(図12)を作成する。この音声情報は、応答処理部130と感情分析部150に渡される(図6▲5▼▲6▼)。
【0088】
<感情分析(S304)>
【0089】
感情分析部150は、音声入力部110から渡された音声情報から抽出した音声特性情報(図13)から、「音量レベル:6」、「音声ピッチ:8」を抽出する。
【0090】
次に、感情分析部150は、利用者Aの現在の感情を推測する。この推測のために、利用者Aの個人音声特性情報(図11)と、利用者Aの現在の音声特性情報(「音量レベル:6」、「音声ピッチ:8」)とを比較分析する。利用者Aの個人音声特性情報(図12)を参照すると、利用者Aの現在の音声特性情報(「音量レベル:6」、「音声ピッチ:8」)にはいずれも「普通」が対応している。従って、感情分析部150は、利用者Aの現在の感情が「普通」と推定(又は分析)する。
【0091】
また、感情分析部150は、利用者Aの現在の応答特性を推測する。この推測のために、音声応答システム10の発話時間帯と利用者Aの発話時間帯とが重なっているか否かを判定する。ここで、利用者Aの音声情報(図12)を参照すると、音声応答システム10の発話時間帯と利用者Aの発話時間帯とが重なっていない。従って、感情分析部150は、利用者Aの応答特性が「普通」と推定(又は分析)する。
【0092】
以上のように推定(又は分析)された結果(「現在の感情:普通」、「応答特性:普通」)は、感情情報(図14)として応答処理部130へ渡される(図6▲7▼)。
【0093】
<音声認識>
【0094】
応答処理部130は、音声入力部110から渡された音声情報に対して音声認識処理を実行する。ここでは、応答処理部130は、音声認識の結果、利用者Aから発話された言葉の識別が行われ、識別情報「9月30日にホテル音田を予約したい」(図15)を取得したものとする。
【0095】
<発話文作成>
【0096】
応答処理部130は、感情分析部150から渡された感情情報「現在の感情:普通」と音声認識の結果「識別情報:9月30日にホテル音田を予約したい」をもとに、シナリオ蓄積部410から、今のシナリオの流れに合う(ここでは、ステップ3−1)感情が普通のシナリオ(図16)を選択する。
【0097】
次に、応答処理部130は、利用者Aが置かれている現在の状況(「会社」、「固定電話」)に対応する個人特性情報から、利用者Aの現在の感情(「普通」)に対応する応対パターンを取得する。
【0098】
ここで、利用者Aが置かれている現在の状況(「会社」、「固定電話」)に対応する個人特性情報(これは図6▲2▼で取得され、自己のメモリ等に格納されている。図10参照。)を参照すると、利用者Aの現在の感情(「普通」)に対応する応対パターンは「普通の対応」である。
【0099】
従って、応答処理部130は、利用者Aの現在の感情(「普通」)に対応する応答パターンとして「普通の対応」を取得する。
【0100】
このため、応答処理部130は、最終的に、上記選択したシナリオ(図16)から、応答パターン「普通の対応」に対応する「申し訳ございません。満室です。ホテルを条件から検索しますか?」を取得(選択)する。この発話文は音声出力部120へ渡される。
【0101】
一方、上記感情分析(S304)において、図17に示すように、音声応答システム10の発話時間帯と利用者Aの発話時間帯とが重なっていたとする。この場合、感情分析部150は、利用者Aの応答特性が「せっかち」と推定(又は分析)する。利用者Aの応答特性が「せっかち」と推定(又は分析)された場合には、応答処理部130は、応答パターン「普通の対応」とは無関係に、最終的に、上記選択したシナリオ(図16)から、応対パターン「スピーディな応対」に対応する「申し訳ございません。ありませんでした。お急ぎですか?」を選択する(図18)。
【0102】
<音声出力(S307)>
【0103】
音声出力部120は、応答処理部130から渡された発話文を、音声合成技術により読み上げる。この読み上げられた発話文は、電話機30を介して利用者Aに報知(通知)される。
【0104】
また、上記音声入力(S303)から音声出力(S307)までの処理は、音声応答サービスが終了するまで繰り返される。
【0105】
<応答履歴登録(S309)>
【0106】
利用者Aに対する音声応答システム10の音声応答サービスが終了すると、応答処理部130は、利用者Aが置かれている状況(利用場所、利用時間、利用手段等)、利用者の話し方(音量情報、ピッチ情報、発話タイミング情報等)、その音声応答間の利用者の感情の変化、音声応答システム10の音声出力と利用者Aの音声入力の開始終了のタイミング情報を含んだ応答履歴情報(図19)を応答履歴格納部420へ渡す。
【0107】
<利用者分析(S310)>
【0108】
利用者分析部160は、応答履歴格納部420に応答履歴情報が渡されると、その応答履歴情報を取得する。また、利用者分析部160は、利用者特性情報格納部430から、その利用者Aの利用者特性情報があれば、これを(図9)取得する。
【0109】
次に、利用者分析部160は、その利用者Aの利用者特性情報を更新する。この更新のために、利用者分析部160は、応答履歴情報と利用者特性情報とを比較分析する。利用者Aの応答履歴情報(図19)を参照すると、利用者Aの感情は最初、普通であったが、音声応答サービスの最後で、嫌悪となっている。これは、音声応答サービス中に利用者Aを不機嫌とするなんらかの原因があったと推測できる。また、音声出力と音声入力のタイミングを比較すると、音声応答サービスの開始から終了まで、音声出力中に、音声入力を行っていることが分かる。
これは、利用者Aは、音声出力のメッセージが長かったことが原因で、嫌悪感を感じたと考えられる。つまり、感情が「普通」である時、この利用者Aの求める応対パターンは、「スピーディな応対」であるということが分かる(後述のルール2)。
【0110】
従って、利用者分析部160は、利用者Aの利用者特性情報(図10)における応対パターン「普通の応対」を、「スピーディな応対」に修正(再作成)する(図20)。
【0111】
一方、利用者分析部160は、利用者特性情報格納部430にその利用者Aの利用者特性情報が無い場合は、一般的な利用者特性情報(図21)を取得し、上記と同様に修正を行い、その利用者Aの利用者特性情報を新規に作成する。
【0112】
図22は、利用者分析部160が分析に用いるテーブルの例を示している。これは、「IF〜THEN」形式のルールを集めた知識ベースとなっている。同図は、3つのルールを例示する。なお、#で始まる行はコメントである。
【0113】
ルール1は、新規利用者に対して適用されるルールである。即ち、利用回数が0の場合(上記説明では、利用者特性情報格納部430に利用者Aの利用者特性情報が無い場合)、音量レベル等の各種パラメータを設定する。
【0114】
ルール2は、利用者の感情が「通常」から「嫌悪」に変化し、利用者が音声出力中に応答し、かつ、応答パターンが「普通の応対」である場合は、応答パターン「普通の対応」を「スピーディな応対」に修正する。これについては、既に説明した。
【0115】
ルール3は、ルール2とは逆の修正を行うためのルールである。即ち、感情の変化がなく、利用者が音声出力中に応答せず、かつ、応答パターンが「普通の応対」である場合は、応答パターン「普通の応対」を「丁寧な応対」に修正する。
【0116】
<利用者特性情報登録(S311)>
【0117】
利用者分析部160は、上記S310で作成された利用者特性情報を、利用者特性情報格納部430に追加又は更新する。この追加又は更新された利用者特性情報は、利用者の次回の音声応答サービス利用時に用いられる。
【0118】
つまり、利用者Aが置かれている状況が次回も「会社」、「固定電話」で、かつ、利用者Aの感情が「普通」であった場合は、修正後の応対パターン「スピーディな応対」にて、応対が行われることになる。
【0119】
これにより、同一利用者Aに対する次回の音声応答サービスをより最適化することが可能となる。
【0120】
また、音声応答システム10による音声応答サービスを、利用者Aが置かれている現在の状況と利用者Aの現在の感情を考慮して行うことが可能となる。
なお、本実施例で説明した利用者特性情報(図9)は一例であり、これに代えて、例えば、図23に示すように規定された利用者特性情報を用いてもよい。この利用者特性情報には、音声レベルや音声ピッチが幅(例えば0〜4や0〜7)により規定されている。このため、より適切に利用者の感情を推測することが可能になる。
なお、図22の利用者特性情報を用いた場合、この利用者特性情報は、例えば、図24に示すように修正(再作成)される。また、この場合、一般的な利用者特性情報として、例えば、図25に示すものが用いられる。
【0121】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。このため、上記の実施形態は、あらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
【0122】
本発明は、次のように特定することもできる。
(付記1) 利用者に対して音声応答サービスを提供する音声応答システムであって、利用者音声から音声情報を生成する音声入力部と、利用者が置かれている現在の状況を特定する状況特定部と、利用者の現在の感情を推測する感情分析部と、前記音声入力部により生成された音声情報に対して音声認識処理を実行する音声認識部と、利用者が置かれている状況ごとに、利用者の感情と応対パターンとを対応付けた個人特性情報を含む利用者特性情報が格納される格納部と、前記状況特定部により特定された利用者が置かれている現在の状況と前記感情分析部により推測された利用者の現在の感情とに対応する応対パターンを、前記個人特性情報から取得する応対パターン決定部と、前記応答パターン決定部により取得された応対パターンと前記音声認識部による認識結果とに対応する発話文を取得する応答処理部と、前記応答処理部により取得された発話文を読上げる音声出力部と、を備える音声応答システム。
(付記2) 前記利用者の感情と応対パターンとの対応関係を更新する更新部をさらに備える付記1に記載の音声応答システム。
(付記3) 前記感情分析部は、予め格納されている個人音声特性情報を用いて比較分析を行うことにより、利用者の現在の感情を推測する付記1に記載の音声応答システム。
(付記4) 前記利用者特性情報、前記音声入力部により生成された音声情報、及び前記音声応答サービス開始から終了までの間の利用者の応答履歴に基づいて利用者特性情報を追加及び更新する利用者分析部をさらに備える付記3に記載の音声応答システム。
(付記5) 前記応答履歴は、前記音声応答サービスによる音声出力と利用者の音声入力の開始終了のタイミング情報を含み、利用者特性情報は、その利用者の過去に音声応答サービスを利用した際の音声応答サービスによる音声出力と利用者の音声入力の開始終了のタイミング情報を含む付記4に記載の音声応答システム。
(付記6) 利用者に対して音声応答サービスを提供する音声応答システムによる音声応答方法であって、利用者音声から音声情報を生成するステップと、利用者が置かれている現在の状況を特定するステップと、利用者の現在の感情を推測するステップと、前記生成された音声情報に対して音声認識処理を実行するステップと、前記特定された利用者が置かれている現在の状況と前記推測された利用者の現在の感情とに対応する応対パターンを、利用者が置かれている状況ごとに利用者の感情と応対パターンとを対応付けた個人特性情報から取得するステップと、前記取得された応対パターンと前記音声認識結果とに対応する発話文を取得するステップと、前記取得された発話文を読み上げるステップと、を備える音声応答方法。
(付記7) 利用者に対して音声応答サービスを提供する音声応答システムが、利用者の音声情報から推測される利用者の感情に応じた応対を行う音声応答サービスを提供する方法であって、利用者の置かれている状況、利用者の話し方、前記音声応答サービスの開始から終了までの間の利用者の感情の変化を含む応答履歴から推測される利用者特性情報、及びその利用者特性情報に基づいて得られる利用者の置かれている状況を考慮した感情情報をもとに、利用者に対する応答の順序や応答内容を変更する音声応答サービス提供方法。
(付記8) 利用者に対して音声応答サービスを提供する音声応答システムであって、利用者の音声から音声情報を生成する音声入力部と、利用者の利用者特性情報を推測し利用者特性情報を生成する利用者分析部と、利用者の感情を推測し感情情報を生成する感情分析部と、発話文の作成に必要な文章が蓄積されているシナリオ蓄積部と、音声情報から利用者の言葉を識別し、前記利用者特性情報と前記感情情報をもとに、前記シナリオ蓄積部から発話文を作成する応答処理部と、前記発話文を読上げる音声出力部と、を備える音声応答システム。
【0123】
【発明の効果】
以上説明したように、本発明によれば、利用者の特性情報及び特性情報を加味して得られる感情情報に応じた応対が可能となるため、以下のような効果がある。
【0124】
第1に、利用者の置かれている状況を把握し、その利用者の置かれた状況に応じた臨機応変な応対をすることが可能となる。第2に、利用者の話し方に影響されずに利用者の感情を把握し、その感情に応じた臨機応変な応対をすることが可能となる。
【0125】
また、利用者の置かれている状況とその時の利用者の感情に応じた臨機応変な応対をすることが可能となる。また、利用者の置かれている状況による利用者特性の変化を踏まえることにより、利用者の感情をより正確に推測することができる。さらに、利用者にとって気の利いた音声応答サービスを提供することができる。
これらはサービスの顧客満足度の向上に繋がり、リピータの獲得、サービス利用者(顧客)の増加にも繋がる。
【図面の簡単な説明】
【図1】本実施形態の音声応答システムの原理を説明するための図である。
【図2】本実施形態の音声応答システムの動作を説明するためのフローチャートである。
【図3】本実施形態の音声応答システムの動作原理図である。
【図4】利用者分析部の動作を説明するためのフローチャートである。
【図5】ホテル予約用の音声応答システムの概略システム構成を説明するための図である。
【図6】ホテル予約用の音声応答システムの概略システム構成を説明するための図である。
【図7】ホテル予約用の音声応答システムの動作を説明するためのフローチャートである。
【図8】利用者情報の例である。
【図9】利用者特性情報の例である。
【図10】個人特性情報の例である。
【図11】個人音声特性情報の例である。
【図12】音声情報の例である。
【図13】音声特性情報の例である。
【図14】感情情報の例である。
【図15】識別情報の例である。
【図16】シナリオの例である。
【図17】音声情報の例である。
【図18】発話文の例である。
【図19】応答履歴情報の例である。
【図20】再作成された利用者特性情報の例である。
【図21】一般的な利用者特性情報の例である。
【図22】利用者分析部が分析に用いるテーブルの例である。
【図23】利用者特性情報の他の例である。
【図24】再作成された利用者特性情報の他の例である。
【図25】一般的な利用者特性情報の他の例である。
【図26】従来技術を説明するための図である。
【符号の説明】
10 音声応答システム
30 電話機
40 公衆網
110 音声入力部
120 音声出力部
130 応答処理部
140 利用者認証部
150 感情分析部
160 利用者分析部
410 シナリオ蓄積部
420 応答履歴格納部
430 利用者特性情報格納部

Claims (5)

  1. 利用者に対して音声応答サービスを提供する音声応答システムであって、
    利用者音声から音声情報を生成する音声入力部と、
    利用者が置かれている現在の状況を特定する状況特定部と、
    利用者の現在の感情を推測する感情分析部と、
    前記音声入力部により生成された音声情報に対して音声認識処理を実行する音声認識部と、
    利用者が置かれている状況ごとに、利用者の感情と応対パターンとを対応付けた個人特性情報を含む利用者特性情報が格納される格納部と、
    前記状況特定部により特定された利用者が置かれている現在の状況と前記感情分析部により推測された利用者の現在の感情とに対応する応対パターンを、前記個人特性情報から取得する応対パターン決定部と、
    前記応答パターン決定部により取得された応対パターンと前記音声認識部による認識結果とに対応する発話文を取得する応答処理部と、
    前記応答処理部により取得された発話文を読上げる音声出力部と、を備える音声応答システム。
  2. 前記利用者の感情と応対パターンとの対応関係を更新する更新部をさらに備える請求項1に記載の音声応答システム。
  3. 前記感情分析部は、予め格納されている個人音声特性情報を用いて比較分析を行うことにより、利用者の現在の感情を推測する請求項1に記載の音声応答システム。
  4. 前記利用者特性情報、前記音声入力部により生成された音声情報、及び前記音声応答サービス開始から終了までの間の利用者の応答履歴に基づいて利用者特性情報を追加及び更新する利用者分析部をさらに備える請求項3に記載の音声応答システム。
  5. 前記応答履歴は、前記音声応答サービスによる音声出力と利用者の音声入力の開始終了のタイミング情報を含み、
    前記利用者特性情報は、その利用者の過去に音声応答サービスを利用した際の音声応答サービスによる音声出力と利用者の音声入力の開始終了のタイミング情報を含む請求項4に記載の音声応答システム。
JP2003207456A 2003-08-13 2003-08-13 音声応答システム Withdrawn JP2005062240A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003207456A JP2005062240A (ja) 2003-08-13 2003-08-13 音声応答システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003207456A JP2005062240A (ja) 2003-08-13 2003-08-13 音声応答システム

Publications (1)

Publication Number Publication Date
JP2005062240A true JP2005062240A (ja) 2005-03-10

Family

ID=34363925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003207456A Withdrawn JP2005062240A (ja) 2003-08-13 2003-08-13 音声応答システム

Country Status (1)

Country Link
JP (1) JP2005062240A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166614A (ja) * 2005-12-16 2007-06-28 Internatl Business Mach Corp <Ibm> 方法、システム(ユーザの状態に基づくコール・フロー修正)
JP2009123148A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd 作業担当者選択装置およびその方法
JP2010107614A (ja) * 2008-10-29 2010-05-13 Mitsubishi Motors Corp 音声案内応答方法
JP2010517450A (ja) * 2007-01-30 2010-05-20 エリザ・コーポレーション ビルド呼を生成するシステム及び方法
USRE41826E1 (en) 2003-01-29 2010-10-19 Sharp Kabushiki Kaisha Semiconductor device
JP2011151497A (ja) * 2010-01-19 2011-08-04 Nec Corp 電話応答結果予測装置、方法、およびそのプログラム
JP2011217018A (ja) * 2010-03-31 2011-10-27 Oki Networks Co Ltd 音声応答装置及びプログラム
JP2012253525A (ja) * 2011-06-02 2012-12-20 Kyoritsu Denki Kk 省エネルギー制御装置
WO2014069076A1 (ja) * 2012-10-31 2014-05-08 日本電気株式会社 会話分析装置及び会話分析方法
JP2015017856A (ja) * 2013-07-10 2015-01-29 本田技研工業株式会社 情報提供装置
JP2019041292A (ja) * 2017-08-25 2019-03-14 沖電気工業株式会社 通信装置、プログラムおよびオペレータ選択方法
WO2020067710A1 (ko) * 2018-09-27 2020-04-02 삼성전자 주식회사 대화형 인터페이스를 제공하는 방법 및 시스템
JP2022523504A (ja) * 2019-01-29 2022-04-25 グリッドスペース インコーポレイテッド 発話エージェント
WO2022239246A1 (ja) * 2021-05-14 2022-11-17 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE41826E1 (en) 2003-01-29 2010-10-19 Sharp Kabushiki Kaisha Semiconductor device
JP2007166614A (ja) * 2005-12-16 2007-06-28 Internatl Business Mach Corp <Ibm> 方法、システム(ユーザの状態に基づくコール・フロー修正)
US10536582B2 (en) 2007-01-30 2020-01-14 Eliza Corporation Systems and methods for producing build calls
JP2010517450A (ja) * 2007-01-30 2010-05-20 エリザ・コーポレーション ビルド呼を生成するシステム及び方法
JP2009123148A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd 作業担当者選択装置およびその方法
JP2010107614A (ja) * 2008-10-29 2010-05-13 Mitsubishi Motors Corp 音声案内応答方法
JP2011151497A (ja) * 2010-01-19 2011-08-04 Nec Corp 電話応答結果予測装置、方法、およびそのプログラム
JP2011217018A (ja) * 2010-03-31 2011-10-27 Oki Networks Co Ltd 音声応答装置及びプログラム
JP2012253525A (ja) * 2011-06-02 2012-12-20 Kyoritsu Denki Kk 省エネルギー制御装置
WO2014069076A1 (ja) * 2012-10-31 2014-05-08 日本電気株式会社 会話分析装置及び会話分析方法
JP2015017856A (ja) * 2013-07-10 2015-01-29 本田技研工業株式会社 情報提供装置
JP2019041292A (ja) * 2017-08-25 2019-03-14 沖電気工業株式会社 通信装置、プログラムおよびオペレータ選択方法
WO2020067710A1 (ko) * 2018-09-27 2020-04-02 삼성전자 주식회사 대화형 인터페이스를 제공하는 방법 및 시스템
CN111226194A (zh) * 2018-09-27 2020-06-02 三星电子株式会社 提供交互界面的方法和***
US11423895B2 (en) 2018-09-27 2022-08-23 Samsung Electronics Co., Ltd. Method and system for providing an interactive interface
JP2022523504A (ja) * 2019-01-29 2022-04-25 グリッドスペース インコーポレイテッド 発話エージェント
JP7313455B2 (ja) 2019-01-29 2023-07-24 グリッドスペース インコーポレイテッド 発話エージェント
WO2022239246A1 (ja) * 2021-05-14 2022-11-17 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US8818801B2 (en) Dialogue speech recognition system, dialogue speech recognition method, and recording medium for storing dialogue speech recognition program
CN105991847B (zh) 通话方法和电子设备
Arons The Audio-Graphical Interface to a Personal Integrated Telecommunications System
JP6084654B2 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
JP2005062240A (ja) 音声応答システム
US20080240379A1 (en) Automatic retrieval and presentation of information relevant to the context of a user&#39;s conversation
US20060020471A1 (en) Method and apparatus for robustly locating user barge-ins in voice-activated command systems
JP3806030B2 (ja) 情報処理装置及び方法
CN112313930B (zh) 管理保持的方法和装置
KR20190051600A (ko) 차량의 기능 추천 장치 및 방법
JP2018197924A (ja) 情報処理装置、対話処理方法、及び対話処理プログラム
JP2017010309A (ja) 意思決定支援装置および意思決定支援方法
JPWO2018043138A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP2010034695A (ja) 音声応答装置及び方法
JP4250938B2 (ja) コミュニケーション支援方法およびコミュニケーションサーバ
WO2015083741A1 (ja) 中継装置、表示装置および通信システム
JP2008216735A (ja) 受付ロボット及び受付ロボットの会話適応方法
JP2005011089A (ja) 対話装置
JP4169712B2 (ja) 会話支援システム
JP7420109B2 (ja) 情報出力システム、サーバ装置および情報出力方法
JP2003177788A (ja) 音声対話システムおよびその方法
JP2007259427A (ja) 携帯端末装置
JP4230982B2 (ja) 通話補助装置、通話補助方法、通話補助プログラムおよび通話補助システム
JP7132206B2 (ja) 案内システム、案内システムの制御方法、およびプログラム
Nakajima et al. Prosodic features of utterances in task-oriented dialogues

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20061107