JP2009198871A - 音声対話装置 - Google Patents

Abstract

【課題】ユーザの行動（動詞）に関する発話の認識結果中の動詞が信頼度が低い場合に、対話が破綻することなく継続する音声対話装置を提供する。
【解決手段】音声対話装置は、発話を入力する入力部１１と、入力された発話を解析する第１の発話解析部１２と、解析結果に動詞が含まれるか否かを判定する動詞判定部１３と、解析結果に動詞が含まれていると判定されたときに、該動詞が信頼できるか否かを判定する動詞信頼度判定部１４と、動詞が信頼できると判定されたときに、予め定められた応答テンプレートと動詞とを用いて、発話に対して応答を生成する応答生成部１５と、動詞が信頼できないと判定されたときに、予め定められた質問テンプレートを用いて、発話の内容に対応する感情を問う質問を生成する感情質問生成部１６と、生成された応答及び質問を出力する出力部２２と、を備えている。
【選択図】図１

Description

本発明は、ユーザの行動に関する内容がユーザ発話として数多く入力される場合に有効な音声対話装置及び音声対話プログラムに関する。

雑談対話システムや傾聴対話システムなど、ユーザ発話を音声認識して認識結果に対応する応答を出力してユーザと対話を行う技術が提案されている。このような技術として、例えば、ユーザ発話に対する音声認識結果の信頼度に閾値を設定し、信頼度が閾値以上であれば認識結果に対応する応答を出力し、信頼度が閾値未満であれば認識結果をリジェクトし、自律応答辞書に記述されている応答を出力する音声対話装置（例えば、特許文献１参照。）が知られている。
特開２００２−１９６７８９５号公報

しかしながら、特許文献１の音声対話装置では、ユーザ発話の認識結果として、例えば「週末温泉に行った」が得られた場合に、この認識結果の信頼度が閾値未満であると自律応答辞書を検索して応答を出力する。具体的には、「週末温泉に行った」に対する応答として、「何か話して」、「誰かいないの？」、「ねえねえ」などが出力され、明らかに不適切であり、結果としてユーザとの対話が破綻してしまうという問題点がある。

本発明は、上記問題点を解決するために成されたものであり、ユーザの行動（動詞）に関する発話の認識結果中の動詞が信頼度が低い場合に、ユーザとの対話が破綻することなく継続する音声対話装置及び音声対話プログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の音声対話装置は、ユーザによる発話を入力する入力手段と、前記入力手段により入力されたユーザによる最初の発話を解析する第１の発話解析手段と、前記第１の発話解析手段による解析結果に動詞が含まれるか否かを判定する動詞判定手段と、前記動詞判定手段により前記発話解析手段による解析結果に動詞が含まれていると判定されたときに、該動詞が信頼できるか否かを判定する動詞信頼度判定手段と、前記動詞信頼度判定手段により前記動詞が信頼できると判定されたときに、予め定められた応答テンプレートと前記動詞とを用いて、前記最初の発話に対して応答を生成する応答生成手段と、前記動詞信頼度判定手段により前記動詞が信頼できないと判定されたときに、予め定められた感情質問テンプレートを用いて、前記ユーザの最初の発話の感情を問う質問を生成する感情質問生成手段と、前記応答生成手段により生成された応答及び前記感情質問生成手段により生成された質問を出力する出力手段と、を備えている。

請求項１記載の発明によれば、ユーザの発話に含まれる動詞が信頼できないときに、ユーザの感情を問う質問をして対話を特定の方向に導くことができる。

請求項２記載の音声対話装置は、請求項１記載の音声対話装置において、前記出力手段により出力された前記質問に対して、前記入力手段により入力された前記ユーザの発話を解析する第２の発話解析手段と、感情を表現する単語を記憶した感情表現記憶手段と、前記第２の発話解析手段による解析結果に前記感情表現記憶手段に記憶された感情を表現する単語が含まれるか否かを判定する感情表現判定手段と、前記感情表現判定手段により前記感情応答解析手段による解析結果に感情を表現する単語が含まれると判定されたときに、予め定められた感情応答テンプレートと、前記感情表現発話に対して前記感情を表現する単語とを用いて応答文を生成する感情応答生成手段と、前記感情表現判定手段により前記感情応答解析手段による解析結果に感情を表現する単語が含まれないと判定されたときに、予め定めた相槌を用いて前記感情表現発話に対する相槌を生成する相槌生成手段と、を更に備え、前記出力手段は、前記感情応答生成手段により生成された応答文及び前記相槌生成手段により生成された相槌を出力する。

請求項２記載の発明によれば、ユーザの感情を問う質問に対する応答に対して、応答文や相槌を出力して更に対話を継続することができる。

請求項３記載の音声対話装置は、請求項２記載の音声対話装置において、前記相槌生成手段は、前記動詞判定手段により前記発話解析手段による解析結果に動詞が含まれていないと判定されたときに、予め定めた相槌を用いて相槌を生成する。

請求項３記載の発明によれば、ユーザの最初の発話に動詞が含まれないときに、相槌を出力して会話を継続することができる。

請求項４記載の音声対話プログラムは、コンピュータを、入力されたユーザによる最初の発話を解析する発話解析手段、前記発話解析手段による解析結果に動詞が含まれるか否かを判定する動詞判定手段、前記動詞判定手段により前記発話解析手段による解析結果に動詞が含まれていると判定されたときに、該動詞が信頼できるか否かを判定する動詞信頼度判定手段、前記動詞信頼度判定手段により前記動詞が信頼できると判定されたときに、予め定められた応答テンプレートと前記動詞とを用いて、前記最初の発話に対して応答を生成する応答生成手段、前記動詞信頼度判定手段により前記動詞が信頼できないと判定されたときに、予め定められた感情質問テンプレートを用いて前記ユーザの最初の発話の内容に対応する感情を問う質問を生成する感情質問生成手段、として機能させる。

請求項４記載の発明によれば、ユーザの発話に含まれる動詞が信頼できないときに、ユーザの感情を問う質問をして対話を特定の方向に導くことができる。

以上説明したように、本発明の音声対話装置及び音声対話プログラムによれば、ユーザの行動を表す動詞を含む発話の認識結果中の動詞が信頼度が低い場合に、ユーザとの対話が破綻することなく継続するように、適切な応答を生成することができるという効果が得られる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、本発明は、以下の実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能である。

図１は、本発明に係る音声対話装置の主要構成を示すブロック図である。同図に示すように、本実施の形態に係る音声対話装置は、入力部１１と、第１の発話解析部１２と、動詞判定部１３と、動詞信頼度判定部１４と、応答生成部１５と、感情質問生成部１６と、第２の発話解析部１７と、感情表現辞書１８と、感情表現判定部１９と、感情表現応答生成部２０と、相槌生成部２１と、出力部２２と、を備えている。

入力部１１は、例えばマイクロホンで構成され、ユーザ発話を集音して音声信号を生成する。

第１の発話解析部１２は、複数の単語が登録された認識用辞書データベース（図示省略）に登録された単語を参照し、入力部１１によって生成された音声信号に基づいてユーザ発話を認識し、最も確からしい候補から上位所定数（例えば１０）の候補を選択すると共に、それらを一般的な形態素解析器を用いて形態素解析を行う。

動詞判定部１３は、第１の発話解析部１２による解析結果に基づいて、ユーザ発話に動詞が含まれるか否かを判定する。動詞判定部１３は、所定の条件を満たす場合には動詞が含まれると判定し、所定の条件を満たさない場合には動詞が含まれないと判定する。本実施の形態では、「解析結果の上位１０候補のうち、８つ以上の候補が動詞を含む」という条件を設定する。

動詞信頼度判定部１４は、動詞判定部１３によってユーザ発話に動詞が含まれると判定された場合に、その動詞が信頼できるか否かを判定する。動詞信頼度判定部１４は、所定の条件を満たす場合にはその動詞は信頼できると判定し、所定の条件を満たさない場合には動詞は信頼できないと判定する。本実施の形態では、「当該動詞が、解析結果上位１０候補のうち７つ以上の候補に含まれる」という条件を設定する。

応答生成部１５は、第１の発話解析部１２による解析結果が動詞判定部１３によって動詞を含むと判定され、かつ、動詞信頼度判定部１４によってその動詞が信頼できると判定されたときに、第１の発話解析部１２による解析結果を用いて応答を生成する。例えば、解析結果に含まれる動詞が「行く」であれば、図２に示す予め用意されたテンプレート、例えば「〜んだぁ」と動詞「行く」とを用い、更に時制をあわせて「行ったんだぁ」を応答として生成する。

感情質問生成部１６は、第１の発話解析部１２による解析結果が動詞判定部１３によって動詞を含むと判定され、かつ、動詞信頼度判定部１４によってその動詞が信頼できないと判定されたときに、ユーザ発話が示す内容に対するユーザの感情を問う質問を生成する。即ち、感情質問生成部１６は、ユーザ発話の解析結果を用いるのではなく、ユーザが行動（動詞）についての発話を行うときに有すると考えられる感情を質問する。感情質問生成部１６は、質問の生成に際しては、予め用意されたテンプレート、例えば「どんな気分だった？」を用いて質問を生成する。

第２の発話解析部１７は、第１の発話解析部１２とは異なり、感情を表現する複数の単語、例えば「気持ちよい」、「楽しい」など、及びそれらの単語を修飾する複数の単語、例えば「とても」、「非常に」などが登録された認識用辞書データベース（図示省略）に登録された単語を参照し、入力部１１によって生成された音声信号に基づいてユーザ発話を認識し、最も確からしい候補１つを選択すると共に、それを一般的な形態素解析器を用いて形態素解析を行う。

感情表現辞書１８には、図３に示すように、感情を表現する複数の単語が登録されている。

感情表現判定部１９は、第２の発話解析部１７による解析結果に感情表現が含まれているか否かを、感情表現辞書１８を用いて判定する。具体的には、感情表現判定部１９は、第２の発話解析部１７による解析結果が感情表現辞書１８に登録されている単語を含んでいるときには感情表現が含まれていると判定し、その他のときには感情表現が含まれて射ないと判定する。

感情表現応答生成部２０は、感情表現判定部１９によって第２の発話解析部１７の解析結果が感情表現を含むと判定されたときに応答を生成する。感情表現応答生成部２０は、予め定めた応答生成テンプレートを含む応答生成ルールを記憶した感情表現応答生成データベースを保持している。図４は、感情表現応答生成データベースを示す。同図に示すように、感情表現応答生成データベースには、感情表現が表す感情が有し得る「程度」、「時間」などの属性情報と、属性情報「程度」に対して「どのくらい〜なの？」、属性情報「時間」に対して「いつ〜なの？」などの応答を生成する応答生成ルールが定められている。感情表現応答生成部２０は、前述の解析結果に含まれる感情表現が表す感情が有し得る属性情報を判別し、感情表現について何れかの属性情報を問う応答を生成する。

相槌生成部２１は、第１の発話解析部１２による解析結果に動詞が含まれないとき、及び第２の発話解析部１７による解析結果に感情表現が含まれないと判定されたときにユーザに対する応答として相槌を生成する。相槌生成部２１は、予め相槌として「へぇ」、「ふーん」、「そうなんだ」、「それでそれで」、「ふむふむ」などの相槌が登録された相槌データベース（図示省略）を参照することにより相槌を生成する。

出力部２２は、例えばスピーカで構成され、ユーザに対する応答発話を音声出力する。また、出力部２２は、音声出力に限らず、応答文を画面に表示したり、紙に印刷してもよい。

次に、本実施の形態における音声対話装置の作用について、図５に示すフローチャートに沿って説明する。本実施の形態では、例として「週末温泉に行った」を最初のユーザ発話として考える。

ステップ１００では、入力部１１が、ユーザ発話が入力されたか否かを判定する。ユーザ発話が入力されて発話に応じた音声信号が生成されたときにはステップ１０２に進み、ユーザ発話が入力されないときにはユーザ発話が入力されるまでこの判断を繰り返す。本実施の形態では、ユーザ発話として「週末温泉に行った」が入力され、これに応じた音声信号が生成されてステップ１０２に進む。

ステップ１０２では、第１の発話解析部１２が、入力部１１により生成された音声信号に基づき、認識用辞書データベースに登録された単語を参照してユーザ発話を認識し、本実施の形態では最も確からしい候補から１０候補を選択すると共に、それらの形態素解析を行う。図６は、解析結果として得られた上位１０候補を示す。

ステップ１０４では、動詞判定部１３が、図６の解析結果に基づいて、ユーザ発話に動詞が含まれるか否かを判定し、動詞が含まれる場合にはステップ１０６に進み、動詞が含まれない場合にはステップ１２２に進む。本実施の形態では、動詞判定部１３は、図６に示す解析結果の１０候補のうち、動詞を含むものが８つ以上の場合にはユーザ発話が動詞を含むと判定し、動詞を含むものが７つ以下の場合にはユーザ発話は動詞を含まないと判定する。図６に示す解析結果では、１０候補すべてが動詞を含むため、ユーザ発話には動詞が含まれると判定され、ステップ１０６に進む。

ステップ１０６では、動詞信頼度判定部１４が、ユーザ発話に含まれる動詞が信頼できるか否かを判定し、信頼できる場合にはステップ１２６に進み、信頼できない場合にはステップ１０８に進む。本実施の形態では、動詞信頼度判定部１４は、図６に示す解析結果の１０候補のうち、その動詞を含むものが７つ以上の場合には信頼できると判定し、その動詞を含むものが６つ以下の場合には信頼できないと判定する。

図７は、図６の解析結果の候補に含まれる動詞と当該動詞を含む解析結果の候補の数を示す。図７に示されるように、解析結果の候補に含まれる動詞「行く」、「似る」、「言う」、「いる」、「煮る」は何れも７つ以上の解析結果の候補には含まれていないため、ユーザ発話に含まれる動詞は信頼できないと判定され、ステップ１０８に進む。

ステップ１０８では、感情質問生成部１６が、ユーザが発話に含まれる動詞について発話を行うときに有すると考えられる感情を問う質問を生成する。具体的には、感情質問生成部１６は、発話に含まれる動詞が何であるかにかかわらず、予め用意しているテンプレートに基づいて、例えば「へー、どんな気分だった？」を質問として生成する。

ステップ１１０では、出力部２２が、生成された質問を出力する。

ステップ１１２では、入力部１１が、出力部２２によって出力された質問に対するユーザの発話が入力されたか否かを判定する。ユーザ発話が入力されて発話に応じた音声信号が生成されたときにはステップ１１４に進み、ユーザ発話が入力されないときにはユーザ発話が入力されるまでこの判断を繰り返す。本実施の形態では、ユーザ発話として「気持ちよかったよ」が入力されたものとし、これに応じた音声信号が生成されてステップ１１４に進む。

ステップ１１４では、第２の発話解析部１７が、入力部１１により生成された音声信号に基づき、感情を表現する単語及びそれらを修飾する単語が登録された認識用辞書データベースに登録された単語を参照してユーザ発話を認識する共に形態素解析を行う。この場合、ユーザに対して感情を問う質問をしているので、ユーザの発話の内容は感情を示すものに絞られることが期待できるため、感情を表現する複数の単語及びそれらの単語を修飾する複数の単語のみに特化した認識用辞書データベースを用いて認識することが可能となる。本実施の形態では、解析結果の最も確からしい候補として「気持ちよかった」が得られたとする。

ステップ１１６では、感情表現判定部１９が、第２の発話解析部１７による解析結果に感情表現が含まれているか否かを感情表現辞書１８を用いて判定し、感情表現が含まれると判定された場合にはステップ１１８に進み、感情表現が含まれないと判定された場合にはステップ１２２に進む。本実施の形態では、図３には感情表現として「気持ちよい」が登録されているため、解析結果には「気持ちよかった」という感情表現が含まれると判定され、ステップ１１８に進む。

ステップ１１８では、感情表現応答生成部２０が、その感情表現と図４に示す感情表現応答生成データベースに記憶された応答生成ルールに基づいて感情表現応答を生成する。本実施の形態では、感情表現応答生成部２０は、感情表現応答生成データベースに記憶された感情表現「気持ちよかった」が表す感情が有し得る属性情報として「程度」を問う応答として、応答生成テンプレート「どれくらい〜なの？」を用いて「どれくらい気持ちよかったの？」を生成する。

ステップ１２０では、出力部２２が、生成された感情表現応答を出力する。

一方、ステップ１１４において、第２の発話解析部１７による解析結果の最も確からしい候補として「気持ち買った」が得られたとする。

この場合には、ステップ１１６では、感情表現判定部１９が、この解析結果に感情表現が含まれているか否かを感情表現辞書１８を用いて判定する。その結果「気持ち買った」は図３に示す感情表現辞書１８には登録されていないため、解析結果には感情表現が含まれないと判定され、ステップ１２２に進む。

ステップ１２２では、相槌生成部２１が、相槌データベースに登録された相槌からランダムに選択し、例えば「そうなんだ」といった相槌を生成し、ステップ１２４では、出力部２２が相槌を出力する。

また、本実施の形態の別の例として、「週末温泉に行った」というユーザ発話に対して、ステップ１０２において、第１の発話解析部１２が、図８に示す１０候補を選択したとする。

この場合には、ステップ１０４において、動詞判定部１３が、図８の解析結果に基づいて、ユーザ発話に動詞が含まれるか否かを判定する。図８の１０候補のすべてに動詞が含まれているため、上述の条件によってユーザ発話は動詞を含むと判定される。

ステップ１０６では、動詞信頼度判定部１４が、ユーザ発話に含まれる動詞が信頼できるか否か、上述の条件に基づいて判定する。本例の場合は、図９に示すように「行く」という動詞が８つの候補に含まれるために信頼できると判定され、ステップ１２６に進む。

ステップ１２６では、応答生成部１５が、ユーザ発話に対する入力発話応答を生成する。応答の生成方法は公知のいかなる手法を用いてもよいが、例えば、「行く」という動詞と予め用意されたテンプレート「〜んだぁ」とを用いて、「行ったんだぁ」という応答を生成する。あるいは、特開２００７−２０６８８８号公報に記載された手法を適用して応答を生成してもよい。この手法では、応答生成部１５は、ユーザ発話の解析結果の最も確からしい候補「週末温泉に行った」について格解析を行って格要素と述語を抽出し、格要素を確認する「温泉に行ったの？」や、省略された格要素を質問する「誰と行ったの？」などを応答として生成する。

ステップ１２８では、出力部２２が応答を出力する。

以上のように、本実施の形態に係る音声対話装置は、ユーザ発話に含まれる動詞が信頼できない場合でも誤った応答を生成することがないため、破綻することなくユーザとの対話を継続することができる。更に、単純に相槌を返す場合と異なり、ユーザの感情を陽に質問することで、ユーザの次の発話を促すことが可能となり、対話の自然性も向上する。

本発明に係る音声対話装置の主要構成を示すブロック図である。 応答テンプレートを示す図である。 感情表現辞書の構成を示す図である。 感情表現応答生成データベースの構成を示す図である。 本発明に係る音声対話装置の作用の流れを示すフローチャートである。 ユーザ発話の解析結果の候補の例（その１）を示す表である。 ユーザ発話の解析結果の候補に含まれる動詞と各動詞を含む候補の数の例（その１）を示す表である。 ユーザ発話の解析結果の候補の例（その２）を示す表である。 ユーザ発話の解析結果の候補に含まれる動詞と各動詞を含む候補の数の例（その２）を示す表である。

符号の説明

１１ 入力部
１２ 第１の発話解析部
１３ 動詞判定部
１４ 動詞信頼度判定部
１５ 応答生成部
１６ 感情質問生成部
１７ 第２の発話解析部
１８ 感情表現辞書
１９ 感情表現判定部
２０ 感情表現応答生成部
２１ 相槌生成部
２２ 出力部

Claims (4)

1. ユーザによる発話を入力する入力手段と、
   前記入力手段により入力されたユーザによる最初の発話を解析する第１の発話解析手段と、
   前記第１の発話解析手段による解析結果に動詞が含まれるか否かを判定する動詞判定手段と、
   前記動詞判定手段により前記発話解析手段による解析結果に動詞が含まれていると判定されたときに、該動詞が信頼できるか否かを判定する動詞信頼度判定手段と、
   前記動詞信頼度判定手段により前記動詞が信頼できると判定されたときに、予め定められた応答テンプレートと前記動詞とを用いて、前記最初の発話に対して応答を生成する応答生成手段と、
   前記動詞信頼度判定手段により前記動詞が信頼できないと判定されたときに、予め定められた感情質問テンプレートを用いて、前記ユーザの最初の発話の感情を問う質問を生成する感情質問生成手段と、
   前記応答生成手段により生成された応答及び前記感情質問生成手段により生成された質問を出力する出力手段と、
   を備えた音声対話装置。
2. 前記出力手段により出力された前記質問に対して、前記入力手段により入力された前記ユーザの発話を解析する第２の発話解析手段と、
   感情を表現する単語を記憶した感情表現記憶手段と、
   前記第２の発話解析手段による解析結果に前記感情表現記憶手段に記憶された感情を表現する単語が含まれるか否かを判定する感情表現判定手段と、
   前記感情表現判定手段により前記感情応答解析手段による解析結果に感情を表現する単語が含まれると判定されたときに、予め定められた感情応答テンプレートと前記感情を表現する単語とを用いて、前記感情表現発話に対して応答文を生成する感情応答生成手段と、
   前記感情表現判定手段により前記感情応答解析手段による解析結果に感情を表現する単語が含まれないと判定されたときに、予め定めた相槌を用いて前記感情表現発話に対する相槌を生成する相槌生成手段と、を更に備え、
   前記出力手段は、前記感情応答生成手段により生成された応答文及び前記相槌生成手段により生成された相槌を出力する請求項１記載の音声対話装置。
3. 前記相槌生成手段は、前記動詞判定手段により前記発話解析手段による解析結果に動詞が含まれていないと判定されたときに、予め定めた相槌を用いて相槌を生成する請求項２記載の音声対話装置。
4. コンピュータを、
   入力されたユーザによる最初の発話を解析する発話解析手段、
   前記発話解析手段による解析結果に動詞が含まれるか否かを判定する動詞判定手段、
   前記動詞判定手段により前記発話解析手段による解析結果に動詞が含まれていると判定されたときに、該動詞が信頼できるか否かを判定する動詞信頼度判定手段、
   前記動詞信頼度判定手段により前記動詞が信頼できると判定されたときに、予め定められた応答テンプレートと前記動詞とを用いて、前記最初の発話に対して応答を生成する応答生成手段、
   前記動詞信頼度判定手段により前記動詞が信頼できないと判定されたときに、予め定められた感情質問テンプレートを用いて前記ユーザの最初の発話の内容に対応する感情を問う質問を生成する感情質問生成手段、
   として機能させるための音声対話プログラム。

Images