JP2006172110A - 応答データ出力装置、応答データ出力方法およびプログラム - Google Patents

Abstract

【課題】 テキストのみの入力データに対しても、その入力データに対する応答データを出力することが可能な応答データ出力装置を提供する。
【解決手段】 入力部２がテキストデータを入力すると、応答予測部５は、格納部１が格納している文末語を利用して、テキストデータ内の疑問文を推定する。音声合成部３は、そのテキストデータを読み上げる。音声認識部４は、音声合成部３の出力に応じて発せられたユーザーの音声を音声認識する。応答作成部６は、応答予測部５が推定した疑問文と音声認識部６の認識結果とに基づいて応答データを生成する。出力部７は、その応答データを出力する。
【選択図】 図１

Description

本発明は、応答データ出力装置、応答データ出力方法およびプログラムに関し、特には、入力データを音声で出力し、その音声出力に対するユーザーの応答を音声で受け付け、その受け付けた音声に基づいて応答データを生成し、その応答データを出力する応答データ出力装置、応答データ出力方法およびプログラムに関する。

特許文献１（特開平３−２８９８５４号公報）および特許文献２（特開２００２−３５１７９１号公報）には、受信した電子メールを音声で出力し、その電子メールに対するユーザーの応答を音声で受け付け、その受け付けた音声に基づいて返信用電子メールを生成し、その返信用電子メールを出力する電子メール通信装置が記載されている。

図１３は、特許文献１および特許文献２に記載された電子メール通信装置を示したブロック図である。

図１３において、この電子メール通信装置は、メール送受信部１０と、メール文解析部１１と、音声合成部１２と、音声認識部１３と、メール作成部１４とを含む。

次に、この電子メール通信装置の動作を説明する。

電子メールの送信者は、音声認識開始を示す特殊な文字列を電子メールに挿入し、その特殊な文字列を含む電子メールを、電子メール通信装置に送信する。

メール送受信部１０は、電子メールを受信すると、その受信した電子メールを、メール文解析部１１に送る。

メール文解析部１１は、送信側が挿入した特殊な文字列を検出するまで、その電子メールを音声合成部１２に出力する。音声合成部１２は、メール文解析部１１から出力された電子メールを音声に変換して出力する。なお、メール文解析部１１は、その電子メールをメール作成部１４にも出力する。

メール文解析部１１は、音声認識開始を示す特殊な文字を検出すると、音声認識の開始を音声認識部１３に指示する。この際、特許文献２では、メール文解析部１１は、特殊な文字列中に記述された音声認識に関わる語彙データを音声認識部１３に渡す。

音声認識部１３は、メール文解析部１１から音声認識の開始の指示をうけると、音声認識処理を開始する。音声認識部１３は、音声認識した結果を、メール作成部１４に出力する。

メール作成部１２は、メール文解析部１１から出力された受信メールと音声認識部１３から出力された音声認識結果とに基づいて返信メールを作成する。メール作成部１２は、その返信メールをメール送受信部１０に送る。メール送受信部１０は、返信メールを送信元に送信する。
特開平３−２８９８５４号公報 特開２００２−３５１７９１号公報

従来の電子メール通信装置は、受信した電子メールに音声認識用の特殊な文字列が含まれていないと、返信メールを作成できない。このため、送信側は、例えば、電子メール通信装置に対する入力データ（電子メール）として、一般のテキストを使用できなかった。

本発明の目的は、テキストだけの入力データに対しても、その入力データに対する応答データを出力することが可能な応答データ出力装置、応答データ出力方法およびプログラムを提供することである。

上記の目的を達成するために、本発明の応答データ出力装置は、疑問文の文末に用いられる文末語を格納する格納部と、テキストデータを受け付ける入力部と、前記入力部が受け付けたテキストデータに応じた音声を出力する音声出力部と、ユーザーが発する音声を入力し、その入力された音声を認識する音声認識部と、前記入力部が受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する推定部と、前記推定部が推定した疑問文と、前記音声認識部の認識結果と、に基づいて応答データを生成する生成部と、前記生成部が生成した応答データを出力する出力部とを含む。

また、本発明の応答データ出力方法は、疑問文の文末に用いられる文末語を格納する格納部を含む応答データ出力装置が行う応答データ出力方法であって、テキストデータを受け付ける入力ステップと、前記受け付けたテキストデータに応じた音声を出力する音声出力ステップと、ユーザーが発する音声を入力し、その入力された音声を認識する音声認識ステップと、前記受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する推定ステップと、前記推定した疑問文と、前記音声認識結果と、に基づいて応答データを生成する生成ステップと、前記応答データを出力する出力ステップとを含む。

上記の発明によれば、テキストデータが入力されると、テキストデータ内の疑問文が文末語に基づいて推定され、その推定された疑問文と音声認識結果とに基づいて応答データが生成される。このため、特殊な文字列を含まないテキストに対しても、その入力データに対する応答データを出力することが可能になる。

また、前記推定した疑問文に対するユーザーの応答が推定され、その推定されたユーザーの応答に基づいてユーザーの音声が認識されることが望ましい。

上記の発明によれば、音声認識の精度が向上する。

前記推定部は、前記推定した疑問文を前記音声出力部が出力すると前記音声出力部の出力が停止するように前記音声出力部を制御することが望ましい。

上記の発明によれば、疑問文に対する応答をユーザーに促すことが可能になる。

前記音声認識部は、前記ユーザーの音声を検出する音声検出部と、前記音声検出部が検出したユーザーの音声を認識する音声識別部と、を含み、前記推定部は、前記音声検出部が前記ユーザーの音声を検出すると、前記音声出力部が既に出力した音声に応じたテキストデータから前記文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定することが望ましい。

上記の発明によれば、ユーザーの応答に対応する疑問文は、ユーザーの応答の直前に存在する可能性が高いため、ユーザーの応答に対応する疑問文を高い精度で推定することが可能になる。

前記音声出力部は、前記音声検出部が前記ユーザーの音声を検出すると、出力を中断することが望ましい。

上記の発明によれば、ユーザーの音声と音声出力部の出力との重なりを少なくでき、音声識別部の認識精度を向上することが可能になる。

前記入力部が受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推測し、その推測結果に基づいて前記音声出力部を制御する応答予測部をさらに含むことが望ましい。

上記の発明によれば、ユーザーに応答位置を示唆することが可能になる。

前記応答予測部は、前記推測した疑問文を前記音声出力部が出力すると前記音声出力部の出力が一時的に停止するように前記音声出力部を制御することが望ましい。

上記の発明によれば、疑問文に対する応答をユーザーに促すことが可能になる。

前記応答予測部は、前記推測した疑問文に対するユーザーの応答を予測し、前記音声検出部は、前記応答予測部が予測した応答と類似する音声を検出することが望ましい。

上記の発明によれば、音声検出の雑音等による誤動作を防ぐことができる。

また、本発明のプログラムは、疑問文の文末に用いられる文末語を格納する格納部と接続するコンピュータに応答データ出力処理を実行させるプログラムであって、テキストデータを受け付ける入力処理と、前記受け付けたテキストデータに応じた音声を出力する音声出力処理と、ユーザーが発する音声を入力しその入力された音声を認識する音声認識処理と、前記受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する推定処理と、前記推定した疑問文と、前記音声認識結果と、に基づいて応答データを生成する生成処理と、前記応答データを出力する出力処理と、を含む応答データ出力処理を前記コンピュータに実行させる。

上記の発明によれば、上記応答データ出力方法をコンピュータに実行させることが可能になる。

本発明によれば、テキストデータが入力されると、テキストデータ内の疑問文が文末語に基づいて推定され、その推定された疑問文と音声認識結果とに基づいて応答データが生成される。このため、特殊な文字列を含まないテキストに対しても、その入力データに対する応答データを出力することが可能になる。

以下、本発明の実施例について図面を参照して説明する。

図１は、本発明の一実施例（第一の実施形態）の応答データ出力装置を示したブロック図である。

図１において、応答データ出力装置は、格納部１と、入力部２と、音声合成部３と、音声認識部４と、応答予測部（推定部）５と、応答作成部（生成部）６と、出力部７とを含む。音声認識部４は、音声検出部４Ａと、音声識別部４Ｂとを含む。

格納部１は、メモリであり、疑問文の文末に用いられる文末語を格納する。疑問文の文末に用いられる文末語は、例えば、終助詞「か」または「？」である。なお、疑問文の文末に用いられる文末語は、終助詞「か」または「？」に限るものではなく適宜変更可能である。

入力部２は、テキストデータを受け付ける。入力部２は、例えば、テキストで記載された電子メールを受け付ける。

音声合成部３は、音声出力部の一例である。音声合成部３は、入力部２が受け付けたテキストデータに応じた音声を出力する。具体的には、音声合成部３は、入力部２が受け付けたテキストデータを、応答予測部５を介して受け付け、その受け付けたテキストデータを読み上げる。

音声認識部４は、ユーザーが発する音声を入力し、その入力された音声を認識する。具体的には、音声検出部４Ａが、ユーザーの音声を検出し、音声認識部４Ｂが、音声検出部４Ａが検出したユーザーの音声を認識する。このため、音声認識部４は、音声合成部３が出力した音声に応じてユーザーが発する音声（応答）を認識することが可能になる。

応答予測部５は、推定部の一例である。応答予測部５は、入力部２が受け付けたテキストデータから格納部１が格納する文末語を検出し、その検出結果に基づいて、そのテキストデータに含まれる疑問文を推定する。

また、応答予測部５は、その推定した疑問文を音声合成部３が出力すると音声合成部３の出力が停止するように、音声合成部３を制御する。

また、応答予測部５は、その推定した疑問文に対するユーザーの応答を推定する。応答予測部５は、その推定したユーザーの応答を音声認識部４（具体的には、音声識別部４Ｂ）に出力する。音声認識部４（具体的には、音声識別部４Ｂ）は、応答予測部５が推定したユーザーの応答に基づいてユーザーの音声を認識する。

応答作成部６は、生成部の一例である。応答作成部６は、応答予測部５が推定した疑問文と、音声認識部４の認識結果とに基づいて応答データを生成する。

出力部７は、応答作成部６が生成した応答データを外部に出力する。

次に、第一の実施形態の動作を説明する。

入力部２は、外部からテキスト（デキストデータ）を含む電子メール等の入力データを受け取る。入力部２は、入力データを受け取ると、その入力データからテキストを抽出し、その抽出したテキストを応答予測部５に渡す。

応答予測部５は、入力部２からテキストを受け取ると、その受け取ったテキストを格納部１が格納している文末語を用いて解析して、そのテキスト文の中から疑問文を推定し、ユーザーが応答するであろうと思われる位置を予測する。

応答予測部５は、例えば、テキスト中に、格納部１が格納している疑問文末を示す文末語（例えは、記号「？」または終助詞「か」）があれば、その文末語を含む文は疑問文であり、その文末語の次にユーザーからの応答入力がある、という推測手順で、ユーザーが応答するであろうと思われるテキスト中の位置を予測する。

次に、応答予測部５は、ユーザーの応答があると予測した位置で、どのような内容の応答があるかを予測する。

応答予測部５は、例えば、ユーザーの応答が予測された位置の直前の文中（疑問文中）に、「何時に」、「何処で」等の特定の文節が存在する場合には、それぞれ時刻、場所を表す応答がくると判断し、また、その直前の文中（疑問文中）に、その特定の文節が存在しない場合には、「はい」または「いいえ」等の応答がくると判断する。なお、応答予測部５は、他の予測方法を用いて、ユーザーの応答内容を予測してもよい。

応答予測部５は、入力部２から受け付けたテキストと、応答があると予測した位置を音声合成部３に渡す。

音声合成部３は、応答予測部５から、テキストおよびそのテキスト中の応答予測位置を受け取ると、そのテキストの音声合成を開始する。

音声合成部３は、音声合成が応答予測位置に達すると、音声合成を一時停止するとともに、音声合成停止を応答予測部５に通知する。なお、音声合成部３は、音声認識部６から認識終了を通知された際に、音声合成の一時停止を解除する。

応答予測部５は、音声合成部３から音声合成停止の通知を受け付けると、音声認識部４（具体的には、音声識別部４Ｂ）に、予測した応答内容を渡すとともに、音声認識処理の開始を指示する。

また、応答予測部５は、音声合成部３から音声合成停止の通知を受け付けると、入力部２から受け付けたテキスト（推定した疑問文を含む）、予測した応答位置および予測した応答内容を、応答作成部６に渡す。

音声認識部４は、応答予測部５から音声認識処理の開始指示を受け付けると、音声認識処理を開始して、ユーザーからの音声入力を待つ。また、音声認識部４（具体的には、音声識別部４Ｂ）は、応答予測部５から応答予測内容を受け取ると、その応答予測内容を音声認識処理に反映する。

音声認識部４（具体的には、音声識別部４Ｂ）は、例えば、応答予測内容が「はい」または「いいえ」であった場合、音声認識処理時の音声認識対象語彙を「はい」と「いいえ」に制限する。なお、音声識別部４Ｂは、他の反映方法を用いて、応答予測内容を音声認識処理に反映してもよい。

音声識別部４Ｂは、音声合成部３が出力した音声に応じてユーザーが発する音声を認識する。

音声識別部４Ｂは、音声認識処理の終了後、その音声認識結果を応答作成部６に渡すとともに、認識終了を音声合成部３に通達して音声合成処理の再開を促す。

応答作成部６は、音声認識部４から音声認識結果を受け取り、また、応答予測部５から入力テキスト、応答予測位置および応答予測内容を受け取る。応答作成部６は、これらを参照して応答結果（応答データ）を作成する。

応答作成部６は、例えば、音声認識結果が「はい」で、応答予測位置の直前の入力テキストが疑問文「会議に出席できますか？」の場合、疑問文を肯定文に変換して「会議に出席できます」を応答結果とする。無論、応答作成部６は、入力テキストをそのまま引用して、応答予測位置に音声認識結果をそのまま挿入する等の他の作成方法を用いて、応答結果を作成してもよい。

応答作成部６は、その作成した応答結果を出力部７に渡す。出力部７は、その応答結果を外部に出力する。

図２は、第一の実施形態の動作を説明するためのフローチャートである。以下、図２を参照して第一の実施形態の動作を説明する。

まず、入力部２にデータが入力されると、入力部２はその入力したデータからテキスト部分を抽出し、その抽出したテキストを応答予測部５に送る（ステップＳ２１）。

次に、応答予測部５は、格納部１が格納する文末語を用いてテキスト中の疑問文を推定し、その疑問文に対して応答がなされると予想される応答位置およびその応答内容を予測する。応答予測部５は、入力したテキストと予測した応答位置を音声合成部３に出力する（ステップＳ２２）。

次に、音声合成部３は、テキストの先頭から最初に予測される応答位置までを音声合成して出力する。音声合成部３は、音声合成が応答予測位置に達すると、音声合成を一時停止するとともに、音声合成停止を応答予測部５に通知する。

応答予測部５は、音声合成部３から音声合成停止の通知を受け付けると、音声識別部４Ｂに、予測した応答内容を渡すとともに、音声認識動作の開始を指示する、また、応答予測部５は、音声合成停止の通知を受け付けると、入力部２から受け付けたテキスト（推定した疑問文を含む）、予測した応答位置および予測した応答内容を、応答作成部６に渡す（ステップＳ２３）。

次に、音声認識部４は、応答予測内容を参照して、ユーザーからの音声入力を認識する（ステップＳ２４）。

ステップＳ２４終了後、音声合成部３は、まだ、合成音声として出力していないテキストが残っているか判断する（ステップＳ２５）合成音声として出力していないテキストが残っていれば、ステップＳ２３が実行され、合成音声として出力していないテキストが残っていなければ、ステップＳ２６が実行される。

応答作成部６は、音声識別部４Ｂの音声認識結果と、応答予測部５から受け付けたテキスト（推定した疑問文を含む）、予測した応答位置および予測した応答内容に基づいて応答結果（応答データ）を作成する（ステップＳ２６）。

最後に、出力部７は、応答作成部６が作成した応答結果を出力する（ステップＳ２７）。

本実施の形態（第一の実施形態）によれば、テキストデータが入力されると、応答予測部５は、そのテキストデータ内の疑問文を文末語に基づいて推定し、応答作成部６は、その推定された疑問文および音声認識部４の音声認識結果に基づいて応答データを生成する。このため、特殊な文字列を含まないテキストに対しても、その入力データに対する応答データを出力することが可能になる。

また、応答予測部５は、その推定した疑問文に対するユーザーの応答を推定し、音声認識部４は、応答予測部５が推定したユーザーの応答に基づいて、ユーザーの音声を認識する。このため、音声認識の精度が向上する。

また、応答予測部５は、その推定した疑問文を音声合成部３が出力すると音声合成部３の出力が停止するように音声合成部３を制御する。このため、疑問文に対する応答をユーザーに促すことが可能になる。

次に、本発明の他の実施例（第二の実施形態）を説明する。

図３は、第二の実施形態の応答データ出力装置を示したブロック図である。なお、図３において、図１に示したものと同一のものには同一符号を付してある。また、図１に示したものと同一のものの説明は、基本的に省略する。

図３において、応答データ出力装置は、格納部１と、入力部２ａと、音声合成部３ａと、音声認識部４ａと、応答作成部６と、出力部７と、応答推定部（推定部）８を含む。音声認識部４ａは、音声検出部４ａＡと、音声識別部４Ｂとを含む。

入力部２ａは、テキストで記載された電子メール等のテキストデータを受け付け、その受け付けたテキストデータを、音声合成部３ａおよび応答推定部８に出力する。

音声合成部３ａは、音声出力部の一例であり、入力部２ａが受け付けたテキストデータに応じた音声を出力する。

音声検出部４ａＡは、ユーザーの音声を検出する。音声検出部４ａＡは、ユーザーの音声を検出すると、音声検出通知を音声合成部３ａに出力する。また、音声検出部４ａＡは、例えば、音声入力のパワーを測定して、その測定したパワーが閾値以上であれば、ユーザーの音声を検出したと判断する。無論、音声検出部４ａＡは、他の検出方法でユーザーの音声を検出してもよい。

また、音声検出部４ａＡは、その検出したユーザーの音声を音声識別部４Ｂに出力する。音声識別部４Ｂは、そのユーザーの音声を一時的にバッファ（不図示）に格納する。なお、このバッファは、音声識別部４Ｂに含まれる。

音声合成部３ａは、音声検出通知を受け付けると、音声合成出力を停止し、また、その停止位置を応答推定部８に渡す。

応答推定部８は、推定部の一例であり、入力部２ａから受け付けたテキストの中から、音声合成部３ａから渡された停止位置より前の部分のテキストを抽出する。応答推定部８は、その抽出したテキストから格納部１が格納する文末語を検出し、その検出結果に基づいて、そのテキストに含まれる疑問文を推定する。応答推定部８は、その推定した疑問文を応答作成部６に出力する。

また、応答推定部８は、その推定した疑問文に対するユーザーの応答を推定する。応答推定部８は、その推定したユーザーの応答を音声識別部４Ｂに出力する。なお、応答推定部８は、音声合成部３ａから停止位置を受け付けると、音声識別部４Ｂに音声認識処理の開始を指示する。

音声識別部４Ｂは、音声認識処理の開始指示を受け付けると、バッファに格納したユーザーの音声を応答推定部８が推定したユーザーの応答に基づいて認識する。

応答作成部６は、応答推定部８が推定した疑問文と、音声認識部４の認識結果とに基づいて応答データを生成する。

次に、第二の実施形態の動作を説明する。

入力部２ａは、外部からテキスト（デキストデータ）を含む電子メール等の入力データを受け取る。入力部２ａは、入力データを受け取ると、その入力データからテキストを抽出し、その抽出したテキストを音声合成部３ａおよび応答推定部８に渡す。

音声合成部３ａは、入力部２ａからテキストを受け取ると、そのテキストの音声合成を開始する。

ユーザーが音声合成部３ａの音声出力に対して音声で応答すると、音声検出部４ａＡは、そのユーザーの音声入力を検出する。

音声検出部４ａＡは、ユーザーの音声入力を検出すると、音声検出通知を音声合成部３ａに出力する。また、音声検出部４ａＡは、その検出したユーザーの音声を音声識別部４Ｂに出力する。音声識別部４Ｂは、そのユーザーの音声を一時的にバッファに格納する。

音声合成部３ａは、音声検出部４ａＡから音声検出通知を受け付けると、音声合成出力を停止し、また、その停止位置を応答推定部８に渡す。

応答推定部８は、入力部２ａから受け付けたテキストの中から、音声合成部３ａから渡された停止位置より前の部分のテキストを抽出し、その抽出したテキストを格納部１が格納している文末語を用いて解析して、その抽出したテキストで記載された文の中から疑問文を推定し、ユーザーが応答するであろうと思われる位置を予測する。

応答推定部８は、例えば、その抽出したテキストの中で、合成音停止位置にもっとも近い文末をユーザー応答位置（疑問文の文末）と推定する。無論、応答推定部８は、他の推定方法でユーザー応答位置を推定してもよい。

次に、応答推定部８は、ユーザーの応答があると予測した位置で、どのような内容の応答があるかを予測する。

応答推定部８は、例えば、ユーザーの応答が予測された位置の直前の文中に、「何時に」、「何処で」等の特定の文節が存在する場合には、それぞれ時刻、場所を表す応答がくると判断し、また、その直前の文中に、その特定の文節が存在しない場合には、「はい」または「いいえ」等の応答がくると判断する。なお、応答推定部８は、他の予測方法を用いて、ユーザーの応答内容を予測してもよい。

応答推定部８は、入力テキスト（推定した疑問文を含む。）、応答推定位置および応答推定内容を応答作成部６に出力する。

また、応答推定部８は、その推定したユーザーの応答を音声識別部４Ｂに出力する。また、応答推定部８は、音声合成部３ａから停止位置を受け付けると、音声識別部４Ｂに音声認識処理の開始を指示する。

音声識別部４Ｂは、音声認識処理の開始指示を受け付けると、バッファに格納したユーザーの音声を応答推定部８が推定したユーザーの応答に基づいて認識する。

音声識別部４Ｂは、例えば、応答予測内容が「はい」または「いいえ」であった場合、音声認識処理時の音声認識対象語彙を「はい」と「いいえ」に制限する。なお、音声識別部４Ｂは、他の反映方法を用いて、応答予測内容を音声認識処理に反映してもよい。

音声識別部４Ｂは、音声認識処理の終了後、その音声認識結果を応答作成部６に渡すとともに、音声認識処理の終了を音声合成部３ａに通達して音声合成処理の再開を促す。

音声合成部３ａは、音声認識処理の終了を受け付けると、音声合成処理を再開する。この際、音声合成部３ａがテキスト解析部を備えていれば、音声合成部３ａは、テキストの音声合成の再開位置を、停止位置直前の文頭等といった文法上の切れ目、または、意味内容の切れ目にすることが可能になる。

応答作成部６は、音声識別部４Ｂから音声認識結果を受け取り、また、応答推定部８から入力テキスト（推定した疑問文を含む。）、応答推定位置および応答推定内容を受け取る。応答作成部６は、これらを参照して応答結果（応答データ）を作成する。応答作成部６は、その作成した応答結果を出力部７に渡す。出力部７は、その応答結果を外部に出力する。

図４は、第二の実施形態の動作を説明するためのフローチャートである。以下、図４を参照して第二の実施形態の動作を説明する。

まず、入力部２ａにデータが入力されると、入力部２ａはその入力したデータからテキスト部分を抽出し、その抽出したテキストを音声合成部３ａおよび応答推定部８に送る（ステップＳ４１）。

次に、音声合成部３ａは、テキストの音声合成を開始する（ステップＳ４２）。

次に、音声検出部４ａＡがユーザーからの音声入力を検出すると、音声合成部３ａは、音声合成を停止しその停止位置を応答推定部８に出力する。応答推定部８は、停止位置を受け取ると、ステップＳ４４を実行する。一方、音声検出部４ａＡがユーザーからの音声入力を検出しない場合は、音声合成部３ａは、ステップＳ４５を実行する（ステップＳ４３）。

ステップＳ４４では、応答推定部８は、入力部２ａから受け取ったテキストおよび音声検出時の音声合成停止位置から、ユーザーの応答位置およびその応答内容を推定する。

次に、音声認識部６は、応答推定部８の応答推定内容を参照して、検出したユーザー音声を認識する（ステップＳ４６）。

次に、音声合成部３ａは、まだ、合成音声として出力していないテキストが残っているか判断する（ステップＳ４５）。合成音声として出力していないテキストが残っていれば、ステップＳ４２が実行され、合成音声として出力していないテキストが残っていなければステップＳ４７が実行される。

ステップＳ４７では、応答作成部６は、音声識別部４Ｂの音声認識結果と、応答推定部８から受け付けたテキスト（推定した疑問文を含む）、予測した応答位置および予測した応答内容に基づいて応答結果（応答データ）を作成する。

最後に、出力部７は、応答作成部６が作成した応答結果を出力する（ステップＳ４８）。

本実施の形態（第二の実施形態）によれば、応答推定部８は、音声検出部４ａＡがユーザーの音声を検出すると、音声合成部３ａが既に出力した音声に応じたテキストデータから文末語を検出し、その検出結果に基づいて、テキストデータに含まれる疑問文を推定する。ユーザーの応答に対応する疑問文は、ユーザーの応答の直前に存在する可能性が高いため、ユーザーの応答に対応する疑問文を高い精度で推定することが可能になる。

また、音声合成部３ａは、音声検出部４ａＡがユーザーの音声を検出すると、音声出力を中断する。このため、ユーザーの音声と音声合成部３ａの出力との重なりを少なくでき、音声識別部４Ｂの認識精度を向上することが可能になる。

次に、本発明のさらに他の実施例（第三の実施形態）を説明する。

図５は、第三の実施形態の応答データ出力装置を示したブロック図である。なお、図５において、図３に示したものと同一のものには同一符号を付してある。また、図３に示したものと同一のものの説明は、基本的に省略する。

図５に示した応答データ出力装置は、図３に示した応答データ出力装置に応答予測部９が付加されたものであり、応答予測部９の出力に基づいて音声合成部３ｂの出力が制御される。

図５において、応答データ出力装置は、格納部１と、入力部２ｂと、音声合成部３ｂと、音声認識部４ａと、応答作成部６と、出力部７と、応答推定部８と、応答予測部９とを含む。

入力部２ｂは、テキストで記載された電子メール等のテキストデータを受け付け、その受け付けたテキストデータを、応答推定部８および応答予測部９に出力する。

応答予測部９は、入力部２ｂが受け付けたテキストデータから格納部１が格納する文末語を検出し、その検出結果に基づいて、そのテキストデータに含まれる疑問文を推測し、その推測結果に基づいて音声合成部３ｂの出力を制御する。

音声合成部３ｂは、音声出力部の一例であり、入力部２ａが受け付けたテキストデータに応じた音声を出力する。具体的には、音声合成部３ｂは、応答予測部９が出力するテキストに応じて音声を出力する。

次に、第三の実施形態の動作を説明する。なお、以下では、第二の実施形態の動作と異なる動作を中心に説明する。

入力部２ｂは、外部からテキスト（デキストデータ）を含む電子メール等の入力データを受け取る。入力部２ｂは、入力データを受け取ると、その入力データからテキストを抽出し、その抽出したテキストを応答推定部８および応答予測部９に渡す。

応答予測部９は、入力部２ｂからテキストを受け付けると、その受け付けたテキストを格納部１が格納している文末語を用いて解析して、そのテキストで記載された文の中から疑問文を推定し、ユーザーが応答するであろうと思われる位置を予測する。応答予測部９は、例えば、図１に示した応答予測部５と同様の推定手法で、疑問文を推定し、ユーザーが応答するであろうと思われる位置を予測する。

応答予測部９は、入力部２ｂから受け付けたテキストと、応答があると予測した位置を音声合成部３ｂに渡す。

音声合成部３ｂは、応答予測部５から、テキストおよびそのテキスト中の応答予測位置を受け取ると、そのテキストの音声合成を開始する。

音声合成部３ｂは、テキストの音声合成が応答予測位置に達すると、ユーザーの音声入力を促すために、合成音の一時停止または所定の音を発する等の動作を行う。

また、音声合成部３ｂは、音声検出部４ａＡから音声検出通知を受け付けると、音声合成出力を停止し、また、その停止位置を応答推定部８に渡す。以下、図５に示した応答データ出力装置は、図３に示した応答データ出力装置と同様に動作する。

図６は、第三の実施形態の動作を説明するためのフローチャートである。以下、図６を参照して第三の実施形態の動作を説明する。なお、図６において、図４に示した処理と同様の処理には同一符号を付してある。以下では、図４に示した処理と同様の処理は、基本的に説明を省略する。

まず、入力部２ｂにデータが入力されると、入力部２ｂはその入力したデータからテキスト部分を抽出し、その抽出したテキストを応答予測部９および応答推定部８に送る（ステップＳ６１）。

次に、応答予測部９は、テキスト中の応答位置を予測する（ステップＳ６２）。

次に、音声合成部３ｂは、テキストの音声合成を開始する。この際、音声合成部３ｂは、応答予測部９の応答予測位置で出力を一時停止する等、ユーザーの発声を促すように音声合成する（ステップＳ６３）。以下、図４と同様の処理が行われる。

本実施の形態（第三の実施形態）によれば、応答予測部９は、入力部２ｂが受け付けたテキストデータから格納部１が格納する文末語を検出し、その検出結果に基づいて、そのテキストデータに含まれる疑問文を推測し、その推測結果に基づいて音声合成部３ｂを制御する。このため、ユーザーに応答位置を示唆することが可能になる。

また、応答予測部９は、その推測した疑問文を音声合成部３ｂが出力すると音声合成部３ｂの出力が一時的に停止するように音声合成部３ｂを制御する。このため、疑問文に対する応答をユーザーに促すことが可能になる。

次に、本発明のさらに他の実施例（第四の実施形態）を説明する。

図７は、第四の実施形態の応答データ出力装置を示したブロック図である。なお、図７において、図５に示したものと同一のものには同一符号を付してある。また、図５に示したものと同一のものの説明は、基本的に省略する。

図７に示した応答データ出力装置は、図５の応答予測部９の代わりに応答予測部９ａが用いられ、図５の音声検出部４ａＡの代わりに音声検出部４ｂＡが用いられる。

図７において、応答予測部９ａは、図５の応答予測部９と同様の機能を有する。具体的には、応答予測部９ａは、入力部２ｂが受け付けたテキストデータから格納部１が格納する文末語を検出し、その検出結果に基づいて、そのテキストデータに含まれる疑問文を推測し、その推測結果に基づいて音声合成部３ｂの出力を制御する。

応答予測部９ａは、さらに、その推定した疑問文に対するユーザーの応答を推定する。応答予測部９ａは、その推定したユーザーの応答を音声検出部４ｂＡに出力する。

音声検出部４ｂＡは、応答予測部９ａが予測した応答と類似する音声を検出する。

次に、第四の実施形態の動作を説明する。以下では、第三の実施形態の動作と異なる動作を中心に説明する。なお、図６に示したフローチャートは、第四の実施形態の動作も示す。

応答予測部９ａは、入力部２ｂからテキストを受け付けると、その受け付けたテキストを格納部１が格納している文末語を用いて解析して、そのテキストで記載された文の中から疑問文を推定し、ユーザーが応答するであろうと思われる位置を予測する。応答予測部９は、入力部２ｂから受け付けたテキストと、応答があると予測した位置を音声合成部３ｂに渡す。

さらに、応答予測部９ａは、その推定した疑問文に対するユーザーの応答を推定する。なお、応答予測部９ａは、応答推定部８と同様の手法でユーザーの応答を推定することが望ましい。応答予測部９ａは、その推定したユーザーの応答を音声検出部４ｂＡに出力する。

音声検出部４ｂＡは、例えば、入力するユーザーの音声のパワーを測定して、その測定値が閾値以上であれば、その入力音声を音声入力候補とする。続いて、音声検出部４ｂＡは、その音声入力候補と応答予測部３からの応答予測内容とを比較し、それらの類似度がある閾値以上であれば、音声入力があったと判断する。なお、音声検出部４ｂＡは、他の検出方法で、ユーザーの音声を検出してもよい。

本実施の形態（第四の実施形態）によれば、応答予測部９ａは、推測した疑問文に対するユーザーの応答を予測し、音声検出部４ｂＡは、応答予測部９ａが予測した応答と類似する音声を検出する。このため、音声検出の雑音等による誤動作を防ぐことができる。
（実施例）
次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。

まず、図２を参照して、第一の実施形態の動作を説明する。

入力部２は、入力データとして図８に示すような電子メールを受信すると、その電子メールからテキスト部分である、「△△です」以下を抽出する（ステップＳ２１）。

次に、応答予測部５は、その抽出されたテキスト部分を形態素解析により単語に分割し、品詞と元の文番号（受信した文の番号）とを付与する（図９参照）。

次に、応答予測部５は、分割した単語から、終助詞「か」を探す。

図９に示した例では、終助詞「か」は１１番目の単語として存在する。この１１番目の単語の、元の文番号は２であるため、応答予測部５は、２番目の文「明日１０時の会議に出席できますか？」が疑問文であると推定し、この文の後ろでユーザーの音声による応答があると予測する。

次に、応答予測部５は、２番目の文を構成している単語の中から、「何」「何処」等の時間、数量、場所等を表す単語を検索する。

図９に示した例では、それらの単語が存在しないので、応答予測部５は、２番目の文に対する応答は、否定と肯定の何れかであると判断し、ユーザーの応答内容は、「はい」または「いいえ」であると予測する（ステップＳ２２）。

次に、音声合成部３は、文の先頭から応答を予測した文「明日１０時の会議に出席できますか？」までを音声合成する（ステップＳ２３）。

音声合成部３が応答予測位置までの音声合成を終了すると、音声認識部４は、ユーザーの発声を待って音声認識する。

具体的には、音声認識部４（音声識別部４Ｂ）は、ユーザーの発声した音声と、予めシステム（音声識別部４Ｂ）が所持する単語ＨＭＭ（Hidden Marcov Model）との類似度を比較し、類似度の最も高い単語を音声認識結果とする。

ここでは、応答内容が「はい」または「いいえ」であると予測されているので、音声認識部４（音声識別部４Ｂ）は、「はい」および「いいえ」に対応する単語ＨＭＭの類似度を２倍にして比較する。

なお、文章末までの音声合成が終了しかつ文章末に応答が予測されていない場合は、音声認識部４は、音声認識動作を行わない（ステップＳ２４）。

音声認識終了後、音声合成部３は、音声合成すべきテキストがまだ残っているか判定する。ここでは、「お返事、よろしくお願いします。」がまだ残っているので、音声合成部３は、引き続き音声合成を行う（ステップＳ２５）。

全ての音声合成が終了後、応答作成部６は、返信メールを作成する。応答作成部６は、まず元テキストの先頭に引用を示す記号「＞」を添付する。次に、応答作成部６は、応答を予測した位置に音声認識結果を挿入する。作成した返信メールを図１０に示す（ステップＳ２６）。

最後に、出力部７は、その作成さらた返信メールを送信する。（ステップＳ２７）。

次に、図６を参照して、第四の実施形態の動作を説明する。なお、第四の実施形態には、部分的に、第二の実施形態および第三の実施形態が含まれる。

まず、入力部２ｂは、入力データとして図１１に示すような電子メールを受信すると、その電子メールからテキスト部分である、「○○さんこんにちは」以下を抽出する。（ステップＳ６１）。

次に、応答予測部９ａは、その抽出されたテキスト部分を形態素解析により単語に分割し、品詞と元の文番号とを付与する（図１２参照）。

次に、応答予測部９ａは、分割した単語から、終助詞「か」を探す。

図１２に示した例では、終助詞「か」の、元の文番号は３であるため、応答予測部９ａは、３番目の文「以下の会議に出席できますか？」が疑問文であると推定し、この文の後ろでユーザーの音声による応答があると予測する。

次に、応答予測部９ａは、３番目の文を構成している単語の中から、「何」「何処」等の時間、数量、場所等を表す単語を検索する。

図１２に示した例では、それらの単語が存在しないので、応答予測部９ａは、３番目の文に対する応答は、否定と肯定の何れかであると判断し、ユーザーの応答内容は、「はい」または「いいえ」であると予測する（ステップＳ６２）。

次に、音声合成部３ｂは、文の先頭から終端までの音声合成を開始する。この際、音声合成部３ｂは、応答予測部９ａによって応答が予測された位置では、ユーザーが喋りやすいように、通常の音声出力より１秒程度余分に無音声出力期間を設ける（ステップＳ６３）。

音声合成部３ｂが音声合成している間、音声認識部４ｂは、ユーザーの音声の検出を行う。音声認識部４ｂは、雑音等による誤動作を防ぐために音声検出を以下の手順で行う。

第１に、音声認識部４ｂは、ある閾値（所定値）以上の大きさの音（ユーザーの音声）を検出した際、その音を入力音とする。なお、音声認識部４ｂは、音声合成によって音声応答の予測位置以降を読み上げている際には、その閾値を所定値より低くし、それ以外の際には閾値をその所定値より高くする。

第２に、音声認識部４ｂは、その入力音と応答予測部９ａが予測した音声応答内容「はい」「いいえ」との類似度を比較する。それらの類似度がある閾値以上の場合は、音声認識部４ｂは、音声を検出したと判断する。

音声認識部４ｂは、上記のような方法で音声検出を行い、音声合成部３ｂは音声が検出されるまで音声合成を繰り返す（ステップＳ４６）。

このような方法を用いることで、ユーザーは、例えば、日時、場所等の会議に必要な情報を聞いてから応答を入力することが可能となり、また、音声認識部４ｂは、雑音等による誤動作も防ぐことが可能になる。

音声合成が「以上」の直後まで流れたときに、音声認識部４ｂが音声を検出したとすると、応答推定部８は、まず、テキストの中から音声検出位置に最も近い文末を探す。

図１１に示した例では、「場所：××会議室」がそれに相当するので、応答推定部８は、「場所：××会議室」を応答推定位置とする。

次に、応答推定部８は、「場所：××会議室」の文から、終助詞「か」を探す。この場合、終助詞「か」は存在しないので、応答推定部８は、「場所：××会議室」文だけでは疑問文を構成できないと判断する。

その場合、応答推定部８は、終助詞「か」の検索対象範囲を、既に音声出力済みのテキストへ広げる。このとき、応答推定部８は、出力して間もないテキスト文から最も時間的に前に出力したテキスト文へ、終助詞「か」の検索対象範囲を広げる。

応答推定部８は、「場所：××会議室」から終助詞「か」が見つかった文までの文章で疑問文章が構成されていると推定する。図１１に示す例では、応答推定部８は、疑問文が「以下の」〜「××会議室」までの３文で構成されていると推定する。

次に、応答推定部８は、その推定した疑問文章から日時、場所および動作を現す重要語を抽出する。

図１１に示す例では、応答推定部８は、「会議」「出席」「５月１０日」「１４時」「××会議室」を抽出する。例えば、応答推定部８は、重要単語辞書を予め格納しておき、形態素解析結果から重要単語を検索することで、重要語の抽出を行う。応答推定部８は、これら重要語を応答推定内容とする（ステップＳ４４）。

次に、音声認識部４ｂは、音声認識をする。音声認識部４ｂは、ユーザーの発声した音声と、予めシステムが所持する単語ＨＭＭとの類似度を比較し、類似度の最も高い単語列を音声認識結果とする。ここでは、応答内容が「会議」「出席」「５月１０日」「１４時」「××会議室」であると推定されているので、音声認識部６は、「会議」「出席」「５月１０日」「１４時」「××会議室」に対応する単語ＨＭＭの類似度を２倍にして比較する（ステップＳ４６）。

次に、音声合成部３ｂは、音声合成すべきテキストがまだ残っているか判定する。ここでは、「お返事よろしくお願いします。」がまだ残っているので、音声合成部３ｂは、引き続き音声合成を行う（ステップＳ４５）。

全ての音声合成が終了後、応答作成部６は、返信メールを作成する。応答作成部６は、音声認識結果が「出席します」であった場合、これを仮返信メールとする。次に、応答作成部６は、先の応答推定内容のうち、仮返信メールに存在しない語を適切な助詞を補って追加する。なお、適切な助詞は、先の重要単語辞書に付加情報として所持されている。

ここでは、応答推定内容「会議」「出席」「５月１０日」「１４時」「××会議室」のうち、「出席」以外は存在しないので、応答作成部６は、それらを補って、「××会議室の５月１０日１４時の会議に出席します」とする（ステップＳ４７）。このため、ユーザーが曖昧な発声をしても、明確な返信が可能である。

最後に、出力部７は、その作成された返信メールを送信する（ステップＳ４８）。

上記各実施形態によれば、テキストデータが入力されると、テキストデータ内の疑問文が文末語に基づいて推定され、その推定された疑問文と音声認識結果とに基づいて応答データが生成される。このため、特殊な文字列を含まないテキストに対しても、その入力データに対する応答データを出力することが可能になる。

なお、格納部１を除く本応答データ出力装置は、メモリに記録されているプログラムを読み取り、その読み取ったプログラムを実行するコンピュータによって実現されてもよい。なお、このプログラムは、本応答データ出力装置が実行する応答データ出力方法をコンピュータに実行させる。

また、本発明は、音声を用いて返信を作成できる電子メール送受信装置や、音声をインターフェイスとするテレフォンショッピングといった用途にも適用可能である。

以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。

例えば、入力部２、入力部２ａまたは入力部２ｂが受け取るデータは、電子メールに限らず、テキストデータを含んでいればよい。入力部２、入力部２ａまたは入力部２ｂが受け取るデータは、例えは、画像等を含むＨＴＭＬのように、テキストあるいは機械的にテキストに変換可能なコンテンツを含むデータでもよい。

本発明の第一の実施形態を示すブロック図である。 第一の実施形態の動作を説明するためのフローチャートである。 本発明の第二の実施形態を示すブロック図である。 第二の実施形態の動作を説明するためのフローチャートである。 本発明の第三の実施形態を示すブロック図である。 第三の実施形態の動作を説明するためのフローチャートである。 本発明の第四の実施形態を示すブロック図である。 本発明の動作の一例を説明するための図である。 本発明の動作の一例を説明するための図である。 本発明の動作の一例を説明するための図である。 本発明の動作の一例を説明するための図である。 本発明の動作の一例を説明するための図である。 従来例の構成を示すブロック図である。

符号の説明

１ 格納部
２、２ａ、２ｂ 入力部
３、３ａ、３ｂ 音声合成部
４、４ａ、４ｂ 音声認識部
４Ａ、４ａＡ、４ｂＡ 音声検出部
４Ｂ 音声識別部
５ 応答予測部
６ 応答作成部
７ 出力部
８ 応答推定部
９、９ａ 応答予測部

Claims (12)

1. 疑問文の文末に用いられる文末語を格納する格納部と、
   テキストデータを受け付けるテキストデータ入力部と、
   前記入力部が受け付けたテキストデータに応じた音声を出力する音声出力部と、
   ユーザーが発する音声を入力し、その入力された音声を認識する音声認識部と、
   前記テキストデータ入力部が受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する推定部と、
   前記推定部が推定した疑問文と、前記音声認識部の認識結果と、に基づいて応答データを生成する生成部と、
   前記生成部が生成した応答データを出力する出力部と、を含む応答データ出力装置。
2. 請求項１に記載の応答データ出力装置において、
   前記推定部は、前記推定した疑問文に対するユーザーの応答を推定し、
   前記音声認識部は、前記推定部が推定したユーザーの応答に基づいて前記ユーザーの音声を認識する、応答データ出力装置。
3. 請求項１または２に記載の応答データ出力装置において、
   前記推定部は、前記推定した疑問文を前記音声出力部が出力すると前記音声出力部の出力が停止するように前記音声出力部を制御する、応答データ出力装置。
4. 請求項１または２に記載の応答データ出力装置において、
   前記音声認識部は、前記ユーザーの音声を検出する音声検出部と、前記音声検出部が検出したユーザーの音声を認識する音声識別部と、を含み、
   前記推定部は、前記音声検出部が前記ユーザーの音声を検出すると、前記音声出力部が既に出力した音声に応じたテキストデータから前記文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する、応答データ出力装置。
5. 請求項４に記載の応答データ出力装置において、
   前記音声出力部は、前記音声検出部が前記ユーザーの音声を検出すると、出力を中断する、応答データ出力装置。
6. 請求項４または５に記載の応答データ出力装置において、
   前記入力部が受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推測し、その推測結果に基づいて前記音声出力部を制御する応答予測部をさらに含む応答データ出力装置。
7. 請求項６に記載の応答データ出力装置において、
   前記応答予測部は、前記推測した疑問文を前記音声出力部が出力すると前記音声出力部の出力が一時的に停止するように前記音声出力部を制御する、応答データ出力装置。
8. 請求項６または７に記載の応答データ出力装置において、
   前記応答予測部は、前記推測した疑問文に対するユーザーの応答を予測し、
   前記音声検出部は、前記応答予測部が予測した応答と類似する音声を検出する、応答データ出力装置。
9. 疑問文の文末に用いられる文末語を格納する格納部を含む応答データ出力装置が行う応答データ出力方法であって、
   テキストデータを受け付ける入力ステップと、
   前記受け付けたテキストデータに応じた音声を出力する音声出力ステップと、
   ユーザーが発する音声を入力し、その入力された音声を認識する音声認識ステップと、
   前記受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する推定ステップと、
   前記推定した疑問文と、前記音声認識結果と、に基づいて応答データを生成する生成ステップと、
   前記応答データを出力する出力ステップと、を含む応答データ出力方法。
10. 請求項９に記載の応答データ出力方法において、
    前記推定ステップは、前記推定した疑問文に対するユーザーの応答を推定し、
    前記音声認識ステップは、前記推定したユーザーの応答に基づいて前記ユーザーの音声を認識する、応答データ出力方法。
11. 疑問文の文末に用いられる文末語を格納する格納部と接続するコンピュータに応答データ出力処理を実行させるプログラムであって、
    テキストデータを受け付ける入力処理と、
    前記受け付けたテキストデータに応じた音声を出力する音声出力処理と、
    ユーザーが発する音声を入力し、その入力された音声を認識する音声認識処理と、
    前記受け付けたテキストデータから前記格納部が格納する文末語を検出し、その検出結果に基づいて、前記テキストデータに含まれる疑問文を推定する推定処理と、
    前記推定した疑問文と、前記音声認識結果と、に基づいて応答データを生成する生成処理と、
    前記応答データを出力する出力処理と、を含む応答データ出力処理を前記コンピュータに実行させるプログラム。
12. 請求項１１に記載のプログラムにおいて、
    前記推定処理は、前記推定した疑問文に対するユーザーの応答を推定し、
    前記音声認識処理は、前記推定したユーザーの応答に基づいて前記ユーザーの音声を認識する、プログラム。

Images