JP4079275B2 - 会話支援装置 - Google Patents

Description

本発明は、質問側と、応答側との会話を支援する会話支援装置に関する。

今日では、国際的な交通網の整備が進み、外国への渡航がきわめて容易になり、種々の国籍の外国人と会話をする機会も増大しつつある。こうした現状の下、会話に利用される外国語の種類も増大しており、こうした外国語会話を支援する装置が要望されている。

特許文献１には、外国語の習得を支援するために、外国語の問題を出題する電子辞書が開示されている。また、文章を文法的に解析して翻訳を行う、いわゆる機械翻訳の研究も進められている。
特開２００４−２９４９９３号公報

しかしながら、上記従来の電子辞書や機械翻訳技術では、会話が円滑に支援されるとは限らない。例えば電子辞書では、話そうとする内容に未知の単語がある場合には有用であるが、会話として文を組み立てる際には有用でない。また、相手方の話す単語に未知のものがある場合、その綴りが不明であると、その意味を引くことができない。機械翻訳の場合、会話として文を組み立てることはできるが、相手方の話す内容が聞き取れない場合に翻訳をさせることができないという問題点がある。

このように、上記従来の電子辞書や機械翻訳技術では、外国語会話における利便性が高いとはいえないという問題点があった。また、この事情は外国語の会話に限られない。

本発明は上記実情に鑑みて為されたもので、例えば外国語会話における利便性を向上できる会話支援装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、会話支援装置において、発話文を識別する発話文識別情報と、前記発話文に対する想定応答として列挙された応答文リストと、を関連付けた応答文テーブルを記憶するデータベースにアクセス可能に接続され、入力された発話文の前記発話文識別情報に関連づけられている、前記応答文リストを取得する応答文取得部と、前記応答文リストに含まれる応答文を列挙して表示する応答文表示部と、を含むことを特徴としている。

ここで、前記応答文テーブルにはさらに、発話文識別情報に関連付けて肯定または否定を表す単語による応答の可否を示す特定応答可否情報が記憶されており、前記入力された発話文の前記質問識別情報に関連づけられている特定応答可否情報を参照して、肯定または否定を表す単語による応答が可能である場合に、前記取得した応答文リストに、肯定または否定の単語を追加する応答文追加部、をさらに含んでもよい。

さらに、前記データベースは、発話文を識別する発話文識別情報に対して、発話者側への指示と応答者側への指示とを関連付けた指示テーブルを記憶しており、入力された発話文の前記質問識別情報に関連付けられた発話者側への指示を提示し、さらに応答者側への指示を提示する指示提示部、を含んでもよい。

また、前記データベースは、指示語に対応する被指示単語リストを記憶しており、前記入力された発話文に、指示語が含まれている場合に、前記被指示単語リストを提示して質問側利用者に提示するリスト表示部、をさらに含んでもよい。

さらに本発明の一態様に係る会話支援方法は、発話文を識別する発話文識別情報と、前記発話文に対する想定応答として列挙された応答文リストとを関連付けた応答文テーブルを記憶するデータベースにアクセス可能なコンピュータを用い、入力された発話文の前記発話文識別情報に関連づけられている、前記応答文リストを取得し、前記応答文リストに含まれる応答文を列挙して表示する、ことを特徴としている。

また、本発明の別の態様に係るプログラムは、発話文を識別する発話文識別情報と、前記発話文に対する想定応答として列挙された応答文リストとを関連付けた応答文テーブルを記憶するデータベースにアクセス可能なコンピュータに、入力された発話文の前記発話文識別情報に関連づけられている、前記応答文リストを取得する手順、及び前記応答文リストに含まれる応答文を列挙して表示する手順、を実行させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る会話支援装置は、例えば携帯用ゲーム機を用いて実現できる。この携帯用ゲーム機は、図１に示すように、制御部１１と、インタフェースユニット１２と、操作ユニット１３と、無線通信モジュール１４と、ディスクドライブ１５と、記憶部１６と、電源制御部１７と、画像処理ユニット１８と、ディスプレイ１９と、音声処理ユニット２０と、音声出力部２１と、音声入力部２２とを含んで構成されている。

ここで操作ユニット１３、無線通信モジュール１４、ディスクドライブ１５、記憶部１６及び音声入力部２２は、インタフェースユニット１２を介して制御部１１に接続されている。また、電源制御部１７、画像処理ユニット１８、及び音声処理ユニット２０は、制御部１１に接続されており、画像処理ユニット１８には、さらにディスプレイ１９が接続されている。また、音声処理ユニット２０には音声出力部２１が接続されている。

制御部１１は、ＭＰＵ（Micro Processing Unit）等であり、ディスクドライブ１５にセットされた外部記憶媒体Ｍ、又は記憶部１６に格納されたプログラムに従って動作する。本実施の形態では、この携帯用ゲーム機により会話支援装置を実現するためのプログラムが、この外部記憶媒体Ｍに格納されて供給され、制御部１１は、当該外部記憶媒体Ｍからプログラムを読み出して実行する。

また、この外部記憶媒体Ｍには、会話支援装置としての処理において利用されるデータベースが格納されている。この制御部１１の処理の内容や、データベースの内容については、後に詳しく述べる。

インタフェースユニット１２は、制御部１１が出力する信号を、制御部１１から入力される指示に従って、無線通信モジュール１４、ディスクドライブ１５、又は記憶部１６のいずれかに振り分けて出力する。また、このインタフェースユニット１２は、操作ユニット１３、無線通信モジュール１４、ディスクドライブ１５、記憶部１６、又は音声入力部２２から制御部１１への信号を、それぞれ調停しながら制御部１１に出力している。

操作ユニット１３は、ゲーム用操作ボタンや、設定用ボタンなどを含む。この操作ユニット１３に含まれる各種ボタン等を操作することで、プレイヤは、ゲームの操作を行うことになる。操作ユニット１３は、プレイヤの操作の内容を表す信号を、インタフェースユニット１２に出力する。

無線通信モジュール１４は、例えば８０２．１１ｂまたはｇ等として規定された無線通信機器であり、制御部１１から入力される指示に従って、送信対象となるデータを無線にて放射して送信する。また、アンテナ（不図示）に到来した信号を受信して、制御部１１に出力する。

ディスクドライブ１５は、制御部１１から入力される指示により、セットされた外部記憶媒体Ｍからデータを読み出して、制御部１１に出力する。記憶部１６は、ＲＡＭやＲＯＭなどの記憶素子であり、制御部１１によって実行されるプログラムを保持し、また、制御部１１のワークメモリとしても動作する。

電源制御部１７は、各部に電源を供給する。画像処理ユニット１８は、制御部１１から入力される指示に従って、ディスプレイ１９に表示するべき画面を描画し、当該描画した画面を表示するための映像信号をディスプレイ１９に出力する。ディスプレイ１９は、例えば液晶ディスプレイであり、画像処理ユニット１８から入力される映像信号に基づいて液晶を制御して、映像を表示する。

音声処理ユニット２０は、制御部１１から入力される指示に従って、音声を合成し、合成した音声の信号を音声出力部２１に出力する。ここで音声は、例えばビープ音や楽器音、さらには、人の声など種々の音を表すものである。音声出力部２１は、例えばスピーカやヘッドフォン端子などであり、音声処理ユニット２０から入力される音声の信号に基づいてスピーカを鳴動し、または、当該音声の信号をヘッドフォン端子に出力する。

音声入力部２２は、例えばマイクロフォンであり、周辺の音声を電気信号である音声信号に変換して出力する。

［データベースの内容］
本実施の形態では、データベースには、発話文データベースと、応答文データベースと、応答文テーブルと、被指示単語リストとが少なくとも格納されている。ここで、各データベースを以下に例示する。

（１）発話文データベース
まず、発話文データベースは、図２に示すように、日本語、英語…といった各国語ごとの発話文実体テーブルグループＧを含む。発話文実体テーブルグループＧには、さらに、「空港・機内」、「買い物」…などといったシーン識別子ごとに、発話文実体テーブルＴが含まれている。

この発話文実体テーブルでは、発話文識別子に対して発話文の実体と音声データとキーワードとが関連づけて記録されている。ここで発話文の実体とは、現実に発話されるべき文を記述した文字列であり、また、音声データは、この文字列を各国語で発声したときの音声を記録したデータである。この音声データは、例えばＭＰ３やＡＩＦＦなど各種音声データのフォーマットで記録しておく。さらにキーワードは、発話文の受け入れ方法として音声入力をする場合に必要となるものであり、音声入力をしない場合は、この情報は必ずしも必要でない。具体的な例として、このキーワードは、音声認識時に比較の対象となる音素データで構わない。また、このキーワードは、例えば発話文の実体の一部であってもよい。つまり、発話文の実体が、
「この店の定休日はいつですか？」
であるとすると、キーワードとしては、
「店」、「定休日」、「いつ」
などが挙げられる。さらに、キーワードとしては、この発話文に関連して発声される可能性のある語であってもよい。例えば、上述の「この店の定休日はいつですか？」の例でいえば、「定休日」の類語としての、
「休み」、「閉まっている日」、
などといった表現をキーワードとして含んでもよい。

なお、各発話文実体テーブルＴは、それぞれのシーン識別子によって識別されるシーンごとに利用されると想定される発話文に係る情報を予め登録しておく。

（２）応答文データベース
応答文データベースは、この発話文データベースと同様のものであり、日本語、英語…といった各国語ごとの応答文実体テーブルを含む。応答文実体テーブルでは、応答文識別子に対して応答文の実体が関連づけて記録されている。ここで応答文の実体とは、現実に発話されるべき文を記述した文字列である。また、本実施の形態では、日本語、英語…といった各国語ごとに、応答文に対応する音声データ（応答音声データ）と、当該応答音声データの識別子とを関連づけたテーブル（応答音声データテーブル）をデータベースに記録しておいてもよい。この場合、応答文実体テーブルには、各応答文識別子に対応する応答音声データの識別子を関連づけて含めてもよい（図３）。

（３）応答文テーブル
応答文テーブルは、図４に示すように、発話文識別情報としての発話文識別子と、それによって識別される発話文に対する想定応答として予め列挙された応答文リストと、肯定または否定を表す単語による応答の可否を示す特定応答可否情報とを関連づけたものである。

具体的な例として、発話文、
「この店の定休日はいつですか？」
に対する発話文識別子には、
「日曜です」や「いつでも開いています」、などといった応答文のリストが関連づけられる。本実施の形態では、応答文のリストとして、応答文そのものではなく、応答文識別子が関連づけられている。

さらに、上記例の「この店の定休日はいつですか？」には、「はい」、「いいえ」といった、肯定または否定を表す単語による応答ができないので、特定応答可否情報として、当該応答が不能である旨の情報（「Ｎ」）が関連づけられている。

例えば別の例として、「はい」や「いいえ」で答えることのできる発話文、
「もう少し安くなりませんか？」
に対する発話文識別子には、
「だめです」や「店長に相談してきます」などといった応答文のリスト（それぞれの応答文に対応する応答文識別子）が関連づけられるとともに、特定応答可否情報として、肯定または否定を表す単語による応答が可能である旨の情報（「Ｙ」）が関連づけられている。

（４）被指示単語リスト
被指示単語リストは、図５に示すように、「空港・機内」、「買物」…などといった、発話文データベースにおけるのと同じシーン識別子ごとに、各シーンで指示語によって表現される可能性のあるものに対応する単語が列挙されて登録される。なお、各単語には、各国語での表現が文字列として互いに関連付けて保持されている。

なお、ここで指示語は「これ」、「あれ」、「それ」のような語で代替される単語である。また、被指示単語は、指示語で表現され得る単語である。例えば「ホテル」のシーンにおいては、ホテル内の設備として、「テレビ」、「電話」、「インターネット接続用端子」…などといった設備が、指示語で表現され得るので、これらの単語を被指示単語リストに登録しておく。

（５）データベースの格納
本実施の形態では、これらのデータベースが、外部記憶媒体Ｍに格納され、ディスクドライブ１５を介して、制御部１１からアクセス可能であるようになっている。

［発話文の受け入れ］
本実施の形態の会話支援装置は、会話の当事者が交互に操作して会話を成立させる。一般的に会話を開始するための発話をする側（発話者側）と、それに対する応答を行う側（応答者側）との間で交互に操作を行うこととなる。発話者側は予め、自分の利用する言語と、応答者の利用する言語とを選択する指示操作を行っておく。制御部１１は、当該指示操作を受けて、発話者側言語を表す情報（質問側言語情報）と、応答者側言語を表す情報（応答側言語情報）とを記憶部１６に格納する。

また、発話者は、利用する場面（シーン）を選択しておく。この選択は、発話文データベースにおけるシーン識別子に対応するシーンのいずれかを選択するものとする。制御部１１は、発話者の選択したシーンを特定する、シーン識別情報を記憶部１６に格納する。

本実施の形態において、制御部１１が会話支援装置として行う処理は、機能的には、図６に示すように、発話文受入部３１と、発話文候補選択部３２と、発話文候補提示部３３と、応答文候補検索部３４と、応答文候補追加部３５と、応答文候補提示部３６と、応答出力部３７とを含んで構成されている。

発話者は、例えば音声入力部２２に対して発声して、発話文を入力する。発話文受入部３１は、音声入力部２２から入力される音声信号と、発話文データベースに登録されているキーワードに係る音素のデータとを比較して、入力された発話文に含まれているキーワードを検出する。この処理は、音声認識の処理として一般的な処理をそのまま利用できるので、ここでの詳しい説明を省略する。

なお、発話文受入部３１は、操作ユニット１３を介して、文字列のデータとして発話文の入力を受け入れてもよい。この場合も発話文受入部３１は、当該文字列のデータとして入力された発話文に含まれているキーワードを検出する。この処理も、文字列の一致を検索する処理として広く知られているので、その詳細な説明を省略する。

そして発話文候補選択部３２は、当該検出されたキーワードを受けて、選択された言語（質問側言語情報に対応する言語）及び選択されたシーンに対応する発話文実体テーブルを参照して、発話文ごとに、関連づけられているキーワードのうち、検出されたキーワードがいくつあるかをカウントする。

例えば、
「この店、いつがお休みなのかな」
といった会話調の質問が入力された場合、制御部１１は、ここから、「店」、「いつ」、「休み」のキーワードを検出する。このとき、
「この店の定休日はいつですか？」
との発話文に対して、「店」、「定休日」、「休み」、「いつ」といったキーワードが関連づけられている場合、当該「この店の定休日はいつですか？」の発話文については、カウントは「３」ということになる。

また、
「この店は、日本にもありますか？」
との発話文に対して、「店」、「日本」、「ある」といったキーワードが関連づけられている場合、上記質問から検出されたキーワードのうち「店」が一致するのみであるので、カウントは「１」となる。

また、ここでは、検出したキーワードの数によって発話文候補を選択する例について述べたが、文に現れる発音内容のうち、認識しやすい一部をキーワードとして設定しておき、当該キーワードが検出されるか否かによって発話文候補を選択してもよい。すなわち、この場合は、例えば「バーはどこですか」のような発話文候補に対するキーワードとして、例えば「バー」、「酒飲める（can drink）」、「バーどこ（where’s the bar）」のようなキーワードを割り当てておく。

発話文受入部３１は、操作ユニット１３を介して、文字列のデータとして発話文の入力を受け入れ、当該文字列のデータとして入力された発話文に含まれているキーワードを検出する。そして発話文候補選択部３２は、当該検出されたキーワードを受けて、選択された言語（質問側言語情報に対応する言語）及び選択されたシーンに対応する発話文実体テーブルを参照して、発話文ごとに、関連づけられているキーワードと比較し、検出したキーワードに一致する発話文を特定する情報を、発話文候補提示部３３に出力する。

［発話文候補の提示］
発話文候補提示部３３は、発話文候補選択部３２から入力される情報に基づいて、発話文を選択し、選択した発話文を注目発話文として、当該注目発話文の文字列を、発話文実体テーブルから読み出す。そして当該読み出した文字列を、ディスプレイ１９に表示するよう、画像処理ユニット１８に指示する。

例えば、発話文候補選択部３２が、キーワードのカウント数を出力する場合、カウントが最大となっている発話文を注目発話文として選択する。この例の場合、「この店、いつがお休みなのかな」の質問に対して、「この店の定休日はいつですか？」の発話文についてカウントが最大となるとすると、この
「この店の定休日はいつですか？」
という発話文が、ディスプレイ１９に表示される。

同様に、検出したキーワードに関連づけられた発話文を見いだして、当該見いだした発話文を特定する情報が出力される場合は、当該情報によって特定される発話文を注目発話文として選択する。この例では、例えば「お酒飲めるところ、ないかな」の質問に対して、「酒飲める」のキーワードが検出され、「バーはどこですか」の発話文が見いだされて、この「バーはどこですか」の発話文を特定する情報が出力される。そこで、この
「バーはどこですか」
という発話文が、ディスプレイ１９に表示される。

また発話文候補提示部３３は、このとき、発話者に対して、選択された注目発話文が、質問の意図に沿ったものであるか否かを選択させる。ここで発話者が、質問の意図に沿ったものでないとの指示操作を行った場合、制御部１１は、処理を中断して、質問の入力を待機する。

一方発話者が、注目発話文が、意図に沿ったものであるとの指示操作を行った場合、制御部１１は、応答者側言語情報を参照して、応答者側の言語に対応して、注目発話文に関連づけられている音声情報を読み出す。そして当該音声情報を音声処理ユニットに出力する。例えば、応答者側言語として「英語」が設定されている場合は、「この店の定休日はいつですか？」との発話文に対応する英語の音声が再生され、スピーカーを介して鳴動される。

［指示語に係る処理］
なお、発話文候補提示部３３は、発話文受入部３１が検出したキーワードに、「これ」、「あれ」、「それ」といった、予め定められた指示語が含まれている場合、この指示語に関連する処理を実行してもよい。なお、この指示語も各国語ごとに予め定めておく。

この処理では、発話文候補提示部３３は、予め定められた指示語が、検出されたキーワードに含まれている場合に、選択されているシーンのシーン識別子に対応する被指示単語リストを、ディスプレイ１９に表示させる。この処理は、例えば利用者が注目発話文が意図通りのものであるとの指示操作をした後で行ってもよい。

具体的な例を挙げると、例えば利用者がシーンとして「ホテル」を選択しているとき、
「これ、ありますか？」
との質問を入力すると、「これ」、「ありますか」がそれぞれキーワードとして検出され、「これがありますか？」のような発話文が注目発話文として選択されることになる。

このとき発話文候補提示部３３は、「ホテル」のシーン識別子に対応する被指示単語リストとして、データベースに格納されている、単語の一覧をディスプレイ１９に表示する。これにより、ディスプレイ１９には、ホテル内の設備として、「テレビ」、「電話」、「インターネット接続用端子」…などの単語が列挙される。発話者は、このうちの一つを選択する指示操作を行う。

この場合、制御部１１は、応答者側言語情報を参照して、応答者側の言語に対応して、注目発話文に関連づけられている音声情報を読み出す。そして当該音声情報を音声処理ユニット２０に出力するとともに、ディスプレイ１９に、選択された被指示単語のうち、応答者側の言語に対応する単語が表示される。

例えば、上記ホテル内の例で、利用者が「テレビ」を選択した場合、スピーカからは、「これがありますか？」との発話文に対応する、応答者側言語の音声が鳴動されるとともに、ディスプレイには、応答者側言語で、「テレビ」に対応する単語が表示される。

［複数候補］
さらに発話文候補提示部３３は、カウントが最大となっている発話文や、検出したキーワードに一致する発話文など、選択するべき発話文の候補が複数ある場合に、当該複数の候補の発話文の一覧を提示して、発話者に選択させてもよい。

さらに、このようにキーワードに基づく選択において一斉に選択されやすい複数の発話文（以下、類似発話文グループと呼ぶ）に対して、予めデータベースの発話文実体テーブル上で、類似発話文グループごとに固有のグループ識別子を関連付けてもよい。

例えば、「空港・機内」のシーンにおいて、
「通路側の席に移りたいのですが」
「窓側の席に移りたいのですが」
「他の空いている席に移りたいのですが」
の３つの発話文では、いずれも「席」、「移りたい」といったキーワードが関連付けられ、このため、検出されたキーワードに係るカウントが同数となりやすい。そこで、これらに互いに共通のグループ識別子を関連付けておく。

また、データベースには、グループ識別子ごとに、各国語での反対質問文と選択肢と各選択肢ごとの発話文識別子とを関連付けたテーブル（反対質問文テーブル）を記録しておく（図７）。

そして発話文候補提示部３３は、カウントが最大となっている発話文が複数ある場合に、各発話文に関連付けられたグループ識別子を参照し、それらが互いに共通であるか否かを調べる。ここで互いに共通であると、発話文候補提示部３３は、当該グループ識別子に関連付けて、反対質問文テーブルに登録されている反対質問文及び選択肢のうち、発話者側言語に対応するものを選択的に読み出して、当該反対質問文をディスプレイ１９に表示し、及び／又は、反対質問文の音声を音声処理ユニット２０に出力して鳴動させる。また、選択肢をディスプレイ１９に表示して、発話者に選択させる。

例えば発話者が、
「席を移りたいんだけど」
といった音声で質問を入力すると、「席」、「移りたい」とのキーワードが検出される。そして、これら検出されたキーワードに対するカウントが、上述の例のように、
「通路側の席に移りたいのですが」
「窓側の席に移りたいのですが」
「他の空いている席に移りたいのですが」
の３つの発話文のすべてについて「２」となって最大となる。

発話文候補提示部３３は、これらの発話文に関連付けられたグループ識別子が、すべて同一（共通）であるので、このグループ識別子に関連付けられた反対質問文と選択肢とを読み出す。このとき、発話者側言語が日本語であれば、日本語の反対質問文と選択肢とが読み出される。

例えば、この反対質問文は、「どの席に移りたい？」のように、発話文候補に合わせて予め作文しておく。また、各選択肢は、上記３つの発話文に対応して、「通路側」、「窓側」、「他の空いている席」、といったように表示する。

発話者がこれら選択肢のうちから、一つを選択する指示操作を行うと、発話文候補提示部３３は、当該選択された選択肢に対応づけて登録されている発話文識別子を読み出す。また、発話文候補提示部３３は、応答者側言語情報を参照して、当該読み出した発話文識別子に関連付けられ、かつ応答者側の言語に対応する音声情報を読み出す。そして当該音声情報を音声処理ユニットに出力する。

これにより例えば、上記選択肢から「通路側」を発話者が選択したときに、
「通路側の席に移りたいのですが」
の発話文に対応する音声情報が鳴動される。

［感情レベル表現］
さらに発話文候補提示部３３は、発話者の指示により発話文を強調する表現を追加してもよい。この場合、外部記憶媒体Ｍに格納するデータベースに、強調表現単語リストとして、各国語での強調表現の単語と、対応する音声のデータとを関連付けて格納しておく。この場合において、音声の表現としては、同じ「すごく…（extremely）」を意味する単語であっても、「すごく、美味しい」のように陽気に、あるいは肯定的に表現する場合と、（体調などが）「すごく、悪い」のように陰気に、否定的に表現する場合とでは異なる。そこで、この強調表現単語リストでは、図８に示すように、各国語ごとに、強調表現の単語と、対応する音声データとして、肯定的な場合の音声データと、否定的な場合の音声データとをそれぞれ関連付けておく。図８では、強調表現の単語として、「ちょっと」、「まあまあ」、「かなり」、「すごく」の４種類が示されている。

発話文候補提示部３３は、注目発話文が所望のものであるか否かを入力させる画面において、これら強調表現を選択させる。なお、利用者が強調表現を選択しない場合は、既に説明した動作を行う。また、強調表現を選択する際には、まず、肯定的か、否定的かを選択させ、さらに、データベースに登録されている強調表現の単語の一覧を提示して、どの強調表現を用いるかを選択させる。

これによると、例えば注目発話文が「おいしいです。」の場合に、発話者が、肯定的で、かつ、「すごく」を選択すると、「おいしいです」に対応する応答者側言語の文が発声されるとともに、肯定的な表現での、「すごく」に対応する応答者側言語の音声データに基づく音声の鳴動が行われる。

なお、発話文テーブルにおいて、各発話文について、こうした強調表現が可能であるか否かを表すフラグを関連付けておき、強調表現が可能であるとのフラグに関連付けられた発話文が注目発話文となっている場合にのみ、上記処理を行うようにしてもよい。

もっとも、例えば「テレビはありますか？」との発話文について、「とても」との強調表現を入れることで、コミカルな会話となり、当事者間の雰囲気をよりよい方向に誘導することもできるようになるので、文法的ないし意味論的に強調表現が可能であるか否かに関わらず、強調表現の単語を選択可能としておいてもよい。

［応答文の提示］
発話文候補提示部３３が発話文に対応する音声情報を鳴動する等の処理を完了すると、応答文候補検索部３４の処理が開始される。

応答文候補検索部３４は、発話文候補提示部３３において鳴動された発話文の発話文識別子の入力を受け、データベースを参照して、当該発話文識別子に関連付けて、応答文テーブルに記録されている応答文リストのうち、応答者側言語に対応するものを取得する。

応答文候補追加部３５は、発話文候補提示部３３において鳴動された発話文の発話文識別子の入力を受け、データベースを参照して、当該発話文識別子に関連付けられた特定応答可否情報を取得する。そして、当該特定応答可否情報が、肯定または否定を表す単語による応答が可能である旨の情報（「Ｙ」）である場合は、応答文候補検索部３４が取得した応答文リストに、応答者側言語における、肯定、否定を表す単語を追加して出力する。ここで肯定、否定を表す単語とは、例えば英語であれば、「Yes」や「No」といった単語である。

また、応答文候補追加部３５は、取得した特定応答可否情報が、肯定または否定を表す単語による応答が不能である旨の情報（「Ｎ」）である場合は、応答文候補検索部３４が取得した応答文リストをそのまま出力する。

応答文候補提示部３６は、応答文候補追加部３５が出力する応答文リストに基づいて、応答文の文字列を応答文データベースから取得し、応答文の文字列をディスプレイ１９に表示させる。

そして応答者は、ディスプレイ１９に表示された応答文の文字列から、応答文の一つを選択して、発声する。なお、このとき、応答文の一つを選択する指示操作を行わせて、応答出力部３７が、当該選択された応答文に対応する応答音声データのうち、発話者側言語に対応する応答音声データを読み出して、音声処理ユニット２０に出力し、応答音声データに基づく音声がスピーカを介して鳴動されるようにしてもよい。

また、応答者が、音声入力部２２に対して応答文の一つを読み上げ、制御部１１が当該入力された音声から、どの応答文が音声入力されたかを判断して、当該判断結果をディスプレイ１９に表示してもよい。この場合も音声認識のために、応答文ごとに音声認識のキーワードを関連付けておき、表示した応答文の候補のうち、入力された音声に含まれるキーワードが最も多く関連付けられた応答文が読み上げられたものと判断するようにしてもよい。

［動作］
本発明の実施の形態の会話支援装置は、上述の構成を備え、次のように動作する。ここでは例えば、日本語を母国語とする発話者側が、英語を母国語とする応答者と会話を行う場合を想定して説明する。発話者側は、会話支援装置を操作して、発話者側言語として「日本語」、応答者側言語として「英語」を設定しておく。また、利用する場所に応じて、シーンを選択しておく。ここでは例えば、シーンとして「食事」が選択されたものとする。

発話者は、例えば、メニューに記載されているもののうち、店側が「おすすめ」としているものを知りたいときには、会話支援装置の音声入力部２２に対して、「おすすめを教えてください」といった発話を行う。ここで、本実施の形態の会話支援装置は、入力された発話文全体ではなく、それに含まれるキーワードを用いて、予め定められた発話文群のうちから最も尤もらしいものを選択するので、必ずしもデータベースに登録されている発話文と同じものを入力する必要はない。例えば、会話支援装置自体を通訳者のように擬人的に扱い、
「お勧めがないか聞いてくれ」
のように、命令的な表現で入力を行ってもよい。

会話支援装置は入力された情報からキーワードを検出する。ここでは予め定められているキーワードのリストから「お勧め」が検出され、「食事」のシーンに対応する発話文のリストから、当該検出されたキーワードに関連づけられている発話文を検索する。ここでは
「お勧めはありますか？」
との発話文が見いだされたものとする。

会話支援装置は、この検索の結果を表示して、これが所望の内容であるか否かを発話者に問い合わせる表示を行う（図９）。発話者が、所望のものであることを確認して、その旨の指示操作を行うと、会話支援装置は、この発話文に関連付けられている、応答者側言語「英語」での音声データを読み出し、当該音声データに基づく音声を鳴動する。なお、この際、発話文に対応する応答者側言語での文字列をディスプレイ１９に表示してもよい。強調用の単語が選択された場合も、同様に表示してもよい。

また会話支援装置は、当該発話文の識別子に関連付けて記録されている、応答側言語での応答文リストを読み出す。ここで、「お勧めはありますか？」の質問に対しては、「はい」、「いいえ」といった肯定、否定の単語を以て応答可能であるので、記録されている応答文リストに、「はい」、「いいえ」に対応する応答側言語（英語）の単語を追加して提示する。

これにより、例えばディスプレイ１９に、英語で、「答えを次から選んでください」のような、応答を選択するべき旨の指示とともに、
「はい」
「いいえ」
「お勧めは売り切れです」
「メニューに書かれています」
などの応答の選択肢が表示される（図１０）。

応答側の利用者は、この選択肢から応答文を選択して読み上げる。

また発話者が、食事中に、スプーンが欲しくなった場合に、
「これ、あるかな？」
のような発話文を入力すると、会話支援装置は当該入力された発話文から「これ」、「ある」などのキーワードを検出する。そして、当該検出したキーワードが最も数多く関連づけられている発話文、
「これは、ありますか？」
を見いだして、これが所望の内容であるか否かを発話者に問い合わせる。発話者が、所望のものであることを確認して、その旨の指示操作を行うと、会話支援装置は、さらに検出したキーワードに指示語「これ」が含まれていることを検出して、「食事」のシーンに関連付けられている被指示単語リストを表示して、発話者に選択を促す。発話者は、当該リストから、所望の単語である「スプーン」を選択する。すると、会話支援装置は、上記発話文に関連付けられている、応答者側言語「英語」での音声データを読み出し、当該音声データに基づく音声を鳴動するとともに、被指示単語リストから選択された「スプーン」に対応する英語の文字列をディスプレイ１９に表示する（図１１）。ここでは発話文に対応する英語での文章、
"Do you have this?"
も併せて表示された状態を示している。

応答者は、ディスプレイ１９に表示された単語と、発声された音声とから発言の内容を知得する。

また会話支援装置は、当該発話文の識別子に関連付けて記録されている、応答側言語での応答文リストを読み出す。上記の質問に対しては、「はい」、「いいえ」といった肯定、否定の単語を以て応答可能であるので、記録されている応答文リストに、「はい」、「いいえ」に対応する応答側言語（英語）の単語を追加して提示する。

これにより、例えばディスプレイ１９に、英語で、「答えを次から選んでください」のような、応答を選択するべき旨の指示とともに、
「はい」
「いいえ」
「いま、持ってきます」
などの応答の選択肢が表示される。

応答側の利用者は、この選択肢から応答文を選択的に読み上げる。会話支援装置の制御部１１は、当該読み上げの内容を音声認識して、どの応答文が選択されたかをディスプレイ１９に表示する。これにより、会話支援装置を介して、発話者と応答者との会話が成立する。

［当事者への指示］
さらに、本実施の形態の制御部１１は、発話文候補提示部３３が提示した発話文に関連して、発話者及び応答者に、所定の作業を求めてもよい。この場合は、外部記憶媒体Ｍに格納されているデータベースに、図１２に示すような、発話文識別子と、各国語での発話者側への作業指示と、各国語での応答者側への作業指示とを関連付けた指示テーブルをさらに保持させておく。

そして、制御部１１は、発話文候補提示部３３が提示した注目発話文に対して、発話者が所望のものである旨の指示操作を行ったときに、当該注目発話文の発話文識別子に関連付けられた作業指示が、指示テーブルに登録されているか否かを調べる。

ここで、指示テーブルに作業指示が登録されていた場合は、制御部１１は、設定されている発話者側言語での発話者側への作業指示を読み出して、ディスプレイ１９に表示させる。また、制御部１１は、当該発話文に関連して、応答文リストがディスプレイ１９に表示されているときに、当該発話文の発話文識別子に関連付けられている、応答者側への作業指示のうち、応答者側言語のものを読み出してディスプレイ１９に、併せて表示させる。

例えば、上述の例のように「食事」のシーンにおいて、「お勧めはどれですか？」のような発話文に対して、指示テーブルに、発話者側への作業指示として「メニューを示してください」のような作業指示を関連付けておく。また、応答者側への作業指示として、「メニューで示してください」のような作業指示を関連付けておく。

これにより、例えば、当該発話文が選択されたときに、発話者側が「メニューを示してください」の作業指示に従ってメニューを示し、応答者側では、「メニューで示してください」との作業指示を参照し、メニューを示しながら、例えば応答文として、「これです」のような応答文を選択的に読み上げて会話を行うことができるようになる。

［ダウンロード］
さらに、本実施の形態におけるデータベースの内容は、例えば無線通信モジュール１４を介して、ネットワーク上のサーバからダウンロードできるようにしておいてもよい。具体的な例としては、例えば被指示単語リストをダウンロードできるようにしておけば、シーンに応じた単語だけでなく、時代に応じた単語なども含めることができるようになる。

本実施の形態によると、応答文がリストとして提示され、相手方に選択的に読み上げさせることで会話を成立させるので、相手方の話す内容が聞き取れない、理解できない、といった事態を回避できる。また、指示語を検出して、被指示単語のリストを提示して選択させるので、被指示単語のリストとの組み合わせで、指示語を利用して会話を成立させることができ、細かな名詞ごとの表現をデータベースに含めておく必要がない。これによりデータベースのサイズを軽減することが可能となっている。このように本実施の形態の会話支援装置によれば、その利便性を向上できる。

本発明の実施の形態に係る会話支援装置の例を表す構成ブロック図である。 本発明の実施の形態に係る発話文データベースの例を表す説明図である。 本発明の実施の形態に係る応答文データベースの例を表す説明図である。 本発明の実施の形態に係る応答文テーブルの例を表す説明図である。 本発明の実施の形態に係る被指示単語リストの例を表す説明図である。 本発明の実施の形態に係る会話支援装置の例を表す機能ブロック図である。 本発明の実施の形態に係る反対質問文テーブルの例を表す説明図である。 本発明の実施の形態に係る強調単語のリストの例を表す説明図である。 本発明の実施の形態に係る会話支援装置の画面例を表す説明図である。 本発明の実施の形態に係る会話支援装置の画面例を表す説明図である。 本発明の実施の形態に係る会話支援装置の画面例を表す説明図である。 本発明の実施の形態に係る指示テーブルの例を表す説明図である。

符号の説明

１ 携帯用ゲーム機、１１ 制御部、１２ インタフェースユニット、１３ 操作ユニット、１４ 無線通信モジュール、１５ ディスクドライブ、１６ 記憶部、１７ 電源制御部、１８ 画像処理ユニット、１９ ディスプレイ、２０ 音声処理ユニット、２１ 音声出力部、２２ 音声入力部、３１ 発話文受入部、３２ 発話文候補選択部、３３ 発話文候補提示部、３４ 応答文候補検索部、３５ 応答文候補追加部、３６ 応答文候補提示部、３７ 応答文出力部。

Claims (5)

1. 発話文を識別する発話文識別情報と、前記発話文に対する想定応答として列挙された応答文リストと、を関連付けた応答文テーブル、及び、発話文を識別する発話文識別情報に対して、発話者側への作業指示と応答者側への作業指示とを関連づけた指示テーブルを記憶するデータベースにアクセス可能に接続され、
   発話者の入力に基づいて前記発話文の一つを特定する発話文特定部と、
   前記特定された発話文の前記発話文識別情報に関連づけられた発話者側への作業指示を、前記指示テーブルから読み出して提示する発話者側指示提示部と、
   前記特定された発話文の前記発話文識別情報に関連づけられている、前記応答文リストを取得する応答文取得部と、
   前記取得された応答文リストに含まれる応答文を列挙して表示するとともに、前記特定された発話文の前記発話文識別情報に関連づけられた応答者側への作業指示を、前記指示テーブルから読み出して提示する応答文表示部と、
   を有することを特徴とする会話支援装置。
2. 請求項１に記載の会話支援装置であって、
   前記応答文テーブルにはさらに、発話文識別情報に関連付けて肯定または否定を表す単語による応答の可否を示す特定応答可否情報が記憶されており、
   前記特定された発話文の前記発話文識別情報に関連づけられている特定応答可否情報を参照して、肯定または否定を表す単語による応答が可能である場合に、前記取得した応答文リストに、肯定または否定の単語を追加する応答文追加部、
   をさらに含むことを特徴とする会話支援装置。
3. 請求項１または２に記載の会話支援装置であって、
   前記データベースは、指示語に対応する被指示単語リストを記憶しており、
   前記特定された発話文に、指示語が含まれている場合に、前記被指示単語リストを提示して前記発話者に提示するリスト表示部、
   をさらに含むことを特徴とする会話支援装置。
4. コンピュータを用い、
   前記コンピュータによって実現されるアクセス手段が、発話文を識別する発話文識別情報と、前記発話文に対する想定応答として列挙された応答文リストとを関連付けた応答文テーブル、及び、発話文を識別する発話文識別情報に対して、発話者側への作業指示と応答者側への作業指示とを関連づけた指示テーブルを記憶するデータベースにアクセスする工程と、
   前記コンピュータによって実現される発話文特定手段が、発話者の入力に基づいて前記発話文の一つを特定する工程と、
   前記コンピュータによって実現される発話者側指示提示手段が、前記特定された発話文の前記発話文識別情報に関連づけられた発話者側への作業指示を、前記指示テーブルから読み出して提示する工程と、
   前記コンピュータによって実現される応答文取得手段が、前記特定された発話文の前記発話文識別情報に関連づけられている、前記応答文リストを取得する工程と、
   前記コンピュータによって実現される応答文表示手段が、前記取得された応答文リストに含まれる応答文を列挙して表示するとともに、前記特定された発話文の前記発話文識別情報に関連づけられた応答者側への作業指示を、前記指示テーブルから読み出して提示する工程と、
   を含むことを特徴とする会話支援方法。
5. コンピュータを、
   発話文を識別する発話文識別情報と、前記発話文に対する想定応答として列挙された応答文リストとを関連付けた応答文テーブル、及び、発話文を識別する発話文識別情報に対して、発話者側への作業指示と応答者側への作業指示とを関連づけた指示テーブルを記憶するデータベースにアクセスする手段と、
   発話者の入力に基づいて前記発話文の一つを特定する手段と、
   前記特定された発話文の前記発話文識別情報に関連づけられた発話者側への作業指示を、前記指示テーブルから読み出して提示する手段と、
   前記特定された発話文の前記発話文識別情報に関連づけられている、前記応答文リストを取得する手段と、
   前記取得された応答文リストに含まれる応答文を列挙して表示するとともに、前記特定された発話文の前記発話文識別情報に関連づけられた応答者側への作業指示を、前記指示テーブルから読み出して提示する手段と、
   として機能させることを特徴とするプログラム。

Images