JP2008083100A - 音声対話装置及びその方法 - Google Patents

Abstract

【課題】対話履歴の把握と再開する話題の選択が容易に理解できる音声対話装置を提供する。
【解決手段】音声認識処理部１１、応答内容生成部１２、応答出力部１３、話題推定部１４、話題記憶部１５、ユーザー関心度算出部１６、話題表示方法決定部１７、話題履歴表示部１８から構成され、対話された話題履歴内の各話題の利用者の関心度を算出し、対話された話題を対話量やユーザーの関心の度合いを反映した提示出力し、対話履歴の容易な把握とユーザー選択的な対話再開を可能とする
【選択図】 図１

Description

本発明は、ユーザーと、装置またはアプリケーションとのインターフェイスにおける音声対話装置及びその方法に関するものである。

音声対話による様々なアプリケーションが広く普及し始め、カーナビゲーションシステムの操作やテレビ番組の検索、インターネットの検索などにおける音声対話では、複雑な操作や多岐に渡る話題を対象とした音声対話を行うことができる音声対話装置が求められている。また、想定される対話が一つの目的を達成するための対話から、ユーザーが把握できないほどの数多くのやり取りの履歴を考慮した音声対話が求められている。

上記のような、音声対話装置においては、自然な話題の展開や音声認識誤りなどに代表される誤動作に伴う話題の遷移、システム主導発話による話題導入などが行われるが、必要に応じて、過去の対話に遡り、対話を選択的に再開する必要がある。

例えば、特許文献１ではアプリケーションと利用者が話題を共有するために画面出力に吹き出しを利用した話題の出力を実現している。
特開２００２−２０２７９６

しかしながら、特許文献１の方法では、システムとのやり取りを行いながら音声対話進める場合には、下記の問題点があった。

・話題履歴の把握や記憶が困難で、対話を振り返ることができず、再開が難しい。

・システムが解釈している話題とユーザーの意識している話題の対応付けが難しい。

・対話再開指示が可能な話題がわからない。

また、対話再開をするために対話履歴に関する情報を提示した場合には、下記の問題点があった。

・発話単位や話題変遷のリストだけでは表示量が膨大となり目的の話題からの対話再開が難しい。

・システムからのユーザーの意図しない話題導入により、ユーザーにとって不要な話題が大量になる。

そこで、本発明は、上記問題点に鑑み、対話履歴の把握と再開する話題の選択が容易に理解できる音声対話装置及びその方法を提供する。

本発明は、ユーザーの発声内容を認識する音声認識処理部と、前記発声内容認識結果に基づき応答内容を生成する応答内容生成部と、前記応答内容を前記ユーザーへ出力する応答出力処理部と、を具備する音声対話装置において、前記発声内容と前記応答内容からなる音声対話の中心となる話題を推定するものであって、前記発声内容認識結果の中の単語、または、前記応答内容の中の単語に対応した話題を表す単語を推定話題として抽出する話題推定部と、前記推定話題に対する前記ユーザーの関心を表す単語を前記発声内容認識結果の中から抽出して、前記関心を表す単語に対応する関心度を算出する関心度算出部と、前記関心度に応じて前記推定話題の表示方法を変化させて表示する話題履歴表示部と、を具備することを特徴とする音声対話装置である。

本発明によれば、対話された話題の量やユーザーの関心と話題との関係を含めて対話された話題を提示することにより、対話履歴の把握と再開する話題の選択が容易に理解できる。

ユーザーが再開する話題を選択することにより、システムが解釈している話題毎の対話再開が可能であり、対話再開の誤りを防ぐことも可能となる。

以下、本発明の一実施形態の音声対話装置１０について図１から図１７を参照して説明する。

（１）音声対話装置１０の構成
図１は、本実施形態に係る音声対話装置１０の構成図であり、ユーザーが音声対話装置１０とやり取りを行いながら情報検索を行う目的に用いられる構成例である。

図１に示すように、音声対話装置１０は、音声認識処理部１１、応答内容生成部１２、応答出力部１３、話題推定部１４、話題記憶部１５、ユーザー関心度算出部１６、話題表示方法決定部１７、話題履歴表示部１８から構成されている。

これら各部１１〜１８の各機能は、コンピュータに記憶されたプログラムによって実現できる。

（２）音声認識処理部１１
音声認識処理部１１は、ユーザーの発話音声を文字列として認識する。すなわち、マイクロホンから入力された音声情報を、音声認識用辞書（認識用言語辞書や認識用音響辞書等）を用いて音声認識処理を行い、文字列に変換して音声認識結果として応答内容生成部１２へ出力する。

（３）応答内容生成部１２
応答内容生成部１２は、音声認識処理部１１によって取得された音声認識結果に対し、対話処理を行い、応答出力を行うための情報を出力する。

例えば、応答内容生成部１２は図２のような構成を有する。

音声認識結果取得部１２１では、前記取得された音声認識結果を取得する。

対話処理ルール検索部１２２では、対話処理を行う内容を対話処理ルールデータベース１２４を検索し、実行すべき対話処理内容と応答内容を取得する。対話処理ルールデータベースは、例えば、図３に示すように、音声認識結果より取得されたキーワード毎に対話処理内容と応答内容が記述されており、音声認識結果から取得されたキーワードが「旅行」の場合は、対話処理内容として「季節のおすすめの観光地検索」が取得される。

対話処理実行部１２３は、対話処理ルール検索部１２２で取得された対話処理を実行し、応答内を出力する。例えば「季節のおすすめの観光地検索」の「検索結果」が「京都」で、「おすすめ理由」が「冬景色がきれい」の場合、応答出力は「京都はいかがですか。冬景色がきれいですよ」となる。

（４）応答出力部１３
応答出力部１３は、応答内容生成部１２より出力された応答出力を音声として出力する。

（５）話題推定部１４
話題推定部１４は、音声認識結果または対話処理結果から、対話された話題を推定する。

（５−１）第１の推定方法
話題推定部１４は、例えば、図４のような構成を有している。

対話結果取得部１４１は、音声認識処理部１１より出力される音声認識結果と応答内容生成部１２にて出力される応答内容を取得し、対話結果として出力する。

話題検索部１４２は、話題語データベース１４４を検索し、話題語データベースの中に対話結果の中に含まれる話題語がある場合、推定話題を取得する。話題語データベース１４４には、例えば図５のように話題語と対応する推定話題が記述されており、対話結果の中に「新幹線」という話題語が含まれている場合は推定話題として「旅行」を出力する。

推定話題出力部１４３は、話題検索部１４より取得した推定話題を話題推定結果として出力する。

（５−２）第２の推定方法
上記推定方法では対話結果より話題語データベースを利用して話題を推定したが、対話結果に出現する単語に対して、図６で示すような単語話題属性辞書を参照して話題を推定してもよい。

単語話題属性辞書には、各単語に対する話題属性値が記述されており、その話題属性値を推定話題として出力することが可能となる。

また、話題属性は、図７で示すように、予め定義された話題毎にその話題性の高さを数値化し、その平均値の最も話題性が高かったものを推定話題として出力してもよい。

（５−３）第３の推定方法
上記方法では、予め用意された話題に関する情報を利用した話題の推定方法を示したが、話題に関する情報が用意されていない場合でも、音声認識結果より名詞を抽出して、それを推定話題として出力しても良い。

また、抽出された名詞の中で、最も重要な名詞を判定して推定話題として出力しても良い。

（５−４）第４の推定方法
また、対話処理ルールが話題毎に作成されている場合は、音声認識結果と対応した対話処理ルールが属する話題を推定話題として利用してもよい。

（６）話題記憶部１５
話題記憶部１５は、話題推定部１４にて推定された話題を話題履歴データベースに記憶する。

（７）ユーザー関心度算出部１６
ユーザー関心度算出部１６は、前記記憶された話題履歴データベースに含まれている話題に対し、ユーザーの興味の度合いを示す関心度を算出する。

（７−１）第１の算出方法
ユーザー関心度算出部１６は例えば図８のような構成を有している。

音声認識結果取得部１６１は、音声認識結果の文字列を取得する。

関心度表出語検索部１６２は、前記音声認識結果の文字列内に、関心を表す言葉の有無とその関心度合いが記述された関心語データベース１６４内に含まれる関心表出語の有無を検索する。なお、関心語データベース１６４は図９に示すような関心表出語と対応する関心度が記述されており、例えば「いいね」という関心表出語が含まれている場合は、関心度が「大」として関心度を出力する。

関心度算出部１６３は、関心語表出語検索部１６２にて出力された関心度と推定された話題とを関連させて関心度算出結果として出力する。例えば、推定される話題が「京都」となる「京都か。いいね。」という発話に対して、関心度表出語検索部１６２にて「いいね」という関心語が検索され、関心度が「大」として出力された場合、推定された話題「京都」は関心度が「大」として関心度算出結果として出力する。

（７−２）第２の算出方法
関心語データベース１６４には、関心度の大きさを数値化されて記述されており、その関心度算出部１６は関心語データベースで取得した関心度の合計値を関心度算出結果として出力してもよい。

（７−３）第３の算出方法
一発話において、複数の話題が音声認識結果に含まれている場合には、それぞれの話題毎に関心度を算出し、関心度算出結果を出力することが可能である。

（７−４）第４の算出方法
ユーザー関心度算出方法は、音声の音量変化量の多さを用いてもよい。

図１０に示すように、「京都」という話題に関係する発話の区間において、一定量の音量変化があった場合に、「京都」という語に対する関心度が高いものとみなし、変化量を関心度算出結果として出力してもよい。

（７−５）第５の算出方法
ユーザー関心度算出方法は、各話題に関するユーザーの発話時間長の割合を用いて算出してもよい。

ユーザー発話が行われるたびに、各話題に対するユーザー発話時間の合計を計算し、その割合を話題に関する関心度算出結果として出力する。

（７−６）第６の算出方法
各話題に関するユーザーの発話数の割合を用いて算出しても良く、ユーザー発話が行われるたびに、各話題に対するユーザー発話の累計を計算し、その割合を話題に関する関心度として出力することも可能である。

（７−７）その他の算出方法
以上、ユーザー関心度算出方法について、複数の方法を示したが、これら関心度算出方法を組み合わせて利用することも可能である。

（８）話題表示方法決定部１７
話題表示方法決定部１７は、図１１で示すように、関心度算出結果取得部１７１、話題関心度更新部１７２、話題表示方法決定部１７３から構成され、更新された話題関心度情報を元に、提示内容を決定する。

関心度算出結果取得部１７１は、ユーザー関心度算出部１６で出力された話題毎の関心度を取得する。

話題関心度更新部１７２は、対話履歴内にある話題毎に前記取得した話題毎の関心度算出結果を反映させ、関心度更新結果として出力する。

例えば、対話履歴データベースに記述されていた話題が「旅行」「京都」「天気」であり、それぞれ、「０．６０」「０．２０」「０．２０」の関心度が記述されており、関心度算出結果が、「京都」の話題に対して「０．６」であり、「旅行」の話題について「０．４０」であった場合には、話題毎に両数値を合計し、その割合を再度算出して、「旅行」「京都」「天気」の各話題それぞれについて「０．５０」「０．４０」「０．１０」として関心度更新結果を出力する。

なお、この関心度更新結果は、話題履歴データベースに記憶することにより、ユーザー発話毎に関心度を更新する際に参照することが可能となる。

話題表示方法決定部１７は、前記更新された関心度更新結果と決められた話題表示規則に基づいて提示内容を決定する。例えば、関心度更新結果が「旅行：０，５、京都：０．４、天気：０．１」で話題表示規則が「関心度０．２以上の話題を関心度の高い順に出力する」であった場合には、話題表示方法は「旅行、京都の順に表示」となる。

また、話題表示規則が「関心度の比率に基づき、表示領域の大きさを決定し、話題を表示する」であった場合、表示形態が、楕円で囲まれた領域を話題の登場順に表示する場合には、図１２で示すように、楕円の領域を調整して表示する。

なお、これらの表示規則は、関心度の高い話題をユーザーにとって見やすく表示できれば良く、表示領域の順序や領域だけでなく、形、位置、表示色を変更することで実現してもよい。

（９）話題履歴表示部１８
話題履歴表示部１８では、前記決定された話題表示方法を元に話題を表示する。話題履歴表示部１８は、通常のモニタやタッチパネルのような表示装置などで構成されている。

話題履歴表示部１８にて提示された話題は、タッチパネルのように選択入力を受理できる装置である場合には、その選択結果を元にして、対話を再開することを可能にしてもよい。

図１３は、対話再開処理を具備する場合の対話再開方法を示すフローチャートである。

Ｓ２０１にて入力された話題履歴選択結果は、再開話題取得Ｓ２０２にて再開を行う候補として取得される。

Ｓ２０２にて取得された話題に関してＳ２０３では、対話結果を参照し、対話処理の未実行の有無を検索し、未実行のものがあれば対話継続が可能と判断し、対話処理を継続してＳ２０４にて継続の応答内容を決定し、Ｓ２０５にて応答出力を行う。

また、未実行の対話処理がない場合は、話題が終了した時点での応答内容を取得し、Ｓ２０５にて応答出力を行う。

この対話再開処理を具備することにより、ユーザーの明示的な話題再開要求に対応することが可能となる。

なお、話題履歴選択入力は音声入力でも可能となる構成にしてもよく、明示的な「さっきの京都の話なんだけど」といった話題履歴選択入力に対して、図１３に示す処理と同様な処理を行う構成としても良い。

また、話題履歴表示において、音声による話題履歴選択入力方法を明確に提示してもよい。話題再開のための入力は、「（話題）＋「の話」」といった再開用コマンド生成テンプレートを利用して作成する。本テンプレートを用いることにより、例えば「京都」に関する話題に対しては「京都の話」という再開用コマンドが生成され、この「京都の話」というコマンド文字列を話題履歴表示の「京都」に関する話題の表示に関連付けて表示させることで実現する。

表示方法は図１４に示すように、話題が表示されている領域から吹き出しの形態で表示することで、話題履歴選択入力を明示的に表示することが可能である。

また、表示方法は吹き出しの形態ではなく、話題名が表示されている、横の位置に表示してもよい。

（１０）具体例
以下、図１５に示すような対話例を元に、本実施形態により実現される話題履歴表示例について説明する。

ユーザー入力１「ちょっと旅行に行きたいな」という入力により、「旅行」話題が推定され、図１６に示すように、「旅行」話題を対話履歴表示部１８に出力する。

対話処理を行った結果、システム応答２「京都はいかがですか。冬景色は素敵ですよ」により、「京都」話題、「天気」話題が対話履歴として出力され、ユーザー入力２「京都かー。いいねー。新幹線でさくっといけるしね」により、「京都」話題と「旅行」話題には関心度が高いとされ、図１７に示すように、話題出力単位を相対的に大きくし、関心度を反映した形で出力する。

さらに、システム応答２「この前ドラマがありましたね。」という応答内容により話題履歴として出力された「テレビ」話題についても、ユーザー入力３「うん、ドラマか。明日のドラマを録画しといて」により、比較的関心度があると判断され、図１８に示すように、話題単位の相対的な関心度を示す形で話題出力を行う。

こうした対話履歴の表示により、ユーザーが関心ある話題が明示的に表示され、どのような対話が行われたかを振り返ることが容易になり、ユーザー入力４「で、京都の話だけど」といった明示的な音声による話題履歴選択入力や対話履歴表示部１８での再開話題の選択により対話を容易に再開できることが可能となる。

（１１）効果
このように本実施形態によれば、ユーザー関心度算出部１６によって取得された対話された話題単位の関心度を元に話題履歴表示部１８にて話題履歴を表示することにより、ユーザーの話題履歴の把握と話題選択が可能となり、必要最小限の発話で適切に所望の情報を取得することができる。

（１２）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記実施形態では、施設検索を例として実現しているように記述しているが、これらの対話管理方法については上記実施形態に限定されるものではない。

また、本発明は、機械の操作方法を説明する質問応答システムや音声翻訳システム等で実現することも可能であり、そのような実現形態も本発明の趣旨の範囲内である。

以上のように、本実施形態には上述の例に対して種々の変形が可能であり、それらも趣旨に反しない限り本発明の実施形態の範囲内である。

本発明の一実施形態に係る音声対話装置のブロック図である。 応答内容生成部のブロック図である。 本実施形態に係る対話処理ルール例である。 話題推定部のブロック図である。 話題語データベース記述例である。 単語話題属性辞書例である。 単語話題属性辞書例である。 ユーザー関心度算出部のブロック図である。 関心語データベース記述例である。 ユーザー関心度算出方法を示す図である。 話題表示方法決定部のブロック図である。 対話履歴表示例である。 対話再開方法を示すフローチャートである。 対話履歴表示例である。 本実施形態に係る対話例である。 本発明の実施形態に係る対話履歴表示例である。 対話履歴表示例である。 対話履歴表示例の他の例である。

符号の説明

１０ 音声対話装置
１１ 音声認識処理部
１２ 応答内容生成部
１３ 応答出力部
１４ 話題推定部
１５ 話題記憶部
１６ ユーザー関心度算出部
１７ 話題表示方法決定部
１８ 話題履歴表示部

Claims (12)

1. ユーザーの発声内容を認識する音声認識処理部と、
   前記発声内容認識結果に基づき応答内容を生成する応答内容生成部と、
   前記応答内容を前記ユーザーへ出力する応答出力処理部と、
   を具備する音声対話装置において、
   前記発声内容と前記応答内容からなる音声対話の中心となる話題を推定するものであって、前記発声内容認識結果の中の単語、または、前記応答内容の中の単語に対応した話題を表す単語を推定話題として抽出する話題推定部と、
   前記推定話題に対する前記ユーザーの関心を表す単語を前記発声内容認識結果の中から抽出して、前記関心を表す単語に対応する関心度を算出する関心度算出部と、
   前記関心度に応じて前記推定話題の表示方法を変化させて表示する話題履歴表示部と、
   を具備する
   ことを特徴とする音声対話装置。
2. 前記話題推定部は、
   任意の単語に対応する推定話題を予め記憶した推定話題記憶部と、
   前記発声内容認識結果の中の単語、または、前記応答内容の中の単語に対応する推定話題を前記推定話題記憶部から抽出する推定話題抽出部と、
   を具備する
   ことを特徴とする請求項１記載の音声対話装置。
3. 前記話題推定部は、
   前記発声内容認識結果の中の単語、または、前記応答内容の中の単語を前記推定話題とする
   ことを特徴とする請求項１記載の音声対話装置。
4. 前記関心度算出部は、
   任意の関心を表す単語に対応する関心度を予め記憶した関心度記憶部と、
   前記推定話題に対する前記ユーザーの関心を表す単語を前記発声内容認識結果の中から抽出する関心単語抽出部と、
   前記関心を表す単語に対応する関心度を前記関心度記憶部から呼び出す関心度呼び出し部と、
   を具備する
   ことを特徴とする請求項１記載の音声対話装置。
5. 前記関心度算出部は、
   前記推定話題に対する前記ユーザーの関心を表す単語を前記発声内容認識結果の中から抽出する関心単語抽出部と、
   前記関心を表す単語の音量が大きい程、その発話時間が長い程、または、その発話回数が多い程に関心度を大きくする関心度計算部と、
   を具備する
   ことを特徴とする請求項１記載の音声対話装置。
6. 前記話題履歴表示部は、前記音声対話の履歴に沿って前記推定話題を複数表示する
   ことを特徴とする請求項１記載の音声対話装置。
7. 前記複数の推定話題の中から一つの推定話題を前記ユーザーが選択するための選択部と、
   前記選択された推定話題に基づいて前記ユーザーとの対話を再開する対話再開部と、
   を具備する
   ことを特徴とする請求項６記載の音声対話装置。
8. 前記話題履歴表示部は、前記関心度が高い程に前記推定話題の表示面積を大きくする
   ことを特徴とする請求項１記載の音声対話装置。
9. 前前記話題履歴表示部は、前記関心度に応じて前記推定話題の表示位置を決定する
   ことを特徴とする請求項１記載の音声対話装置。
10. 前記話題履歴表示部は、前記推定話題と共に対話再開のためのキーワードを表示する
    ことを特徴とする請求項１記載の音声対話装置。
11. ユーザーの発声内容を認識し、
    前記発声内容認識結果に基づき応答内容を生成し、
    前記応答内容を前記ユーザーへ出力する音声対話方法において、
    前記発声内容と前記応答内容からなる音声対話の中心となる話題を推定するものであって、前記発声内容認識結果の中の単語、または、前記応答内容の中の単語に対応した話題を表す単語を推定話題として抽出し、
    前記推定話題に対する前記ユーザーの関心を表す単語を前記発声内容認識結果の中から抽出して、前記関心を表す単語に対応する関心度を算出し、
    前記関心度に応じて前記推定話題の表示方法を変化させて表示する
    ことを特徴とする音声対話方法。
12. ユーザーの発声内容を認識する音声認識処理機能と、
    前記発声内容認識結果に基づき応答内容を生成する応答内容生成機能と、
    前記応答内容を前記ユーザーへ出力する応答出力処理機能と、
    をコンピュータによって実現する音声対話プログラムにおいて、
    前記発声内容と前記応答内容からなる音声対話の中心となる話題を推定するものであって、前記発声内容認識結果の中の単語、または、前記応答内容の中の単語に対応した話題を表す単語を推定話題として抽出する話題推定機能と、
    前記推定話題に対する前記ユーザーの関心を表す単語を前記発声内容認識結果の中から抽出して、前記関心を表す単語に対応する関心度を算出する関心度算出機能と、
    前記関心度に応じて前記推定話題の表示プログラムを変化させて表示する話題履歴表示機能と、
    を前記コンピュータによってさらに実現する
    ことを特徴とする音声対話プログラム。

Images