JP2008249893A - 音声応答装置及びその方法 - Google Patents

Abstract

【課題】利用者の行動に対応した反応が可能な音声応答装置を提供する。
【解決手段】音声応答装置１０は、入力取得部１０１、応答内容生成部１０２、応答出力部１０３、周囲音取得部１０４、聴取状態判断部１０５から構成され、周囲音情報に含まれる利用者音声、応答音声、環境音を分析し、（１）前記利用者が前記音声応答に回答している場合は、前記回答に対する新たな音声応答を生成し、（２）前記利用者に前記応答音声が聞こえていない場合は、前記音声応答を繰り返し、（３）前記利用者が前記音声応答に回答できない場合は、前記音声応答を中断する。
【選択図】 図１

Description

本発明は、音声応答機能を持つテレビなどの家電機器に好適な音声応答装置及びその方法に関する。

近年、音声インターフェイスを備えた一般家庭向けの製品が数多く商品化されている。特に、音声による使用方法のガイダンスにより、複雑な操作が必要となる家電機器も使いやすくなり、様々な機能を有効に活用することができるようになってきている。しかしながら、必ずしも利用者がガイダンスなどのシステム応答を聞き取り、適切な入力を行う状況であるとは限らず、利用者の状況に応じた応答処理を行う技術が必要となる。

そこで、特許文献１では、利用者入力の複雑さや入力までの時間などから利用者の作業負荷を推定してシステムの応答内容を変更する処理方法が提案されている。

また、特許文献２では、音声対話インタフェースを持つカーナビゲーションシステムなどにおいて、車両情報より利用者の状況を判断し、応答処理を変更する機能が提案されている。

また、特許文献３では、聞き手の「笑い声」や「拍手」などの情報によって応答内容を変更する機能が提案されている。

また、特許文献４では利用者の入力音声から、その雑音レベルを推定し、応答内容を変更する方式が提案されている。

また、特許文献５では、装置の音声出力に対して利用者が一定時間回答や操作の実行を行わなかった場合には、再度、入力を促す応答を出力する応答処理を行うことにより、利用者の回答を支援する方式が提案されている。
特開２００３−１０８１９１公報 特開２００４−２３３６７６公報 特開２００４− ２４８６７公報 米国公開特許２００２−９５２９５公報 特開２００５−２２０６５公報

上記の背景技術のような音声応答機能や音声対話機能を備えた家電機器においては、音声応答出力時は、利用者がその応答を聞き、必要な回答や操作を実行できる状態であることが前提となっている。

しかし、家庭内における利用状況を考えると、家庭内の様々な雑音により、装置の応答音声を利用者が聞き取れない状況や、装置とのやり取り以外の行為を利用者が行っていて装置の応答に対する回答や操作の実行ができない状況を考慮しなければならない。

例えば、音声応答機能を持つテレビの操作を考えると、音声応答が出力されたときに、利用者の周辺において他の家電機器の動作音があり音声応答装置の音声が聞こえない場合が考えられる。また、応答出力が行われている途中で利用者が携帯電話で話し始めるなど、装置の応答内容に対して回答や操作の実行ができない場合が考えられる。

このように、応答出力が聞こえず利用者が入力できない場合において、音声応答装置が処理を中断せずに進めてしまうと、利用者にとって意図しない動作が実行されることがある。また、音声応答装置に関係しない行為を行っている場合に応答出力を繰り返し行うと、利用者には不要な応答出力が必要となる。

そこで、本発明は、上記問題点に鑑み利用者の行動に対応した反応が可能な音声応答装置及びその方法を提供する。

本発明は、利用者に対して音声応答する音声応答装置において、前記音声応答を行った時の利用者の周囲の音に関する周囲音情報を取得する周囲音声取得部と、前記周囲音情報に含まれる利用者音声、応答音声、環境音を分析し、（１）前記利用者が前記応答音声の回答している状態、（２）前記利用者に前記応答音声が聞こえていない状態、または、（３）前記利用者が前記音声応答に回答できない状態かを判断する聴取状態判断部と、（１）前記利用者が前記音声応答に回答している場合は、前記回答に対する新たな音声応答を生成し、（２）前記利用者に前記応答音声が聞こえていない場合は、前記音声応答を繰り返し、（３）前記利用者が前記音声応答に回答できない場合は、前記音声応答を中断する応答内容生成部と、を具備する音声応答装置である。

本発明によれば、利用者の聴取状態を判断することにより利用者が音声応答装置への回答が困難な場合でも、利用者の状況に柔軟な応答の制御が可能となる。

以下図面を参照して、本発明の一実施形態に係る音声応答装置について説明する。

（第１の実施形態）
本発明の第１の実施形態に係る音声応答装置１０について図１〜図８に基づいて説明する。

（１）音声応答装置の構成
図１は、本実施形態に係る音声応答装置１０の構成例である。音声応答装置１０は、入力取得部１０１、応答内容生成部１０２、応答出力部１０３、周囲音取得部１０４、聴取状態判断部１０５から構成される。

（１−１）入力取得部１０１
入力取得部１０１は、利用者からの入力を取得する。例えば、マイクなどによって利用者の発した音声信号を取り込み、音声判断処理を行い、テキスト情報に変換して出力する。あるいは、リモートコントローラの赤外線信号などを受信し、受信内容を出力する。

（１−２）応答内容生成部１０２
応答内容生成部１０２は、入力取得部１０１で取得した利用者の入力情報に基づき、応答内容を決定する。

応答内容生成部１０２は、アプリケーションに入力情報を出力し、アプリケーションがデータベースシステムの場合は、入力された検索要求に対応する検索結果を取得し、検索結果に基づき、応答内容を生成する。

また、応答内容生成部１０２は利用者の入力の有無に係らず、設定した時刻やアプリケーションにおいて状況が変化した場合に、応答音声が必要となる場合は、応答内容を生成し出力することができる。

（１−３）応答出力部１０３
応答出力部１０３は、応答内容生成部２にて生成した応答内容を、例えば、テキストとして取得し、合成音に変換して出力する。なお、出力する音声は、予め録音をしていた音声を再生するだけでもよい。

（１−４）周囲音取得部１０４
周囲音取得部１０４は、利用者のそばにあるマイク、利用者のそばにあるリモートコントローラなどの装置に付属されたマイク、利用者の傍にいるロボットに付属されたマイク、または、壁や天井に備え付けられたマイクに入力された周囲音情報を取得する。

（１−５）聴取状態判断部１０５
聴取状態判断部１０５は、周囲音取得部１０４の出力である周囲音情報を分析し、分析結果を利用して予め決められた聴取状態の判断基準に基づき利用者の聴取状態を判断し、その判断結果を聴取状態判断結果として出力する。

（２）聴取状態判断方法
聴取状態の判断は、利用者の周囲音の分析を行い、決めたルールに基づき聴取判断内容を決定する。以下、具体例を説明する。

（２−１）第１の例
図２は、聴取状態判断方法の第１の例を示した図である。

聴取状態判断部１０５では、応答出力部１０３より出力された応答音声の発声開始時刻及び発声終了時刻情報を取得し、取得した応答音声の発声開始時刻から応答音声の発声終了時刻までの周囲音情報を分析し、平均音量情報を取得する。平均音量が基準値を上回った場合には、聴取状態が「聞こえている」とし平均音量が一定値を下回った場合には聴取状態が「聞こえていない」とし、この聴取状態判断結果を出力する。この基準値は、予め決められた値でもよく、また、過去の装置利用時において、応答音声に対する利用者の回答が行われた時点の周囲音情報における装置応答音声の音量の平均値を元に算出してもよい。

なお、本実施形態では、平均音量を利用したが、周囲音情報より、ノイズレベルを計測し、所定の値を上回った場合には、「聞こえていない」とし、聴取状態判断結果としても良い。例えば、音声信号とノイズレベルの比率を計算し、その値が０ｄB以上であった場合には、「聞こえていない」と判断してもよい。

（２−２）第２の例
図３は、聴取状態判断方法の第２の例を示した図である。

聴取状態判断部１０５では、周囲音情報より、発声区間及び発声区間の発声者を取得する。すなわち、応答出力部１０３より出力された応答音声の発声時刻及び発声終了時刻情報を取得し、応答音声の発声時間内において、利用者自身の発声と利用者以外の発声が含まれていることが確認された場合には、「利用者が他の話者に話していて回答できない」という判断を行い、聴取状態判断結果として出力する。

また、応答音声の発声時間内において、利用者音声区間の割合が例えば５０%といった、ある値より大きかった場合には、「利用者が他の話者と話していて回答できない」という判断をしてもよい。

（２−３）第３の例
図４は、聴取状態判断方法の第３の例を示した図である。

聴取状態判断部１０５では、周囲音情報より、発声区間及び発声区間の発声者を取得する。すなわち、応答出力部１０３より出力された応答音声の発声時刻及び発声終了時刻情報を取得し、周囲音情報より取得した利用者の発声区間に、応答音声の発声開始時刻、または、発声終了時刻が含まれている場合には、「利用者が他の話者と話していて回答できない」と判断し、判断結果を出力する。

（２−４）第４の例
図５は、聴取状態判断方法の第４の例を示した図である。

聴取状態判断部１０５では、周囲音情報より、装置利用に関係しない人間の発声以外の音の有無を判定する。有無を判断する音は、物がぶつかる時の音などの人間の発声以外の音や、電話やインターホンの呼び出し音など装置利用環境で発生しうる音で、過去の装置利用時には現れなかった音や、過去の装置利用時において、応答装置に対する回答が行なわれなかった場合に発生していた音などである。

このような人間の発声以外の音の音響的な特徴が周囲音情報に含まれている場合には、装置利用に関連しない特定の音があると判断する。

すなわち、応答出力部１０３より出力された応答音声の発声時刻及び発声終了時刻情報を取得し、応答音声の発声時間内あるいは、発声開始時刻の１０秒前から発声終了時刻までといった一定の区間内において装置利用に関連しない特定の音が検出された場合には、利用者が「他のことをしていて回答できない」と判断し、判断結果を出力する。

（３）応答内容の生成
聴取状態判断部１０５によって取得された聴取状態判断結果に基づき、応答内容生成部１０２は、応答内容を生成する。

「聞こえている」と判断され、利用者からその回答があった場合には、その回答に対する応答を生成する。

一方、聴取状態が「聞こえていない」と判断された場合には、同一内容の応答内容を、音量を大きくして出力するか、聞こえやすいように音質（例えば、男性の声から女性の声）を変えて出力する。

また、聴取状態が「利用が他の話者と話していて回答できない」あるいは「他のことをしていて回答できない」と判断された場合には、音声応答装置１０の中断を示す応答内容を生成し、出力すると共に、音声応答装置１０はその動作を中断する。

なお、応答音声終了時刻から一定時間経過後、聴取状態判断結果に基づいた応答内容の生成を行うように設定してもよい。

また、音声応答装置１０の動作中断時においても、一定区間毎に利用者の聴取状態を判断し、「他のことをしていて回答できない」「利用者が他の話者と話していて回答できない」という判断がなされなくなった場合には、応答内容生成部１０２は再度中断状態が終了を示す応答内容を生成し出力すると共に、音声応答装置１０の動作を再開する。

以上のような聴取状態判断結果に基づく応答内容の生成は、予め聴取状態判断に対応した応答生成方法を規定しておくことで、実現することができる。

（４）処理手順
以下、音声応答装置１０の処理手順Ａの詳細に説明する。なお、図６は処理手順Ａの処理内容を説明するフローチャートである。

ステップＡ１において、周囲音抽出を開始する。

ステップＡ２において、音声応答装置１０が応答音声を出力する。

ステップＡ３において、応答音声出力後の聴取状態判断を行い、聴取状態判断結果が「聞こえている」と判断される場合にはステップＡ４へ進み、聴取状態判断結果が「聞こえていない」「他の人と話していて回答できない」「他のことをしていて回答できない」といった装置応答音声が伝達されていないと判断される場合にはステップＡ５へ進む。

ステップＡ４において、所定時間内に利用者の入力があった場合には、利用者の入力に対する処理を実行する。所定時間内に利用者の入力がなかった場合には再度応答内容を出力するためステップＡ２へ進む。

ステップＡ５において、聴取状態判断結果が「聞こえていない」と判断された場合には、再度応答出力を行うためステップＡ２へ進む。この場合、応答出力の音量が大きくなるように、または、小さくなるように変更してもよい。また、聴取状態判断結果が「他の人と話していて回答できない」「他のことをしていて回答できない」などのように装置応答に対する入力を行うことが困難な聴取状態である場合には、応答装置の動作を中断する。

（５）具体例
上記処理について、音声応答装置１０を内蔵したテレビを具体例にして詳しく説明する。

図７は、音声応答装置１０を内蔵したテレビと利用者のやり取りの例であり、野球の結果をデータベースとして管理していて、利用者からの問い合わせに回答すると共に、関連する映像再生が可能なテレビを想定している。

図７に示した対話例では、装置利用時において、装置応答２の出力中に利用者が携帯電話で他の人と話し出し回答ができなくなった場面を想定したものであり、このような場面での処理について説明する。

音声応答装置１０は、利用者に「ホームランシーンを再生しますか」と問い合わせる装置応答２が再生終了後、聴取状態判断部１０５は周囲音声取得部１０３の出力を受け、聴取状態判断結果を出力する。

聴取状態を判断するため、ここでは、聴取状態判断ルールを用いている。図８は聴取状態判断ルールの一例である。

例えば、携帯電話で話をしていて、応答音声再生中の利用者発声時間が基準値を超えた場合、聴取状態判断部１０５は聴取状態判断ルールに基づき「他の人と話していて回答できない」という判断結果として出力する。

「他の人と話していて回答できない」という聴取状態判断結果を取得した応答内容生成部１０２は、装置応答２に対する入力を行うことが困難として、応答処理を中断することにより、音声応答装置１０の不要な応答出力を中断することができる。また、このとき装置応答３として、「応答を中断します。」と応答してもよい。

応答処理の動作は中断するが、周囲音情報を一定間隔で取得し、利用者の発声が検出されなくなった場合は、中断していた応答処理を再開し、「Ａチームのホームランシーンが再生できます」といった応答出力を行うことにより、利用者が継続してテレビとのやり取りを続けることができる。

なお、このような聴取状態判断結果に対する処理は予め規定されており、その処理方法に基づいて動作すればよく、聴取状態判断結果が「他の人と話していて回答できない」である場合でも、応答の重要性によっては、再度応答を繰り返すように処理を行っても良い。

（６）効果
このように本実施形態によれば、利用者の聴取状態に応じた音声応答の制御が可能となり、利用者が音声応答装置への回答ができない状態になっても、音声応答装置１０が意図しない動作をせず利用者に余分な負担を生じない。

また、利用者が音声応答装置１０とは関係のない行為を行っている場合に、音声応答装置１０が利用者の行為を阻害する応答を出力することがなく、利用者に負担をかけない。

（第２の実施形態）
次に、本発明の第２の実施形態に係る音声応答装置２０について図９に基づいて説明する。

（１）音声応答装置の構成
図９は、本実施形態に係る音声応答装置２０の構成例である。

音声応答装置２０は、入力取得部２０１、応答内容生成部２０２、応答出力部２０３から構成される。聴取状態判断装置２１は、周囲音取得部２１１、聴取状態判断部２１２から構成される。音声応答装置２０と聴取状態判断装置２１は、例えば無線ＬＡＮなどのネットワークで接続されており、必要な情報のやり取りが自由に行えるようになっている。

（１−１）入力取得部２０１
入力取得部２０１は、例えば、マイクなどによって利用者の発した音声信号を取り込み、音声認識処理を行い、テキスト情報に変換して出力する。あるいは、リモートコントローラの赤外線信号などを受信し、受信内容を出力する。

（１−２）応答内容生成部２０２
応答内容生成部２０２は、入力取得部２０１で取得した利用者の入力情報に基づき、応答内容を決定する。

例えば、応答内容生成部２０２は、アプリケーションに入力情報を出力し、例えば、アプリケーションがデータベースシステムの場合は、入力された検索要求に対応する検索結果を取得し、検索結果に基づき、応答内容を生成する。

応答内容生成部２０２は利用者の入力の有無に係らず、設定した時刻やアプリケーションにおいて状況が変化した場合に、応答音声が必要となる場合は、応答内容を生成し出力することが可能でなる。

（１−３）応答出力部２０３
応答出力部２０３は、応答内容生成部２０２にて生成した応答内容を、例えば、テキストとして取得し、合成音に変換して出力する。なお、出力する音声は予め録音をしていた音声を再生するだけでもよい。

（１−４）周囲音取得部２０４
周囲音取得部２０４は、利用者のそばにあるマイク、利用者の傍にいるロボットに付属されたマイク、または、壁や天井に備え付けられたマイクに入力された周囲音情報を取得する。

（１−５）聴取状態判断部２０５
聴取状態判断部２０５は、周囲音取得部１０４の出力である周囲音情報を分析し、分析結果を利用して予め決められた聴取状態の判断基準に基づき利用者の聴取状態を判断し、聴取状態判断結果を音声応答装置２０へと出力する。

聴取状態判断部２０５において、聴取状態を判断するために音声応答装置２０の応答発声開始時刻が必要な場合は、音声応答装置２０より取得することが可能である。

なお、音声応答装置２０の発声開始時刻が取得できない場合でも、周囲音取得情報を分析し、音声応答装置２０からの応答音声区間を特定することにより聴取状態判断が可能となる。

（２）応答の内容
応答内容生成部２０２は応答処理を出力後、聴取状態判断部２０５に聴取状態判断結果を問い合わせ、聴取状態判断結果に応じて応答処理内容を決定する。なお、応答内容生成部２０２は所定時間利用者からの入力が行われなかった場合に、聴取状態判断結果を取得してもよい。

（３）効果
以上のような、本実施形態の構成により、音声応答装置２０が周囲音情報を取得するためのマイクを備えていなくても、聴取状態判断結果に基づいた応答内容生成の制御が可能となる。

また、聴取状態判断部１０５の処理量が膨大である場合にも、音声応答装置２０には負荷がかからないため、音声応答装置２０の処理に影響与えることなく応答内容生成の制御が可能となる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

上記実施形態は、音声応答機能を持つテレビとして説明したが、例えば、音声応答による受付を行うシステムやカーナビゲーションなどの音声応答機能を持つ機器において適用することが可能である。

また、上記実施形態は、利用者からの入力を音声による入力として説明したが、利用者入力がタッチパネルやリモコン入力であることを前提とした音声応答装置にも適用することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る音声応答装置のブロック図である。 聴取状態判断方法の第１の例を示した図である。 聴取状態判断方法の第２の例を示した図である。 聴取状態判断方法の第３の例を示した図である。 聴取状態判断方法の第４の例を示した図である。 第１の実施形態に係る処理手順Ａの処理内容を説明するフローチャートである。 第１の実施形態に係る音声応答装置を内蔵したテレビと利用者のやり取りの例である。 第１の実施形態に係る聴取状態判断ルールの一例である。 本発明の第２の実施形態の音声応答装置のブロック図である。

符号の説明

１０ 音声応答装置
１０１ 入力取得部
１０２ 応答内容生成部
１０３ 応答出力部
１０４ 周囲音取得部
１０５ 聴取状態判断部

Claims (11)

1. 利用者に対して音声応答する音声応答装置において、
   前記音声応答を行った時の利用者の周囲の音に関する周囲音情報を取得する周囲音声取得部と、
   前記周囲音情報に含まれる利用者音声、応答音声、環境音を分析し、（１）前記利用者が前記応答音声の回答している状態、（２）前記利用者に前記応答音声が聞こえていない状態、または、（３）前記利用者が前記音声応答に回答できない状態かを判断する聴取状態判断部と、
   （１）前記利用者が前記音声応答に回答している場合は、前記回答に対する新たな音声応答を生成し、（２）前記利用者に前記応答音声が聞こえていない場合は、前記音声応答を繰り返し、（３）前記利用者が前記音声応答に回答できない場合は、前記音声応答を中断する応答内容生成部と、
   を具備する音声応答装置。
2. 前記利用者が発声した音声を認識する音声認識部を具備し、
   前記応答内容生成部は、前記認識した利用者音声に基づいて前記音声応答を生成する、
   請求項１記載の音声応答装置。
3. 前記聴取状態判断部は、前記周囲音情報に含まれる前記応答音声の音量が基準値に到達していないときは、前記音声応答が前記利用者に聞こえていないと判断する、
   請求項１記載の音声応答装置。
4. 前記聴取状態判断部が、前記応答音声が聞こえていないと判断したときは、
   前記応答内容生成部は、前記応答音声の音量を大きくして繰り返す、
   請求項１記載の音声応答装置。
5. 前記聴取状態判断部は、前記応答音声の発声時間内の前記周囲音情報に含まれる前記応答音声以外の音に基づいて、前記利用者が前記音声応答に回答できない状態であるか否かを判断する、
   請求項１記載の音声応答装置。
6. 前記聴取状態判断部は、前記応答音声の発声時間内の前記周囲音情報に前記利用者音声と前記利用者以外の音声が含まれているときは、前記利用者が前記音声応答に回答できない状態と判断する、
   請求項５記載の音声応答装置。
7. 前記聴取状態判断部は、前記周囲音情報より取得した前記利用者の発声区間に、前記応答音声の発声開始時刻、または、発声終了時刻が含まれているときは、前記利用者が前記音声応答に回答できない状態と判断する、
   請求項５記載の音声応答装置。
8. 前記聴取状態判断部は、前記応答音声の発声時間内の前記周囲音情報に任意の物理音が含まれているときは、前記利用者が前記音声応答に回答できない状態と判断する、
   請求項５記載の音声応答装置。
9. 前記中断後に取得された周囲音情報に基づき、前記音声応答の再開処理を行う応答再開処理部を具備する、
   請求項１記載の音声応答装置。
10. 利用者に対して音声応答する音声応答方法において、
    前記音声応答を行った時の利用者の周囲の音に関する周囲音情報を取得する周囲音声取得ステップと、
    前記周囲音情報に含まれる利用者音声、応答音声、環境音を分析し、（１）前記利用者が前記応答音声の回答している状態、（２）前記利用者に前記応答音声が聞こえていない状態、または、（３）前記利用者が前記音声応答に回答できない状態かを判断する聴取状態判断ステップと、
    （１）前記利用者が前記音声応答に回答している場合は、前記回答に対する新たな音声応答を生成し、（２）前記利用者に前記応答音声が聞こえていない場合は、前記音声応答を繰り返し、（３）前記利用者が前記音声応答に回答できない場合は、前記音声応答を中断する応答内容生成ステップと、
    を具備する音声応答方法。
11. 利用者に対して音声応答するためのコンピュータで実現される音声応答プログラムにおいて、
    前記音声応答を行った時の利用者の周囲の音に関する周囲音情報を取得する周囲音声取得機能と、
    前記周囲音情報に含まれる利用者音声、応答音声、環境音を分析し、（１）前記利用者が前記応答音声の回答している状態、（２）前記利用者に前記応答音声が聞こえていない状態、または、（３）前記利用者が前記音声応答に回答できない状態かを判断する聴取状態判断機能と、
    （１）前記利用者が前記音声応答に回答している場合は、前記回答に対する新たな音声応答を生成し、（２）前記利用者に前記応答音声が聞こえていない場合は、前記音声応答を繰り返し、（３）前記利用者が前記音声応答に回答できない場合は、前記音声応答を中断する応答内容生成機能と、
    を実現する音声応答プログラム。

Images