JP4765394B2 - 音声対話装置 - Google Patents

Description

本発明は、ユーザとの情報のやりとりを音声によって行う音声対話装置に関する。

従来から、音声を入力する音声入力部と、入力された音声を認識する音声認識部と、認識された音声に基づいて、少なくとも上記表示部に表示される内容を変更せしめる制御部と、上記車両の速度を検出する速度検出部上記車両速度に基づいて上記音声入力部から入力された音声のゲインを変更するゲイン変更部と、上記ゲイン変更部により入力音声のゲインが変更される際に、発話の音量を上げる旨の案内を行う報知手段と、を備えた音声対話装置が知られている（例えば、特許文献１参照）。
特開２００３−３４４０８８号公報

ところで、この種の音声対話装置では、ユーザの発話音量が不足する場合等には、上述の従来技術のように、所期の認識精度を実現するのに必要な音声レベル（又はＳ／Ｎ比）を確保するために、“音声レベルを大（又は小）としてもう一度発話してください”といったような音声メッセージ等を出力して、話者に再発話を要求する場合がある。

しかしながら、かかる再発話の要求の仕方は、大きな声で話すのに抵抗を感じるユーザに対しては有効といえず、かかるユーザの発話音量の不足を解消すべく所望のレベルまで発話音量を誘導するのが困難であるという問題点がある。

そこで、本発明は、かかるユーザの心理を考慮しつつ、ユーザの発話音量を所望のレベルまで効果的に誘導することができる音声対話装置の提供を目的とする。

上記課題を解決するため、本発明の一局面によれば、ユーザとの情報のやりとりを音声によって行う音声対話装置であって、ユーザの発話音量が適正なレベルに達している場合に音声認識処理が実施される音声対話装置において、
ユーザからの発話が入力される音声入力手段と、
音声入力手段に入力される発話データに基づいてユーザの発話音量を算出する発話音量算出手段と、
音楽を出力する音楽出力手段と、
前記音楽出力手段を制御する出力制御手段とを備え、
前記出力制御手段は、前記音楽出力手段による音楽の出力を開始又は音楽出力状態を維持しつつ、ユーザの発話音量の算出結果に応じて、ユーザの発話音量が所定の音量より小さい場合は前記音楽出力手段により出力する音楽の音量を大きくし、又は、ユーザの発話音量が所定の音量より大きい場合は前記音楽出力手段により出力する音楽の音量を小さくする態様で、前記音楽出力手段により出力する音楽の音量を調整することを特徴とする、音声対話装置が提供される。

また、上記の局面において、ユーザとの音声対話のための応答音を出力する応答音出力手段を更に備え、
前記出力制御手段は、前記音楽出力手段及び前記応答音出力手段を制御し、
前記出力制御手段は、前記音楽出力手段による音楽の出力を開始又は音楽出力状態を維持しつつ、ユーザの発話音量の算出結果に応じて、更に、前記応答音出力手段により出力する応答音の音量を調整することとしてもよい。

上記の各局面において、ユーザの発話音量が所定の音量より小さい場合は、応答音出力手段により出力する応答音の音量を大きくすることとしてよい。ユーザの発話音量が所定の音量より大きい場合は、応答音出力手段により出力する応答音の音量を小さくすることとしてよい。前記出力制御手段による音楽又は応答音の音量の調整は、ユーザの発話中に行われることとしてよい。車室内で使用される場合、前記音楽出力手段は、前記音楽として、ユーザが車載オーディオ装置にセットした音楽ＣＤやＤＶＤ等に記録された音楽、又は、予め用意された所定の音楽を、車室内のスピーカを介して出力するものであってよい。

本発明によれば、ユーザの発話音量を所望のレベルまで効果的に誘導することができる音声対話装置を得ることができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明による音声対話装置が組み込まれる音声対話システムの一実施例を示すシステム構成図である。音声対話装置１０は、対話制御ＥＣＵ２０、車室内の音（音声）を拾う車内マイク（マイクロフォン）３０、アンプ４２及びスピーカ４０を備える。アンプ４２及びスピーカ４０は、車載オーディオシステムで用いられるものと共通であってよい。

対話制御ＥＣＵ２０には、ＣＡＮ（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ）などの適切なバスを介して、車載オーディオシステムが接続される。対話制御ＥＣＵ２０は、後に詳説するように、必要に応じて、車載オーディオシステムからスピーカ４０を介して出力される音楽の音量を制御する。

対話制御ＥＣＵ２０は、その基本的な構成として、バスを介して接続されるＣＰＵ、メモリ、Ａ／Ｄ（ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ）変換器を備える。メモリには、以下で説明する音声対話装置１０の機能を実現するプログラムやデータが格納される。

車内マイク３０に入力されるアナログ音声は、マイクアンプにて増幅処理やノイズ除去などの所定処理を受けて、Ａ／Ｄ変換器でデジタル形式の音声信号に変換され、対話制御ＥＣＵ２０に送られる。対話制御ＥＣＵ２０は、音声信号から特徴量を抽出し、次いで、所与の音響／言語モデルを用いたマッチング処理により認識結果を得る。対話制御ＥＣＵ２０は、必要に応じて、認識結果に応じた応答音（システム音声）を、アンプ４２により所定レベルまで増幅してから、スピーカ４０を介して、車室内に出力する。

尚、本発明は、特に音声認識方法により限定されるものでなく、如何なるハードウェア構成で如何なるソフトウェア（音声認識エンジン）を用いた音声認識処理に対しても適用可能である。

図２は、本実施例の音声対話システムにより実現される主要な処理を示すフローチャートである。

ステップ１００では、対話制御ＥＣＵ２０は、ユーザとの音声対話の開始前段階を検出し、所定のシステム音声（ガイダンス音声）を出力する。この対話開始前段階とは、例えばユーザがトークスイッチをオンにした際に音声対話が開始されるシステムでは、トークスイッチがオンにされたときであってよく、システム側からユーザに何らかの問い合わせが必要となったときであってもよい。後者の例としては、ナビゲーションシステムとしてユーザに行き先を尋ねるときに、「いきさきはどこですか？」なるシステム音声を、スピーカ４０を介して出力する。

ステップ１００で対話開始前段階が検出されると、対話制御ＥＣＵ２０は、ステップ１１０として、システム音声ならぬシステム音楽を所定の音量Ｌ０で、スピーカ４０を介して出力する。システム音楽は、バックグラウンドミュージック（ＢＧＭ）として適切な素材が選択され、対話制御ＥＣＵ２０のメモリ内に予め用意される。これにより、ユーザは、音声対話装置１０がユーザからの発話入力待ち状態に入ったことを聴覚から認識することができると共に、システム音楽が背後に流れることで、リラックスした気持ちで発話を行うことできる（この結果、聞き取りやすい、認識しやすい発話音量が期待できるようになる。）。尚、このシステム音楽は、ユーザによりダウンロード可能であってもよく、複数種の中からユーザにより選択可能とされてもよい。

本ステップ１１０に関して、対話開始前段階が検出されたときに、ユーザが既に車載オーディオシステムにより音楽を聴いている状態である場合は、当該車載オーディオシステムによる音楽ＣＤやＤＶＤ等の再生に代えて、上記のシステム音楽を出力してもよいし（即ち、システム音楽への切り替えを行う。）、上記のシステム音楽を出力せず、当該車載オーディオシステムによる音楽ＣＤやＤＶＤ等の再生を継続してもよい。後者の場合、車載オーディオシステムから出力される音楽の音量は、そのまま維持されてもよいし、システム音楽の初期出力音量Ｌ０と同等のレベルまで低減又は増加されてもよい。以下、車載オーディオシステムにより再生される音楽を、上記システム音楽と区別するため「オーディオ音楽」という。

かかるシステム音楽ないしオーディオ音楽の出力中に（ユーザからの発話の入力待ち状態において）、例えばユーザが「豊田市駅」と答えるなどしてユーザからの発話があると（ステップ１２０）、発話音量が算出され、発話音量が適正なレベルか否かが判断される（ステップ１３０）。このとき、車内マイク３０に入力されるアナログ音声（又はＡ／Ｄ変換器でデジタル形式の音声信号）から、システム音楽ないしオーディオ音楽の再生信号を差し引くことで（即ち、システム音楽ないしオーディオ音楽の再生信号を、その逆位相を重畳してキャンセルすることで）、車内マイク３０に入力される音声に含まれるシステム音楽ないしオーディオ音楽の成分が除去される。これは、システム音声出力中のユーザからの発話を検出するバージイン（割り込み発話）機能と同様の技術を用いて実現されてよい。

次いで、このようにしてシステム音楽ないしオーディオ音楽の成分が除去された音声信号から、発話区間が検出される。発話区間とは、話者の音声部、即ち認識対象の音声が含まれている区間であり、先の例では、「とよたし」という発話に係る発話区間である。発話区間の検出は、如何なる方法で実現されてもよく、例えば特開２００４−２７１６０７号公報に開示されるような方法が用いられてよい。この場合、発話区間は、ノイズが除去または低減した音声信号に基づいて検出される。これは、音声信号は、フィルタによりノイズが除去または低減することで、無音声部（無発話部）の振幅は極めて小さくなり、発声部（有音声部）の振幅のみが残る状態となり、発話部が無発話部に比して強調されることに基づく。

本ステップ１３０では、発話区間内の音声量Ｓ［ｄＢ］が、所定の音量に達しているか否かが判断されてよい。発話区間内の音声量Ｓは、発話区間内の全区間に亘る音量の平均値として算出されてよい。発話区間内の音声量の算出値は、パワー、音圧等の音の大きさ・強度を表す適正なパラメータを用いて算出されてよく、平均値に代えて、積算値（積分値）、最大値・最小値等が用いられてもよい。

或いは、本ステップ１３０では、発話区間内の音声量Ｓ［ｄＢ］と、騒音の音量Ｎ［ｄＢ］との比、即ちＳ／Ｎ比が所定基準を満たしているか否かが判断されてもよい。騒音の音量Ｎは、発話区間外（即ち無音声部）の音量の平均値として算出されてよい。騒音量の平均値Ｎは、発声量の平均値Ｓと同様、パワー、音圧等の音の大きさ・強度を表す適正なパラメータを用いて算出されてよく、平均値に代えて、積算値（積分値）、最大値・最小値等が用いられてもよい。

本ステップ１３０においてユーザの発話音量が適正なレベルに達していると判断されると、音声認識処理が実施され（ステップ１４０）、音声認識結果が出力される（ステップ１６０）。このとき、対話制御ＥＣＵ２０は、必要に応じて、音声認識の確認として、スピーカ４０を介して「とよたしえきですね？」なるシステム音声を出力してもよい。この場合、音声対話が継続されることになり、ユーザが「そうです」と答えるなどしてユーザからの返答があると、当該返答に係る発話に対して上記ステップ１２０の処理から継続されることになる。尚、上記ステップ１１０の処理により開始されるシステム音楽の出力は、ユーザとの一連の対話が終了するまで継続される。例えば、対話制御ＥＣＵ２０は、先の例で、ユーザの行き先が豊田市駅であると確定し、一連の対話が終了すると、システム音楽の出力の停止を行うと共に（オーディオ音楽の出力をそのまま維持してよい。）、ナビゲーションシステムをして、豊田市駅までのルート案内を実行させる。

一方、本ステップ１３０においてユーザの発話音量が適正なレベルに達していないと判断されると、ステップ１６０の処理に進む。

ステップ１６０では、再発話を要求するシステム音声（ガイダンス音声）を出力すると共に、ユーザの発話音量を所望のレベルまで誘導すべく、システム音楽ないしオーディオ音楽の音量を制御する処理が行われる。即ち、対話制御ＥＣＵ２０は、システム音楽ないしオーディオ音楽の音量を増加させる。このとき、適正なレベルに対応する目標音量Ｌ_{ｔａｒｇｅｔ}（固定値ないし騒音の音量Ｎに応じた可変値）まで一気に増加させてもよいが、当該ステップ１６０を経由する毎に段階的に目標音量Ｌ_{ｔａｒｇｅｔ}まで増加させてもよい。いずれの場合であっても、このシステム音楽ないしオーディオ音楽の音量増加は、次のユーザからの発話がなされるまでに完了するようにしてもよく、或いは、ユーザの発話中に徐々に増加させることとしてもよい。尚、システム音楽ないしオーディオ音楽の音量増加は、アンプ４２のゲインを制御することで実現される。

このように発話を行うユーザの背景音（システム音楽ないしオーディオ音楽）を大きくすることで、ユーザがかかる音楽の音量に負けないような大きな音声で発話するように誘導することができる。これは、人は周囲がうるさいときには大きな声で話す傾向にあるという、ランバード効果を期待するものである。尚、システム音楽ないしオーディオ音楽を大きくしても、上述の如く当該システム音楽ないしオーディオ音楽の成分は音声認識処理により除去されるので、ユーザの発話信号が、このようにして音量が大きくされたシステム音楽ないしオーディオ音楽の音声信号によってマスクされて認識不能となることは無い。

本ステップ１６０において、同様の観点から、再発話を要求するシステム音声についても同様に音量が増加されてもよい。再発話を要求するシステム音声は、例えば一般的な「音声レベルを大としてもう一度発話してください」なるものであってもよいが、ある程度の適合度の認識候補がある場合には「とよはしえきですか？」なるものであってもよい。尚、システム音声の音量増加は、アンプ４２のゲインを制御することで実現される。

このようにして再発話を要求し、再びユーザからの発話があった場合には、上記ステップ１２０以後の処理が繰り返される。

このように本実施例によれば、音声認識のための発話を行う周辺環境（車室内環境）にシステム音楽ないしオーディオ音楽を流し、ユーザの発話音量が不足しているときは、当該音楽の音量を増加させることで、大きな声で話すのに抵抗を感じるユーザにとっても自然に大きな声で話せる環境を形成することができる。これにより、かかるユーザの発話音量を所望のレベルまで効果的に誘導することができ、音声認識精度が向上し、信頼性の高い態様で音声対話装置とユーザとの音声対話（それに伴う情報のやり取り）を実現することができる。

また、システムの応答音（例えば、再発話を要求するシステム音声）についても同様に、ユーザの発話音量が不足しているときは、音量を増加させることで、ランバード効果により、大きな声で話すのに抵抗を感じるユーザに対しても効果的に大きな声で発話するよう誘導することが可能となる。

尚、本実施例では、通常のシステムとは対照的に、認識精度を高める観点からは、ユーザからの発話待ち状態でオーディオ音楽のような背景音を一時的に小さくすることないが、ユーザに発話待ち状態であることを認識させるために、背景音を一時的に小さくすることが行われてもよい。但し、この場合も、ユーザの発話前までには背景音を、上述の如く適切なレベルまで増加させることが望ましい。

また、本実施例では、ユーザの発話音量が不足しているときに、ユーザの発話音量を所望のレベルまで誘導して増加させるべく、システム音楽ないしオーディオ音楽及び／又はシステム音声の音量が制御されているが、逆に、ユーザの発話音量が大きすぎるときに、ユーザの発話音量を所望のレベルまで誘導して減少させるべく、システム音楽ないしオーディオ音楽及び／又はシステム音声の音量を低下させることとしてもよい。

また、本実施例において、対話制御ＥＣＵ２０は、車内マイク３０を介して入力された音声に対して現在“音声認識中”であることをディスプレイ上に表示するのに代えて又はそれに加えて、所定のシステム音楽を、スピーカ４０を介して出力してもよい。これにより、ユーザは、当該所定のシステム音楽を聞けばシステムが現在“音声認識中”であることが分かるので、ディスプレイを見てシステムが現在“音声認識中”であることを確認する必要がなくなる。この場合も同様に、システムが現在“音声認識中”であること知らせるシステム音楽の音量が、ユーザの発話音量を所望のレベルまで誘導すべく制御されてもよい。また、同様の観点から、音声対話装置１０の状態、例えば音声入力待ち状態、認識処理状態等に応じて異なるシステム音楽を、スピーカ４０を介して出力してもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例では、車室内での対話アプリケーションに関するものであったが、本発明は、特にこれに限定されることはなく、他の環境下での対話アプリケーションに対しても適用可能である。

本発明による音声対話装置が組み込まれる音声対話システムの一実施例を示すシステム構成図である。 実施例１の音声対話システムにより実現される主要な処理を示すフローチャートである。

符号の説明

１０ 音声対話装置
２０ 対話制御ＥＣＵ
３０ 車内マイク
４０ スピーカ
４２ アンプ

Claims (6)

1. ユーザとの情報のやりとりを音声によって行う音声対話装置であって、ユーザの発話音量が適正なレベルに達している場合に音声認識処理が実施される音声対話装置において、
   ユーザからの発話が入力される音声入力手段と、
   音声入力手段に入力される発話データに基づいてユーザの発話音量を算出する発話音量算出手段と、
   音楽を出力する音楽出力手段と、
   前記音楽出力手段を制御する出力制御手段とを備え、
   前記出力制御手段は、前記音楽出力手段による音楽の出力を開始又は音楽出力状態を維持しつつ、ユーザの発話音量の算出結果に応じて、ユーザの発話音量が所定の音量より小さい場合は前記音楽出力手段により出力する音楽の音量を大きくし、又は、ユーザの発話音量が所定の音量より大きい場合は前記音楽出力手段により出力する音楽の音量を小さくする態様で、前記音楽出力手段により出力する音楽の音量を調整することを特徴とする、音声対話装置。
2. ユーザとの音声対話のための応答音を出力する応答音出力手段を更に備え、
   前記出力制御手段は、前記音楽出力手段及び前記応答音出力手段を制御し、
   前記出力制御手段は、前記音楽出力手段による音楽の出力を開始又は音楽出力状態を維持しつつ、ユーザの発話音量の算出結果に応じて、更に、前記応答音出力手段により出力する応答音の音量を調整する、請求項１に記載の音声対話装置。
3. ユーザの発話音量が所定の音量より小さい場合は、前記応答音出力手段により出力する応答音の音量を大きくする、請求項２に記載の音声対話装置。
4. ユーザの発話音量が所定の音量より大きい場合は、前記応答音出力手段により出力する応答音の音量を小さくする、請求項２に記載の音声対話装置。
5. 前記出力制御手段による音楽又は応答音の音量の調整は、ユーザの発話中に行われる、請求項１から４のうちのいずれかに記載の音声対話装置。
6. 車室内で使用される請求項１〜５の何れかに記載の音声対話装置において、
   前記音楽出力手段は、前記音楽として、ユーザが車載オーディオ装置にセットした音楽ＣＤやＤＶＤ等に記録された音楽、又は、予め用意された所定の音楽を、車室内のスピーカを介して出力する、音声対話装置。

Images