JP3892302B2 - Voice dialogue method and apparatus - Google Patents
Voice dialogue method and apparatus Download PDFInfo
- Publication number
- JP3892302B2 JP3892302B2 JP2002004552A JP2002004552A JP3892302B2 JP 3892302 B2 JP3892302 B2 JP 3892302B2 JP 2002004552 A JP2002004552 A JP 2002004552A JP 2002004552 A JP2002004552 A JP 2002004552A JP 3892302 B2 JP3892302 B2 JP 3892302B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- utterance
- speech
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、音声認識や音声合成を使用した音声対話の方法およびその装置に関する。
【0002】
【従来の技術】
従来、ユーザの発話中に相づちを打ってユーザとの対話を円滑に進める方法は特開平11−75093号公報に記載されたものがある。
【0003】
図19は、従来の音声対話方法の動作例を示す。
【0004】
この従来の音声対話方法では、例えば、会議室の予約で「月曜日のですね午後2時なんですが」の入力発話1321に対し、音声認識の処理により「えっと」1341、「どよう」1342、「げつよう」1331、「び」1332、、、の認識の中間結果を応答生成部(図示せず)に入力して、途中応答が必要かの判断をし、必要なものに対し、ここでは予約の条件となる「月曜」、「午後二時」の各音声認識に対し途中応答信号を生成し、途中応答発話「ハイ」1355、1356を行っている。
【0005】
【発明が解決しようとする課題】
しかしながら、従来の音声対話方法においては、途中の音声認識の信頼度が低い場合でも相づちをうつだけで、ユーザの発話が終了するまで音声認識の結果がわからない場合があり、ユーザとの対話の効率に問題を有していた。
【0006】
本発明は、このような従来の問題を解決するためになされたもので、ユーザの途中発話の認識の信頼度が低い場合にはユーザの発話途中であってもユーザに即座に訂正発話を要求するようにしたり、逆にユーザの発話が終わった後の確認応答で、誤認識の疑いの高い部分については確認のための合成音声の話速を遅くし、かつ語尾を伸長してユーザの訂正発話を誘発しやすくしたりして、ユーザとの対話の効率を高めることができる音声対話方法を提供するものである。
【0007】
【課題を解決するための手段】
本発明の第1の局面は、音声対話方法であって、ユーザの音声の認識結果に基づく前記ユーザへの返答の中で、前記認識結果に自信が持てない部分を自信が持てる部分よりゆっくりと復唱し、かつ語尾を伸ばす。
【0008】
また、音声対話方法は、ユーザの訂正発声を誘発する言葉を該復唱にさらに入れても構わない。
【0009】
本発明の第2の局面は、音声対話装置であって、ユーザの音声を認識する手段と、前記音声の認識結果に基づき前記ユーザへの返答文を生成する手段と、前記返答文を音声化するときに前記認識結果が低かった単語部分の話速を他より遅くする話速設定手段と、前記単語部分の語尾を伸長する語尾伸長手段と、前記単語部分につき話速設定されかつ語尾が伸長された返答文を音声合成する音声合成手段とを備える。
【0010】
また、音声対話装置は、訂正発声誘発のための音声を挿入する手段をさらに備えていても構わない。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【0012】
図1は、本発明の第1の実施形態の音声対話方法のフローチャートを示す。
【0013】
図1に示すように、この第1の実施形態の音声対話方法は、まず、ユーザへのレスポンスの音声出力を開始し101、ユーザからの何らかの発声に対する認識結果のレスポンス(復唱)を装置がテキスト音声合成や音声編集合成によって行っている間に、誤認識を発見したユーザがレスポンス音声の出力中にユーザから新たな音声入力があったとき102、訂正発声を行うと装置は即座にレスポンス音声出力を中断し103、この新たな訂正発声に対し認識処理を行いキーワードを抽出する104。連続音声認識によってユーザが発声したと推定される単語列が抽出され、ユーザの訂正発声の前に行っていたレスポンス音声のもとになるレスポンスの文の単語列とキーワードが比較される。不一致のキーワードが見つかると、このキーワードから前の単語列は削除され、「ああ」とか「えっ」などの間投詞付与し106、付与した間投詞を先頭にした新たなレスポンス文が作成させる。次に、このレスポンスをテキスト音声合成や音声編集合成によって読み上げられる。以後、このような動作が続けられる。ユーザからの訂正発声がないと、この一連の対話処理は終了する。
【0014】
この対話の様子は、例えば図13に示す本発明の第1の実施形態の音声対話方法の対話例のようになる。すなわち、ユーザからの「大崎駅東口まで行って」という音声を認識処理し、「大阪駅東口に行って」と誤認識した装置は、行き先を告げる文パターンの行き先部分を「大阪駅東口」に設定し、このレスポンス文の音声合成出力を始める。しかし、「大阪駅」と聞いたユーザが即座に「違うよ、大崎駅だよ」と訂正すると、装置は先ほどの訂正発声を即座に中止し、ユーザからの訂正発声を認識処理し、その単語列からキーワードの行き先になりうる「大崎駅」を抽出する。そして、先ほどのレスポンス文の「大阪駅」を「大崎駅」に置き換え、その前の「行き先は」を削除し、驚きを表現する間投詞「ああ」を先頭に挿入して効果的なレスポンス文を作成する。次に、このレスポンス文を音声出力し、ユーザに認識結果を確認させる。この例では、誤認識がなくなったためユーザが「そう」と、肯定的な発声をして終わっている。
【0015】
以上のように本発明の第1の実施形態によれば、装置がユーザの音声を認識し、その認識結果に基づいてユーザへのレスポンスをしている最中にユーザからの訂正発声を受付け、この訂正発声の認識結果に基づき返答内容を一部変更した上で返答を再開するようにしたものであり、誤認識の訂正発声が即座に可能になり、その新たな認識結果もユーザには即座にレスポンスから判断できるようにしたため、ユーザとの対話の効率を高めることができる。
【0016】
図2は、本発明の第2の実施形態の音声対話方法のフローチャートを示す。
【0017】
図2に示すように、この第2の実施形態の音声対話方法は、まず、ユーザの音声の認識を開始し201、ユーザからの何らかの発声に対する認識処理の結果、連続音声認識によって最終的に文(単語列)が推定されるが、連続音声認識の最中には、数10msec毎に入力音声と単語仮説(候補となりうる単語)との照合がビタビアルゴリズムなどを利用して行われ、入力音声の時間軸と単語仮説の時間軸によって形成される2次元空間上のノード毎に最上位単語がスコア(尤度)とともに残されてゆく。一般的には、そのノードのその時点までの累積スコアが残されるが、この発明では、単語毎の尤度が必要なため、推定単語候補とともに、その尤度も記憶する202。ユーザ発話が終了すると、累積スコアが最小となる単語列パスがバックトラック処理によって抽出される203。このように、ユーザ発声に対する推定単語列が、各単語の尤度とともに明らかになる。装置は、レスポンスのための音声出力を開始し205、この尤度と予め設定してあった閾値を比較し、閾値より低いものは誤認識している可能性が高いと判断する。
【0018】
このような単語は、ユーザに確認させ、訂正発声をさせたいが、わざわざ「○○でよろしいですか」と確認のレスポンスを行っていては効率の良い対話にならない。そこで、推定した単語列をレスポンスする際に、誤認識している可能性が高いと判断された単語は、わざとゆっくりした話速(3モーラ/秒程度)で音声合成出力を行わせ、読み上げ速度を遅くし206、ユーザの注意を喚起するとともに、ユーザが訂正発声を即座にしやすいようにする。そして、ユーザからの訂正発声があったら207、この訂正発声に対しても同様の処理を行う。もちろん、誤認識がなければユーザからの訂正発声がないので対話は終了する。
【0019】
この対話の様子は、図14に示す本発明の第2の実施形態の音声対話方法の対話例のようになる。すなわち、ユーザからの「大崎駅東口まで行って」という発声を認識処理し、「西口」と誤認識した装置は、この尤度が低いため、誤認識の可能性が高いと判断し、レスポンス文を合成する際に「西口」をわざとゆっくりした話速で出力する。急に話速が変わって注意を喚起されたユーザは、「西口」と聞き、即座に「違うよ、東口だ」と訂正すると、装置はレスポンスの音声合成出力を即座に中止し、ユーザからの訂正発声を認識処理し、その単語列からキーワードの行き先になりうる「東口」を抽出する。そして、レスポンス文「ああ、東口ですね」を作成する。次に、このレスポンス文を音声出力し、ユーザに認識結果を確認させる。この例では、誤認識がなくなったためユーザが「そう」と、肯定的な発声をしたあと、全体のレスポンス文「行き先を大崎駅東口にします」を合成する。
【0020】
以上のように本発明の第2の実施形態によれば、ユーザの音声を認識し、その認識結果に基づくユーザへの返答の中で、認識結果に自信が持てない部分はゆっくりと復唱し、ユーザの訂正発声を誘発するようにしたため、ユーザが訂正発話をしやすくなり、ユーザとの対話の効率を高めることができる。
【0021】
図3は、本発明の第3の実施形態の音声対話方法のフローチャートを示す。
【0022】
図3に示すように、この第3の実施形態の音声対話方法は、まず、ユーザの音声の認識を開始し201、ユーザからの何らかの発声に対する認識処理の結果、連続音声認識によって最終的に文(単語列)が推定されるが、連続音声認識の最中には、数10msec毎に入力音声と単語仮説(候補となりうる単語)との照合がビタビアルゴリズムなどを利用して行われ、入力音声の時間軸と単語仮説の時間軸によって形成される2次元空間上のノード毎に最上位単語がスコア(尤度)とともに残されてゆく。一般的には、そのノードのその時点までの累積スコアが残されるが、この発明では、単語毎の尤度が必要なため、推定単語候補とともに、その尤度も記憶する202。ユーザ発話が終了すると、累積スコアが最小となる単語列パスがバックトラック処理によって抽出される203。このように、ユーザ発声に対する推定単語列が、各単語の尤度とともに明らかに。装置は、レスポンスのための音声出力を開始し205、この尤度と予め設定してあった閾値を比較し、閾値より低いものは誤認識している可能性が高いと判断する。
【0023】
このような単語は、ユーザに確認させ、訂正発声をさせたいが、わざわざ「○○でよろしいですか」と確認のレスポンスを行っていては効率の良い対話にならない。そこで、推定した単語列をレスポンスする際に、誤認識している可能性が高いと判断された単語は、わざとゆっくりした話速で音声合成出力を行わせ、さらにユーザの注意を喚起するために語尾を延ばしたり206a、語尾にポーズを挿入したり、語尾でわざと「えーと」などの言いよどみを入れて206b、自然に時間をかせぎ、ユーザが訂正発声をしやすいようにする。そして、ユーザからの訂正発声があったら207、この訂正発声に対しても同様の処理を行う。もちろん、誤認識がなければユーザからの訂正発声がないので対話は終了する。
【0024】
図15は、本発明の第3の実施形態の音声対話方法の対話例(a)、(b)を示す。
【0025】
この対話の様子は、例えば図15の対話例(a)ようになり、すなわち、ユーザからの「大崎駅東口まで行って」という発声を認識処理し、「西口」と誤認識した装置は、この尤度が低いため、誤認識の可能性が高いと判断し、レスポンス文を合成する際に「ニシグチ」をわざとゆっくりした話速で出力するとともに最終音節のチを延ばして合成する。急に話速が変わって注意を喚起されたユーザは、「西口ー」と聞き、この合成音声が終了する前に「違うよ、東口だ」と訂正できる。すると、装置はレスポンスの音声出力を即座に中止し、ユーザからの訂正発声を認識処理し、その単語列からキーワードである行先になりうる「東口」を抽出する。そして、レスポンス文「ああ、東口ですね」を作成する。次に、このレスポンス文を音声出力し、ユーザに認識結果を確認させる。
【0026】
図15の対話例(b)では、西口の語尾に「えーと」という言いよどみを入れ、図15の対話例(a)と同様の効果を出している。
【0027】
以上のように本発明の第3の実施形態によれば、ユーザの音声を認識し、その認識結果に基づくユーザへの返答の中で、認識結果に自信が持てない部分はゆっくりと復唱し、語尾の最終音節伸長などで時間を稼ぐためユーザが訂正発声をしやすくなり、ユーザとの対話の効率を高めることができる。
【0028】
図4は、本発明の第4の実施形態の音声対話方法のフローチャートを示す。
【0029】
図4に示すように、この第4の実施形態の音声対話方法は、まず、ユーザの発話を10msec〜30msec毎のフレームバッファに順次格納しつつ、そのフレームデータの特徴量抽出を行う。認識辞書には第1番目になりうる単語の候補が入っており、これらの音声のフレーム毎の特徴量と入力音声のフレーム特徴量間の距離(スコア)が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも途中レスポンス文を選択し、音声合成でユーザに訂正発声を要求する。この途中レスポンス文は、最上位単語のスコアによって変えることが効果的である。
【0030】
表1に途中レスポンス文の例を示す。
【0031】
【表1】
【0032】
表1に示すように、例えば、最上位候補単語のスコアが低いときは、ユーザに丁寧な再発声を促すため、丁寧に「すみません。もう一度おっしゃって下さい。」と途中レスポンスをするが、スコアがやや低いときは、「はあ」と簡単に再発声を促す。また、スコアが普通の場合は認識できている可能性が高いので何もレスポンスせず、明らかにスコアが高い場合は確信を持てるため、「はい」と相づちをうち、ユーザとの対話の自然性を上げるようにする。ある単語との照合が終わると、想定されている単語列規則(文法)にしたがって、認識辞書は、次に来るべき単語の入った認識辞書に更新され、入力音声の認識処理が継続される。単語照合に失敗し訂正発話を要求した場合には、単語辞書更新はせず、再入力された音声の認識処理を行う。このようにユーザの音声入力が終わるまで単語照合が行われ、最終的には各ステップで最上位となった単語の時系列が文として出力される。
【0033】
例えば、図16に示す本発明の第4の実施形態の音声対話方法の対話例のように「あのね」に対してはスコアが高く、「あのね」の後にポーズがあるため「はい」と相づちを打つだけであるが、「待ち合わせ場所は」に対してはスコアが低いため「はあ」と訂正発話を要求している。このようにして「待ち合わせ場所は渋谷」という認識結果を得る。
【0034】
以上のように本発明の第4の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行い、認識結果に自信が持てないときにはユーザの発声の最中でも即座にユーザに再発声を要請するようにしたことにより、誤認識した部分に対しユーザが即座に訂正発声をしやすくすることができる。
【0035】
図5は、本発明の第5の実施形態の音声対話方法のフローチャートを示す。
【0036】
図5に示すように、この第5の実施形態の音声対話方法は、まず、ユーザの発話を10msec〜30msec毎のフレームバッファに順次格納しつつ、そのフレームデータの特徴量抽出を行う。認識辞書には第1番目になりうる単語の候補が入っており、これら音声のフレーム毎の特徴量と入力音声のフレーム特徴量間の距離(スコア)が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも途中レスポンス文を作成し、音声合成でユーザに訂正発声を要求する。この際、訂正要求文に装置が推定した認識結果を入れるようにする。このようにすることにより、ユーザは自分の発声のし方がどのような問題を持つかを知ることができ、訂正発声をより的確にすることができる。ある単語との照合が終わると、想定されている単語列規則(文法)にしたがって、認識辞書は、次に来るべき単語の入った認識辞書に更新され、入力音声の認識処理が継続される。単語照合に失敗し訂正発話を要求した場合には、単語辞書更新はせず、再入力された音声の認識処理を行う。このようにユーザの音声入力が終わるまで単語照合が行われ、最終的には各ステップで最上位となった単語の時系列が文として出力される。
【0037】
例えば、図17に示す本発明の第5の実施形態の音声対話方法の対話例のように「あのね」に対してはスコアが高く、「あのね」の後にポーズがあるため「はい」と相づちを打つだけであるが、「待ち合わせ場所は」に対しては誤認識して「打ち合わせ場所」と認識しているが、スコアが低いため「打ち合わせ場所ですか」と訂正発話を要求している。このようにしてユーザに「待ち合わせだよ」という訂正発声を促している。
【0038】
以上のように本発明の第5の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行い、認識結果に自信が持てないときにはユーザの発声の最中でもスコアの低い単語を挿入した訂正要求を発して、即座にユーザに再発声を促すようにしたことにより、誤認識した部分に対しユーザが即座に訂正発声をしやすくすることができる。
【0039】
図6は、本発明の第6の実施形態の音声対話方法のフローチャートを示す。
【0040】
図6に示すように、この第6の実施形態の音声対話方法は、まず、ユーザの発話を10msec〜30msec毎のフレームバッファに順次格納しつつ、そのフレームデータの特徴量を抽出し、フレームデータの音響分析を行う601。毎回、当該フレームの数フレーム前までのデータの音声のある部分とない部分の平均エネルギー比を計算してSN比を算出する。次にSN比が十分に高い場合は602、そのまま音声認識処理に移るが605、SN比が十分に高くない場合は602、予め保持してある騒音データと入力データとを比較し603、類似性を算出し、最も近い騒音を推定する。次に推定された騒音の種類をユーザに告げて再発声を要求する604。このようにすることにより、ユーザに騒音源を止めたり、騒音源がなくなってから再発声をさせることで、より認識しやすい状況を作り出すことができる。
【0041】
例えば、図18に示す本発明の第6の実施形態の音声対話方法の対話例のように「あのね」と「月曜の」に対してはスコアが高く、「あのね」については、その後にポーズがあるため「はい」と相づちを打つが、「待ち合わせ場所は」に対しては騒音が混入し、SN比が低くなるため、入力騒音と保持した複数の騒音データを比較し、航空機騒音と推定している。したがって、「うわ、飛行機みたいな音がうるさい」と言ってから訂正発話「もう一度言ってよ」を要求している。このようにしてユーザに音声認識の妨げとなる騒音を指摘してから訂正発声を促している。
【0042】
以上のように本発明の第6の実施の形態によれば、ユーザの音声以外の周囲騒音がユーザの音声に混入し、このためにユーザ音声の認識結果に自信が持てなくなった場合には、その騒音の種類を推定し、ユーザの発話に割り込み、周囲騒音の種類をユーザに伝え、この騒音が原因で認識が困難になったことを伝えるようにしたものであり、誤認識の原因をユーザが取り除けるようにすることができる。
【0043】
図7は、本発明の第7の実施形態の音声対話装置のブロック図を示す。
【0044】
図7に示すように、この第7の実施形態の音声対話装置は、まず、ユーザからの何らかの発声を音声認識手段11で認識し、その結果に対する認識結果のレスポンス(復唱)を行っている最中に、新たにユーザから訂正発声が入ると、音声認識手段11はこれを即座に認識するとともに、現在出力していたレスポンスを音声合成出力中止手段12によって即座に中止させる。次に、訂正発声を認識した結果として単語列が推定されるが、その中からキーワードがレスポンス文生成手段13によって抽出され、レスポンス文選択手段14によって、レスポンス用文パターンデータベース15から選択されていたレスポンス文パターンに候補単語列を埋め込んでレスポンス文を作成する。多くの場合、ユーザには前の発声に対する復唱のための文パターンと一致し、復唱の文の一部を変更しているように見える。このレスポンス文は音声合成手段16に渡され、合成音声となるが、その出力タイミングは、ユーザ心理モデル計算手段18が音声合成出力制御手段17に指令を出すことによって決められる。すなわち、ユーザ心理モデル計算手段18は、当該訂正発声入力までに訂正発声が続いているようだとユーザが苛々している可能性が高いと判断し、ユーザ発声から0.3秒以内に「えーと」など、兎に角なんらかの発声をするが、まだ対話をし始めたばかりの段階では、レスポンス文が生成されるまで1秒を最長として待ち時間を設けるようにする。このようにしてユーザはいつでも訂正発声をすることができ、かつ、その認識結果をすぐに確認することができる。
【0045】
以上のように本発明の第7の実施形態によれば、ユーザの音声を認識する音声認識手段の認識結果に基づいてユーザへの返答文を選定する手段と、この返答文を音声化する音声合成手段と、前記返答の最中であってもユーザの訂正発声を認識する音声認識手段と、ユーザの訂正発声が検知された場合に音声合成を中止する手段と、この訂正発声の認識結果に基づき返答内容を修正する手段と、この修正した返答の合成音声をユーザ心理モデルに基づく適切なタイミングで出力する手段を備えるようにしたものであり、ユーザが心理的な負荷なしに訂正発話をし、その結果をすぐに確認することができる。
【0046】
図8は、本発明の第8の実施形態の音声対話装置のブロック図を示す。
【0047】
図8に示すように、この第8の実施形態の音声対話装置は、まず、ユーザからの何らかの発声を音声認識手段21で認識し、その結果に対する認識結果のレスポンス(復唱)を行う際に、話速設定手段29は、スコアの低かった単語だけ、故意に遅い話速(3モーラ/秒程度)で合成するよう音声合成手段26に指令を出す。このようにしてユーザに誤認識している可能性の高い部分を判りやすく提示する。これに対し、ユーザから訂正発声が入ると、音声認識手段21はこれを即座に認識するとともに、現在出力していたレスポンスを音声合成出力中止手段22によって即座に中止させる。次に、訂正発声を認識した結果として単語列が推定されるが、その中からキーワードがレスポンス文生成手段23によって抽出され、レスポンス文選択手段24によって、レスポンス用文パターンデータベース25から選択されていたレスポンス文パターンに候補単語列を埋め込んでレスポンス文を作成する。このレスポンス文は音声合成手段26に渡され、合成音声となるが、その出力タイミングは、ユーザ心理モデル計算手段28が音声合成出力制御手段27に指令を出すことによって決められる。このようにしてユーザは誤認識している可能性の高い部分を知って、すぐに訂正発声をすることができ、かつ、その認識結果をすぐに確認することができる。
【0048】
以上のように本発明の第8の実施形態によれば、ユーザの音声を認識する音声認識手段の認識結果に基づいてユーザへの返答文を選定する手段と、この返答文を音声化する音声合成手段と、前記返答の最中であってもユーザの訂正発声を認識する音声認識手段と、ユーザの訂正発声が検知された場合に音声合成を中止する手段と、この訂正発声の認識結果に基づき返答内容を修正する手段と、この修正した返答の合成音声をユーザ心理モデルに基づく適切なタイミングで出力する手段を備えるようにしたため、ユーザが心理的な負荷なしに訂正発話をし、その結果をすぐに確認することができる。
【0049】
図9は、本発明の第9の実施形態の音声対話装置のブロック図を示す。
【0050】
図9に示すように、この第9の実施形態の音声対話装置は、まず、ユーザからの何らかの発声を音声認識手段31で認識し、その結果に対する認識結果のレスポンス(復唱)を行う際に、話速設定手段39は、スコアの低かった単語だけ、故意に遅い話速(3モーラ/秒程度)で合成するよう音声合成手段36に指令を出す。さらに、語尾伸長手段30は、当該単語の語尾を故意に伸長する(この部分は、ポーズ挿入手段30aとして当該単語の直後にポーズ(スコアが低いほど長くなる)を挿入したり、訂正発話誘発手段30bとして「えーと」などの迷いを表現して、訂正発話を誘発する語を挿入してもよい)このようにしてユーザに誤認識している可能性の高い部分を判りやすく提示する。これに対し、ユーザから訂正発声が入ると、音声認識手段31はこれを即座に認識するとともに、現在出力していたレスポンスを音声合成出力中止手段32によって即座に中止させる。
【0051】
次に、訂正発声を認識した結果として単語列が推定されるが、その中からキーワードがレスポンス文生成手段33によって抽出され、レスポンス文選択手段34によって、レスポンス用文パターンデータベース35から選択されていたレスポンス文パターンに候補単語列を埋め込んでレスポンス文を作成する。このレスポンス文は音声合成手段36に渡され、合成音声となるが、その出力タイミングは、ユーザ心理モデル計算手段38が音声合成出力制御手段37に指令を出すことによって決められる。このようにしてユーザは誤認識している可能性の高い部分を知って、すぐに訂正発声をすることができ、かつ、その認識結果をすぐに確認することができる。
【0052】
以上のように本発明の第9の実施形態によれば、認識の信頼度の低かった単語は他より発話を遅くすることに加え、この単語の語尾を伸長するか、または認識結果の信頼度に応じたポーズ長を挿入するか、または「えーと」などの訂正発声誘発のための音声を挿入する手段を備えるようにしたため、さらにユーザの訂正発声をしやすくすることができる。
【0053】
図10は、本発明の第10の実施形態の音声対話装置のブロック図を示す。
【0054】
図10に示すように、この第10の実施形態の音声対話装置は、まず、ユーザの発話が音声認識手段41によって10msec〜30msec毎にフレームバッファに順次格納されつつ、特徴量抽出が行われる。認識辞書49には第1番目になりうる単語の候補が入っており、音声認識手段41によって、逐次これらの音声のフレーム毎に特徴量と入力音声のフレーム特徴量間の距離(スコア)が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも再発声文選択手段44によって再発要求文パターンデータベース45から適切な再発声要求文が選択される。再発声文生成手段43は、この選択された再発声要求文を音声合成手段46に渡し音声合成し、ユーザに訂正発声を要求する。このため、ユーザは装置がどの単語を認識できなかったかを即座に知ることができる。
【0055】
以上のように本発明の第10の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行う手段と、この部分的な認識結果の信頼度を判断する手段と、この信頼度を使ってユーザに再発声を要請するか否かを判断する手段と、ユーザに再発声をうながすための文を選定する手段と、この文を音声化する音声合成手段とを備えるようにしたため、誤認識した部分に対しユーザは即座に訂正発声を行うことができる。
【0056】
図11は、本発明の第11の実施形態の音声対話装置のブロック図を示す。
【0057】
図11に示すように、この第11の実施形態の音声対話装置は、まず、ユーザの発話が音声認識手段51によって10msec〜30msec毎にフレームバッファに順次格納されつつ、特徴量抽出が行われる。認識辞書59には第1番目になりうる単語の候補が入っており、音声認識手段51によって、逐次これらの音声のフレーム毎に特徴量と入力音声のフレーム特徴量間の距離(スコア)が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも再発声文選択手段54によって再発要求文パターンデータベース55から適切な再発声要求文が選択される。再発声文生成手段53は、この選択された再発声要求文に音声認識手段51から得た単語候補を埋め込み、これを音声合成手段56に渡し、音声合成し、ユーザに訂正発声を要求する。このため、ユーザは装置が認識できたのか、またはどのように誤認識したかを即座に知ることができる。
【0058】
以上のように本発明の第11の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行う手段と、この部分的な認識結果の信頼度を判断する手段と、この信頼度を使ってユーザに再発声を要請するか否かを判断する手段と、認識結果を利用してユーザに再発声を誘発するための文を生成する手段と、この文を音声化する音声合成手段と、この合成音声を適切なタイミングで出力する手段を備えるようにしたため、ユーザの発声終了以前に誤認識を修正しやすいくすることができる。
【0059】
図12は、本発明の第12の実施形態の音声対話装置のブロック図を示す。
【0060】
図12に示すように、この第12の実施形態の音声対話装置は、まず、音響分析手段61によってユーザの発話を10msec〜30msec毎にフレームバッファに順次格納しつつ、そのフレームデータの特徴量抽出を行う。騒音判別手段68は毎回、当該フレームの数フレーム前までのデータの音声のある部分とない部分の平均エネルギー比を計算してSN比を算出する。
【0061】
次にSN比が十分に高い場合はそのまま認識処理に移るが、SN比が低く、音声認識手段62の出力するスコアも低いときは、騒音判別手段68は予め保持してある騒音データベース69と入力データの類似性を算出し、最も近い騒音を推定する。推定された騒音の種類を音声合成手段66によってユーザに告げて再発声を要求する。このようにすることにより、ユーザに騒音源を止めたり、騒音源がなくなってから再発声をさせることで、より認識しやすい状況を作り出すことができる。
【0062】
以上のように本発明の第12の実施形態によれば、ユーザの音声とそれ以外の音源からの入力を識別する手段と、予め定められた種類の音源と入力を比較する手段と、ユーザが発声している最中に逐次、音声認識を行う手段と、常時その認識結果の信頼度を監視する手段と、この信頼度が低くなったときに原因を説明する文を生成する手段と、生成された文を音声化する音声合成手段を備えるようにしたため、ユーザが誤認識の原因と取り除きやすくすることができる。
【0063】
【発明の効果】
以上、本発明は、ユーザの発話の認識結果の信頼度が低い場合にはユーザの発話途中であっても装置側からユーザに即座に訂正発話を要求するようにしたり、逆にユーザの発話が終わった後の確認応答で、誤認識の疑いの高い部分については確認のための合成音声の話速を遅くし、かつ語尾を伸長してユーザの訂正発話を誘発しやすくしたりして、ユーザとの対話の効率を高めることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の音声対話方法のフローチャートを示す図
【図2】本発明の第2の実施形態の音声対話方法のフローチャートを示す図
【図3】本発明の第3の実施形態の音声対話方法のフローチャートを示す図
【図4】本発明の第4の実施形態の音声対話方法のフローチャートを示す図
【図5】本発明の第5の実施形態の音声対話方法のフローチャートを示す図
【図6】本発明の第6の実施形態の音声対話方法のフローチャートを示す図
【図7】本発明の第7の実施形態の音声対話装置のブロック図
【図8】本発明の第8の実施形態の音声対話装置のブロック図
【図9】本発明の第9の実施形態の音声対話装置のブロック図
【図10】本発明の第10の実施形態の音声対話装置のブロック図
【図11】本発明の第11の実施形態の音声対話装置のブロック図
【図12】本発明の第12の実施形態の音声対話装置のブロック図
【図13】本発明の第1の実施形態の音声対話方法の対話例を示す図
【図14】本発明の第2の実施形態の音声対話方法の対話例を示す図
【図15】本発明の第3の実施形態の音声対話方法の対話例を示す図
【図16】本発明の第4の実施形態の音声対話方法の対話例を示す図
【図17】本発明の第5の実施形態の音声対話方法の対話例を示す図
【図18】本発明の第6の実施形態の音声対話方法の対話例を示す図
【図19】従来の音声対話方法の動作例を示す図
【符号の説明】
11、21、31、41、51、62 音声認識手段
12、22、32 音声合成出力中止手段
13、23、33 レスポンス文生成手段
14、24、34 レスポンス文選択手段
15、25、35 レスポンス用文パターンデータベース
16、26、36、46、56、66 音声合成手段
17、27、37 音声合成出力制御手段
18、28、38 ユーザ心理モデル計算手段
29、39 話速設定手段
30 語尾伸長手段
30a ポーズ挿入手段
30b 訂正発話誘発手段
49、59 認識辞書
44、54 再発声文選択手段
43、53 再発声文生成手段
45、55 再発要求文パターンデータベース
61 音響分析手段
68 騒音判別手段
69 騒音データベース[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for voice interaction using voice recognition and voice synthesis.
[0002]
[Prior art]
Conventionally, Japanese Patent Laid-Open No. Hei 11 (1999) discloses a method for smoothly coordinating with a user by collaborating during the user's speech−There is one described in Japanese Patent No. 75093.
[0003]
FIG. 19 shows an operation example of a conventional voice interaction method.
[0004]
In this conventional voice dialogue method, for example, an
[0005]
[Problems to be solved by the invention]
However, in the conventional voice interaction method, even if the reliability of voice recognition in the middle is low, there is a case where the result of the voice recognition is not known until the user's utterance is completed. Had a problem.
[0006]
The present invention has been made to solve such a conventional problem. When the reliability of recognition of an utterance in the middle of the user is low, the user is immediately requested to correct the utterance even during the utterance of the user. On the other hand, in the confirmation response after the user's utterance is over, for the part with high suspicion of misrecognition, the synthesized speech for confirmation is slowed down and the ending is extended to correct the user It is an object of the present invention to provide a voice dialogue method capable of enhancing the efficiency of dialogue with a user by facilitating utterance.
[0007]
[Means for Solving the Problems]
A first aspect of the present invention is a voice interaction method, wherein in a response to the user based on a user's voice recognition result, a part where the recognition result is not confident is more slowly than a part where the confidence is confident. Repeat and extend ending.
[0008]
In addition, the voice dialogue method may further include a word that induces corrective utterance of the user in the repetition..
[0009]
According to a second aspect of the present invention, there is provided a voice interaction device, comprising: means for recognizing a user's voice; means for generating a reply sentence to the user based on the voice recognition result; A speech speed setting means for slowing down the speech speed of the word part whose recognition result is low, a ending extension means for extending the ending of the word part, a speech speed is set for the word part and the ending is extended. Voice synthesizing means for synthesizing the response text.
[0010]
In addition, the voice interactive apparatus may further include means for inserting a voice for inducing correction utterance.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0012]
FIG. 1 shows a flowchart of a voice interaction method according to the first embodiment of the present invention.
[0013]
As shown in FIG. 1, in the voice dialogue method according to the first embodiment, first, a voice output of a response to a user is started 101, and a response (return) of a recognition result to a certain utterance from the user is text-written by the device. When a user who has discovered misrecognition receives a new voice input from the user while outputting the response voice while performing the voice synthesis or voice editing synthesis, the device immediately outputs the response voice when a correct utterance is made. Is interrupted 103, and recognition processing is performed on the new corrected utterance to extract a keyword 104. A word string presumed to be uttered by the user by continuous speech recognition is extracted, and the keyword is compared with the word string of the response sentence that is the basis of the response speech performed before the user's corrected utterance. When an unmatched keyword is found, the previous word string is deleted from this keyword, and an interjection such as “Ah” or “Eh” is added 106 to create a new response sentence with the added interjection at the head. Next, this response is read out by text speech synthesis or speech editing synthesis. Thereafter, such an operation is continued. If there is no corrected utterance from the user, this series of dialogue processing ends.
[0014]
The state of this dialogue is, for example, like a dialogue example of the voice dialogue method according to the first embodiment of the present invention shown in FIG. In other words, the device that recognizes the user's voice “Go to Osaki Station East Exit” and misrecognizes that “Go to Osaka Station East Exit” makes the destination part of the sentence pattern telling the destination “Osaka Station East Exit”. Set and start speech synthesis output of this response sentence. However, if a user who hears “Osaka Station” immediately corrects “No, Osaki Station”, the device immediately stops the corrective utterance, recognizes the corrective utterance from the user, Extract "Osaki Station" that can be a keyword destination from the column. Then, replace “Osaka Station” in the previous response sentence with “Osaki Station”, delete the previous “Destination is”, and insert an interjection “Oh” at the beginning to express surprise. create. Next, this response sentence is output as voice, and the user confirms the recognition result. In this example, since the misrecognition disappears, the user ends with a positive utterance saying “Yes”.
[0015]
As described above, according to the first embodiment of the present invention, the device recognizes the user's voice and accepts a corrected utterance from the user while responding to the user based on the recognition result. Based on the recognition result of this corrected utterance, the response content is partially changed and the response is restarted. Corrected utterance of the erroneous recognition is immediately possible, and the new recognition result is immediately displayed to the user. Since the response can be determined from the response, the efficiency of the dialog with the user can be improved.
[0016]
FIG. 2 shows a flowchart of the voice interaction method according to the second embodiment of the present invention.
[0017]
As shown in FIG. 2, in the voice interaction method of the second embodiment, first, recognition of a user's voice is started 201. As a result of recognition processing for some utterance from the user, a sentence is finally obtained by continuous voice recognition. (Word string) is estimated, but during continuous speech recognition, input speech and word hypotheses (words that can be candidates) are collated using a Viterbi algorithm or the like every 10 milliseconds. The most significant word is left with a score (likelihood) for each node in the two-dimensional space formed by the time axis and the time axis of the word hypothesis. In general, the cumulative score of the node up to that point is left, but since the likelihood for each word is necessary in the present invention, the likelihood is also stored 202 together with the estimated word candidate. When the user utterance is completed, a word string path having a minimum cumulative score is extracted 203 by backtrack processing. In this way, the estimated word string for the user utterance is revealed along with the likelihood of each word. The apparatus starts outputting a voice for response 205, compares this likelihood with a preset threshold value, and determines that there is a high possibility that an error is lower than the threshold value.
[0018]
I would like the user to confirm these words and make corrective utterances, but if I did bother to make a confirmation response, I wouldn't have an efficient conversation. Therefore, when the estimated word string is responded, words that are determined to have a high possibility of being misrecognized are intentionally subjected to speech synthesis output at a slow speaking speed (about 3 mora / second), and the reading speed is increased. Slow down 206 to alert the user and make it easier for the user to make corrective speech immediately. If there is a corrected utterance from the
[0019]
The state of this dialogue is like a dialogue example of the voice dialogue method of the second embodiment of the present invention shown in FIG. That is, the device that recognizes the utterance “Go to the east exit of Osaki Station” from the user and misrecognizes it as “West Exit” has a low likelihood, so it is determined that the possibility of misrecognition is high and the response sentence When synthesizing, "Nishiguchi" is intentionally output at a slow talk speed. The user who suddenly changed the speech rate and was alerted heard “West Exit” and immediately corrected “No, East Exit”, the device immediately stopped the speech synthesis output of the response, The corrective utterance is recognized, and “East Exit” that can be the destination of the keyword is extracted from the word string. Then, the response sentence “Oh, it ’s the East Exit” is created. Next, this response sentence is output as voice, and the user confirms the recognition result. In this example, since there is no misrecognition, the user makes a positive utterance saying “Yes”, and then synthesizes the entire response sentence “Make the destination the East Exit of Osaki Station”.
[0020]
As described above, according to the second embodiment of the present invention, the user's voice is recognized, and in the reply to the user based on the recognition result, the portion that is not confident in the recognition result is slowly repeated, Since the user's corrective utterance is induced, the user can easily make corrective utterance, and the efficiency of the dialog with the user can be improved.
[0021]
FIG. 3 shows a flowchart of a voice interaction method according to the third embodiment of the present invention.
[0022]
As shown in FIG. 3, in the speech dialogue method of the third embodiment, first, recognition of a user's voice is started 201, and as a result of recognition processing for some utterance from the user, a sentence is finally obtained by continuous speech recognition. (Word string) is estimated, but during continuous speech recognition, input speech and word hypotheses (words that can be candidates) are collated using a Viterbi algorithm or the like every 10 milliseconds. The most significant word is left with a score (likelihood) for each node in the two-dimensional space formed by the time axis and the time axis of the word hypothesis. In general, the cumulative score of the node up to that point is left, but since the likelihood for each word is necessary in the present invention, the likelihood is also stored 202 together with the estimated word candidate. When the user utterance is completed, a word string path having a minimum cumulative score is extracted 203 by backtrack processing. Thus, the estimated word sequence for the user utterance is clarified along with the likelihood of each word. The apparatus starts outputting a voice for response 205, compares this likelihood with a preset threshold value, and determines that there is a high possibility that an error is lower than the threshold value.
[0023]
I would like the user to confirm these words and make corrective utterances, but if I did bother to make a confirmation response, I wouldn't have an efficient conversation. Therefore, when responding to the estimated word string, words that are determined to have a high possibility of being misrecognized are intentionally made to synthesize speech at a slow speech speed, and to attract the user's attention. The ending is extended 206a, a pause is inserted at the ending, or the word ending is intentionally inserted into the word 206b, so that the time is naturally taken up so that the user can easily make a correct utterance. If there is a corrected utterance from the
[0024]
FIGS. 15A and 15B show dialogue examples (a) and (b) of the voice dialogue method according to the third embodiment of the present invention.
[0025]
The state of this dialogue is, for example, the dialogue example (a) of FIG. 15, that is, the device that recognizes the utterance “go to the east exit of Osaki Station” from the user and misrecognizes it as “west exit” Since the likelihood is low, it is judged that the possibility of misrecognition is high, and when synthesizing the response sentence, “Nishiguchi” is intentionally output at a slow speaking speed and the final syllable is extended and synthesized. A user who suddenly changes his speech speed and is alerted can hear "Nishiguchi-" and correct it before saying that this synthesized speech is finished. Then, the apparatus immediately stops outputting the response voice, recognizes the corrected utterance from the user, and extracts “East Exit” which can be a keyword destination from the word string. Then, the response sentence “Oh, it ’s the East Exit” is created. Next, this response sentence is output as voice, and the user confirms the recognition result.
[0026]
In the dialogue example (b) in FIG. 15, the word “Ut” is added to the ending of the west exit, and the same effect as in the dialogue example (a) in FIG. 15 is obtained.
[0027]
As described above, according to the third embodiment of the present invention, the user's voice is recognized, and in the reply to the user based on the recognition result, the portion that is not confident in the recognition result is slowly repeated, Since time is saved by extending the last syllable at the end of the word, it becomes easier for the user to make a correct utterance, and the efficiency of dialogue with the user can be improved.
[0028]
FIG. 4 shows a flowchart of the voice interaction method of the fourth embodiment of the present invention.
[0029]
As shown in FIG. 4, in the voice interaction method of the fourth embodiment, first, the user's speech is sequentially stored in a frame buffer every 10 msec to 30 msec, and the feature amount of the frame data is extracted. The recognition dictionary contains the first possible word candidate, and the distance (score) between the feature values for each frame of the speech and the frame features of the input speech is calculated. Frame correspondence is revealed. In general, each time a frame number advances, a cut-off is performed based on the accumulated score, and candidate words are narrowed down. For example, if the top word score is lower than a predetermined threshold at the stage when the matching with the top few words is finished, no word can be a final candidate, and the user is still speaking A response sentence is selected on the way, and a correction utterance is requested from the user by voice synthesis. It is effective to change this response sentence depending on the score of the highest word.
[0030]
Table 1 shows an example of an intermediate response statement.
[0031]
[Table 1]
[0032]
As shown in Table 1, for example, when the score of the top candidate word is low, in order to urge the user to speak politely again, he / she carefully responds “Sorry. Please say again.” When it is a little low, it is easy to prompt a recurrence voice. Also, if the score is normal, there is a high possibility that it can be recognized, so no response will be given, and if the score is clearly high, you can be confident. To raise. When collation with a certain word is completed, the recognition dictionary is updated to a recognition dictionary containing a word to come next in accordance with an assumed word string rule (grammar), and the input speech recognition process is continued. If the word collation fails and a correction utterance is requested, the word dictionary is not updated, and the re-input speech is recognized. In this way, word matching is performed until the user's voice input is completed, and finally the time series of the highest-ranked word in each step is output as a sentence.
[0033]
For example, as in the dialogue example of the voice dialogue method according to the fourth embodiment of the present invention shown in FIG. 16, the score is high for “Ane”, and there is a pose after “Ane”. Just hit it, but because “the meeting place is” the score is low, it asks for correct utterance “ha”. In this way, the recognition result that “the meeting place is Shibuya” is obtained.
[0034]
As described above, according to the fourth embodiment of the present invention, the voice recognition process is sequentially performed while the user is uttering, and when the user is not confident in the recognition result, the user immediately By requesting a recurrence voice to the user, it is possible to make it easier for the user to immediately correct the voice of the erroneously recognized part.
[0035]
FIG. 5 shows a flowchart of the voice interaction method of the fifth embodiment of the present invention.
[0036]
As shown in FIG. 5, in the voice interaction method of the fifth embodiment, first, the user's speech is sequentially stored in a frame buffer every 10 msec to 30 msec, and the feature amount of the frame data is extracted. The recognition dictionary contains the first possible word candidate, and the distance (score) between the feature values for each frame of the speech and the frame features of the input speech is calculated. Correspondence is revealed. In general, each time a frame number advances, a cut-off is performed based on the accumulated score, and candidate words are narrowed down. For example, if the top word score is lower than a predetermined threshold at the stage when the matching with the top few words is finished, no word can be a final candidate, and the user is still speaking Create a response sentence along the way and request correct utterance from the user by speech synthesis. At this time, the recognition result estimated by the apparatus is included in the correction request sentence. By doing in this way, the user can know what kind of problem his / her utterance has, and can correct the correct utterance more accurately. When collation with a certain word is completed, the recognition dictionary is updated to a recognition dictionary containing a word to come next in accordance with an assumed word string rule (grammar), and the input speech recognition process is continued. If the word collation fails and a correction utterance is requested, the word dictionary is not updated, and the re-input speech is recognized. In this way, word matching is performed until the user's voice input is completed, and finally the time series of the highest-ranked word in each step is output as a sentence.
[0037]
For example, as in the dialogue example of the voice dialogue method according to the fifth embodiment of the present invention shown in FIG. 17, the score for “Ane” is high, and there is a pose after “Ane”. Although it only hits, it is recognized as "meeting place" by misrecognizing "meeting place", but since the score is low, a correction utterance is requested as "is it a meeting place?" In this way, the user is urged to make a correct utterance saying "I'm waiting".
[0038]
As described above, according to the fifth embodiment of the present invention, the speech recognition process is sequentially performed while the user is speaking, and when the recognition result is not confident, the score is low even during the user's speaking. By issuing a correction request in which a word has been inserted and prompting the user to recite immediately, it is possible to make it easier for the user to immediately make a correct utterance for the erroneously recognized portion.
[0039]
FIG. 6 shows a flowchart of the voice interaction method of the sixth embodiment of the present invention.
[0040]
As shown in FIG. 6, in the voice interaction method according to the sixth embodiment, first, a user's speech is sequentially stored in a frame buffer every 10 msec to 30 msec, the feature amount of the frame data is extracted, and the frame data The acoustic analysis is performed 601. Each time, the S / N ratio is calculated by calculating the average energy ratio between the part with and without the voice of the data up to several frames before the relevant frame. Next, when the SN ratio is sufficiently high, 602, the process proceeds to the speech recognition process as it is, but 605, when the SN ratio is not sufficiently high, 602, the previously stored noise data is compared with the
[0041]
For example, as in the dialogue example of the voice dialogue method according to the sixth embodiment of the present invention shown in FIG. 18, “Ane” and “Monday” have high scores, and “Ane” has a pause after that. Because there is "yes", the noise is mixed into the "meeting place" and the S / N ratio is lowered. Therefore, the input noise is compared with the stored noise data and estimated as aircraft noise. ing. Therefore, after saying "Wow, the sound like an airplane is noisy", it asks for a corrected utterance "Tell me again." In this way, the user is prompted to correct the utterance after pointing out the noise that hinders voice recognition.
[0042]
As described above, according to the sixth embodiment of the present invention, when ambient noise other than the user's voice is mixed in the user's voice, and thus the user's voice recognition result is not confident, The type of noise is estimated, the user's speech is interrupted, the type of ambient noise is communicated to the user, and it is reported that the recognition has become difficult due to this noise. Can be removed.
[0043]
FIG. 7 shows a block diagram of a voice interactive apparatus according to the seventh embodiment of the present invention.
[0044]
As shown in FIG. 7, in the voice interactive apparatus according to the seventh embodiment, first, the
[0045]
As described above, according to the seventh embodiment of the present invention, the means for selecting a reply sentence to the user based on the recognition result of the voice recognition means for recognizing the user's voice, and the voice for making the reply sentence into speech Synthesis means, speech recognition means for recognizing the user's corrected utterance even during the reply, means for stopping speech synthesis when the user's corrected utterance is detected, and the recognition result of the corrected utterance Based on the content of the response, and a means for outputting the synthesized speech of the modified response at an appropriate timing based on the user psychological model. The user can make a correct utterance without psychological load. , You can immediately check the results.
[0046]
FIG. 8 shows a block diagram of a voice interactive apparatus according to the eighth embodiment of the present invention.
[0047]
As shown in FIG. 8, the voice interaction apparatus of the eighth embodiment first recognizes some utterance from the user by the voice recognition means 21 and performs a response (return) of the recognition result to the result. The speech speed setting means 29 commands the speech synthesis means 26 to synthesize only words with low scores at a deliberately slow speech speed (about 3 mora / second). In this way, a portion that is likely to be erroneously recognized is presented to the user in an easily understandable manner. On the other hand, when a correct utterance is input from the user, the voice recognition means 21 immediately recognizes this, and the voice synthesis output stop means 22 immediately stops the response that is currently output. Next, a word string is estimated as a result of recognizing the correct utterance. The keyword is extracted from the word string by the response
[0048]
As described above, according to the eighth embodiment of the present invention, the means for selecting a response sentence to the user based on the recognition result of the voice recognition means for recognizing the user's voice, and the voice for making the response sentence into speech Synthesis means, speech recognition means for recognizing the user's corrected utterance even during the reply, means for stopping speech synthesis when the user's corrected utterance is detected, and the recognition result of the corrected utterance Based on the content of the response based on this, and a means for outputting the synthesized speech of the corrected response at an appropriate timing based on the user psychological model. Can be confirmed immediately.
[0049]
FIG. 9 shows a block diagram of a voice interactive apparatus according to the ninth embodiment of the present invention.
[0050]
As shown in FIG. 9, the voice interaction apparatus according to the ninth embodiment first recognizes some utterance from the user by the voice recognition means 31, and performs a response (return) of the recognition result to the result. The speech speed setting means 39 issues a command to the speech synthesis means 36 so that only words having low scores are intentionally synthesized at a slow speech speed (about 3 mora / second). Further, the ending extension means 30 intentionally extends the ending of the word (this part inserts a pose (longer as the score is lower) immediately after the word as the pose insertion means 30a, or correct utterance induction means. 30b may be used to express ambiguity such as “um” and insert a word that induces corrective utterance.) In this way, a portion that is likely to be misrecognized is presented to the user in an easy-to-understand manner. On the other hand, when a correct utterance is input from the user, the
[0051]
Next, a word string is estimated as a result of recognizing the corrected utterance, from which the keyword is extracted by the response
[0052]
As described above, according to the ninth embodiment of the present invention, a word whose recognition reliability is low, in addition to making the utterance slower than others, extends the ending of this word, or the reliability of the recognition result. Since a means for inserting a pause length in accordance with the above or a voice for inducing correction utterance such as “Uto” is provided, it is possible to further facilitate the user's correction utterance.
[0053]
FIG. 10 is a block diagram of a voice interactive apparatus according to the tenth embodiment of the present invention.
[0054]
As shown in FIG. 10, in the voice interactive apparatus according to the tenth embodiment, first, the feature amount extraction is performed while the user's speech is sequentially stored in the frame buffer every 10 msec to 30 msec by the
[0055]
As described above, according to the tenth embodiment of the present invention, means for sequentially performing speech recognition processing while the user is speaking, means for determining the reliability of this partial recognition result, A means for determining whether or not to request the user to replay using the reliability, a means for selecting a sentence for prompting the user to replay, and a speech synthesis means for making the sentence into speech. Therefore, the user can immediately make a correct utterance for the erroneously recognized part.
[0056]
FIG. 11 shows a block diagram of a voice interactive apparatus according to the eleventh embodiment of the present invention.
[0057]
As shown in FIG. 11, in the voice interactive apparatus according to the eleventh embodiment, feature amount extraction is performed while the user's utterance is sequentially stored in the frame buffer every 10 to 30 msec by the
[0058]
As described above, according to the eleventh embodiment of the present invention, means for sequentially performing speech recognition processing while the user is speaking, means for determining the reliability of this partial recognition result, A means for determining whether or not to request a recurrent voice from the user using the reliability, a means for generating a sentence for inducing a recurrent voice to the user using the recognition result, and a voice for the sentence Since the voice synthesizing means and the means for outputting the synthesized voice at an appropriate timing are provided, it is possible to easily correct the misrecognition before the end of the user's utterance.
[0059]
FIG. 12 shows a block diagram of a voice interactive apparatus according to the twelfth embodiment of the present invention.
[0060]
As shown in FIG. 12, in the voice interaction apparatus of the twelfth embodiment, first, the acoustic analysis means 61 sequentially stores the user's utterances in the frame buffer every 10 msec to 30 msec, and extracts the feature amount of the frame data. I do. The noise discriminating means 68 calculates the SN ratio by calculating the average energy ratio between the part with and without the voice of the data up to several frames before the frame.
[0061]
Next, when the SN ratio is sufficiently high, the process proceeds to the recognition process as it is. However, when the SN ratio is low and the score output by the voice recognition means 62 is low, the noise discrimination means 68 inputs the
[0062]
As described above, according to the twelfth embodiment of the present invention, means for identifying input from a user's voice and other sound sources, means for comparing the input with a predetermined type of sound source, and A means for performing speech recognition sequentially while speaking, a means for constantly monitoring the reliability of the recognition result, a means for generating a sentence explaining the cause when the reliability decreases, and generation Since the voice synthesizing means for converting the written sentence into speech is provided, the cause of the erroneous recognition can be easily removed by the user.
[0063]
【The invention's effect】
As described above, according to the present invention, when the reliability of the recognition result of the user's utterance is low, even if the user's utterance is in the middle of the user's utterance, the apparatus side promptly requests the user for the corrected utterance, or conversely, the user's utterance is In the confirmation response after the completion, for the part with high suspicion of misrecognition, the speech speed of the synthesized speech for confirmation is slowed and the ending is extended to make it easier for the user to induce correct utterance. Can increase the efficiency of dialogues with.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating a voice interaction method according to a first embodiment of this invention.
FIG. 2 is a diagram showing a flowchart of a voice dialogue method according to a second embodiment of the present invention.
FIG. 3 is a flowchart showing a voice interaction method according to a third embodiment of the present invention.
FIG. 4 is a flowchart showing a voice interaction method according to a fourth embodiment of the present invention.
FIG. 5 is a flowchart showing a voice interaction method according to a fifth embodiment of the present invention;
FIG. 6 is a diagram showing a flowchart of a voice interaction method according to a sixth embodiment of the present invention.
FIG. 7 is a block diagram of a voice interactive apparatus according to a seventh embodiment of the present invention.
FIG. 8 is a block diagram of a voice interactive apparatus according to an eighth embodiment of the present invention.
FIG. 9 is a block diagram of a voice interactive apparatus according to a ninth embodiment of the present invention.
FIG. 10 is a block diagram of a voice interaction apparatus according to a tenth embodiment of the present invention.
FIG. 11 is a block diagram of a voice interaction apparatus according to an eleventh embodiment of the present invention.
FIG. 12 is a block diagram of a voice interaction apparatus according to a twelfth embodiment of the present invention.
FIG. 13 is a diagram showing a dialog example of the voice dialog method according to the first embodiment of this invention;
FIG. 14 is a diagram showing a dialog example of the voice dialog method according to the second embodiment of the present invention;
FIG. 15 is a diagram showing an example of dialogue in the voice dialogue method according to the third embodiment of the present invention;
FIG. 16 is a diagram showing a dialog example of the voice dialog method according to the fourth embodiment of the present invention;
FIG. 17 is a diagram showing a dialog example of the voice dialog method according to the fifth embodiment of the present invention;
FIG. 18 is a diagram showing a dialog example of the voice dialog method according to the sixth embodiment of the present invention;
FIG. 19 is a diagram showing an operation example of a conventional voice dialogue method
[Explanation of symbols]
11, 21, 31, 41, 51, 62 Voice recognition means
12, 22, 32 Voice synthesis output stop means
13, 23, 33 Response sentence generation means
14, 24, 34 Response sentence selection means
15, 25, 35 Response sentence pattern database
16, 26, 36, 46, 56, 66 Speech synthesis means
17, 27, 37 Voice synthesis output control means
18, 28, 38 User psychological model calculation means
29, 39 Speech speed setting means
30 ending extension means
30a Pause insertion means
30b Correction utterance induction means
49, 59 recognition dictionary
44, 54 Recurrence voice selection means
43, 53 Recurrence voice generation means
45, 55 Recurrence request sentence pattern database
61 Acoustic analysis means
68 Noise discrimination means
69 Noise Database
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002004552A JP3892302B2 (en) | 2002-01-11 | 2002-01-11 | Voice dialogue method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002004552A JP3892302B2 (en) | 2002-01-11 | 2002-01-11 | Voice dialogue method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003208196A JP2003208196A (en) | 2003-07-25 |
JP3892302B2 true JP3892302B2 (en) | 2007-03-14 |
Family
ID=27643855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002004552A Expired - Fee Related JP3892302B2 (en) | 2002-01-11 | 2002-01-11 | Voice dialogue method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3892302B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106463114A (en) * | 2015-03-31 | 2017-02-22 | 索尼公司 | Information processing device, control method, and program |
US11961508B2 (en) | 2019-11-15 | 2024-04-16 | Samsung Electronics Co., Ltd. | Voice input processing method and electronic device supporting same |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006201749A (en) | 2004-12-21 | 2006-08-03 | Matsushita Electric Ind Co Ltd | Device in which selection is activated by voice, and method in which selection is activated by voice |
JP4481972B2 (en) | 2006-09-28 | 2010-06-16 | 株式会社東芝 | Speech translation device, speech translation method, and speech translation program |
EP2045798B1 (en) | 2007-03-29 | 2014-12-03 | Panasonic Intellectual Property Corporation of America | Keyword extracting device |
JP4987623B2 (en) * | 2007-08-20 | 2012-07-25 | 株式会社東芝 | Apparatus and method for interacting with user by voice |
JP5398295B2 (en) | 2009-02-16 | 2014-01-29 | 株式会社東芝 | Audio processing apparatus, audio processing method, and audio processing program |
US10872609B2 (en) * | 2016-05-20 | 2020-12-22 | Nippon Telegraph And Telephone Corporation | Method, apparatus, and program of dialog presentation steps for agents |
JP6761007B2 (en) * | 2018-08-03 | 2020-09-23 | ソフトバンク株式会社 | Information processing device, audio output method, audio output program |
JP2020187163A (en) * | 2019-05-10 | 2020-11-19 | 本田技研工業株式会社 | Voice operation system, voice operation control method and voice operation control program |
KR102331675B1 (en) | 2019-09-09 | 2021-11-30 | 엘지전자 주식회사 | Artificial intelligence apparatus and method for recognizing speech of user |
CN115720654A (en) * | 2020-06-30 | 2023-02-28 | 日产自动车株式会社 | Information processing apparatus, information processing method, and computer program |
KR20220099831A (en) | 2021-01-07 | 2022-07-14 | 삼성전자주식회사 | Electronic device and method for processing user utterance in the electronic device |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2877350B2 (en) * | 1989-05-24 | 1999-03-31 | 株式会社東芝 | Voice recognition device with environmental monitor |
JP3398401B2 (en) * | 1992-03-16 | 2003-04-21 | 株式会社東芝 | Voice recognition method and voice interaction device |
JP3566977B2 (en) * | 1993-12-27 | 2004-09-15 | 株式会社東芝 | Natural language processing apparatus and method |
JP3454897B2 (en) * | 1994-01-31 | 2003-10-06 | 株式会社日立製作所 | Spoken dialogue system |
JPH08166866A (en) * | 1994-10-14 | 1996-06-25 | Hitachi Ltd | Editing support system equipped with interactive interface |
JPH08146991A (en) * | 1994-11-17 | 1996-06-07 | Canon Inc | Information processor and its control method |
JPH11126092A (en) * | 1997-10-22 | 1999-05-11 | Toyota Motor Corp | Voice recognition device and on-vehicle voice recognition device |
JP3797003B2 (en) * | 1999-03-05 | 2006-07-12 | オムロン株式会社 | Audio output device |
JP2001249924A (en) * | 2000-03-03 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | Automatic interactive explanation device, automatic interactive explanation method and recording medium having execution program of the method recorded thereon |
JP3581881B2 (en) * | 2000-07-13 | 2004-10-27 | 独立行政法人産業技術総合研究所 | Voice complement method, apparatus and recording medium |
-
2002
- 2002-01-11 JP JP2002004552A patent/JP3892302B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106463114A (en) * | 2015-03-31 | 2017-02-22 | 索尼公司 | Information processing device, control method, and program |
CN106463114B (en) * | 2015-03-31 | 2020-10-27 | 索尼公司 | Information processing apparatus, control method, and program storage unit |
US11961508B2 (en) | 2019-11-15 | 2024-04-16 | Samsung Electronics Co., Ltd. | Voice input processing method and electronic device supporting same |
Also Published As
Publication number | Publication date |
---|---|
JP2003208196A (en) | 2003-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3762327B2 (en) | Speech recognition method, speech recognition apparatus, and speech recognition program | |
US5712957A (en) | Locating and correcting erroneously recognized portions of utterances by rescoring based on two n-best lists | |
EP0867857B1 (en) | Enrolment in speech recognition | |
EP0965978B9 (en) | Non-interactive enrollment in speech recognition | |
US6064959A (en) | Error correction in speech recognition | |
US7085716B1 (en) | Speech recognition using word-in-phrase command | |
US6601027B1 (en) | Position manipulation in speech recognition | |
US5333275A (en) | System and method for time aligning speech | |
US8332212B2 (en) | Method and system for efficient pacing of speech for transcription | |
US7974843B2 (en) | Operating method for an automated language recognizer intended for the speaker-independent language recognition of words in different languages and automated language recognizer | |
US7062439B2 (en) | Speech synthesis apparatus and method | |
US7062440B2 (en) | Monitoring text to speech output to effect control of barge-in | |
JP3892302B2 (en) | Voice dialogue method and apparatus | |
JP2007057844A (en) | Speech recognition system and speech processing system | |
EP2048655A1 (en) | Context sensitive multi-stage speech recognition | |
JP2002304190A (en) | Method for generating pronunciation change form and method for speech recognition | |
JP2006251800A (en) | User adaptive speech recognition method and apparatus | |
JP2008009153A (en) | Voice interactive system | |
EP1734509A1 (en) | Method and system for speech recognition | |
WO2006083020A1 (en) | Audio recognition system for generating response audio by using audio data extracted | |
US11715472B2 (en) | Speech-processing system | |
US20170270923A1 (en) | Voice processing device and voice processing method | |
JPH1083195A (en) | Input language recognition device and input language recognizing method | |
JP2003044085A (en) | Dictation device with command input function | |
JPH06161488A (en) | Speech recognizing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061206 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |