JP5157596B2

JP5157596B2 - 音声認識装置

Info

Publication number: JP5157596B2
Application number: JP2008094964A
Authority: JP
Inventors: 賢一村田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-04-01
Filing date: 2008-04-01
Publication date: 2013-03-06
Anticipated expiration: 2028-04-01
Also published as: JP2009251019A

Description

本発明は、音声認識装置に関する。

従来から音声認識装置に関する様々な手法が提案されている。例えば、特許文献１には、ユーザが発生した音声データに基づいて音声認識を行い、その認識結果に対応して制御部のいずれかの動作を実行し、その後のユーザの応答内容により、認識結果の正誤を判定し、誤認識したと判定したときは謝罪表現を用いた音声を発生する技術が開示されている。

また、特許文献２には、発話者の発話音声を認識し、認識結果に基づいて発話内容を理解し、理解した内容に基づいて応答を生成し、検出した騒音レベルに基づいて生成した応答内容を変更する技術が開示されている。
特開２００１−２２８８９４号公報特開２００７−３２２７５７号公報

しかしながら、上記特許文献１では、音声認識後、認識結果に基づいた動作を実行した後のユーザの反応を見て認識結果の正誤を判断しているが、動作の実行後では、その動作が、ユーザが所望していない動作だった場合にはユーザに不快感を与えると共に、動作を修正するなどの処理が必要になる。

また、上記特許文献２では、発話データの認識内容と、周りの騒音レベルとに基づいて応答内容を変化させているが、その動作を実行した場合のユーザに与える影響は考慮されておらず、ユーザにとって重要ではない動作でも、何度も確認応答をさせられることもある。

本発明は、上記問題に鑑みてなされたものであり、音声データの認識結果に対応する動作の内容に応じて、最適な応答内容を決定することができる音声認識装置を提供することを目的とする。

音声データを認識する認識手段と、前記認識手段による認識結果の信頼度を算出する算出手段と、前記認識手段による認識結果により実行されるタスクが現在実行中である場合に、現在実行中ではない場合と比べて、前記認識結果に基づいて応答した場合のユーザに与える影響度を大きく判定する判定手段と、前記算出手段により算出された信頼度が大きいほどタスクが実行されやすく、前記判定手段により判定された影響度が小さいほどタスクが実行されやすい応答内容を決定する決定手段とを備えることを特徴とする。

本発明によれば、音声データの認識結果に対応する動作の内容に応じて、最適な応答内容を決定することができる。

以下、本発明の実施例を図面に基づいて説明する。

本発明の一実施例に係る音声認識装置は、例えば、図１に示すような機能構成を成す。図１は、本発明の実施例１に係る音声認識装置の概略機能ブロック図である。

本実施例に係る音声認識装置１００は、マイク１０１、トークスイッチ１０２、出力手段１０３、音声認識手段１０４、標準データ記憶手段１０５、信頼度算出手段１０６、影響度判定手段１０７、応答決定手段１０８を含んで構成される。

マイク１０１は、ユーザが発話した音声データを入力し、音声認識手段１０４に音声データを出力する。トークスイッチ１０２は、ユーザによりスイッチをオン、オフに選択される。

出力手段１０３は、音声認識手段１０４により認識された音声データを再度出力したり、応答決定手段１０８により決定された応答内容を表示したりする。具体的には、表示手段１０３は、スピーカーやディスプレイなどである。

音声認識手段１０４は、トークスイッチ１０２がオンになったことを検知すると、マイク１０１より取得した音声データの認識を開始する。音声認識手段１０４は、音声データの認識に対して従来と同様の処理を行い、マイク１０１より取得した音声データと、標準記憶手段１０５に記憶されている標準音声データとを比較して、最も類似する標準音声データを認識した音声データとする。

例えば、ＤＰ（Dynamic Programming）などの公知の手法を用いて、音声データと標準音声データとの認識距離（類似度）を算出して、この距離が最も小さいものを最も類似する標準音声データと判断する。また、ＤＰ以外にもＨＭＭ（隠れマルコフモデル）などの確率統計的手法を用いてもよい。

標準データ記憶手段１０５は、音声認識に用いられる標準的な音声データである標準音声データを記憶する。

信頼度算出手段１０６は、音声認識手段１０４による認識結果の信頼度を算出する。ここでは、簡易な方法にするため、音声認識手段１０４で算出された類似度を用いる。認識結果が単語であれば類似度をそのまま信頼度とすればよいし、認識結果が文章であれば、文節した単語の類似度に対して、閾値以上であれば真、閾値未満であれば偽とし、単語の総数に対する真の数の割合を信頼度とすればよい。

また、より簡単にするため、算出された信頼度を大中小に分類する。また、信頼度算出手段１０６は、信頼度に対して、第一閾値、第二閾値を設定し、信頼度が第一閾値未満であれば、信頼度小とし、第一閾値以上第二閾値未満であれば、信頼度中とし、第二閾値以上であれば、信頼度大とする。

なお、信頼度については、音声認識手段１０４による認識結果の信頼性の指標が与えられればよいので、大中小の三段階に分けるのではなく、何段階に分けてもよいし、類似度そのものの値を用いて、例えば、０から１の値を有する信頼度に算出し直してもよい。

影響度判定手段１０７は、音声認識手段１０４による認識結果に対応するタスクが、ユーザにどれくらいの影響を与えるかを判定する。ここで、タスクとは、例えば本実施例の音声認識装置が車両に搭載されることを想定すると、車両の機能であるエアコン、ワイパー、ブレーキ、ディスプレイなどの機能や、備え付けたナビ機能のことをいう。なお、タスクは上記車載用の機能に限られるものではないことは言うまでもない。

影響度は、音声認識手段１０４による認識結果が、誤認識であった場合に、実行したタスクがユーザにどれくらいの影響を与えるかを示す度合いである。例えば、誤認識の結果実行されたタスクにより、再度すぐに本来のタスクを実行しなければならないものなどは影響度が大きく、誤認識により実行されたタスクを無視できるものなどは、影響度が小さい。影響度の判定については、図８を用いて後述する。

応答決定手段１０８は、信頼度算出手段１０６により算出された信頼度と、影響度判定手段１０７により判定された影響度とに基づいて、認識結果に対する応答内容を決定する。ここでは、応答内容は、リジェクト、確認応答、タスク即実行の３つとする。

リジェクトとは、音声データを適切に入力できなかったり、雑音が多くて適切に認識処理できなかったりした場合などに、ユーザに対して再発話を促す応答である。確認応答とは、認識結果に対応するタスクを、ユーザに対して実行していいか否かを確認する応答である。タスク即実行は、認識結果に対応するタスクを、ユーザに確認せずにすぐに実行する応答である。

応答決定手段１０８は、信頼度と影響度とに基づいて、上記３つの応答内容の中から１つを決定する。また、応答決定手段１０８は、決定した応答内容を出力手段１０３に出力する。

ここで、図２を用いて、応答内容の判定基準について説明する。図２は、信頼度と影響度とに基づく応答内容を説明する図である。図２に示すように、影響度が大きく、信頼度が小さい場合は、認識結果によるタスクをリジェクトする。これより、影響度が大きいタスクの誤った実行を防止することができる。

また、影響度が大きく、信頼度が大きい場合は、タスクを実行していいか否かの確認応答を行なう。これより、信頼度が大きいからといってタスクを即実行するのではなく、実行するタスクの内容によっては、安全のため確認応答を行なうことができる。

また、影響度が小さく、信頼度が小さい場合は、認識結果に対応するタスクを即実行する。これより、信頼度が低いからとって何度も確認応答されることを防止することができる。図２は、応答内容の一例を示したにすぎず、これに限られるものではない。

ここで、図３、図４又は図５をそれぞれ用いて、応答決定手段１０８により決定された内容がどのように出力手段１０３に表示されるかを説明する。

図３は、ナビの目的地設定に関するタスクが認識された場合の例を示す図である。図３（ａ）は、会社へナビ中に目的地変更のタスクが認識された場合の例を示す図である。これに対し、図３（ｂ）は、ニュースを視聴中にナビ開始のタスクが認識された場合の例を示す図である。

図３（ａ）に示す例では、会社までのナビをしているとき、本実施例１に係る音声認識装置が「自宅へ帰る」と音声認識した場合の例である。このとき、ナビを自宅へ変更してしまった場合、仮にこの認識が誤認識であったときには、ユーザにもう一度本来の目的地へ修正させる必要がある。

よって、図３（ａ）に示すように、本実施例１に係る音声認識装置は、この認識結果に対応するタスクを実行するとユーザに与える影響は大きいと判断し、信頼度が高い場合であっても確認応答を行なう。

図３（ｂ）に示す例では、ニュース番組を視聴中、本実施例１に係る音声認識装置が「自宅へ帰る」と音声認識した場合の例である。このとき、ナビを自宅へ設定した場合、仮にこの認識が誤認識であったとしても、ユーザはもともとナビを設定していなかったので、自宅へのナビを中止するだけで済む。

よって、図３（ｂ）に示すように、本実施例１に係る音声認識装置は、この認識結果に対応するタスクを実行してもユーザに与える影響は小さいと判断して、信頼度に関わらずタスクを即実行する。

図４は、車両に搭載されるエアコンの温度変更の例を示す図である。図４（ａ）は、外の気温５℃、車内の温度が２０℃のとき、温度変更のタスクが認識された場合の例を示す図である。図４（ｂ）は、外の気温３０℃、車内の温度２０℃のとき、温度変更のタスクが認識された場合の例を示す図である。

図４（ａ）に示す例では、車内の温度が２０℃のとき、本実施例１に係る音声認識装置が「１５℃に設定」と音声認識した場合の例である。このとき、エアコンの設定温度を１５℃に設定してしまった場合、仮にこの認識が誤認識であったときには、外の気温が５℃であるため、真冬にエアコンを１５℃に設定することとなり、ユーザは再度大幅な温度変更を必要とする。

よって、図４（ａ）に示すように、本実施例１に係る音声認識装置は、この認識結果に対応するタスクを実行するとユーザに与える影響は大きいと判断し、信頼度が高い場合であっても確認応答を行なう。

図４（ｂ）に示す例では、車内の温度が２０℃のとき、本実施例１に係る音声認識装置が「１５℃に設定」と音声認識した場合の例である。このとき、エアコンの設定温度を１５℃に設定してしまった場合、仮にこの認識が誤認識であったときには、外の気温は３０℃であるため、真夏にエアコンを１５℃に設定することとなり、ユーザは温度変更を緊急には必要としない。

よって、図４（ｂ）に示すように、本実施例１に係る音声認識装置は、この認識結果に対応するタスクを実行してもユーザに与える影響は小さいと判断し、信頼度に関わらずタスクを即実行する。

図５は、ナビの目的地が１つしか設定できないとき、ナビのタスクが認識された場合の例を示す図である。図３と異なるところは、このナビは目的地を１つしか設定できず、新しい目的地が設定されると前の目的地は削除されてしまうところである。

図５（ａ）は、会社へナビ中に目的地変更のタスクが認識された場合の例を示す図である。これに対し、図５（ｂ）は、ニュースを視聴中にナビ開始のタスクが認識された場合の例を示す図である。

図５（ａ）に示す例では、会社までのナビをしているとき、本実施例１に係る音声認識装置が「自宅へ帰る」と音声認識した場合の例である。このとき、ナビを自宅へ変更してしまった場合、仮にこの認識が誤認識であったときには、前の目的地が削除されてしまっているので元の目的地に戻す処理が煩雑である。

よって、図５（ａ）に示すように、本実施例１に係る音声認識装置は、この認識結果に対応するタスクを実行するとユーザに与える影響は大きいと判断し、信頼度が高い場合であっても確認応答を行なう。

図５（ｂ）に示す例では、図３（ｂ）と同様に、本実施例１に係る音声認識装置は、この認識結果に対応するタスクを実行してもユーザに与える影響は小さいと判断して、信頼度に関わらずタスクを即実行する。

図６は、本実施例１に係る音声認識装置の処理を示すフローチャートである。ステップ６０１では、マイク１０１が音声データを入力し、音声認識手段１０４に出力する。

ステップ６０１に続いてステップ６０２に進み、音声認識手段１０４が、取得した音声データと記憶されている標準音声データとの類似度を算出することで音声認識を行ない、算出した類似度を信頼度算出手段１０６に出力する。

ステップ６０２に続いてステップ６０３に進み、信頼度算出手段１０６が、取得した類似度に基づいて信頼度を算出する。なお、ここでは簡易な方法にするため、類似度を閾値判定し、大中小の三段階に分けることにする。また、信頼度算出手段１０６は、算出した信頼度を応答決定手段１０８に出力する。

ステップ６０２に続いてステップ６０４に進み、影響度判定手段１０７が、音声認識手段１０４による認識結果に対応するタスクがユーザにどれくらいの影響を与えるかを判定する。ここでも、簡易な方法にするため、影響度を大中小の三段階に分けることにする。影響度の判定については図８を用いて後述する。また、影響度判定手段１０７は、判定した影響度を応答決定手段１０８に出力する。

ステップ６０３、ステップ６０４に続いてステップ６０５に進み、応答決定手段１０８が、取得した信頼度、影響度に基づいて応答内容を決定する。上記の信頼度、影響度を３段階に分けた場合には、図７に示すように応答内容を決定する。

図７は、応答内容を決定する条件テーブルを示す図である。信頼度が小、かつ、影響度が大の場合は、応答としてリジェクトが決定される。信頼度が小〜大、かつ、影響度が小、又は、信頼度が大、かつ、影響度が中の場合は、応答としてタスク即実行が決定される。上記以外の場合は、応答として確認応答が決定される。なお、図７に示す条件テーブルは一例にすぎず、ユーザによって適宜設定変更可能としてもよい。

図６に戻り、ステップ６０５に続いてステップ６０６に進み、出力手段１０３が、応答決定手段１０８により決定された応答内容を表示画面に表示したり、音声を伴う場合には音声を出力したりする。

ここで、図８を用いて、影響度判定処理について説明する。図８は、影響度判定処理のフローチャートである。ステップ８０１では、影響度判定手段１０７が、音声認識手段１０４に対応する認識結果のタスク種別を判別する。ここで、タスクには識別子が割り当てられているとし、この識別子によりタスクを判別する。

ステップ８０１に続いてステップ８０２に進み、影響度判定手段１０７が、認識結果に対応するタスクは、現在既に実行しているタスクであるか否かを判定する。ここでは、影響度判定手段１０７は既に実行しているタスクの識別子を保持しており、ステップ８０１で判別した識別子と保持している識別子が一致するか否かを判定する。

ステップ８０２に続いてステップ８０３に進み、影響度判定手段１０７が、現在のタスクの設定値または設定条件から認識結果に対応するタスクに変更するには、大幅な変更が必要か否かを判定する。ここで、大幅な変更とは、例えば、タスクがナビであれば目的地が所定距離以上離れている場合や、タスクがエアコンであれば、設定温度が所定温度以上変更される場合をいう。

図９と図１０とを用いてステップ８０３について具体的に説明する。図９は、既に実行しているタスクと音声認識したタスクとの内容を示す図である。図９（ａ）は、ナビのタスクに関する内容であり、図９（ｂ）は、エアコンのタスクに関する内容である。

図９（ａ）に示す例について、影響度判定手段１０７は、まずタスクＩＤが同じもののパラメータの差分値を算出する。パラメータの要素が２つ以上ある場合は、差分二乗和や差分絶対値和などを算出する。図９（ｂ）に示す例について、影響度判定手段１０７は、パラメータの差分絶対値を算出する。

次に、影響度判定手段１０７は、求めたパラメータの差分値が、図１０に示す閾値以上であるか否かの判定を行なう。図１０は、閾値テーブルを示す図である。求めたパラメータの差分値が閾値以上であれば、影響度判定手段１０７は変更が大きいと判断する。なお、閾値テーブルは、影響度判定手段１０７により閾値を読み出される。

図１０に示す例では、各タスクＩＤに対してパラメータの差分値に対する閾値を設定したが、タスクＩＤに応じて、パラメータの下限値、上限値などを設定することもできる。例えば、エアコンの温度の下限値を１７℃と設定し、認識結果が１７℃以下だった場合は、影響度判定手段１０７は、変更が大きいと判定する。

図８に戻り、影響度判定手段１０７が、ステップ８０３の判定結果がＹＥＳであれば、認識結果に対応するタスクは影響度大と判定し、ステップ８０３の判定結果がＮＯであれば、認識結果に対応するタスクは影響度中と判定し、ステップ８０２の判定結果がＮＯであれば、認識結果に対応するタスクは影響度小と判定する。

以上、本実施例１に係る音声認識装置によれば、音声データの認識結果に対応する動作の内容に応じて、最適な応答内容を決定することができる。つまり、音声認識により実行されるタスクのユーザに与える影響度を考慮することで、例えば、信頼度が大きくても影響度が大きければ、タスクを即実行せずに応答内容を確認することができ、信頼度が小さくても、影響度が小さければ、応答内容を確認せずに、タスクを即実行することができる。

なお、本実施例１では、信頼度、影響度共に簡単のため、３段階に分けていたが、信頼度、影響度ともに０以上１以下の値を算出することで、図２に示すように（信頼度，影響度）の座標点に基づいて、応答内容を決定するようにしてもよい。このとき、音声認識装置は、図２に示す座標を保持しておき、応答決定手段１０８は、取得した信頼度、影響度の値から応答内容を一意に決定することができる。

また、影響度の算出方法について、図８を用いて説明したが、より簡易な方法としては、実行されるタスクによって影響度を決めておいても良い。例えば、ナビは影響度大、エアコンの温度設定は影響度中などである。

さらに、影響度を算出するときには、外部条件（エアコンを例にすると、外の気温や天気など）を考慮して影響度を算出するようにしてもよい。つまり、外部条件により図１０に示す閾値を複数保持してもよい。

例えば、図９（ｂ）に示すパラメータに外の気温を追加し、図１０に示す閾値テーブルは、外の気温に応じて閾値を複数記憶する。図４（ａ）の例で説明すると、外の気温５℃により、閾値が下限値１６に特定されたとする。次に、認識結果が１５℃と閾値である１６以下であるので、影響度判定手段１０７は、変更が大きいと判定する。

また、外部条件により図１０に示す閾値を変更するようにしても良い。例えば、外の気温を入力すると閾値が算出される関数などを用いることで、閾値の変更を実現することができる。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明の一実施例に係る画像処理装置の概略機能ブロックを示す図。信頼度と影響度とに基づく応答内容を説明する図。ナビの目的地設定に関するタスクが認識された場合の例を示す図。車両に搭載されるエアコンの温度変更の例を示す図。ナビの目的地が１つしか設定できないとき、ナビのタスクが認識された場合の例を示す図。本実施例１に係る音声認識装置の処理を示すフローチャート。応答内容を決定する条件テーブルを示す図。影響度判定処理のフローチャート。タスクの内容を示す図。閾値テーブルを示す図。

符号の説明

１００音声認識装置
１０１マイク
１０２トークスイッチ
１０３出力手段
１０４音声認識手段
１０５標準データ記憶手段
１０６信頼度算出手段
１０７影響度判定手段
１０８応答決定手段

Claims

音声データを認識する認識手段と、
前記認識手段による認識結果の信頼度を算出する算出手段と、
前記認識手段による認識結果により実行されるタスクが現在実行中である場合に、現在実行中ではない場合と比べて、前記認識結果に基づいて応答した場合のユーザに与える影響度を大きく判定する判定手段と、
前記算出手段により算出された信頼度が大きいほどタスクが実行されやすく、前記判定手段により判定された影響度が小さいほどタスクが実行されやすい応答内容を決定する決定手段と
を備えることを特徴とする音声認識装置。
前記判定手段は、
前記現在実行中のタスクの変更の度合いが大きいほど前記影響度を大きく判定することを特徴とする請求項１記載の音声認識装置。