JP6100263B2

JP6100263B2 - 音声認識方法及び音声認識装置

Info

Publication number: JP6100263B2
Application number: JP2014529572A
Authority: JP
Inventors: 史郎岩井
Original assignee: Honda Access Corp
Current assignee: Honda Access Corp
Priority date: 2012-08-10
Filing date: 2013-08-09
Publication date: 2017-03-22
Anticipated expiration: 2033-08-09
Also published as: WO2014025012A1; BR112015002920A2; US20150206535A1; JPWO2014025012A1; US9704484B2

Description

本発明は、音声認識方法及び音声認識装置に関する。

自動車等の車両は、ドアミラー、ナビゲーション装置等の電装品を備え、これらの電装品は、音声認識装置を備えることができ、運転者からの音声によって制御される。例えば特許文献１の明細書の記載によれば、画像認識回路が、運転者の***の開閉動作の有無を画像認識により判定する。また、ドアミラー制御回路は、画像認識回路で運転者の***の開閉動作が有ると判定された期間に音声認識回路で分析される指示内容について鏡面角度調整を許可する一方、画像認識回路で運転者の***の開閉動作が無いと判定された期間に音声認識回路で分析される指示内容について鏡面角度調整を禁止する。これにより、運転者以外の搭乗者による声その他のノイズにより誤動作で鏡面角度調整が実行されるのを防止することができる。

特許文献１の明細書の記載によれば、ドアミラー制御回路は、口の開きの有無が「無し」である時に音声認識回路による音声認識の結果（鏡面角度調整の指示内容）を無効にしている。従って、画像認識回路は、例えば口の動きを伴わない音声を認識する時に「発話無し」と判定し、音声認識の精度が低下してしまう。

特許第４７５４２９４号公報

本発明の１つの目的は、音声認識の精度を向上可能な音声認識方法及び音声認識装置を提供することにある。本発明の他の目的は、以下に例示する態様及び好ましい実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

本願発明によれば、音声認識装置であって、
口の開きの有無に基づき、第１のトリガー信号を生成するとともに、目の向きの変化の有無及び／又は顔の向きの変化の有無とに基づき、第２のトリガー信号を生成するトリガー生成部と、
認識用の認識トリガー信号に応じて、音信号を取り込み、取り込まれた前記音信号の音声認識を開始する音声認識部と、
を備え、
前記トリガー生成部は、前記口の開きの有無が有りであった時点から前記第１のトリガー信号を生成し、前記目の向きの変化の有無及び／又は前記顔の向きの変化の有無の何れかが有りであった時点から前記第２のトリガー信号を生成し、
前記音声認識部は、前記トリガー生成部が前記第２のトリガー信号を生成しないで前記第１のトリガー信号を生成する時、前記第１のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記トリガー生成部が前記第１のトリガー信号を生成するとともに前記第２のトリガー信号を生成する時、前記第２のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記第１のトリガー信号又は前記第２のトリガー信号による前記音声認識の結果がエラーを示す時、
前記口の開きの有無が有りであった時点から所定期間だけ遡って生成される前記第１のトリガー信号を前記認識トリガー信号として利用することを特徴とする音声認識装置が提供される。
本願発明によれば、音声認識方法であって、
口の開きの有無が有りであった時点で、第１のトリガー信号を生成すること、
前記第１のトリガー信号を生成した後に、前記口の開きの有無が有りであった前記時点から遡る所定期間内に、目の向きの変化の有無及び／又は顔の向きの変化の有無の何れかが有りであった時点で第２のトリガー信号を生成すること、及び
前記第２のトリガー信号が生成されない時には前記第１のトリガー信号に応じて音信号を取り込む一方、前記第２のトリガー信号が生成される時には前記第２のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を開始すること、
を含み、
前記第１のトリガー信号又は前記第２のトリガー信号による前記音声認識の結果がエラーを示す時に、前記口の開きの有無が有りであった時点から前記所定期間だけ遡った時点で、修正された第１のトリガー信号を生成し、
前記修正された第１のトリガー信号が生成される時には前記修正された第１のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を再度開始することを特徴とする音声認識方法が提供される。

本発明者は、人によっては口の開きを伴わないで発話することを認識した。本願発明によれば、トリガー生成部は、口の開きが有る前の所定期間だけ遡ってトリガー信号を生成するか、或いは、口の開きだけでなく、目の向きの変化及び／又は顔の向きの変化に基づきトリガー信号を生成する。このようなトリガー信号によれば、口の開きを伴った音声の前の口の開きを伴わない音声を取り込み、その取り込んだ音声を含んで、音声認識を実行することができる。これにより、音声認識の精度を向上させることができる。

また、音信号中の音声認識を開始する期間を定めるトリガー信号を利用することで、すべての期間の音信号に対して音声認識を実行する必要がない。言い換えれば、トリガー信号によって切り出される音信号だけに対して音声認識を実行すればよい。従って、音声認識を実行する時の処理を軽減させることができる。

音声認識の結果がエラーを示す時、音声認識部がトリガー信号を修正するので、音声認識の結果がエラーを示さない時、音声認識部は、修正されないトリガー信号（即ち、口の開きの有無だけ）を用いて音声認識を早期に実行又は完了することができる。

音声認識の結果がエラーを示さない時、音声認識部は、修正されないトリガー信号（即ち、口の開きの有無だけ）を用いて音声認識を早期に実行又は完了することができる。

一般に、人が、例えば日本語の「ラ」，「リ」，「ル」等の日本語の子音、例えば英語の「ｂ」，「ｃ」，「ｄ」等の英語の子音等を含む任意の言語の子音を発話する時の口の開きは、母音を発生する時の口の開きよりも小さい。また、人によっては、口の開きが小さい。従って、口の動きに基づき音声認識を実行すると、口の動きを伴わない音声を認識することができない。本発明者は、人が発話を開始する前に目、顔、眉等の口以外の顔器官が動くことを認識し、音声認識方法におけるトリガー信号の生成過程において、口（第１の顔器官）以外の顔器官（第２の顔器官）の動きを考慮することを発明した。

本願発明によれば、口（第１の顔器官）の動きだけでは認識できなかった音声を口以外の他の顔器官（第２の顔器官）の動きに基づくトリガー信号を生成することができる。従って、このトリガー信号によれば、口の動きを伴わない期間の音声も認識することができ、音声の認識率（音声認識の精度）を向上させることができる。

本発明者は、顔器官の動きの中でも目の動きに伴って人が発話する可能性が高いことを認識した。また、本発明者は、顔器官の動きの中でも顔の動きに伴って人が発話することを認識した。目の動き及び又は顔の動きでトリガー信号を生成することで、音声認識の精度をさらに向上させることができる。

本発明者は、特定の物に人が一瞬注視する時、また、他人の声を人が聞く時、その人の目の向きの変化及び顔の向きの変化が生じ易く、このようなタイミングで人が発話する可能性が高いことを認識した。このような人の一般的な行動特性を利用しながらトリガー信号を生成することで、音声認識の精度をより一層向上させることができる。

本発明者は、人によっては口の動きを伴わないで発話することを認識した。本願発明によれば、口の動きの有無が有りであった時から所定期間だけ遡ってトリガー信号を生成することができる。従って、口の動きを伴った音声の前の口の動きを伴わない音声を取り込み、その取り込んだ音声を含んで、音声認識を実行することができる。これにより、音声認識の精度を向上させることができる。

音声認識の結果がエラーを示さない時、音声認識方法は、修正されないトリガー信号（即ち、口の開きの有無だけ）を用いて音声認識を早期に実行又は完了することができる。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

本発明に従う音声認識方法を実行する音声認識装置の構成例を示す。図１の音声記憶部に記憶される音信号に対応するトリガー信号を生成する期間の説明図の１例を示す。顔器官の動きを特定する特徴点の説明図の１例を示す。本発明に従う音声認識方法を実行する音声認識装置である電装品の構成例を示す。図４の電装品の動作例を表すフローチャートを示す。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１は、本発明に従う音声認識方法を実行する音声認識装置の構成例を示す。図１に示される音声認識装置１００は、トリガー信号生成部２２及び音声認識部２３を備える。例えばマイク１１で取得された音信号中の音声認識を開始する期間を定めるトリガー信号が生成される間、トリガー信号生成部２２は、例えばカメラ１２によって、音信号と同期可能に取得された映像信号を利用する。トリガー信号生成部２２は、映像信号中の各画像から口等の顔器官を抽出し、顔器官の動きを認識し、顔器官の動きに基づきトリガー信号を生成する。

図１に示される音声認識装置１００は、例えば音信号を記憶する音声記憶部２１を更に備えることができ、音声認識部２３は、音声記憶部２１で一時的に記憶された音信号をトリガー信号に基づき所定期間だけ遡って取り込むことができる。但し、音声認識装置１００は、音声記憶部２１を省略して、音声認識部２３は、音声認識部２３は、例えばマイク１１からの音信号を直接に取り込んでもよい。

トリガー信号生成部２２及び音声認識部２３は、例えば１つのマイコンで構成され、マイコンのRead Only Memory（ＲＯＭ）は、トリガー信号生成部２２及び音声認識部２３の各々に処理を実行させるためのプログラム（データ）を格納することができ、マイコンのRandom Access Memory（ＲＡＭ）には各プログラムを実行するためのデータを記憶することができる。音声記憶部２１は、例えばフラッシュメモリで構成される。なお、例えばマイコンのＲＯＭ及びＲＡＭ、並びにフラッシュメモリは、１つの記憶部で構成されてもよく、その記憶部の中で、様々な信号及びデータを記憶してもよい。音声認識装置１００は、例えば１つのマイコン及び１つのフラッシュメモリ、並びに入出力インターフェース等を含む１つの電子制御ユニットで構成され、電装品３１も、例えば１つの電子制御ユニットで構成される。なお、１つの電子制御ユニットで、電装品３１及び音声認識装置１００を構成することもできる。

図１に示されるトリガー生成部２２は、少なくとも口の開きの有無に基づき、トリガー信号を生成する。また、音声認識部２３は、トリガー信号に応じて、音信号を取り込み、取り込まれた音信号中の音声認識を開始する。音声記憶部２１は、音信号を記憶する。

トリガー生成部２２が口の開きの有無だけに基づきトリガー信号を生成する時、トリガー生成部２２は、口の開きの有無が「有り」であった時点から所定期間だけ遡ってトリガー信号を生成する。或いは、トリガー生成部２２が口の開きの有無と目の向きの変化の有無及び／又は顔の向きの変化の有無とに基づきトリガー信号を生成する時、トリガー生成部２２は、上記有無の何れかが「有り」であった時点からトリガー信号を生成する。

トリガー生成部２２は、少なくとも１種類の音声認識方法でトリガー信号を生成することができる。具体的には、予め１種類の音声認識方法を実行可能なプログラムだけが音声認識装置１００にインストールされ、トリガー生成部２２は、その１種類の音声認識方法でトリガー信号を生成することができる。１種類の音声認識方法は、後述する第１の音声認識方法又は第２の音声認識方法である。或いは、予め２種類の音声認識方法を実行可能なプログラムだけが音声認識装置１００にインストールされ、トリガー生成部２２は、その２種類の音声認識方法の中から１つの音声認識方法を選択し、選択された音声認識方法でトリガー信号を生成してもよい。１種類の音声認識方法は、後述する第１の音声認識方法及び第２の音声認識方法である。

２種類の音声認識方法のうちの第１の音声認識方法は、口の動きの有無に基づき、トリガー信号を生成すること、及びトリガー信号に応じて音信号を取り込み、取り込まれた音信号中の音声認識を開始すること、を含む。トリガー信号は、口の動きの有無が有りであった時から所定期間だけ遡って生成される。２種類の音声認識方法のうちの第２の音声認識方法は、口である第１の顔器官の動きと第１の顔器官（口）と異なる例えば目、顔等である第２の顔器官の動きとに基づき、トリガー信号を生成すること、及びトリガー信号に応じて音信号中の音声認識を開始すること、を含む。

図２に示されるように、本発明者は、人によっては口の動きを伴わないで発話することを認識した。本発明によれば、口の動きが有る前の所定期間だけ遡ってトリガー信号を生成するか、或いは、口の動きだけでなく、口以外の他の顔器官の動きにも基づきトリガー信号を生成する。このようなトリガー信号によれば、口の動きを伴った音声の前の口の動きを伴わない音声も取り込むことができ、その取り込んで音声認識を実行することにより、音声認識の精度を向上させることができる。

音声認識装置１００又はその音声認識装置１００に実行される音声認識方法は、様々な機器に利用することができ、例えば車両に搭載されるナビゲーション装置等の電装品３１に利用することができる。電装品３１は、音声認識装置１００によって認識された音声に基づき、様々な制御を実行することができ、例えば、ナビゲーション装置は、運転者の音声で住所検索等の操作を実行することができる。ナビゲーション装置等の電装品３１に限定されず、様々な機器で、音声認識装置１００又は音声認識装置１００で実行される音声認識方法を組み込んで、本発明を利用し、音声認識の精度を向上させることができる。

なお、図１に示される音声認識装置１００は、マイク１１を備えていないが、音声認識装置１００は、例えばマイク１１等の音声取得部を組み込んでもよい。同様に、音声認識装置１００は、カメラ１２を備えていないが、音声認識装置１００は、例えばカメラ１２等の映像取得部を組み込んでもよい。

図２は、図１に示される音声記憶部３１に記憶される音信号に対応するトリガー信号を生成する期間の説明図の１例を示す。図２にされるように、音声記憶部２１に記憶される音信号が波形として表され、図１に示されるマイク１１で取得される音信号は、カメラ１２で取得される映像信号と同期している。言い換えれば、音信号の時刻は、映像信号の時刻と一致している。図２にされるように、音信号は、音声だけでなく、ノイズも含んでいる。

図２にされるように、時刻ｔ０で、図１に示されるトリガー信号生成部２２は、映像信号中の口の動き（例えば口の開き）を特定し、以後、時刻ｔ１まで、口の開きが継続していたと判定した。即ち、時刻ｔ０は、口の動きを伴う音声期間の始点を示す時刻であり、時刻ｔ１は、口の動きを伴う音声期間の終点を示す時刻である。トリガー生成部２２が口の動きの有無だけに基づきトリガー信号を生成する時、第１の比較例において、トリガー信号（第１のトリガー信号）は、例えば時刻ｔ０まで、ゼロ又はＬｏｗを示し、時刻ｔ０から時刻ｔ１まで、１又はＨｉｇｈを示し、時刻ｔ１以降、ゼロ又はＬｏｗを示す。

しかしながら、人によっては、口の開きが小さく、図２に示されるように、口の動きを伴わないで発話することもある。即ち、トリガー生成部２２で口の動きを特定できないとしても、時刻ｔ０よりも前に口の動きを伴わない音声期間ｔｓが存在することを本発明者は認識した。第１の比較例におけるトリガー信号（第１のトリガー信号）は、時刻ｔ０から時刻ｔ１までのみ、１又はＨｉｇｈを示すので、このようなトリガー信号（第１のトリガー信号）で時刻ｔ０から時刻ｔ１までの音声信号中の音声を認識しても、音声期間ｔｓに含まれる音声を認識することができない。同様に、時刻ｔ１よりも後に口の動きを伴わない音声期間ｔｅが存在する時も、その音声期間ｔｅに含まれる音声を認識することができない。従って、第１の比較例におけるトリガー信号（第１のトリガー信号）では、音声認識の精度が低下してしまう。

そこで、本発明に従う第１の音声認識方法では、トリガー信号（修正される第１のトリガー信号）は、口の動きの有無が「有り」であった時刻ｔ０から所定期間だけ遡って生成される。所定期間は、音声期間ｔｓを含むように設定され、所定期間は、例えば２［ｓｅｃ］〜３［ｓｅｃ］である。即ち、時刻ｔ０から時刻ｔ１までに口の動きの有無が「有り」である時、時刻ｔ０の例えば２，３秒前から、１又はＨｉｇｈを示すトリガー信号（修正される第１のトリガー信号）が生成される。同様に、口の動きの有無が「有り」であった時刻ｔ１から所定期間だけ遅れる時にゼロ又はＬｏｗを示すトリガー信号（修正される第１のトリガー信号）が生成されてもよく、即ち、時刻ｔ０の例えば２，３秒前から時刻ｔ１の例えば２，３秒後まで、１又はＨｉｇｈを示すトリガー信号（修正される第１のトリガー信号）が生成されてもよい。少なくとも、時刻ｔ０の例えば２，３秒前からの音声信号を取り込み、取り込まれた音信号中の音声認識を開始することで、音声期間ｔｓの子音（例えば日本語の「ラ」、英語の「ｂ」等）等の音素を認識することができ、第１の音声認識方法におけるトリガー信号（修正される第１のトリガー信号）では、音声認識の精度が向上する。同様に、時刻ｔ１の例えば２，３秒後までの音声信号を取り込み、取り込まれた音信号中の音声認識を終了する。

また、本発明に従う第２の音声認識方法では、トリガー信号（第２のトリガー信号）の１又はＨｉｇｈを示す期間が音声期間ｔｓを含むように、トリガー信号（第２のトリガー信号）が生成される。即ち、口の動きの有無が「無し」であった音声期間ｔｓ内に、口以外の顔器官である例えば目の動きの有無が「有り」であった時、生成されたトリガー信号（第２のトリガー信号）は、１又はＨｉｇｈを示す。同様に、トリガー信号（第２のトリガー信号）の１又はＨｉｇｈを示す期間が音声期間ｔｅを含むように、トリガー信号（第２のトリガー信号）が生成されてもよい。音声期間ｔｅ内に例えば目の動きの有無が「有り」であった時、生成されたトリガー信号（第２のトリガー信号）は、１又はＨｉｇｈを示す。目の動きの有無だけでなく、顔の動きの有無も考慮されてもよく、或いは、目の動きの有無の代わりに、顔の動きの有無が考慮されてもよい。口である第１の顔器官の動きと第１の顔器官（口）と異なる例えば目、顔等である第２の顔器官の動きとに基づき、トリガー信号（第２のトリガー信号）を生成することで、音声認識部２３は、音声期間ｔｓ，ｔｅの子音等の音素を認識することができ、第２の音声認識方法におけるトリガー信号（第２のトリガー信号）でも、音声認識の精度が向上する。

なお、例えば特許文献１の音声認識回路のような第２の比較例は、特定の期間の音信号ではなく、すべての期間の音信号に対して音声認識を実行することもできる。

第１の音声認識方法又は第２音声認識方法では、音信号中の音声認識を開始する期間を定めるトリガー信号（修正された第１のトリガー信号又は第２のトリガー信号）を利用することで、すべての期間の音信号に対して音声認識が実行される必要がない。言い換えれば、トリガー信号（修正された第１のトリガー信号又は第２のトリガー信号）によって切り出される音信号だけに対して音声認識を実行すればよい。従って、第１の音声認識方法又は第２音声認識方法では、音声認識を実行する時の処理を軽減させることができる。

図３は、顔器官の動きを特定する特徴点の説明図の１例を示す。図１に示されるカメラ１２は、運転者等の人の顔を映すように設置され、例えば車室内のインナーミラー、サンバイザー、インストルメントパネル、ルーフライニング等に設置される。従って、運転者が運転席に正面（車両の前進方向）を向いて座った時に、カメラ１２は、運転者の顔を捕らえることができる。図３を参照するに、カメラ１２は、顔の正面を捕らえている。図１に示されるトリガー信号生成部２２は、図３に示されるような顔の特徴点Ｐを画像認識することができる。具体的には、トリガー信号生成部２２（画像認識部）は、映像信号中の各フレーム（画像）に対して人の顔領域の切出しを行う。図３を参照するに、トリガー信号生成部２２は、顔器官として、例えば口領域、目領域及び眉領域を抽出し、口領域、目領域及び眉領域の特徴点として、それぞれ、特徴点Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４、特徴点Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ２５、Ｐ３１、Ｐ３２、Ｐ３４、Ｐ３５及び特徴点Ｐ４１、Ｐ４２、Ｐ４３、Ｐ４４、Ｐ４５、Ｐ５１、Ｐ５２、Ｐ５４、Ｐ５５を抽出する。

トリガー信号生成部２２は、例えば４個の特徴点Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４から口の動きを特定し、具体的には、口の開きの有無を判定する。口の開きの有無が「有り」である時、トリガー信号（第２のトリガー信号）は、１又はＨｉｇｈを示す。なお、口の開きの有無だけで、トリガー信号（修正された第１のトリガー信号）を生成する時、トリガー信号（修正されない第１のトリガー信号）が「０又はＬｏｗ」から「１又はＨｉｇｈ」に変化した時点から例えば２，３秒前から、（修正された第１のトリガー信号）は、「１又はＨｉｇｈ」を示す。

また、トリガー信号生成部２２は、口の動きだけでなく、目の動きも考慮する時、トリガー信号生成部２２は、例えば１０個の特徴点Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ２５、Ｐ３１、Ｐ３２、Ｐ３４、Ｐ３５から目の動きを特定し、具体的には、目の向きの変化の有無を判定する。口の開きの有無及び目の向きの変化の有無の少なくとも１つが「有り」である時、トリガー信号（第２のトリガー信号）は、１又はＨｉｇｈを示す。

トリガー信号生成部２２は、眉の動きの有無、眉の移動の有無を判定してもよいが、眉の移動の有無よりも、目の向きの変化の有無に基づきトリガー信号（第２のトリガー信号）を生成した方が、口の動きを伴わない音声を取り込む確率が高くなる。

加えて、トリガー信号生成部２２は、例えば顔領域中の口領域及び目領域の位置に基づき、顔の動きを特定し、具体的には、顔の向きの変化の有無を判定することができる。顔の向きの変化の有無は、目の向きの変化の有無と同様に、口の動きを伴わない音声を取り込む確率が高くなる。口の開きの有無及び顔の向きの変化の有無の少なくとも１つが「有り」である時、トリガー信号（第２のトリガー信号）は、１又はＨｉｇｈを示す。或いは、口の開きの有無、目の向きの変化の有無及び顔の向きの変化の有無の少なくとも１つが「有り」である時、トリガー信号（第２のトリガー信号）は、１又はＨｉｇｈを示す。

このようにしてトリガー生成部２２がトリガー信号（修正された第１のトリガー信号又は第２のトリガー信号）を生成し、且つトリガー信号（修正された第１のトリガー信号又は第２のトリガー信号）が１又はＨｉｇｈを示す期間の音信号が音声認識部２３によって音声認識される時、音声中の音素を例えば音響モデルで認識する精度が向上する。その後、音声認識部２３は、認識された音素から例えば言語モデルで単語又は文章を特定し、文字データを例えば電装品３１に送信することができる。電装品３１は、文字データが特定の制御コマンドに一致するか否かを判定し、運転者等の人は、例えば電装品３１を音声で操作することができる。

図４は、本発明に従う音声認識方法を実行する音声認識装置である電装品の構成例を示す。図４に示される電装品３１は、図１の音声認識装置１００と同様に、トリガー信号生成部２２及び音声認識部２３を備える。また、図４に示される電装品３１は、図１の音声認識装置１００及び図１のマイク１１を組み込む図１の電装品３１の変形例に相当する。

図４に示されるように、図４のカメラ１２は、画像記憶部１３を有し、画像記憶部１３は、マイク１１からの音信号と同期可能な映像信号を記憶することができる。なお、カメラ１２が起動している間、画像記憶部１３は、カメラ１２で取得される映像信号を常に記憶することができ、画像記憶部１３に記憶される映像信号は、複数のフレーム（画像）を含んでいる。

図４の電装品３１は、マイク１１を備えることができ、また、図４の電装品３１は、例えば操作部２４、処理部２５、センサ部２６、表示部２７及び情報記憶部２８を備えることができる。但し、図４の電装品３１は、図１の音声認識装置１００と同様に、マイク１１を備えなくてもよい。また、図４の電装品３１は、操作部２４、処理部２５、センサ部２６、表示部２７及び情報記憶部２８の一部又は全部を備えなくてもよい。

図４の音声認識部２３は、図１の音声認識部２３と同様に、トリガー信号（修正された第１のトリガー信号又は第２のトリガー信号）を利用することができるとともに、修正されない第１のトリガー信号を利用してもよい。音声認識部２３の動作例については、後述する。

図５は、図４の電装品３１の動作例を表すフローチャートを示す。図５において、スタートは、例えば、電装品３１がＯＮされた時を表す。図４の電装品３１は、例えばナビゲーション装置であり、図４の操作部２４は、例えば運転者である人（ユーザ）からの操作情報を入力し、その操作情報を音声記憶部２１に出力することができる。具体的には、操作部２４は、例えば発話ボタンであり、音声記憶部２１は、発話ボタンが押されたか否かを判定することができる（図５のステップＳ１）。

例えば運転者がある目的地まで車両を運転したい時、運転者はナビゲーション装置である電装品３１にその目的地を設定する必要がある。運転者が運転者の音声でその目的地の住所検索等の操作を実行する時、運転者は発話ボタンである操作部２４を押すことができる。発話ボタンが押された後に、音声記憶部２１は、運転者の音声を記憶することができる（図５のステップＳ２）。但し、音声記憶部２１は、操作部２４からの操作情報と無関係に、音声の記憶を開始してもよい。即ち、電装品３１は、操作部２４を備えなくてもよく、電装品３１が起動する時、音声記憶部２１は、操作部２４からの操作情報と無関係に、音声の記憶を開始してもよい。

例えば図４のカメラ１２が起動する時、カメラ１２の画像記憶部１３は、複数のフレーム（画像）で構成される映像信号の記憶を開始することができる。但し、例えば電装品３１からの起動信号を入力する時、画像記憶部１３は、映像信号（複数の画像）の記憶を開始してもよい。図４のトリガー信号生成部２２は、映像信号中の各画像から口等の顔器官を抽出し、顔器官の動きを認識し、顔器官の動きに基づき例えば第１及び第２のトリガー信号を生成する。

トリガー生成部２２は、少なくとも口の開きの有無を抽出し、口の開きの有無が「有り」であった時点からに１又はＨｉｇｈを示す第１のトリガー信号を生成し、第１のトリガー信号を音声認識部２３に出力する。また、トリガー生成部２２は、例えば目及び／又は顔の向きの変化の有無を抽出してもよい。トリガー生成部２２は、例えば目の向きの変化の有無が「有り」であった瞬間だけに１又はＨｉｇｈを示す第２のトリガー信号を生成し、第２のトリガー信号を音声認識部２３に出力する。

図４の音声認識部２３は、第１のトリガー信号を入力し、口の開きの有無の状態が「無し」から「有り」に変化するまで待つ（図５のステップＳ３）。音声認識部２３は、第２のトリガー信号も入力し、口の開きの有無の状態が「無し」から「有り」に変化する時点（例えば図２の時刻ｔ０）の前に、例えば目の向きの変化の有無が「有り」であった瞬間が存在していたか否かを判定する（図５のステップＳ４）。

口の開きの有無の状態が「無し」から「有り」に変化する時点（例えば図２の時刻ｔ０）の前に、例えば目の向きの変化の有無が「有り」であった瞬間が存在していない時、即ち、例えば目の向きの変化の有無の状態が「有り」を示す前に、口の開きの有無の状態が「有り」を示す時、音声認識部２３は、口の開きの有無（例えば図２の時刻ｔ０から時刻ｔ１まで）に応じて音声認識を開始する（図５のステップＳ５）。

口の開きの有無の状態が「無し」から「有り」に変化する時点（例えば図２の時刻ｔ０）の前に、例えば目の向きの変化の有無が「有り」であった瞬間が存在している時、即ち、口の開きの有無の状態が「有り」を示す前に、例えば目の向きの変化の有無の状態が「有り」を示す時、音声認識部２３は、例えば目の向きの変化の有無及び口の開きの有無（例えば図２の時刻ｔ０から音声期間ｔｓだけ前の時刻から少なくとも時刻ｔ１まで）に応じて音声認識を開始する（図５のステップＳ６）。

音声認識部２３の音声認識の結果がエラーを示さない時、即ち音声認識部２３が音声中の音素から例えば言語モデルで単語又は文章を特定できる時、その単語又はその文章を図４の処理部２５に出力する。処理部２５は、その単語又はその文章に応じて制御コマンド（例えば住所検索）を実行する（図５のステップＳ１１）。具体的には、処理部２５は、例えば言語モデルで特定された単語又は文章に一致する制御コマンドを実行する（図５のステップＳ１１）。

代替的に、音声認識部２３の音声認識の結果がエラーを示す時、即ち音声認識部２３が音声中の音素から例えば言語モデルで単語又は文章を特定できない時、音声認識部２３は、修正される第１のトリガー信号を生成し、音声認識を開始する（図５のステップＳ７）。具体的には、音声認識部２３は、口の開きの有無の状態が「無し」から「有り」に変化する時点から所定期間だけ遡る時点（例えば図２の時刻ｔ０の例えば２，３秒前）から、音声認識を開始する（図５のステップＳ８）。その後、図５のステップＳ９において、音声認識部２３の音声認識の結果がエラーを示し続ける時、音声認識部２３は、音声中の音素を認識する範囲を拡大させ、その後、認識又は推定される音素から例えば言語モデルで単語又は文章を特定できる（図５のステップＳ１０）。その後、処理部２５は、その単語又はその文章に応じて制御コマンド（例えば住所検索）を実行する（図５のステップＳ１０）。具体的には、処理部２５は、音声中の音素を認識する範囲を拡大させた後に例えば言語モデルで特定された単語又は文章に一致する制御コマンド、即ち、拡大される前の範囲で特定された単語又は文章に類似する制御コマンドを実行する（図５のステップＳ１１）。

なお、図４の音声認識部２３は、第２のトリガー信号を利用しなくてもよく、第１のトリガー信号だけを利用してもよい。また、第１のトリガー信号を利用した後に、音声認識部２３の音声認識の結果がエラーを示す時、図４の音声認識部２３は、修正される第１のトリガー信号だけを利用してもよい。

図４のセンサ部２６は、例えば車両の位置を取得するＧＰＳセンサであり、図５の処理部２５は、車両の位置から例えば設定された目的地までのルートを算出することができる。図４の情報記憶部２８は、処理部２５によって利用される情報として、例えば地図情報を記憶し、処理部２５は、例えば算出したルート及び車両の位置に基づき車両の位置の周辺の周辺地図情報を情報記憶部２８から取得し、表示部２７に表示することができる。なお、表示部２７は、例えばタッチパネル式のディスプレイであり、運転者が表示部２７（タッチパネル式のディスプレイ）を触ることで、運転者は、電装品３１（ナビゲーション装置）を操作することができる。即ち、表示部２７は、第２の操作部の機能を有してもよく、表示部２７（タッチパネル式のディスプレイ）は、操作情報を入力し、その操作情報を処理部２５に出力することができる。これにより、処理部２５は、運転者の例えば指による第２の操作部への操作を入力し、例えば住所検索等の操作を実行してもよい。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１１・・・マイク、１２・・・カメラ、１３・・・画像記憶部、２１・・・音声記憶部、２２・・・トリガー信号生成部、２３・・・音声認識部、２４・・・操作部、２５・・・処理部、２６・・・センサ部、２７・・・表示部、２８・・・情報記憶部、３１・・・電装品、１００・・・音声認識装置、Ｐ・・・特徴点、ｔ０・・・口の動きを伴う音声期間の始点を示す時刻、ｔ１・・・口の動きを伴う音声期間の終点を示す時刻、ｔｅ，ｔｓ・・・口の動きを伴わない音声期間。

Claims

音声認識装置であって、
口の開きの有無に基づき、第１のトリガー信号を生成するとともに、目の向きの変化の有無及び／又は顔の向きの変化の有無とに基づき、第２のトリガー信号を生成するトリガー生成部と、
認識用の認識トリガー信号に応じて、音信号を取り込み、取り込まれた前記音信号の音声認識を開始する音声認識部と、
を備え、
前記トリガー生成部は、前記口の開きの有無が有りであった時点から前記第１のトリガー信号を生成し、前記目の向きの変化の有無及び／又は前記顔の向きの変化の有無の何れかが有りであった時点から前記第２のトリガー信号を生成し、
前記音声認識部は、前記トリガー生成部が前記第２のトリガー信号を生成しないで前記第１のトリガー信号を生成する時、前記第１のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記トリガー生成部が前記第１のトリガー信号を生成するとともに前記第２のトリガー信号を生成する時、前記第２のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記第１のトリガー信号又は前記第２のトリガー信号による前記音声認識の結果がエラーを示す時、
前記口の開きの有無が有りであった時点から所定期間だけ遡って生成される前記第１のトリガー信号を前記認識トリガー信号として利用する、ことを特徴とする音声認識装置。
音声認識方法であって、
口の開きの有無が有りであった時点で、第１のトリガー信号を生成すること、
前記第１のトリガー信号を生成した後に、前記口の開きの有無が有りであった前記時点から遡る所定期間内に、目の向きの変化の有無及び／又は顔の向きの変化の有無の何れかが有りであった時点で第２のトリガー信号を生成すること、及び
前記第２のトリガー信号が生成されない時には前記第１のトリガー信号に応じて音信号を取り込む一方、前記第２のトリガー信号が生成される時には前記第２のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を開始すること、
を含み、
前記第１のトリガー信号又は前記第２のトリガー信号による前記音声認識の結果がエラーを示す時に、前記口の開きの有無が有りであった時点から前記所定期間だけ遡った時点で、修正された第１のトリガー信号を生成し、
前記修正された第１のトリガー信号が生成される時には前記修正された第１のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を再度開始することを特徴とする音声認識方法。