JP2007206239A - 音声認識装置および音声認識方法 - Google Patents

Abstract

【課題】認識対象（単語、発話単位など）間の認識確率の不均一を低減し、より確実な音声認識を実現する。
【解決手段】音声認識装置１１は、音声信号を入力時系列に従う順方向に認識する順方向認識処理部２０と、音声信号を逆方向に再生する逆再生部１５と、この逆再生部１５が出力する音声信号を認識する逆方向認識処理部３０と、認識処理部２０，３０の処理結果を統合して判定する統合判定部４０とを含む。順方向認識処理部２０および逆方向認識処理部３０は、音声分析部２１，３１と、音響ライブラリ２２，３２と、照合部２３，３３とを含む。照合部２３，３３は、入力音声信号が、音響ライブラリ２２，３２に登録された単語（認識候補）である尤もらしさを表す順方向尤度および逆方向尤度をそれぞれ生成する。統合判定部４０は、それらを総合的に判定して、認識結果を生成する。
【選択図】図２

Description

この発明は、音声信号から単語等の有意な認識対象を認識する音声認識装置および音声認識方法に関する。また、この発明は、そのような音声認識装置を備えた音声指示装置、情報機器および車両システムに関する。

自動車に搭載されるカーナビゲーション装置には、音声指示装置（音声入力インタフェース）を備えているものがある。音声指示装置は、運転者の音声を認識する音声認識装置と、認識された音声に対応した指示コマンドを生成するコマンド生成部とを含む。このコマンド生成部によって生成された指示コマンドに従って、カーナビゲーション装置は、目的地の設定、ルート検索その他の動作を実行する。

音声指示装置は、アイズフリーおよびハンズフリーのインタフェースであるため、運転者は、自動車の安全な運転を阻害されることなくカーナビゲーション装置の操作を行える。
自動車に限らず、自動二輪車においても、ナビゲーション装置その他の情報機器を利用したいという要求がある。この場合にも、自動車の場合と同様に、アイズフリーおよびハンズフリーのインタフェースが必要であり、前述のような音声指示装置はその最有力候補である。

一般的な単語の音声認識装置は、入力された被認識音声を、順次、音響的特徴パラメータに変換する音声分析部と、得られた音響的特徴パラメータを、予め作成しておいた単語毎の標準的音響的特徴の集合である音響ライブラリ（認識辞書）と比較し、入力された音声が表す単語を特定する照合部とを含む。
一般に、音響ライブラリの作成にあたっては、多くの発話者の発話データが収録される。その収録されたデータを学習データとして用いた学習により、照合部で採用される認識アルゴリズムに適合した様式の音響ライブラリが作成される。
特開２００３−１１４６９６号公報 特開２００５−１３４４３６号公報

しかし、起こりうるすべての状況を網羅した学習データを収集することは不可能である。また、採用する特徴パラメータや認識（照合）アルゴリズムに応じて、認識処理に一種の“癖”が生じることも避けられない。そのため、全ての単語を一様な確率で認識することは不可能であり、どうしても、認識しやすい単語、認識しにくい単語ができてしまう。
そこで、この発明の目的は、認識対象（単語、発話単位など）間の認識確率の不均一を低減し、より確実な音声認識を実現する音声認識装置および音声認識方法を提供することである。

また、この発明の他の目的は、そのような音声認識装置を備えた音声指示装置、情報機器および車両システムを提供することである。

上記の目的を達成するための請求項１記載の発明は、音声信号を入力時系列に従う順方向に認識する順方向認識手段と、音声信号を入力時系列とは逆の逆時系列に従う逆方向に認識する逆方向認識手段とを含む、音声認識装置である。
この構成によれば、音声信号を入力時系列に従う順方向に認識するだけでなく、入力時系列とは逆の時系列に従う逆方向に関しても認識するので、認識対象間の認識確率の不均一を低減できる。これにより、より確実な音声認識処理が可能になる。

順方向および逆方向認識手段は、たとえば、それぞれ、入力音声信号の特徴系列を生成する音声分析手段と、認識辞書（音響ライブラリ：音響モデル、単語辞書など）と、照合手段とを含む。認識辞書は、複数の認識候補に関して、予め作成した標準的な特徴系列を記憶している。照合手段は、音声分析によって得られた特徴系列と個々の認識候補に関して認識辞書に格納されている標準的な特徴系列とを比較して、入力音声信号が個々の認識候補を表す尤もらしさを表す尤度情報を生成する。より具体的には、照合手段は、ＤＰマッチング法（動的計画法）、ニューラルネットワーク法、ベイズ識別関数法、ベクトル量子化法などの認識アルゴリズムに従って尤度情報を求める。尤度情報とは、音声分析によって得られた特徴系列と認識辞書に記憶されている認識候補の標準的な特徴系列との類似度を表す情報であり、照合手段が実行する認識アルゴリズムに依存する形式の情報である。尤度、特徴系列ベクトル間の距離などがその例である。

認識辞書は、予め収録した音声データを学習データとして用いる学習によって作成することができる。この場合、順方向認識処理手段のための認識辞書は、音声データの入力時系列に従った特徴系列を用いた学習によって作成し、逆方向認識手段のための認識辞書は、音声データの入力時系列とは反対の時系列に従った特徴系列を用いた学習によって作成する必要がある。

請求項２記載の発明は、音声信号を入力時系列とは逆の時系列に従って再生し、前記逆方向認識手段に入力する逆再生手段をさらに含む、請求項１記載の音声認識装置である。この構成により、逆方向認識手段において、入力時系列とは逆の時系列に従って音声信号の認識処理を行える。より具体的には、逆方向認識手段は、逆再生手段によって逆方向再生された音声信号を分析してその特徴系列を出力する音声分析手段と、認識辞書と、音声分析手段が出力する特徴系列を認識辞書の内容と照合する照合手段とを含む構成とすることができる。この場合の認識辞書は、学習データを逆再生手段によって逆再生させ、その出力を音声分析手段によって分析させて特徴系列を得るプロセスを用いた学習によって作成することが好ましい。

請求項３記載の発明は、前記逆方向認識手段は、音声信号を入力時系列に従って分析し、入力時系列に従う特徴系列を生成する音声分析手段と、この音声分析手段が生成する特徴系列を、入力時系列とは逆の時系列に従う特徴系列に変換して前記逆方向認識手段に入力する特徴系列反転手段とを含むものである、請求項１記載の音声認識装置である。この構成により、逆方向認識手段において、入力時系列とは逆の時系列に従って音声信号の認識処理を行える。より具体的には、逆方向認識手段は、前記音声分析手段と、前記特徴系列反転手段と、認識辞書と、特徴系列反転手段が出力する特徴系列を認識辞書の内容と照合する照合手段とを含む構成とすることができる。この場合の認識辞書は、学習データを入力時系列に従って音声分析手段によって分析させ、これを特徴系列反転手段によって時間軸上で反転させるプロセスを用いた学習によって作成することが好ましい。

なお、この構成の場合、音声分析処理は、順方向および逆方向認識処理手段の両方に共通の処理となるので、これらによって音声分析手段を共有することとしてもよい。
請求項４記載の発明は、前記順方向認識手段および逆方向認識手段の出力を統合して、入力音声信号に対応する認識結果を生成する統合判定手段をさらに含む、請求項１ないし３のいずれかに記載の音声認識装置である。この構成により、順方向および逆方向の認識処理結果を総合的に判定して認識結果を生成できるので、認識対象間でばらつきの少ない認識確率を実現でき、より確実な認識処理が可能になる。

請求項５記載の発明は、前記順方向認識手段は、（たとえば、複数の認識候補のそれぞれに関して）入力音声信号が認識候補に該当する尤もらしさを表す順方向尤度情報を生成するものであり、前記逆方向認識手段は、（たとえば、複数の認識候補のそれぞれに関して）入力音声信号が認識候補に該当する尤もらしさを表す逆方向尤度情報を生成するものであり、前記統合判定手段は、前記順方向認識手段および逆方向認識手段がそれぞれ生成する順方向尤度情報および逆方向尤度情報を結合して、入力音声信号が認識候補に該当する尤もらしさを表す結合尤度情報を生成する尤度情報結合手段と、この尤度情報結合手段が生成する結合尤度情報を評価して認識結果を求める認識結果判定手段とを含むものである、請求項４記載の音声認識装置である。

この構成により、順方向尤度情報および逆方向尤度情報を結合した結合尤度情報を評価することによって認識結果が求められるので、順方向および逆方向の認識処理結果を反映した認識結果が得られる。これにより、複数の認識対象に対する認識確率のばらつきを低減して、より確実な音声認識処理が可能になる。
請求項６記載の発明は、前記尤度情報結合手段は、順方向尤度情報および逆方向尤度情報にそれぞれ重み付けして結合する重み付け結合手段を含む、請求項５記載の音声認識装置である。この構成により、順方向および逆方向の認識処理結果に適切な重み付けをすることができ、より一層認識確率を向上できる。

前記尤度情報結合手段は、前記順方向尤度情報および逆方向尤度情報を線形結合（一次結合）するものであってもよいし、非線形結合（たとえば、尤度情報の２乗以上の巾乗項を含む結合）するものであってもよい。
請求項７記載の発明は、前記重み付け結合手段は、認識候補に依存する重みを順方向尤度情報および／または逆方向尤度情報に付与して結合する認識候補適応重み付け結合手段を含む、請求項６記載の音声認識装置である。この構成により、認識候補毎に適切な重みを付与することができるので、認識候補間の認識確率のばらつきをより一層低減でき、より確実な音声認識が可能になる。認識候補毎の重みは、たとえば、学習によって、認識確率のばらつきが低減されるように予め定めておき、認識候補に対応付けて認識辞書に登録しておくことが好ましい。

請求項８記載の発明は、前記統合判定手段は、前記順方向認識手段および逆方向認識手段の少なくともいずれか一方による単独処理結果が、所定以上の尤もらしさを有する認識候補の存在を示しているかどうかを判定する一方向認識判定手段と、この一方向認識判定手段によって、前記単独処理結果が所定以上の尤もらしさを有する認識候補の存在を示していると判定されたときに、その認識候補を認識結果として出力する手段とを含むものである、請求項４〜７のいずれかに記載の音声認識装置である。

この構成によれば、順方向認識手段または逆方向認識手段の単独処理結果を用いて認識結果を出力できる場合があるので、処理を簡単かつ高速にすることができる。
請求項９記載の発明は、前記一方向認識判定手段は、認識候補に依存する重みを前記単独処理結果に付与して、当該単独処理結果が所定以上の尤もらしさを有する認識候補の存在を示しているかどうかを判定する重み付け判定手段を含むものである、請求項８記載の音声認識装置である。この構成により、認識候補毎に適切な重みを付与しておくことによって、単独処理結果に基づく認識処理の確率を高めることができる。認識候補毎の重みは、学習によって予め求めておき、認識候補に対応付けて認識辞書内に予め登録しておくことが好ましい。

請求項１０記載の発明は、請求項１〜９のいずれかに記載の音声認識装置と、この音声認識装置に音声信号を入力するための音声信号入力手段と、前記音声認識装置による認識結果を所定の機器に入力するための指示コマンドデータに変換するコマンドデータ生成手段とを含む、音声指示装置である。この構成では、認識候補間の認識確率のばらつきが低減される結果、使用者の意図に該当する指示コマンドデータが生成される確率が高まる。これにより、優れた音声入力インタフェースを提供できる。

請求項１１記載の発明は、請求項１０記載の音声指示装置と、前記コマンドデータ生成手段によって生成された指示コマンドデータに応じて動作するコマンド処理手段とを含む、情報機器である。この構成により、音声指示によって情報機器を快適に操作できる。
請求項１２記載の発明は、請求項１１記載の情報機器の少なくとも一部を車体に搭載した車両システムである。この構成により、車載用情報機器を音声指示によって快適に操作することができる車両システムを提供できる。

請求項１３記載の発明は、音声信号を入力時系列に従う順方向に認識する順方向認識ステップと、音声信号を入力時系列とは逆の逆時系列に従う逆方向に認識する逆方向認識ステップとを含む、音声認識方法である。この方法により、請求項１の発明に関連して説明した効果を達成できる。
請求項１４記載の発明は、前記順方向認識ステップおよび逆方向認識ステップの結果を統合して、入力音声信号に対応する認識結果を生成する統合判定ステップをさらに含む、請求項１３記載の音声認識方法である。この方法により、請求項４の発明に関連して説明した効果を達成できる。

むろん、音声認識方法の発明に関しても、音声認識装置の発明と同様な変形を施すことができる。

以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る車両システムの全体構成を示す。この車両システムは、車両の一例としての二輪車両の車体１と、この車体１に取り付けられた音声指示装置本体１０Ａと、前記車体１に取り付けられ、音声指示装置本体１０Ａからの指令（コマンド）を受けて動作するコマンド処理手段としての情報処理部５１と、乗員２（通常は運転者であるが、同乗者であってもよい。）が装着するヘルメット３に備えられたマイクロフォン５と、同じくヘルメット３に取り付けられたスピーカ６とを備えている。マイクロフォン５は、音声指示装置本体１０Ａに対して音声信号を入力する音声信号入力手段としての機能を担う。このマイクロフォン５および音声指示装置本体１０Ａにより、音声指示装置１０が構成されている。そして、この音声指示装置１０および情報処理部５１などにより、車載用情報機器５０が構成されている。音声指示装置本体１０Ａおよび情報処理部５１は、一体化されていてもよいし、別装置とされていてもよい。

このように、車載用情報機器５０は、音声による指示操作が可能な情報機器である。このような情報機器の例としては、ナビゲーション装置（好ましくは、音声案内が可能なもの）、移動電話機、音再生装置（たとえば、ＭＤプレーヤ、ＣＤプレーヤその他のオーディオ装置）を挙げることができる。
マイクロフォン５は、ヘルメット３の口元部分に設けられ、スピーカ６は、ヘルメット３の耳元部分に設けられている。マイクロフォン５は、乗員が発する音声を検出し、その音声に対応した電気信号である音声信号を音声指示装置本体１０Ａに入力する。スピーカ６は、情報処理部５１からの音声信号を受けて、その音声信号を音に変換する。これにより、車両の乗員は、音声によって車載用情報機器５０に音声による指示を与えることができるとともに、車載用情報機器５０が生成する音情報を聴取することができる。こうして、ハンズフリーおよびアイズフリーのインタフェースが構築されている。

音声指示装置本体１０Ａは、ヘルメット３に装備されてもよいが、ヘルメット３の付属品を可能な限り少なくするためには、乗員の着衣等に保持される携帯型装置として構成したり、車両側に取り付けられる車載用装置として構成したりすることが好ましい。
マイクロフォン５と音声指示装置本体１０Ａとの間の接続は、ハーネス７に含まれるケーブルを用いた有線接続により行ってもよいし、音声指示装置本体１０Ａを車載用装置として構成する場合には、無線通信によってそれらの間を接続することもできる。スピーカ６と情報処理部５１との間の接続も同様に、ハーネス７に含まれるケーブルを用いた有線接続により行ってもよいし、無線通信接続によって行ってもよい。無線通信の方式としては、たとえば、ブルーツゥース、赤外線通信その他の短距離無線通信方式を採用することができる。

図２は、車載用情報機器５０の電気的構成を示すブロック図である。音声指示装置本体１０Ａは、マイクロフォン５から入力される音声信号を認識する音声認識装置１１と、この音声認識装置１１による認識結果をコマンドデータに変換するコマンドデータ生成部１２（コマンドデータ生成手段）とを備えている。コマンドデータ生成部１２は、車載用情報機器５０に入力可能な形式のコマンドデータを生成し、このコマンドデータを車載用情報機器５０の情報処理部５１に与える。

音声認識装置１１は、たとえば、ＨＭＭ（隠れマルコフモデル）単語認識アルゴリズムに従って入力音声の認識処理を行う一対の認識処理部、すなわち、順方向認識処理部２０（順方向認識手段）および逆方向認識処理部３０（逆方向認識手段）を備えている。さらに、音声認識装置１１は、音声信号を時間軸上で反転して再生する逆再生部１５（逆再生手段）と、順方向および逆方向認識処理部２０，３０の出力を統合して認識結果を出力する統合判定部４０（統合判定手段）とを備えている。認識対象の音声信号は、時間軸に従う順方向波形で順方向認識処理部２０に入力される。一方、逆再生部１５によって時間軸上で反転された逆方向波形の音声信号は、逆方向認識処理部３０に入力されるようになっている。

順方向認識処理部２０は、音声分析部２１（音声分析手段）と、音響ライブラリ２２（認識辞書）と、照合部２３（照合手段）とを備えている。同様に、逆方向認識処理部３０は、音声分析部３１（音声分析手段と、音響ライブラリ３２（認識辞書）と、照合部３３（照合手段）とを備えている。
音声分析部２１は、マイクロフォン５から入力される音声信号（順方向波形）を分析してその音響的特徴を表す特徴パラメータ系列（たとえば、ＭＦＣＣ（メル周波数ケプストラム係数））を抽出する。同様に、音声分析部３１は、逆再生部１５から入力される音声信号（逆方向波形）を分析してその音響的特徴を表す特徴パラメータ系列（たとえばＭＦＣＣ）を抽出する。

音響ライブラリ２２は、音響モデル２４と、単語辞書（言語モデル）２５とを備えている。同様に、音響ライブラリ３２は、音響モデル３４と、単語辞書（言語モデル）３５とを備えている。音響モデル２４，３４は、音声の所定単位（たとえば単語）ごとに標準音声パターンの音響的特徴をモデル化したものであり、入力音声パターンとの音響的な類似性の評価を行うための参照情報である。また、単語辞書２５，３５は、音響モデルの接続に関する制約を与えるための情報である。このような情報の典型は、或る単語（音素）に引き続いて別の単語（音素）が出現する確率である。

音響モデル２４，３４および単語辞書２５，３５は、事前に収録した学習データを用いた学習によって作成される。学習データは、たとえば、多数の話者の様々な状況における発話を収録した音声データである。ただし、順方向認識処理部２０の音響モデル２４および単語辞書２５は、順方向波形の音声データ（たとえば、「yamaha」、「hoNda」、「suzuki」など）を学習データとして用いた学習によって作成されるのに対して、逆方向認識処理部３０の音響モデル３４および単語辞書３５は、逆方向波形の音声データ（すなわち、時間軸上で反転して再生した音声データ。たとえば、前記の例を反転した「ahamay」、「adNoh」、「ikuzus」など）を学習データとして用いた学習によって作成される。

照合部２３，３３は、音声分析部２１，３１によって抽出された特徴パラメータ系列と音響ライブラリ２２，３２の認識候補とを照合して、ＨＭＭアルゴリズムによって、認識候補の尤もらしさを表す尤度を生成する。
統合判定部４０は、順方向認識処理部２０および逆方向認識処理部３０の出力を総合的に判定して、認識結果を出力し、コマンドデータ生成部１２に引き渡す。

図３は、統合判定部４０における第１の処理例を説明するためのフローチャートである。
順方向認識処理部２０は、単語辞書２５に登録されているｉ番目の単語（認識候補）に対して順方向尤度ＬＦｉを生成する。同様に、逆方向認識処理部３０は、単語辞書３５に登録されているｉ番目の単語（認識候補）に対して逆方向尤度ＬＲｉを生成する。ただし、単語辞書２５，３５には、共通の複数の単語が同じ順序で登録されているものとする。

この場合に、統合判定部４０は、順方向および逆方向尤度ＬＦｉ，ＬＲｉを線形結合した結合尤度Ｌｉを次式(1)に従って演算する（ステップＳ１：尤度情報結合手段。重み付け結合手段）。
Ｌi＝αＬＦi＋βＬＲi …… (1)
ただし、重み付け係数α，βは実数（定数）であり、α≠０，β≠０である。これらの重み付け係数α，βを適切に定めることによって、順方向認識結果および逆方向認識結果を適切に結合でき、妥当な認識結果を得ることができる。重み付け係数α，βは、学習によって予め定めることとしてもよい。

また、重み付け係数α，βは、単語毎に予め定めた値αｉ，βｉとしてもよい。この場合の重み付け係数αｉ，βｉは、単語辞書２５，３５に、認識候補の単語とともに格納しておけばよい。この場合には、ステップＳ１では、次式（１ａ）による演算に従って結合尤度Ｌｉが求められる（認識候補適応重み付け結合手段）。
Ｌi＝αｉ・ＬＦi＋βｉ・ＬＲi …… (1a)
次に、統合判定部４０は、次式(2)を満たすｋを見いだす（ステップＳ２）。

ｋ＝arg_imax(Ｌi) …… (2)
すなわち、ｋ番目の単語は、結合尤度Ｌｉが最大となる単語である。
そして、さらに、統合判定部４０は、最大の結合尤度Ｌｋが、次式(3)の条件を満たすかどうかを判断する（ステップＳ３）。
Ｌk ＞ Θ …… (3)
閾値Θは実数であり、定数であってもよいし、単語に応じて異なる値（Θｋ）としてもよい。

前記式(3)の条件が満たされれば、すなわち、結合尤度Ｌｋが所定の閾値Θを超えているならば、統合判定部４０は、ｋ番目の単語を認識結果とし、この単語を表すデータを出力する（ステップＳ４）。さもなければ、認識結果を棄却し、いずれの単語を表すデータをも出力しない）ステップＳ５）。
このようにして、この例では、順方向認識処理および逆方向認識処理によって得られる順方向および逆方向尤度ＬＦｉ，ＬＲｉを重み付け係数α，βで重み付けして線形結合することによって結合尤度Ｌｉが求められる。そして、この結合尤度Ｌｉに基づいて、認識結果が求められる。こうして、順方向および逆方向の認識結果を結合して用いることによって、認識しやすさに関するばらつきを抑制できる。

図４は、統合判定部４０における第２の処理例を説明するためのフローチャートである。この図４において、図３に示された各ステップと同様の処理が行われるステップには、図３の場合と同一の参照符号を付して示す。この例では、統合判定部４０は、一対の認識処理部２０，３０のうちの一方である順方向認識処理部２０の出力を優先的に用いた判定を行う。すなわち、統合判定部４０は、まず、順方向認識処理部２０が生成する順方向尤度ＬＦｉを用いて、次式(4)を満たすｊを見いだす（ステップＳ１０）。

ｊ＝arg_imax(ＬＦi) …… (4)
すなわち、ｊ番目の単語は、順方向尤度ＬＦｉが最大となる単語である。
そして、さらに、統合判定部４０は、最大の順方向尤度ＬＦｊが、次式(5)の条件を満たすかどうかを判断する（ステップＳ１１。一方向認識判定手段）。
LＦｊ ＞ θ …… (5)
閾値θは実数であり、定数であってもよいし、単語に応じて異なる値（θｊ）としてもよい。

前記式(5)の条件が満たされれば、すなわち、順方向尤度ＬＦｊが所定の閾値θを超えているならば、統合判定部４０は、ｊ番目の単語を認識結果とする（ステップＳ１２）。さもなければ、前述の図３を参照して説明した処理（ステップＳ１〜Ｓ５）を実行し、結合尤度Ｌｉに基づく認識処理を実行する。
このようにして、順方向認識処理部２０の単独処理結果のみに基づいて判定が可能な場合には、結合尤度Ｌｉを用いた処理を省くことができるので、認識処理を高速化でき、音声認識装置１１を構成する処理装置の演算負荷を軽減できる。

むろん、逆方向認識処理部３０の単独処理結果を優先的に用いて同様の処理を行うことも可能である。
図５は、統合判定部４０における第３の処理例を説明するためのフローチャートである。この図５において、図４に示された各ステップと同様の処理が行われるステップには、図４の場合と同一の参照符号を付して示す。

この例では、ステップＳ１１において最大順方向尤度ＬＦｊが閾値θ（またはθｉ）を超えていると判断されたときに、さらに、次式(6)による判断が行われる（ステップＳ１５。一方向認識判定手段）。
LFi ≦θ（またはθｉ） for ∀i≠ｊ …… (6)
すなわち、ｊ以外の任意のｉに対して、順方向尤度ＬＦｉが閾値θ（またはθｉ）以下であることを条件に、ｊ番目の単語を認識結果とする（ステップＳ１２）。つまり、閾値θ（またはθｉ）を超える順方向尤度ＬＦｉを有する単語がただ一つに定まるときに、結合尤度Ｌｉによる判定を行うことなく、ｊ番目の単語が認識単語として出力される。

前記式(6)の条件が満たされない場合（ステップＳ１５：ＮＯ）、すなわち、閾値θ（またはθｉ）を超える順方向尤度を持つ単語が二つ以上存在する場合には、前述の図３を参照して説明した処理（ステップＳ１〜Ｓ５）を実行し、結合尤度Ｌｉに基づく認識処理を実行する。
ただし、この場合、結合尤度Ｌｉに基づく認識処理（ステップＳ１〜Ｓ５）は、ＬＦｉ＞θ（またはθｉ）を満たすｉの範囲で行うことが好ましい。これにより、結合尤度Ｌｉに基づく判定処理を簡単にすることができるから、処理速度を高めることができるとともに、音声認識装置１１を構成する処理装置の演算負荷を一層軽減できる。

このようにして、この処理例でも、順方向認識処理部２０の単独処理結果のみに基づいて判定が可能な場合には、結合尤度Ｌｉを用いた処理を省くことができる。それに加えて、順方向尤度ＬＦｉに基づいてただ一つの単語を特定できる場合にのみ、順方向認識処理部２０の単独処理結果のみに基づく単語認識を許容しているので、認識結果の確実性を高めることができる。

むろん、図４の処理例の場合と同じく、逆方向認識処理部３０の単独処理結果を優先的に用いて同様の処理を行うことも可能である。
なお、図５において二点鎖線で示すように、ステップＳ１１において、順方向最大尤度ＬＦｊが閾値θ（またはθｊ）を超えていない場合には、結合尤度Ｌｉに基づく判定処理を行うことなく、認識結果を棄却（ステップＳ５）することとしてもよい。

図６は、統合判定部４０における第４の処理例を説明するためのフローチャートである。この図６において、図５に示された各ステップと同様の処理が行われるステップには、図５の場合と同一の参照符号を付して示す。
この例では、図５のステップＳ１５の判定に代えて、次式(7)による判断が行われる（ステップＳ１６。一方向認識判定手段）。

ＬＦｊ−ＬＦi ＞Δ for ∀i≠ｊ …… (7)
ただし、閾値Δは実数（ここではΔ＞０）であり、予め定める定数である。閾値Δとして、単語ｉごとの閾値Δｉを用いるようにしてもよい。
前記式(7)は、最大順方向尤度ＬＦｊと他の任意の順方向尤度ＬＦｉとの差が閾値Δ（またはΔｉ）を超えるという条件を表している。換言すれば、最大順方向尤度ＬＦｊと、これに次いで大きな順方向尤度との差が閾値Δ（または閾値Δｉ）を超えている、すなわち、最大順方向尤度ＬＦｊが他と比較して突出しているという条件である。

この条件が満たされている場合には（ステップＳ１６のＹＥＳ）、結合尤度Ｌｉによる判定を行うことなく、ｊ番目の単語が認識単語として出力される（ステップＳ１２）。
前記式(7)の条件が満たされない場合（ステップＳ１５：ＮＯ）、すなわち、閾値θ（またはθｉ）を超える順方向尤度ＬＦｉを持つ単語が二つ以上存在する場合には、前述の図３を参照して説明した処理（ステップＳ１〜Ｓ５）を実行し、結合尤度Ｌｉに基づく認識処理を実行する。

ただし、この場合、結合尤度Ｌｉに基づく認識処理（ステップＳ１〜Ｓ５）は、ＬＦｉ＞θ（またはθｉ）を満たすｉの範囲で行うことが好ましい。これにより、結合尤度Ｌｉに基づく判定処理を簡単にすることができるから、処理速度を高めることができるとともに、音声認識装置１１を構成する処理装置の演算負荷を一層軽減できる。
このようにして、この処理例でも、順方向認識処理部２０の単独処理結果のみに基づいて判定が可能な場合には、結合尤度Ｌｉを用いた処理を省くことができる。それに加えて、最大順方向尤度ＬＦｊが他と比較して突出していると認められる場合にのみ、順方向認識処理部２０の単独処理結果のみに基づく単語認識を許容しているので、認識結果の確実性を高めることができる。

むろん、図４の処理例の場合と同じく、逆方向認識処理部３０の単独処理結果を優先的に用いて同様の処理を行うことも可能である。
なお、図５の処理例の場合と同じく、図６において二点鎖線で示すように、ステップＳ１１において、順方向最大尤度ＬＦｊが閾値θ（またはθｊ）を超えていない場合には、結合尤度Ｌｉに基づく判定処理を行うことなく、認識結果を棄却（ステップＳ５）することとしてもよい。

図７は、統合判定部４０における第５の処理例を説明するためのフローチャートである。この図７において、図４に示された各ステップと同様の処理が行われるステップには、図４の場合と同一の参照符号を付して示す。
この例では、順方向認識処理部２０による単独処理結果に基づく判定を優先的に行うに当たって、単語ごとに重み付けγｉを付与した重み付き順方向尤度γｉ・ＬＦｉが用いられる。すなわち、重み付き順方向尤度γｉ・ＬＦｉが最大となる単語（ｊ番目の単語）が求められる（ステップＳ２０）。すなわち、
ｊ＝arg_imax(γj・ＬＦi) …… (8)
である。

そして、最大の重み付き順方向尤度γｊ・ＬＦｊが次式(9)を満たすかどうかが判断される（ステップＳ２１。一方向認識判定手段。重み付け判定手段）。
γｊ・LＦｊ ＞ θ …… (9)
閾値θは実数であり、定数である。閾値θを単語に応じて異なる値θｊとしてもよいが、尤度ＬＦｉに重み付けを行っているので、閾値θに対してまで重み付けする実益はない。なお、重み付け係数γｉは、たとえば、学習によって予め求め、単語辞書２５に個々の単語毎に格納しておけばよい。

前記式(9)の条件が満たされれば、すなわち、重み付け順方向尤度γｊ・ＬＦｊが所定の閾値θを超えているならば、統合判定部４０は、ｊ番目の単語を認識結果とする（ステップＳ１２）。さもなければ、前述の図３を参照して説明した処理（ステップＳ１〜Ｓ５）を実行し、結合尤度Ｌｉに基づく認識処理を実行する。
このように、図４のステップＳ１０，１１の処理を前述のステップＳ２０，２１の処理に置き換えることにより、単語毎の重みγｉを付与した重み付き順方向尤度γｉ・ＬＦｉによる認識を行うことができる。

同様の変形は、図５および図６に示された処理に対しても適用することができる。
図８は、この発明の第２の実施形態に係る音声指示装置の構成を説明するためのブロック図である。この図８において、前述の図２に示された各部に対応する部分には、図２の場合と同一の参照符号を付して示す。
前述の第１の実施形態では、入力音声データを時間軸上で反転して再生出力する逆再生部１５が設けられていて、この逆再生部１５によって逆再生された逆方向音声データに対して音声分析処理が行われるようになっている。

これに対して、この実施形態では、音声分析処理は、順方向音声データに対してのみ行うこととし、音声分析結果を時間軸上で反転して逆方向認識処理部３０の照合部３３に引き渡すようにしている。
より具体的には、マイクロフォン５からの音声信号は、順方向認識処理部２０の音声分析部２１および逆方向認識処理部３０の音声分析部３１に与えられる。順方向認識処理部２０の構成は、前述の第１の実施形態の場合と同様である。

逆方向認識処理部３０は、音声分析部３１が生成する特徴パラメータ系列を時間軸上で反転し、逆方向特徴パラメータ系列に変換する時間軸上反転部３７を備えている。この時間軸上反転部３７が生成する逆方向特徴パラメータ系列が照合部３３に与えられる。逆方向認識処理部３０のその他の構成は、前述の第１の実施形態の場合と同様である。
このような構成によっても、第１の実施形態の場合と同様に、順方向認識処理および逆方向認識処理を併用して、単語辞書２５，３５に登録された単語（認識候補）間の認識確率のばらつきを抑制できる。

ただし、逆方向認識処理部３０の音響ライブラリ３２を構成する音響モデル３４および単語辞書３５を作成する際の学習は、認識処理時と同様の処理手順（音声分析後に時間軸反転する手順）で行う必要がある。
なお、この実施形態では、順方向認識処理部２０および逆方向認識処理部３０にそれぞれ音声分析部２１，３１を設けているが、一つの音声分析部を順方向および逆方向認識処理部２０，３０で共有することとしてもよい。
［実験例］
図９は、音声データを順方向および逆方向の両方で再生し、それぞれについて単語認識実験を行った場合の認識率を示す図である。順方向再生音声データに対する認識では、「単語６」および「単語９」で認識率が低いのに対し、逆方向再生音声データに対する認識では、それらの単語に対して、いずれも８０％を超える認識率が得られた。逆に、「単語１１」では、順方向再生音声データに対する認識のほうが、逆方向再生音声データに対する認識よりも、やや認識率が良い。

この実験結果から、単語によって順方向認識および逆方向認識の適／不適があり、順方向認識および逆方向認識を組み合わせて単語認識処理を行う前述の実施形態によって、単語認識率の均一性を向上できることが理解される。
［変形例］
前述の実施形態では、ＨＭＭ単語認識を例に挙げたが、認識アルゴリズムは、ＤＰマッチング方式、ニューラルネットワーク方式、ベイズ識別関数方式、ベクトル量子化方式など、任意の方式を適用できる。この場合、尤度情報としては、尤度ではなく、特徴ベクトル間の「距離」などが用いられる場合もあり、前記の条件式(3)(5)(6)(7)(9)などにおいて、適宜不等号の向きを反対にする必要があり得る。

また、単語認識でなくても、連続音声認識に対してもこの発明を同様に適用できる。この場合、認識対象は、「単語」の代わりに、「文字」、「音節」等の発話単位になる。
さらに、前述の実施形態では、結合尤度Ｌｉを順方向尤度ＬＦｉおよび逆方向尤度ＬＲｉの線形結合としたが、これらの非線形結合によって結合尤度Ｌｉを表してもよく、一般に、結合尤度Ｌｉは、順方向尤度ＬＦｉおよび逆方向尤度ＬＲｉの関数ｆによって、次式(9)のように表すことができる。

Li＝f(LFi，LRi) …… (9)
順方向および逆方向尤度ＬＦｉ，ＬＲｉの非線形結合によって結合尤度Ｌｉを定める場合の例は、次の式(10)および(11)のとおりである。
Ｌｉ＝ａ・ＬＦｉ²＋ｂ・ＬＦｉ＋ｃ・ＬＲｉ²＋ｄ・ＬＲｉ ……(10)
Ｌｉ＝ｍ・LFi³＋ｎ・LFi²＋ｐ・LFi＋ｑ・LRi³＋ｒ・LRi²＋ｓ・LRi ……(11)
ただし、ａ，ｂ，ｃ，ｄ，ｍ，ｎ，ｐ，ｑ，ｒ，ｓは、係数（実数）であり、定数であってもよいし、認識候補（単語）毎に予め異なる値を設定しておいてもよい。

また、前述の実施形態では、いずれの場合にも、順方向認識処理および逆方向認識処理の両方が行われるが、図４〜図７に示した処理のように、順方向認識処理結果を優先する場合に、逆方向認識に関連する処理（音声分析および照合処理。図８の構成の場合にはさらに時間軸上反転処理）を後回し処理（ステップＳ１１，Ｓ１５，Ｓ１６，Ｓ２１で否定判定がされた場合に初めて行う処理）にしてもよい。むろん、逆方向認識処理結果を優先する場合も同様であり、順方向認識に関連する処理（音声分析および照合処理）を後回し処理としてもよい。

さらに、前述の実施形態では、結合尤度Ｌｉを用いて判定を行う例について説明したが、結合尤度Ｌｉを必ずしも用いる必要はない。たとえば、単語ごとに順方向認識および逆方向認識のいずれが適しているかは予め調べることができる。そこで、単語によって、順方向認識を行うか逆方向認識を行うかを分けるようにしてもよい。より具体的には、個々の単語について、順方向尤度ＬＦｉおよび逆方向尤度ＬＲｉの一方のみが選択的に参照され、選択された尤度ＬＦｉ，ＬＲｉの最大値に基づいて、入力された単語を判定すればよい。

また、前述の図４〜７の処理例では、結合尤度Ｌｉを用いた判定の前に、順方向尤度ＬＦｉおよび逆方向尤度ＬＲｉのうちの一方に関する判定のみを行っているが、これらの両方に関する判定を行うようにしてもよい。そして、いずれかの尤度ＬＦｉ，ＬＲｉが十分に大きな値を有する単語が見つかったこと、所定の閾値以上の尤度ＬＦｉ，ＬＲｉを有する単語がただ一つに定まること、他の単語に比較して十分に尤度ＬＦｉ，ＬＲｉが大きいこと、などを条件として認識結果を確定し、その後の結合尤度Ｌｉに基づく判定処理を省くようにしてもよい。

さらに、前述の実施形態では、車載用情報機器５０のための音声指示装置１０を例にとったが、この発明は、車載用情報機器に限らず、他の情報機器に対する音声指示のために適用することもできる。
その他、「課題を解決するための手段」の項で説明した各種の変形に加え、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

この発明の一実施形態に係る車両システムの全体構成を示す図である。 前記車両システムの電気的構成を示すブロック図である。 統合判定部における第１の処理例を説明するためのフローチャートである。 統合判定部における第２の処理例を説明するためのフローチャートである。 統合判定部における第３の処理例を説明するためのフローチャートである。 統合判定部における第４の処理例を説明するためのフローチャートである。 統合判定部における第５の処理例を説明するためのフローチャートである。 この発明の第２の実施形態に係る音声指示装置の構成を説明するためのブロック図である。 音声データを順方向および逆方向の両方で再生し、それぞれについて単語認識実験を行った場合の認識率を示す図である。

符号の説明

１ 車体
２ 乗員
３ ヘルメット
５ マイクロフォン
６ スピーカ
７ ハーネス
１０ 音声指示装置１０
１０Ａ 音声指示装置本体
１１ 音声認識装置
１２ コマンドデータ生成部
１５ 逆再生部
２０ 順方向認識処理部
２１ 音声分析部
２２ 音響ライブラリ
２３ 照合部
２４ 音響モデル
２５ 単語辞書
３０ 逆方向認識処理部
３１ 音声分析部
３２ 音響ライブラリ
３３ 照合部
３４ 音響モデル
３５ 単語辞書
３７ 時間軸上反転部
４０ 統合判定部
５０ 車載用情報機器
５１ 情報処理部

Claims (14)

1. 音声信号を入力時系列に従う順方向に認識する順方向認識手段と、
   音声信号を入力時系列とは逆の逆時系列に従う逆方向に認識する逆方向認識手段とを含む、音声認識装置。
2. 音声信号を入力時系列とは逆の時系列に従って再生し、前記逆方向認識手段に入力する逆再生手段をさらに含む、請求項１記載の音声認識装置。
3. 前記逆方向認識手段は、
   音声信号を入力時系列に従って分析し、入力時系列に従う特徴系列を生成する音声分析手段と、
   この音声分析手段が生成する特徴系列を、入力時系列とは逆の時系列に従う特徴系列に変換して前記逆方向認識手段に入力する特徴系列反転手段とを含むものである、請求項１記載の音声認識装置。
4. 前記順方向認識手段および逆方向認識手段の出力を統合して、入力音声信号に対応する認識結果を生成する統合判定手段をさらに含む、請求項１ないし３のいずれかに記載の音声認識装置。
5. 前記順方向認識手段は、入力音声信号が認識候補に該当する尤もらしさを表す順方向尤度情報を生成するものであり、
   前記逆方向認識手段は、入力音声信号が認識候補に該当する尤もらしさを表す逆方向尤度情報を生成するものであり、
   前記統合判定手段は、前記順方向認識手段および逆方向認識手段がそれぞれ生成する順方向尤度情報および逆方向尤度情報を結合して、入力音声信号が認識候補に該当する尤もらしさを表す結合尤度情報を生成する尤度情報結合手段と、この尤度情報結合手段が生成する結合尤度情報を評価して認識結果を求める認識結果判定手段とを含むものである、請求項４記載の音声認識装置。
6. 前記尤度情報結合手段は、順方向尤度情報および逆方向尤度情報にそれぞれ重み付けして結合する重み付け結合手段を含む、請求項５記載の音声認識装置。
7. 前記重み付け結合手段は、認識候補に依存する重みを順方向尤度情報および／または逆方向尤度情報に付与して結合する認識候補適応重み付け結合手段を含む、請求項６記載の音声認識装置。
8. 前記統合判定手段は、
   前記順方向認識手段および逆方向認識手段の少なくともいずれか一方による単独処理結果が、所定以上の尤もらしさを有する認識候補の存在を示しているかどうかを判定する一方向認識判定手段と、
   この一方向認識判定手段によって、前記単独処理結果が所定以上の尤もらしさを有する認識候補の存在を示していると判定されたときに、その認識候補を認識結果として出力する手段とを含むものである、請求項４〜７のいずれかに記載の音声認識装置。
9. 前記一方向認識判定手段は、認識候補に依存する重みを前記単独処理結果に付与して、当該単独処理結果が所定以上の尤もらしさを有する認識候補の存在を示しているかどうかを判定する重み付け判定手段を含むものである、請求項８記載の音声認識装置。
10. 請求項１〜９のいずれかに記載の音声認識装置と、
    この音声認識装置に音声信号を入力するための音声信号入力手段と、
    前記音声認識装置による認識結果を所定の機器に入力するための指示コマンドデータに変換するコマンドデータ生成手段とを含む、音声指示装置。
11. 請求項１０記載の音声指示装置と、
    前記コマンドデータ生成手段によって生成された指示コマンドデータに応じて動作するコマンド処理手段とを含む、情報機器。
12. 請求項１１記載の情報機器の少なくとも一部を車体に搭載した車両システム。
13. 音声信号を入力時系列に従う順方向に認識する順方向認識ステップと、
    音声信号を入力時系列とは逆の逆時系列に従う逆方向に認識する逆方向認識ステップとを含む、音声認識方法。
14. 前記順方向認識ステップおよび逆方向認識ステップの結果を統合して、入力音声信号に対応する認識結果を生成する統合判定ステップをさらに含む、請求項１３記載の音声認識方法。