JP3315565B2 - 音声認識装置 - Google Patents

音声認識装置

Info

Publication number
JP3315565B2
JP3315565B2 JP21342995A JP21342995A JP3315565B2 JP 3315565 B2 JP3315565 B2 JP 3315565B2 JP 21342995 A JP21342995 A JP 21342995A JP 21342995 A JP21342995 A JP 21342995A JP 3315565 B2 JP3315565 B2 JP 3315565B2
Authority
JP
Japan
Prior art keywords
hmm
cumulative score
phoneme
reject
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21342995A
Other languages
English (en)
Other versions
JPH0962290A (ja
Inventor
清治 ▲濱▼口
耕市 山口
俊夫 赤羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP21342995A priority Critical patent/JP3315565B2/ja
Publication of JPH0962290A publication Critical patent/JPH0962290A/ja
Application granted granted Critical
Publication of JP3315565B2 publication Critical patent/JP3315565B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、サブワード単位
のHMM(隠れマルコフモデル)を用いた音声認識装置
に関する。
【0002】
【従来の技術】従来より、音声認識の一手法としてHM
Mに基づく方法が知られている。このHMMに基づく音
声認識方法については、「中川聖一:“確率モデルによ
る音声認識",電子情報通信学会刊行」等に詳細に述べ
られている。上記HMMは状態遷移ネットワークの一種
であり、初期状態となる確率,状態から状態への遷移確
率および各状態におけるシンボルの出力確率が定義され
ている。
【0003】ここで、上記サブワード単位のHMMと
は、音素や半音節等のように単語より小さな単位でのH
MMのことである。これらのサブワード単位のHMM
は、単語音声認識や連続音声認識等に応用することがで
きるのである。例えば、音素HMMを単語音声認識に用
いる場合には、単語を音素列とみなして、音素HMMを
連結したものが各単語の特徴系列であると考える。そし
て、音声パターンが入力された場合に、音素HMMを用
いたビタビアルゴリズムによって各単語の特徴系列生成
確率を求め、その確率の最も高い単語を認識結果とする
のである。一方、音素HMMを連続音声認識に用いる場
合には、図7に示すような、単語の有向グラフで構成さ
れた有限状態オートマンの構文ネットワークを用意す
る。この構文ネットワークは、各単語を音素列とみなす
ことによって音素列のネットワークであると考えること
ができる。そこで、音素HMMを用いた探索処理によっ
て上記構文ネットワークが許可する音素列のなかで最も
生成確率が高い音素列を認識結果として出力するのであ
る。
【0004】上述のような単語音声認識や連続音声認識
を行うに際しては、通常は、フレーム毎に上記音素HM
Mあるいは構文ネットワークにおける各状態のシンボル
出力確率を予め算出してテーブル化しておく。そして、
各単語等の最大生成率を求めるための累積スコアを計算
する場合には、上述のようにして予め作成された尤度テ
ーブルを参照するという方法をとる。
【0005】ここで、音声認識処理動作には、認識対象
語彙に含まれない音声(未知発話)が入力された場合には
認識結果を出力しないリジェクト機能が必要である。H
MM音声認識装置での未知発話のリジェクト方法につい
ては、例えば「渡辺隆夫,塚田 聡:“音声認識を用い
たゆう度補正による未知発話のリジェクション",電子
情報通信学会論文誌,D−II,Vol.J75−D−II,N
o.12,pp.2002−2009,1992年12月」に紹介されてい
る。この論文においては、半音節HMMを用いており、
認識対象ネットワークとは独立して、図8に示すような
音節ネットワークを有している。そして、上記音節ネッ
トワークから得られる最大の生成確率と認識対象ネット
ワークから得られる最大の生成確率とを比較し、その差
が一定値以上である場合には発声内容が未知発話である
と判定してリジェクトするようにしている。
【0006】
【発明が解決しようとする課題】音声認識処理動作にお
ける上記未知発話のリジェクト判定の際に必要な処理量
や記憶量は、なるべく少ない方が処理速度やコストの点
で有利になる。ここで、上述したような音節ネットワー
クを参照した未知発話のリジェクト方法は確かに効果的
ではある。しかしながら、上記音節ネットワークと認識
対象ネットワークというの2つのネットワークを記憶し
ておく必要があり、大きな記憶容量を必要とする。ま
た、半音節HMMを用いているために1つの音節を構成
する2つの半音節に係る前半分の半音節HMMの次には
後半分の半音節HMMが接続しなければならないという
制約はあるものの、図8に示すように音節同士の接続に
関しては何等制約は無い。したがって、上記音節ネット
ワークからリジェクト判定用の最大生成確率を算出する
際には、状態を共有する半音節HMMの有無に拘わらず
上記音節ネットワークの全探索を繰り返して行わなけれ
ばならず、多くの演算処理と多くの記憶量を必要とする
という問題がある。
【0007】尚、上記渡辺等の論文には、上述した音節
ネットワークを参照した未知発話のリジェクト判定法に
加えて、処理量を少なくしたより簡便なリジェクト判定
法として、各フレームでの各状態の局所シンボル出力確
率の最大値を入力の全区域にわたって累積し、この累積
値を上記音節ネットワークを参照して得られる最大の生
成確率の代わりとして扱う方法が紹介されている。そし
て、この簡易法では、各半音節HMM間の連結制約どこ
ろか各状態の遷移にも何等制約を設けないうえに、状態
遷移確率や半音節間の接続条件(VC型の半音節のあと
にはCV型の半音節のみが接続され得る等)を無視して
いるために、状態遷移の制約や言語的な連結制約を付与
した音節ネットワークを参照するリジェクト判定法に比
べて性能的に劣るとも報告されている。
【0008】すなわち、上記HMMは、図9に示すよう
に、幾つかの状態の連結で構成されており、ある状態か
らは特定の状態にしか遷移しないという制約がある。し
たがって、上述の如く各フレームでの各状態の局所シン
ボル出力確率の最大値を入力の全区域にわたって累積す
るという方法では、上記HMMの状態遷移の制約を全く
無視することになり、上記状態遷移の制約を考慮したリ
ジェクト判定方法に比べて性能的には劣るという問題が
付きまとうのである。
【0009】そこで、この発明の目的は、HMM内での
状態遷移制約に加えてHMMの連結制約を付与して、リ
ジェクト判定用の最大生成確率を少ない処理量と少ない
記憶量で求めることができる音声認識装置を提供するこ
とにある。
【0010】
【課題を解決するための手段】上記目的を達成するた
め、請求項1に係る発明は、入力音声から音響パラメー
タを抽出する音響分析部と、状態遷移制約情報を有する
サブワード単位のHMMが蓄積されているHMMデータ
メモリと、上記抽出された音響パラメータと上記蓄積さ
れているHMMに基づいて,全HMMを構成している総
ての状態の局所尤度を算出して尤度テーブルを作成する
尤度テーブル作成部と、上記HMMの状態遷移制約情報
に基づく制約に従って上記尤度テーブル上に経路を設定
し,この経路に沿った最大参照累積スコアをビタビアル
ゴリズムによって算出するリジェクト判定用参照累積ス
コア算出部と、上記尤度テーブル上における上記HMM
および各認識タスクに従った経路に沿った最大累積スコ
アを算出する認識タスク累積スコア算出部と、上記リジ
ェクト判定用参照累積スコア算出部で算出された最大参
照累積スコアと上記認識タスク累積スコア算出部で算出
された最大累積スコアとの差を算出し,この差の値が所
定値以上であれば発声内容は認識対象外の未知発話であ
ると判定してリジェクトするリジェクト判定部を備え
て、上記HMMデータメモリに蓄積されているHMMの
状態遷移制約情報は,HMM境界での認識対象言語によ
る音素間の連結制約情報を含むことを特徴としている。
【0011】上記構成において、上記音響分析部によっ
て入力音声から音響パラメータが抽出されると、尤度テ
ーブル作成部によって、上記抽出された音響パラメータ
とHMMデータメモリに蓄積されているHMMに基づい
て上記尤度テーブルが作成される。そして、リジェクト
判定用参照累積スコア算出部によって、上記尤度テーブ
ル上に、上記HMMの状態遷移制約情報に基づく制約に
従って経路が設定されて、この経路に沿った最大参照累
積スコアがビタビアルゴリズムで算出される。一方、認
識タスク累積スコア算出部によって、上記尤度テーブル
上における上記HMMおよび各認識タスクに従った経路
に沿って最大累積スコアが算出される。 そうすると、上記リジェクト判定部によって、両最大累
積スコアの差が算出され、この差の値が所定値以上であ
れば発声内容は認識対象外の未知発話であると判定され
てリジェクトされる。
【0012】その際に、上記リジェクト判定用の最大参
照累積スコアは上記尤度テーブル上に設定されたビタビ
経路に沿って求められるので、同一フレームにおいて複
数HMMの状態が共有される場合には、上記複数HMM
に係るリジェクト判定用の最大累積スコアの演算経路は
上記共有状態で1つに収束される。したがって、上記リ
ジェクト判定用の最大参照累積スコアは少ない演算量と
少ない記憶量で求められる。
【0013】
【0014】さらに、上記尤度テーブル上に設定される
経路にはHMM境界での認識対象言語による音素間の
結制約情報に従った制約が付与されるので、リジェクト
判定用の最大参照累積スコアの演算量がより少なくなる
と共に、連結されるHMMが認識対象言語に応じて限定
されてリジェクト判定用の最大参照累積スコアが精度良
く演算される。
【0015】また、請求項2に係る発明は、入力音声か
ら音響パラメータを抽出する音響分析部と、状態遷移制
約情報を有するサブワード単位のHMMが蓄積されてい
るHMMデータメモリと、上記抽出された音響パラメー
タと上記蓄積されているHMMに基づいて,全HMMを
構成している総ての状態の局所尤度を算出して尤度テー
ブルを作成する尤度テーブル作成部と、上記HMMの状
態遷移制約情報に基づく制約に従って上記尤度テーブル
上に経路を設定し,この経路に沿った最大参照累積スコ
アをビタビアルゴリズムによって算出するリジェクト判
定用参照累積スコア算出部と、上記尤度テーブル上にお
ける上記HMMおよび各認識タスクに従った経路に沿っ
た最大累積スコアを算出する認識タスク累積スコア算出
部と、上記リジェクト判定用参照累積スコア算出部で算
出された最大参照累積スコアと上記認識タスク累積スコ
ア算出部で算出された最大累積スコアの差を算出し,こ
の差の値が所定値以上であれば発声内容は認識対象外の
未知発話であると判定してリジェクトするリジェクト判
定部を備えて、上記HMMデータメモリに蓄積されてい
るHMMは音素環境依存型の音素HMMであり、上記H
MMデータメモリに蓄積されているHMMの状態遷移制
約情報は,HMM境界での音素環境による連結制約情報
を含むことを特徴としている。
【0016】上記構成によれば、上記HMMデータメモ
リに蓄積されているHMMは音素環境依存型の音素HM
Mであり、上記尤度テーブル上に設定される経路には音
素環境による連結制約情報に従った制約が付与されてい
るので、リジェクト判定用の最大参照累積スコアの演算
量が更に少なくなると共に、連結される音素HMMが音
素環境によって特定されてリジェクト判定用の最大参照
累積スコアが非常に精度良く演算される。
【0017】
【発明の実施の形態】以下、この発明を図示の実施の形
態により詳細に説明する。図1は本実施の形態の音声認
識装置におけるブロック図である。この音声認識装置
は、音素HMMと音響パラメータとから求められたHM
M尤度テーブル上にHMMの各状態遷移制約に沿ったビ
タビ経路を設定し、この経路上の最大参照累積スコアに
基づいて未知発話のリジェクト判定を行うものである。
【0018】以下、本実施の形態の音声認識装置につい
て説明するに先立って、上記HMM尤度テーブル上に設
定されたビタビ経路に沿った最大累積スコア算出法につ
いて述べる。図4は、上記HMM尤度テーブルからビタ
ビアルゴリズムによって最大累積スコアを求める様子を
示す。ここで、図4(a)は、図9に示す状態遷移におけ
る中間状態jあるいは最終状態mでの累積スコアを更新
する際の状態遷移の経路図である。また、図4(b)は、
図9における初期状態cでの累積スコアを更新する際の
状態遷移の経路図である。尚、縦軸は各状態を示し、横
軸はフレーム番号を示す。
【0019】音声スペクトルのあるフレームにおける各
状態へは、その直前のフレームにおける幾つかの状態か
ら遷移する。そして、この状態遷移の経路は、HMMの
状態遷移制約に基づいた経路だけである。また、HMM
間で状態の共有がないとすれば、図9のようにHMMに
おける中間状態と最終状態とに遷移する経路は2本だけ
である。図4において、図4(a)におけるiフレーム上
の状態jへは、直前の(i−1)フレーム上の状態cと状
態jとから遷移している。そして、(i−1)フレームか
らiフレーム上における状態jに至る上記両経路の累積
スコア中で、最大の累積スコアがiフレーム上における
状態jの累積スコアとなる。尚、上記累積スコアは式
(1)に示すビタビアルゴリズムによって算出される。
【数1】
【0020】上述したように、各フレーム毎に、式(1)
によって各状態の累積スコアを計算するのであるが、そ
の際に、当該状態まで辿ってきた経路を記憶しておく必
要はない。また、各状態における累積スコアの計算は、
直前フレーム上の各状態における累積スコアが保持され
ていれば可能である。したがって、記憶するのは直前フ
レーム上の各状態における累積スコアだけでよく、必要
な記憶量を少なくできるのである。
【0021】図9に示すように、上記HMMは、初期状
態から中間状態を経て最終状態へ至る。そして、上記最
終状態を脱した後は、新たに別のHMMの初期状態ある
いは同じHMMの初期状態から状態の遷移が開始される
ことになる。ここで、先行の音素や音節あるいは後続の
音素や音節に依存しないタイプのHMMの場合には、前
HMMの最終状態からつながり得る次HMMの初期状態
の数は多い。図4(b)は、iフレーム上の初期状態c
に、(i−1)フレーム上における同じHMMの初期状態
cと他のHMMの最終状態a,f,m,pとからの遷移し
ている様子を示している。その場合に、言語的に考え
て、特定の音素と音素あるいは音節と音節等の連結に制
限を設けることができる。例えば、日本語の場合には子
音と子音とは連結しないことが多いと考えられ、音素/
m/から音素/h/への遷移経路は設けない等の認識対象
言語による連結制約(以下、言語的連結制約と言う)を設
定できるのである。
【0022】図5および図6は、上記言語的連結制約で
ある日本語における音素間の連結制約例を示し、左側の
音素HMMにおける最終状態から右側の音素HMMにお
ける初期状態に遷移し得ることを意味している。但し、
音素表記はヘボン式ローマ字綴りに従っており、/q/は
促音を/N/は撥音を表している。したがって、図5に示
す例では、音素/h/に接続可能な音素は/a/,/i/,/u
/,/e/,/o/,/N/,/q/の7音素であるから、音素/h/
の初期状態に遷移し得る経路は7本存在することにな
る。こうして、認識言語に特化することにより、より正
確に上記累積スコアを求めることが可能になるのであ
る。
【0023】また、音素環境依存型の音素HMMは、各
音素に係る先行音素や後続音素を特定化したものであ
る。例えば、同じ音素/a/であっても、先行音素が/k/
である音素/a/と先行音素が/m/である音素/a/とは異
なる音素のように扱われ、夫々別々の音素HMMで表現
されるのである。音素環境依存型の音素HMMは、音素
環境に依存しない音素HMMに比べて必要なモデル数が
多くなるものの、性能的に有利である。このように、音
素環境依存型の音素HMMの場合には、音素HMM間の
連結制約が状態間の遷移制約と同様に重要であるため
に、リジェクト判定用の累積スコアの計算に際して音素
環境による音素HMM間の連結制約(以下、音素環境連
結制約と言う)を付与することが上記累積スコア算出の
正確性と容易性から特に有効であるといえる。
【0024】尚、最終的にリジェクト判定の際に参照さ
れる累積スコアは、最終フレームにおいて最大値を呈す
る累積スコアが用いられる。その際に、初期状態や中間
状態を除外して、最終状態に係る累積スコアの中から最
大値を呈する累積スコアを求めるようにしてもよい。
【0025】以下、上述した最大累積スコア算出法を適
用した音声認識装置の具体例を、図1に従って説明す
る。図1において、マイクロホン1から入力された音声
信号は、A/Dコンバータ2でA/D変換されて音響分析
部3に送出される。そして、音響分析部3によって、デ
ィジタルの音声データに基づいて1フレーム毎に音響パ
ラメータが抽出される。尤度テーブル作成部4は、上記
抽出された音響パラメータとHMMデータメモリ9に蓄
積されている総ての音素HMMとから、全音素HMMを
構成している互いに異なる総ての状態のシンボル出力確
率oを算出して尤度テーブルを作成する。そうすると、
リジェクト判定用参照累積スコア算出部5は、上記作成
された尤度テーブルおよび上記音素HMMを用いて、上
述のようにして、上記言語的連結制約および音素環境連
結制約が付与された図4に示すような経路上の各状態に
おけるリジェクト判定用参照累積スコアをフレーム毎に
計算し、リジェクト判定用参照累積スコア格納部10の
内容を更新する。一方、認識タスク累積スコア算出部6
は、上記尤度テーブル,HMMデータメモリ9の各音素
HMMおよび認識タスク辞書12を用いて、認識タスク
の生成確率の累積値である認識タスク累積スコアをフレ
ーム毎に計算し、認識タスク累積スコア格納部11の内
容を更新する。判定部7は、最終フレームに対する上述
の処理が終了すると、リジェクト判定用参照累積スコア
格納部10に格納されているリジェクト判定用参照累積
スコアの最大値と認識タスク累積スコア格納部11に格
納されている認識タスク累積スコアの最大値との差の正
規化値に基づいて、認識結果の出力あるいはリジェクト
を行うのである。音声認識制御部8は、上記A/Dコン
バータ2,音響分析部3,尤度テーブル作成部4,リジェ
クト判定用参照累積スコア算出部5,認識タスク累積ス
コア算出部6および判定部7を制御して、音声認識処理
を行う。
【0026】ここで、上記HMMデータメモリ9に蓄積
されている音素HMMは音素環境依存型の音素HMMで
あり、HMM境界には音素環境連結制約情報と図5およ
び図6に示すような言語的連結制約情報が付加されてい
る。
【0027】図2は、上記音声認識制御部8の制御の下
に、上記A/Dコンバータ2,音響分析部3,尤度テーブ
ル作成部4,リジェクト判定用参照累積スコア算出部5,
認識タスク累積スコア算出部6および判定部7によって
実行される、音声認識処理動作のフローチャートであ
る。以下、図2に従って、本実施の形態における音声認
識処理動作について説明する。
【0028】ステップS1で、上記リジェクト判定用参
照累積スコア格納部10に格納されているリジェクト判
定用参照累積スコア(以下、単にリジェクト累積スコア
と言う)grj(j:状態番号)が初期化される。ステップ
S2で、上記認識タスク累積スコア格納部11に格納さ
れている認識タスク累積スコア(以下、単に認識累積ス
コアと言う)gtK(k:認識タスク番号)が初期化され
る。ステップS3で、フレーム番号iおよびフレーム数
Iが“0"に初期化される。 ステップS4で、上記フレーム番号iがインクリメント
される。ステップS5で、上記マイクロホン1から入力
された音声信号のi番目のフレームの音声信号が取り込
まれる。ステップS6で、上記A/Dコンバータ2によっ
て、当該フレームiの音声信号がA/D変換されてディ
ジタル化される。ステップS7で、上記音響分析部3に
よって、ディジタル音声信号から当該フレームiの音響
パラメータが抽出される。
【0029】ステップS8で、上記尤度テーブル作成部
4によって、上記抽出された当該フレームの音響パラメ
ータとHMMデータメモリ9の音素HMMのデータとか
ら、HMMデータメモリ9に蓄積されている全音素HM
Mを構成している互いに異なる総ての状態jのシンボル
出力確率oj(i)が算出される。ここで、上記音素HMM
のデータは、多数話者の音素バランス単語を用いたタス
クに独立な学習によって作成したものである。ステップ
S9で、上記尤度テーブル作成部4によって、上記算出
された各状態のシンボル出力確率oj(i)に対して正規化
や対数変換が行われて当該状態の尤度が求められ、尤度
テーブルの当該フレーム分が作成される。ここで、上記
尤度テーブルは図3のような構成になっており、各フレ
ームにおける各状態毎に尤度が格納されている。実際に
は、この尤度テーブルを他の記憶部に記憶しておく必要
はなく、当該フレーム分を尤度テーブル作成部4の内部
メモリ等に保持しておき、当該フレームiにおけるリジ
ェクト累積スコアgrj(i)と認識累積スコアgtk(i)の計
算が終了した後に消去すればよい。こうして、音声認識
処理動作に必要な記憶量の低減化を図るのである。
【0030】ステップS10で、上記リジェクト判定用参
照累積スコア算出部5によって、リジェクト判定用参照
累積スコア格納部10に格納されている直前フレーム
(i−1)の各状態jにおけるリジェクト累積スコアgrj
(i-1)が読み出され、HMMデータメモリ9に格納され
た各音素HMMと上記尤度テーブルを用いて、上記各音
素HMMに基づく図4に示すような状態遷移の経路に従
って、当該フレームiの各状態jにおけるリジェクト累
積スコアgrj(i)が式(1)によって算出される。そし
て、こうして算出されたリジェクト累積スコアgrj(i)
によって、リジェクト判定用参照累積スコア格納部10
の内容が更新される。
【0031】換言すれば、上記リジェクト判定用参照累
積スコア算出部5は、上記尤度テーブル上に上記音素H
MMに従って設定されたビタビ経路に沿って、各状態j
毎にリジェクト累積スコアgrj(i)を算出するのであ
る。その際に、上記HMMデータメモリ9に蓄積されて
いる音素HMMは音素環境依存型の音素HMMであり、
HMM境界には音素環境連結制約情報と言語的連結制約
情報が付加されている。したがって、上記尤度テーブル
上に各音素HMMに基づいて設定される状態遷移の経路
は限定されることになり、ビタビアルゴリズムによるリ
ジェクト累積スコアgrj(i)の算出処理件数が減少され
るのである。
【0032】ステップS11で、上記認識タスク累積スコ
ア算出部6によって、認識タスク累積スコア格納部11
に格納されている直前フレーム(i−1)における各認識
タスクkの認識累積スコアgtk(i-1)が読み出され、H
MMデータメモリ9に格納されている各音素HMM,上
記尤度テーブルおよび認識タスク辞書12を用いて認識
累積スコアgtk(i)が算出される。そして、こうして算
出された認識累積スコアgtk(i)によって、認識タスク
累積スコア格納11の内容が更新される。ここで、上記
認識タスクは音素HMMの連結により表現される。そこ
で、上記前フレーム(i−1)における各認識タスクkの
認識累積スコアgtk(i-1)に、当該フレームiにおける
シンボル出力確率ok(i)と状態遷移確率pk(i)とを累積
することによって当該フレームiの認識累積スコアgtk
(i)を算出するのである。
【0033】換言すれば、上記認識タスク累積スコア算
出部6は、上記尤度テーブル上に上記音素HMMと認識
タスクに従って設定されたビタビ経路に沿って、各認識
タスクk毎に認識累積スコアgtk(i)を算出するのであ
る。
【0034】ステップS12で、当該フレームiは最終フ
レームであるか否かが判別される。その結果、最終フレ
ームでなければ,上記ステップS4に戻って次のフレー
ム(i+1)の処理に移行する。一方、最終フレームであ
ればステップS13に進む。ステップS13で、上記フレー
ム数Iにフレーム番号iがセットされる。ステップS14
で、上記判定部7によって、リジェクト判定用参照累積
スコア格納部10に格納されているリジェクト累積スコ
アgrj(I)の中から最大値が検索されてリジェクト判定
用最大参照累積スコアLrとされる。同様に、認識タス
ク累積スコア格納部11に格納されている認識累積スコ
アgtk(I)の中から最大値が検索されて認識タスク最大
累積スコアLtとされる。
【0035】ステップS15で、上記判定部7によって、
上記検索されたリジェクト判定用最大参照累積スコアL
rと認識タスク最大累積スコアLtとから、正規化リジェ
クト判定値L'が式(2)によって算出される。 L'=(Lr−Lt)/I …(2) ここで、上記リジェクト判定用最大参照累積スコアLr
と認識タスク最大累積スコアLtとの差はフレーム数I
に比例して大きくなる。したがって、両累積スコアLr,
Ltの差をフレーム数Iで正規化するのである。ステッ
プS16で、上記判定部7によって、上記算出された正規
化リジェクト判定値L'の値が閾値より小さいか否かが
判別される。その結果、閾値よりの小さい場合にはステ
ップS18に進み、閾値以上である場合にはステップS17
に進む。 ステップS17で、上記判定部7によって、発声内容が未
知発語であると判定されて、認識タスク最大参照累積ス
コアLtを呈する音素列がリジェクトされて音声認識処
理動作を終了する。ステップS18で、上記判定部7によ
って、発声内容が認識語彙に含まれているものと判定さ
れて、認識タスク最大参照累積スコアLtを呈する音素
列が認識結果として出力されて音声認識処理動作を終了
する。
【0036】上述のように、本実施の形態においては、
上記HMMデータメモリ9には、HMM境界に音素環境
連結制約情報と言語的連結制約情報を付加した音素環境
依存型の音素HMMを登録している。そして、1フレー
ム毎に取り込まれた音声信号に基づく音響パラメータと
HMMデータメモリ9の音素HMMから、尤度テーブル
作成部4によって尤度テーブルを作成する。そうする
と、リジェクト判定用参照累積スコア算出部5は、音素
環境連結制約および言語的連結制約が付与された音素H
MMに従って上記尤度テーブル上に設定された経路に沿
ってビタビアルゴリズムによってリジェクト累積スコア
grj(i)を算出して、リジェクト判定用参照累積スコア
格納部10の内容を更新する。一方、認識タスク累積ス
コア算出部6は、上記尤度テーブル上に上記音素HMM
および認識タスクに従って設定された経路に沿って各認
識タスクk毎に認識累積スコアgtk(i)を算出して、認
識タスク累積スコア格納部11の内容を更新する。上記
判定部7は、上述の処理が最終フレームまで終了する
と、その時点でリジェクト判定用参照累積スコア格納部
10および認識タスク累積スコア格納部11に格納され
ている両累積スコアgrj(i),gtk(i)の最大値を検索し
て、リジェクト判定用最大参照累積スコアLrと認識タ
スク最大累積スコアLtとを得る。そして、両最大累積
スコアLr,Ltに基づいて求めた正規化リジェクト判定
値L'によって認識結果のリジェクト判定を行う。
【0037】このように、本実施の形態における上記リ
ジェクト判定用参照累積スコア算出部5は、上記尤度テ
ーブル上に音素HMMに従って設定されたビタビ経路に
沿って各状態j毎にリジェクト累積スコアgrj(i)を算
出している。したがって、当該フレームにおいてある状
態jが例えば2つの音素HMMによって共有されている
場合には、上記2つの音素HMMにおける直前フレーム
での異なる状態から当該フレームにおける共有された状
態jに遷移する2つの経路の一方(リジェクト累積スコ
アの小さい方)は、ビタビアルゴリズムによって当該フ
レームで断ち切られることになる。その結果、次フレー
ム以降においては上記断ち切られた音素HMMに関する
リジェクト累積スコアgrj(i)の演算を行う必要がなく
なり、その分だけ演算量を削減できるのである。これに
対して、従来の技術の項で述べた渡辺等の論文に記載さ
れている「音節認識を用いたゆう度補正法」において
は、図8に示すような音節ネットワークを用いて生成確
率を算出している。したがって、各音節HMM間で部分
的な状態共有があっても各音節HMM毎に互いに独立し
て累積スコアが求められる。したがって、累積スコアの
演算量は削減されないのである。すなわち、本実施の形
態によれば、用いる音素HMMに状態共有音素HMMが
存在する場合には、リジェクト判定の際の処理量を大幅
に削減されるのである。
【0038】また、上記音素HMMの境界には音素環境
連結制約情報と言語的連結制約情報が付加されているの
で、連結される音素HMMを限定することによって演算
処理量を更に縮小できる。さらに、あり得ない経路を事
前に削除して正確にリジェクト累積スコアgrj(i)を算
出でき、リジェクト判定精度を高めることができる。
【0039】また、リジェクト累積スコアgrj(i)の算
出および認識累積スコアgtk(i)の算出は、共にHMM
データメモリ9に蓄積された音素HMMのデータに基づ
いて作成している。したがって、従来のように、リジェ
クト判定用と認識タスク用の2つのネットワークを格納
しておく必要がなく、記憶量を低減できる。また、上記
実施の形態においては、上記HMMデータメモリ9に蓄
積されている音素HMMからリジェクト累積スコアgrj
(i)および認識累積スコアgtk(i)を算出するのであるか
ら、上述のリジェクト判定処理は、認識タスクが単語で
あろうと構文ネットワークを用いた連続音声認識であろ
うと適用可能である。
【0040】尚、上記実施の形態においては、上記HM
Mデータメモリ9には音素環境依存型の音素HMMを登
録し、HMM境界には制約情報として音素環境連結制約
情報と言語的連結制約情報を付加している。しかしなが
ら、この発明はこれに限定されるものではなく、上記制
約情報として音素環境連結制約情報のみを付加してもよ
い。また、非音素環境依存型の音素HMMをHMMデー
タメモリに登録し、HMM境界には言語的連結制約情報
のみを付加しても何等差し支えない。但し、その場合に
は、リジェクト累積スコアgrj(i)の算出精度は低くな
る。
【0041】
【発明の効果】以上より明らかなように、請求項1に係
る発明の音声認識装置は、音響パラメータとサブワード
単位のHMMに基づいて尤度テーブル作成部によって尤
度テーブルを作成し、リジェクト判定用参照累積スコア
算出部によって、上記HMMの状態遷移制約情報に基づ
く制約に従って上記尤度テーブル上に設定した経路に沿
った最大参照累積スコアをビタビアルゴリズムで算出
し、認識タスク累積スコア算出部によって、上記尤度テ
ーブル上における上記HMMおよび各認識タスクに従っ
た経路に沿った最大累積スコアを算出し、リジェクト判
定部によって、上記両最大累積スコアの差に基づいて発
声内容のリジェクトを判定するので、リジェクト判定用
の最大参照累積スコアの演算に際して同一フレームで複
数HMMの状態を共有する場合には、上記最大参照累積
スコアの演算量が大幅に少なくなる。その結果、上記最
大参照累積スコアの記憶量を少なくできる。また、上記
リジェクト判定用の最大参照累積スコアおよび認識タス
ク用の最大累積スコアは、同じサブワード単位のHMM
に基づく尤度テーブルから算出されるので、リジェクト
判定用と認識タスク用のネットワークを独立して設ける
必要がなく、記憶容量を小さくできる。
【0042】その際に、上記HMMの状態遷移制約情報
はHMM境界での認識対象言語による音素間の連結制約
情報を含むので、上記尤度テーブル上に設定される経路
には上記言語的連結制約が付与されている。したがっ
て、この発明によれば、リジェクト判定用の最大参照累
積スコアの演算量がより少なくなると共に、連結される
HMMが認識対象言語に応じて限定されてリジェクト判
定用の最大参照累積スコアの算出精度が良くなる。
【0043】また、請求項2に係る発明の音声認識装置
は、請求項1に係る発明と同様の音響分析部,HMMデ
ータメモリ,尤度テーブル作成部,リジェクト判定用参照
累積スコア算出部,認識タスク累積スコア算出部および
リジェクト判定部を有するので、リジェクト判定用の最
大参照累積スコアの演算に際して同一フレームで複数H
MMの状態を共有する場合には、上記最大参照累積スコ
アの演算量が大幅に少なくなる。その結果、上記最大参
照累積スコアの記憶量を少なくできる。また、上記リジ
ェクト判定用の最大参照累積スコアおよび認識タスク用
の最大累積スコアは、同じサブワード単位のHMMに基
づく尤度テーブルから算出されるので、リジェクト判定
用と認識タスク用のネットワークを独立して設ける必要
がなく、記憶容量を小さくできる。 さらに、上記HMM
データメモリに蓄積されているHMMは音素環境依存型
の音素HMMであり、上記HMMの状態遷移制約情報は
HMM境界での音素環境による連結制約情報を含むの
で、上記尤度テーブル上に設定される経路には上記音素
環境連結制約が付与されている。したがって、この発明
によれば、リジェクト判定用の最大参照累積スコアの演
算量がより少なくなると共に、連結される音素HMMが
音素環境によって特定されてリジェクト判定用の最大参
照累積スコアの算出精度が非常に良くなる。
【図面の簡単な説明】
【図1】この発明の音声認識装置におけるブロック図で
ある。
【図2】図1における音声認識制御部の制御の下に行わ
れる音声認識処理動作のフローチャートである。
【図3】尤度テーブルの一例を示す図である。
【図4】尤度テーブルからビタビアルゴリズムによって
累積スコアを求める際の経路の一例を示す図である。
【図5】音素間の連結制約の一例を示す図である。
【図6】図5に続く音素間の連結制約の一例を示す図で
ある。
【図7】構文ネットワークの一例を示す図である。
【図8】従来の未知発話リジェクションにおいて使用さ
れる音節ネットワークを示す図である。
【図9】HMMの説明図である。
【符号の説明】
3…音響分析部、 4…尤度テーブル
作成部、5…リジェクト判定用参照累積スコア算出部、
6…認識タスク累積スコア算出部、 7…判定部、8…
音声認識制御部、 9…HMMデータメモ
リ、10…リジェクト判定用参照累積スコア格納部、1
1…認識タスク累積スコア格納部。
フロントページの続き (56)参考文献 特開 平8−6588(JP,A) 三木清一、川原達也、堂下修司,タス クの構文的制約から逸脱した発話のリジ ェクション,日本音響学会平成6年度秋 季研究発表会講演論文集,日本,1994年 10月,1−Q−1,p.143−144 中川聖一,確率モデルによる音声認 識,日本,電子情報通信学会,1988年7 月,p.96 大西宏樹、宮武正典,音素環境を利用 した連続音声認識の検討,日本音響学会 平成2年度秋季研究発表会講演論文集, 日本,1990年 9月,2−8−4,p. 53−54 野田喜昭,嵯峨山茂樹,前向き尤度を 用いたA※ビーム探索によるHMM−L R音声認識,電子情報通信学会技術研究 報告[音声],日本,1994年 6月17 日,SP94−23,p.1−7 渡辺隆夫,塚田聡,音節認識を用いた ゆう度補正による未知発話のリジェクシ ョン,電子情報通信学会誌 D−II, 日本,1992年12月,Vol.J75−D− II No.12,p.2002−2009 (58)調査した分野(Int.Cl.7,DB名) G10L 15/14 G10L 15/18 G10L 15/28 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力音声から音響パラメータを抽出する
    音響分析部と、 状態遷移制約情報を有するサブワード単位のHMMが蓄
    積されているHMMデータメモリと、 上記抽出された音響パラメータと上記蓄積されているH
    MMに基づいて、全HMMを構成している総ての状態の
    局所尤度を算出して尤度テーブルを作成する尤度テーブ
    ル作成部と、 上記HMMの状態遷移制約情報に基づく制約に従って上
    記尤度テーブル上に経路を設定し、この経路に沿った最
    大参照累積スコアをビタビアルゴリズムによって算出す
    るリジェクト判定用参照累積スコア算出部と、 上記尤度テーブル上における上記HMMおよび各認識タ
    スクに従った経路に沿った最大累積スコアを算出する認
    識タスク累積スコア算出部と、 上記リジェクト判定用参照累積スコア算出部で算出され
    た最大参照累積スコアと上記認識タスク累積スコア算出
    部で算出された最大累積スコアの差を算出し、この差の
    値が所定値以上であれば発声内容は認識対象外の未知発
    話であると判定してリジェクトするリジェクト判定部を
    備えて、 上記HMMデータメモリに蓄積されているHMMの状態
    遷移制約情報は、HMM境界での認識対象言語による音
    素間の連結制約情報を含む ことを特徴とする音声認識装
    置。
  2. 【請求項2】 入力音声から音響パラメータを抽出する
    音響分析部と、 状態遷移制約情報を有するサブワード単位のHMMが蓄
    積されているHMMデータメモリと、 上記抽出された音響パラメータと上記蓄積されているH
    MMに基づいて、全HMMを構成している総ての状態の
    局所尤度を算出して尤度テーブルを作成する尤度テーブ
    ル作成部と、 上記HMMの状態遷移制約情報に基づく制約に従って上
    記尤度テーブル上に経路を設定し、この経路に沿った最
    大参照累積スコアをビタビアルゴリズムによって算出す
    るリジェクト判定用参照累積スコア算出部と、 上記尤度テーブル上における上記HMMおよび各認識タ
    スクに従った経路に沿 った最大累積スコアを算出する認
    識タスク累積スコア算出部と、 上記リジェクト判定用参照累積スコア算出部で算出され
    た最大参照累積スコアと上記認識タスク累積スコア算出
    部で算出された最大累積スコアの差を算出し、この差の
    値が所定値以上であれば発声内容は認識対象外の未知発
    話であると判定してリジェクトするリジェクト判定部を
    備え て、 上記HMMデータメモリに蓄積されているHMMは、音
    素環境依存型の音素HMMであり、 上記HMMデータメモリに蓄積されているHMMの状態
    遷移制約情報は、HMM境界での音素環境による連結制
    約情報を含むことを特徴とする音声認識装置。
JP21342995A 1995-08-22 1995-08-22 音声認識装置 Expired - Fee Related JP3315565B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21342995A JP3315565B2 (ja) 1995-08-22 1995-08-22 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21342995A JP3315565B2 (ja) 1995-08-22 1995-08-22 音声認識装置

Publications (2)

Publication Number Publication Date
JPH0962290A JPH0962290A (ja) 1997-03-07
JP3315565B2 true JP3315565B2 (ja) 2002-08-19

Family

ID=16639088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21342995A Expired - Fee Related JP3315565B2 (ja) 1995-08-22 1995-08-22 音声認識装置

Country Status (1)

Country Link
JP (1) JP3315565B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3496706B2 (ja) * 1997-09-12 2004-02-16 日本電信電話株式会社 音声認識方法及びそのプログラム記録媒体
WO2002091358A1 (en) * 2001-05-08 2002-11-14 Intel Corporation Method and apparatus for rejection of speech recognition results in accordance with confidence level
JP5158877B2 (ja) * 2009-01-29 2013-03-06 Kddi株式会社 音声認識方法および装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
三木清一、川原達也、堂下修司,タスクの構文的制約から逸脱した発話のリジェクション,日本音響学会平成6年度秋季研究発表会講演論文集,日本,1994年10月,1−Q−1,p.143−144
中川聖一,確率モデルによる音声認識,日本,電子情報通信学会,1988年7月,p.96
大西宏樹、宮武正典,音素環境を利用した連続音声認識の検討,日本音響学会平成2年度秋季研究発表会講演論文集,日本,1990年 9月,2−8−4,p.53−54
渡辺隆夫,塚田聡,音節認識を用いたゆう度補正による未知発話のリジェクション,電子情報通信学会誌 D−II,日本,1992年12月,Vol.J75−D−II No.12,p.2002−2009
野田喜昭,嵯峨山茂樹,前向き尤度を用いたA※ビーム探索によるHMM−LR音声認識,電子情報通信学会技術研究報告[音声],日本,1994年 6月17日,SP94−23,p.1−7

Also Published As

Publication number Publication date
JPH0962290A (ja) 1997-03-07

Similar Documents

Publication Publication Date Title
Valtchev et al. MMIE training of large vocabulary recognition systems
JP3453456B2 (ja) 状態共有モデルの設計方法及び装置ならびにその状態共有モデルを用いた音声認識方法および装置
US5999902A (en) Speech recognition incorporating a priori probability weighting factors
US5515475A (en) Speech recognition method using a two-pass search
US7054810B2 (en) Feature vector-based apparatus and method for robust pattern recognition
US5983177A (en) Method and apparatus for obtaining transcriptions from multiple training utterances
JPH0422276B2 (ja)
JP3459712B2 (ja) 音声認識方法及び装置及びコンピュータ制御装置
JPH07219578A (ja) 音声認識方法
JP2002507010A (ja) 同時に起こるマルチモード口述のための装置及び方法
JPH0394299A (ja) 音声認識方法と音声認識装置訓練方法
KR20010086402A (ko) 음성인식 장치
JP3535292B2 (ja) 音声認識システム
JP2003208195A5 (ja)
JP3315565B2 (ja) 音声認識装置
JP3039634B2 (ja) 音声認識装置
JP2974621B2 (ja) 音声認識用単語辞書作成装置及び連続音声認識装置
JP2852210B2 (ja) 不特定話者モデル作成装置及び音声認識装置
JP2001312293A (ja) 音声認識方法およびその装置、並びにコンピュータ読み取り可能な記憶媒体
JP3104900B2 (ja) 音声認識方法
JP2001255887A (ja) 音声認識装置、音声認識方法及び音声認識方法を記録した媒体
JP3532248B2 (ja) 学習音声パタンモデル使用音声認識装置
JP3049235B2 (ja) 複合的な文法ネットワークを用いる音声認識システム
JP3439700B2 (ja) 音響モデル学習装置、音響モデル変換装置及び音声認識装置
JP2980382B2 (ja) 話者適応音声認識方法および装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090607

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees