JPH03157698A - 話者認識システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、電子錠等において入力音声からその話者を照
合するに好適な話者認識システムに関する。

［従来の技術］ 従来の話者認識システムは、例えば特公昭５６−１３９
５６に記載される如く、以下の手順による。

■入力音声に含まれる話者に関する特徴量を抽出する。

■予め上記■と同様にして抽出しておいた標準パターン
と上記■で抽出した特徴量との距離を計算する。

■上記■で計算した距離が、予め設定しであるしきい値
よりも小なることを条件に、今回の入力話者をその標準
パターンの登録話者であるものと判定する。

［発明か解決しようとする課題］ 然しなから、上記従来の話者認識システムでは、下記■
、■の問題点がある。

■標準パターン作成時から時間が経過するにつれ、認ｍ
率が劣化する。例えば、３ケ月経過により、認識率は１
００．０％から８５．０％に劣化する。

■実時間処理か困難である。即ち、−室以上の認識率を
確保するためには複雑な特徴量を用いる必要かあるが、
複雑な特徴量を抽出するためには複雑な処理装置が必要
であり、処理時間も多大となる。

本発明は、経時的な認識率の劣化が極めて少なく、容易
に実時間処理できる話者認識システムを得ることを目的
とする。

［課題を解決するための手段］ 請求項１に記載の本発明は、ニューラルネットワークを
用いた話者認識システムであって、登録話者に対応する
出力ユニットの出力値に対し、登録話者認識用しきい値
と追加学習用しきい値とを設定し、上記出力値が登録話
者認識用しきい値より大なることを条件に、今回の入力
話者を登録話者と判定し、上記出力値が登録話者認識用
しきい値より大、かつ追加学習用しきい値より小なるこ
とを条件に、今回の入力音声データを用いてニューラル
ネットワークの追加学習を行なうようにしたものである
。

請求項２に記載の本発明は、前記ニューラルネットワー
クへの入力として、 ■音声の周波数特性の時間的変化、 ■音声の平均的な線形予測係数、 ■音声の平均的なＰＡＲＣＯＲ係数、 ■音声の平均的な周波数特性、及びピッチ周波数、 ■高域強調を施された音声波形の平均的な周波数特性、
並びに ■音声の平均的な周波数特性 のうちの１つ以上を使用するようにしたものである。

請求項３に記載の本発明は、前記ニューラルネットワー
クが階層的なニューラルネットワークであるようにした
ものである。

［作用］ （１）経時的な認識率の劣化が極めて少ない。このこと
は、後述する実験結果により確認されていることである
か、ニューラルネットワークが音声の時期差による変動
の影響を受けにくい構造をとることか可能なためと推定
される。

（２）ニューラルネットワークを構成する、登録話者に
対応する出力ユニットの出力値に対し、登録話者認識用
しきい値の他に、追加学習用しきい値を設けた。即ち、
上記出力値が登録話者認識用しきい値を超えて大なるも
のであり、入力話者を登録話者と判定できるものであっ
ても、該出力値が該登録話者認識用しきい値より大なる
追加学習用しきい値を超えるものでない場合には、今回
の入力音声データを用いてニューラルネットワークの追
加学習を行なう、これにより、話者の特徴が経時変化し
ても認識率が劣化する前にニューラルネットワークを更
新でき、結果として、音声の経時変化に強い話者認識シ
ステムを構成できる。

（３）ニューラルネットワークは、原理的に、ネットワ
ーク全体の演算処理が単純且つ迅速である。

（４）ニューラルネットワークは、原理的に、それを構
成している各ユニットが独立に動作しており、並列的な
演算処理が可能である。従って、演算処理が迅速である
。

（５）上記（３）〜（４）により、話者認識システムを
複雑な処理装置によることなく容易に実時間処理できる
。

又、請求項２に記載の本発明によれば上記（１）〜（５
）の作用効果に加えて、下記（６）の作用効果がある。

（６）ニューラルネットワークへの入力として、請求項
２に記載の■〜■の各要素のうちの１つ以上を用いるか
ら、入力を得るための前処理が、従来の複雑な特徴量抽
出に対して、単純となり、この前処理に要する時間が短
くて足りる。

又、請求項３に記載の本発明によれば上記（１）〜（６
）の作用効果に加えて、下記（７）の作用効果かある。

（７）階層的なニューラルネットワークにあっては、現
在、後述する如くの簡単な学習アルゴリズム（パックプ
ロパゲーション）が確立されており、高い認識率を実現
できるニューラルネットワークを容易に形成できる。

［実施例］ 第１図は本発明が適用された話者認識システムの一例を
示す模式図、第２図は音声処理部とニューラルネットワ
ークの一例を示す模式図、第３図は入力音声を示す模式
図、第４図はバンドパスフィルタの出力を示す模式図、
第５図はニューラルネットワークを示す模式図、第６図
は階層的なニューラルネットワークを示す模式図、第７
図はユニットの構造を示す模式図である。

本発明の具体的実施例の説明に先立ち、ニューラルネッ
トワークの構成、学習アルゴリズムについて説明する。

（１）ニューラルネットワークは、その構造から、第５
図（Ａ）に示す階層的ネットワークと第５図（Ｂ）に示
す相互結合ネットワークの２種に大別できる０本発明は
、両ネットワークのいずれを用いて構成するものであっ
ても良いが、階層的ネットワークは後述する如くの簡単
な学習アルゴリズムが確立されているためより有用であ
る。

（２）ネットワークの構造 階層的ネットワークは、第６図に示す如く、入力層、中
間層、出力層からなる階層構造をとる。

各層は１以上のユニットから構成される。結合は、入力
層→中間層→出力層という前向きの結合だけで、各層内
での結合はない。

（３）ユニットの構造 ユニットは第７図に示す如く脳のニューロンのモデル化
であり構造は簡単である。他のユニットから入力を受け
、その総和をとり一定の規則（変換関数）で変換し、結
果を出力する。他のユニットとの結合には、それぞれ結
合の強さを表わす可変の重みを付ける。

（４）学習（パックプロパゲーション）ネットワークの
学習とは、実際の出力を目標値（望ましい出力）に近づ
けることであり、−ａ的には第７図に示した各ユニット
の変換関数及び重みを変化させて学習を行なう。

又、学習のアルゴリズムとしては、例えば、Ｒｕｍｅｌ
ｈａｒｔ、　Ｄ、Ｅ、、ＭｃＣｌｅｌｌａｎｄ、　Ｊ、
Ｌ、　ａｎｄ　ｔｈｅＰＤＰ　Ｒｅ５ｅａｒｃｈ　Ｇｒ
ｏｕｐ、　ＰＡＲＡＬＬＥＬ　ＤＩＳＴＲＩＢＵＴＥＤ
ＰＲＯ（：ＥＳＳＩＮＧ、　ｔｈｅ　ＭＩＴ　Ｐｒｅｓ
ｓ、　１９８６．に記載されているパックプロパゲーシ
ョンを用いることができる。

以下、本発明の具体的な実施例について説明する。

話者認識システム１０は、第１図に示す如く、音声入力
部１１、音声処理部１２、ニューラルネットワーク１３
、判定部１４、メモリ部１５、ネットワーク制御部１６
、機器制御部１７を有して構成される。

（１）音声入力部１１に登録音声を入力する。

この時、学習単語を「タダイマ」、入力単語を「タダイ
マ」とする。

又、登録話者を９名、詐称者を２７名とする。

（２）音声処理部１２で、上記（１）の入力音声に簡単
な前処理を施す。

前処理結果は、今回の話者認識のためにニューラルネッ
トワーク１３に転送されるとともに、追加学習の可能性
に備えて、メモリ部１５に転送される。

（３）ニューラルネットワーク１３は、下記■の学習動
作と下記■の評価動作を行なう。

■学習 目標値（出力層を構成する各出力ユニットの目標出力値
）を、登録話者については（１，０）、詐称者について
は（０，１）とする。

登録話者の入力音声「タダイマ」に、音声処理部１２に
よる前処理を施し、この前処理結果なニューラルネット
ワーク１３に入力する。そして、ニューラルネットワー
ク１３の出力値（出力層を構成する各出力ユニットの出
力値）が上記目標値に近づくように、ニューラルネット
ワーク１３の各ユニットの変換関数及び重みを修正する
。

この学習動作を例えば３万回くり返す。

■評価 今回話者の入力音声に前処理を施し、この前処理を施し
た音声をニューラルネットワーク１３に入力し、ニュー
ラルネットワークの出力値（Ｘ、Ｙ）を得る。

そして、ニューラルネットワーク１３の上記出力値（Ｘ
、Ｙ）は判定部１４に転送される。

（４）判定部１４は、ニューラルネットワーク１３の出
力値（Ｘ、Ｙ）に対し、しきい値θ１．０２．０３　（
θ１〉θ２）を設ける。

Ｏｌは追加学習用しきい値、θ２は登録話者認識用しき
い値、θ３は詐称者認識用しきい値である。

判定部１４は、上記しきい値を用いて、下記■〜■の判
定動作を行なう。

■［Ｘ＞０２かつＹ〈θ３］ であることを条件に、判定部１４は、今回の入力話者を
登録話者と判定し、この登録話者判定信号を機器制御部
１７に出力する。

■［ｘ〉θ２かつＹ〉θ３コ又は［Ｘ＜０２かつＹ〉θ
３］又は［Ｘ＜０２かつＹ〈θ３］であることを条件に
、判定部１４は、今回の入力話者を詐称者と判定し、こ
の詐称者判定信号を機器制御部１７に出力する。

■上記■の登録話者判定時に限り、判定部１４は、更に
次の（ａ）　　（ｂ）の処理を行なう。

（ａ）［Ｘ＜θ１］ であることを条件に、判定部１４は、今回の入力音声デ
ータを用いてニューラルネットワーク１３の追加学習を
行なうべく、ネットワーク制御部１６に追加学習実行信
号を出力する。

（ｂ）［Ｘ＞θｌ］ である時、判定部１４は何もしない。

（５）機器制御部１７は、判定部１４による上記■の判
定結果に基づく登録話者判定信号により、機器を制御す
る。

この機器は、例えば電子錠であり、上記登録話者判定信
号に基づいて開錠制御を行なう。

（６）ネットワーク制御部１６は、判定部１４による上
記■の判定結果に基づく追加学習実行信号により、ニュ
ーラルネットワーク１３の追加学習を行なうことを判断
する。この時、ネットワーク制御部１６は、メモリ部１
５より、今回の入力音声データを取出し、この入力音声
データをニューラルネットワーク１３に再入力し、この
入力に対するニューラルネットワーク１３の出力値（Ｘ
、Ｙ）か口述（３）■の登録話者についての目標値（１
、０）に近づくように、ニューラルネットワーク１３の
各ユニットの変換関数及び重みを修正する。ネットワー
ク制御部１６は、この追加学習動作を例えば３万回くり
返す。

以下、第２図に示す如く、階層的なニューラルネットワ
ーク１３を用い、ニューラルネットワーク１３の入力と
して音声の一定時間内における平均的な周波数特性の時
間的変化を用いた場合の具体的実施例について説明する
。

尚、音声処理部１２は、第２図に示す如く、ローパスフ
ィルタ２１、バンドパスフィルタ２２、平均化回路２３
の結合にて構成される。

■入力音声の音声信号の高域成分を、ローパスフィルタ
２１にてカットする。そして、この入力音声を第３図に
示す如く、４つのブロックに時間的に等分割する。

■音声波形を、第２図に示す如く、複数（ｎ個）チャン
ネルのバンドパスフィルタ２２に通し、各ブロック即ち
各一定時間毎に第４図（Ａ）〜（Ｄ）のそれぞれに示す
如くの周波数特性を得る。

この時、バンドパスフィルタ２２の出力信号は、平均化
回路２３にて、各ブロック毎、即ち一定時間で平均化さ
れる。

以上の前処理により、「音声の一定時間内における平均
的な周波数特性の時間的変化」が得られた。

平均化回路２３の出力は、直接的にニューラルネットワ
ーク１３に転送され、或いはメモリ部１５を経由して間
接的にニューラルネットワーク１３に転送される。

■ニューラルネットワーク１３は、３層の階層的なニュ
ーラルネットワークにて構成される。入力層３】は、前
処理の４ブロツク、ｎチャンネルに対応する４Ｘｎユニ
ツトにて構成される。出力層３２は、登録話者群と詐称
者群との２ユニツトにて構成される。

出力層３２の目標値は、登録話者については（１、Ｑ　
）詐称者については（（１、１）である。

実験 上記の如く、追加学習用しきい値θ１を設けて追加学習
したネットワークの認識率と、追加学習しないネットワ
ークの認識率とを比較した結果、表１を得た０本発明力
式により、時期差による認識率劣化を防止できることが
認められる。

次に、上記実施例の作用について説明する。

（１）経時的な認識率の劣化が極めて少ない。このこと
は、後述する実験結果により確認されていることである
が、ニューラルネットワーク１３が音声の時期差による
変動の影響を受けにくい構造をとることが可能なためと
推定される。

（２）ニューラルネットワーク１３を構成する、登録話
者に対応する出力ユニットの出力値に対し、登録話者認
識用しきい値θ２の他に追加学習用しきい値θｌを設け
た。即ち、上記出力値が登録話者認識用しきい値θ２を
超えて大なるものであり、入力話者をＵ録話者と判定で
きるものであっても、該出力値が該登録話者認識用しき
い値θ２より大なる追加学習用しきい値θ１を超えるも
のでない場合には、今回の入力音声データを用いてニュ
ーラルネットワーク１３の追加学習を行なう、これによ
り、話者の特徴が経時変化しても認識率が劣化する前に
ニューラルネットワーク１３を更新でき、結果として、
音声の経時変化に強い話者認識システムを構成できる。

（３）ニューラルネットワーク１３は、原理的に、ネッ
トワーク全体の演算処理が単純且つ迅速である。

（４）ニューラルネットワーク１３は、原理的に、それ
を構成している各ユニットが独立に動作しており、並列
的な演算処理が可能である。従って、演算処理が迅速で
ある。

（５）上記（３）〜（４）により、話者認識システム１
０を抜雑な処理装置によることなく容易に実時間処理で
きる。

（６）ニューラルネットワーク１３への入力として、「
音声の周波数特性の時間的変化」を用いたから、入力を
得るための前処理が従来の複雑な特徴社抽出に比して、
単純となりこの前処理に要する時間か短くて足りる。

この時、上記ニューラルネットワークへの入力として、
更に、「音声の一定時間内における平均的な周波数特性
の時間的変化」を用いたから、ニューラルネットワーク
１３における処理が単純となり、この処理に要する時間
がより短くて足りる。

（７）階層的なニューラルネットワーク１３を用いたか
ら、現在、既に確立している簡単な学習アルゴリズム（
パックプロパゲーション）を用いて、高い認識率を達成
できる。

尚、本発明の実施においては、ニューラルネットワーク
への入力として、 ■音声の周波数特性の時間的変化、 ■音声の平均的な線形予測係数、 ■音声の平均的なＰＡＲＣＯＲ係数、 ■音声の平均的な周波数特性、及びピッチ周波数、 ■高域強調を施された音声波形の平均的な周波数特性、
並びに ■音声の平均的な周波数特性 のうちの１つ以上を使用できる。

そして、上記■の要素が更に「音声の一定時間内におけ
る平均的な周波数特性の時間的変化」として用いられた
ように、上記■の要素は「音声の一定時間内における平
均的な線形予測係数の時間豹変化」、上記■の要素は「
音声の一定時間内における平均的なＰＡＲＣＯＲ係数の
時間的変化」、上記■の要素は「音声の一定時間内にお
ける平均的な周波数特性、及びピッチ周波数の時間的変
化」、上記■の要素は、［高域強調を施された音声波形
の一定時間内における平均的な周波数特性の時間的変化
」として用いることができる。

尚、上記■の線形予測係数は、以下の如く定義される。

即ち、音声波形のサンプル値（χ。）の間には、−ｍに
高い近接相関があることが知られている。

そこで次のような線形予測か可能であると仮定する。

線形予測値　　χ、＝−Σα１χｔ−１・・・（１）線
形予測誤差　ε、＝χ、−χＬ　　・・・（２）ここで
、χ、：時刻ｔにおける音声波形のサンプル値、（α＋
）（１＝１．・・・、ｐ）：　（１次の）線形予測係数 さて、本発明の実施においては、線形予測誤差εｔの２
乗平均値が最小となるように線形予測係数（α邂）を求
める。

具体的には　（εｔ）２を求め、その時間平均を（ｔ　
ｔ）”と表わして、θ（ｔ　ｔ）”　／　ａａ　（＝Ｏ
ｒ　ｚ＝１．２．・・・、ｐとおくことによって、次の
式から（ａ五）が求められる。

又、上記■のＰＡＲＣＯＲ係数は以下の如く定義される
。

即ち、［ｋ、］（ｎ＝１．・・・、ｐ）を（１次の）Ｐ
ＡＲ（：ＯＲ係数（偏自己相関係数）とする時、ＰＡＲ
ＣＯＲ係数ｋ。、、は、線形予測による前向き残差ε　
＜１１と後向き残差ε’−（ｎ　＊　Ｉ　）　（ｂ　１
間の正規化相関係数として、次の式によって定義される
。

・・・（４） ココテ、εｔ＜１ゝ＝χを一Σ　α直χｔ−１゜（α弧
）　：前向き予測係数、 εｔ−（ｎ＋ＩＩ　Ｌｂ’＝χｔ−ｉｎ＋Ｉｌ　　−Ｆ
、ＩＩ　Ｊ−χｔ−Ｊ　。

（βｊ）：後向き予測係数 又、上記■の音声のピッチ周波数とは、声帯波の繰り返
し周期（ピッチ周期）の逆数である。

尚、ニューラルネットワークへの入力として、個人差か
ある声帯の基本的なパラメータであるピッチ周波数を付
加したから、特に大人／小人、男性／女性間の話者の認
識率を向上することができる。

又、上記■の高域強調とは、音声波形のスペクトルの平
均的な傾きを補償して、低域にエネルギが集中すること
を防止することである。然るに、音声波形のスペクトル
の平均的な傾きは話者に共通のものであり、話者の認識
には無関係である。

ところが、このスペクトルの平均的な傾きが補償されて
いない音声波形をそのままニューラルネットワークへ入
力する場合には、ニューラルネットワークが学習する時
にスペクトルの平均的な傾きの特徴の方を抽出してしま
い、話者の認識に必要なスペクトルの山と谷を抽出する
のに時間がかかる。これに対し、ニューラルネットワー
クへの入力を高域強調する場合には、話者に共通で、認
識には無関係でありながら、学習に影響を及ぼすスペク
トルの平均的な傾きを補償できるため、学習速度が速く
なるのである。

［発明の効果］ 以上のように本発明によれば、経時的な認識率の劣化が
極めて少なく、容易に実時間処理できる話者認識システ
ムを得ることができる。

【図面の簡単な説明】

第１図は本発明が適用された話者認識システムの一例を
示す模式図、第２図は音声処理部とニューラルネットワ
ークの一例を示す模式図、第３図は入力音声を示す模式
図、第４図はバンドパスフィルタの出力を示す模式図、
第５図はニューラルネットワークを示す模式図、第６図
は階層的なニューラルネットワークを示す模式図、第７
図はユニットの構造を示す模式図である。 ○・・・話者認識システム、 １・・・音声入力部、 ２・・・音声処理部、 ３・・・ニューラルネッ ４・・・判定部、 ５・・・メモリ部、 ６・・・ネットワーク制御部、 ７・・・機器制御部。 トワーク、

Claims (3)

【特許請求の範囲】
1. （１）ニューラルネットワークを用いた話者認識システ
   ムであって、登録話者に対応する出力ユニットの出力値
   に対し、登録話者認識用しきい値と追加学習用しきい値
   とを設定し、上記出力値が登録話者認識用しきい値より
   大なることを条件に、今回の入力話者を登録話者と判定
   し、上記出力値が登録話者認識用しきい値より大、かつ
   追加学習用しきい値より小なることを条件に、今回の入
   力音声データを用いてニューラルネットワークの追加学
   習を行なう話者認識システム。
2. （２）前記ニューラルネットワークへの入力として、 ［１］音声の周波数特性の時間的変化、 ［２］音声の平均的な線形予測係数、 ［３］音声の平均的なＰＡＲＣＯＲ係数、 ［４］音声の平均的な周波数特性、及びピッチ周波数、 ［５］高域強調を施された音声波形の平均的な周波数特
   性、並びに ［６］音声の平均的な周波数特性 のうちの１つ以上を使用する請求項１記載の話者認識シ
   ステム。
3. （３）前記ニューラルネットワークが階層的なニューラ
   ルネットワークである請求項１又は２記載の話者認識シ
   ステム。