JP2980382B2 - 話者適応音声認識方法および装置 - Google Patents
話者適応音声認識方法および装置Info
- Publication number
- JP2980382B2 JP2980382B2 JP2412080A JP41208090A JP2980382B2 JP 2980382 B2 JP2980382 B2 JP 2980382B2 JP 2412080 A JP2412080 A JP 2412080A JP 41208090 A JP41208090 A JP 41208090A JP 2980382 B2 JP2980382 B2 JP 2980382B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- speech
- voice
- feature
- conversion function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【0001】
【産業上の利用分野】本発明は,新規話者音声の特徴量
を標準話者音声の特徴量に変換する変換関数を生成して
用いる話者適応音声認識方法および装置に関する。音声
認識装置では,あらかじめ登録された音声特徴量と,入
力音声から抽出した音声特徴量とを照合することによ
り,発声入力された音声の認識を行う。あらかじめ登録
された音声特徴量が,認識する入力音声と同一人の発声
により作成したものであれば,認識精度は高くなるが,
不特定話者用に標準的に作られたものであれば,特に個
性の強い発声に対して認識精度が落ちる。
を標準話者音声の特徴量に変換する変換関数を生成して
用いる話者適応音声認識方法および装置に関する。音声
認識装置では,あらかじめ登録された音声特徴量と,入
力音声から抽出した音声特徴量とを照合することによ
り,発声入力された音声の認識を行う。あらかじめ登録
された音声特徴量が,認識する入力音声と同一人の発声
により作成したものであれば,認識精度は高くなるが,
不特定話者用に標準的に作られたものであれば,特に個
性の強い発声に対して認識精度が落ちる。
【0002】しかしながら,特定(新規)話者対応に音
声特徴量の辞書を作成するのは,非常に大きな労力を要
する。そこで,あらかじめ標準的な音声の特徴量を示す
辞書を一つ作成しておき,新規話者音声に対して,その
音声特徴量を標準話者音声の特徴量に変換する変換関数
を学習により生成し,その変換関数を用いて入力音声の
特徴量を標準話者音声の特徴量に近い形に変換し,その
うえで照合する方法が用いられている。このときに用い
る変換関数の生成を簡単に高速に行う技術が必要とされ
る。
声特徴量の辞書を作成するのは,非常に大きな労力を要
する。そこで,あらかじめ標準的な音声の特徴量を示す
辞書を一つ作成しておき,新規話者音声に対して,その
音声特徴量を標準話者音声の特徴量に変換する変換関数
を学習により生成し,その変換関数を用いて入力音声の
特徴量を標準話者音声の特徴量に近い形に変換し,その
うえで照合する方法が用いられている。このときに用い
る変換関数の生成を簡単に高速に行う技術が必要とされ
る。
【0003】
【従来の技術】図7は従来技術の説明図である。変換関
数60を生成する際には,新規話者の音声から,新規話
者音声特徴量抽出手段1で音声認識に用いる特徴量時系
列を抽出し,この新規話者の音声に対応する標準話者の
音声の特徴量時系列を,標準話者音声特徴量記憶手段4
から読み出し,変換関数生成手段30によって,新規話
者音声の特徴量時系列を標準話者音声の特徴量時系列に
変換する単一の変換関数60を生成する。
数60を生成する際には,新規話者の音声から,新規話
者音声特徴量抽出手段1で音声認識に用いる特徴量時系
列を抽出し,この新規話者の音声に対応する標準話者の
音声の特徴量時系列を,標準話者音声特徴量記憶手段4
から読み出し,変換関数生成手段30によって,新規話
者音声の特徴量時系列を標準話者音声の特徴量時系列に
変換する単一の変換関数60を生成する。
【0004】新規話者の音声で音声認識を行う際には,
新規話者の音声から新規話者音声特徴量抽出手段1で音
声認識に用いる特徴量時系列を抽出し,この特徴量を変
換関数60で標準話者音声の特徴量時系列に変換し,こ
の特徴量時系列と標準話者音声特徴量記憶手段4に記憶
されている特徴量時系列を,標準話者音声認識手段7で
照合して認識結果を得る。
新規話者の音声から新規話者音声特徴量抽出手段1で音
声認識に用いる特徴量時系列を抽出し,この特徴量を変
換関数60で標準話者音声の特徴量時系列に変換し,こ
の特徴量時系列と標準話者音声特徴量記憶手段4に記憶
されている特徴量時系列を,標準話者音声認識手段7で
照合して認識結果を得る。
【0005】
【発明が解決しようとする課題】以上のような従来技術
によれば,すべての新規話者音声の特徴量を標準話者音
声の特徴量に単一の変換関数によって変換することにな
るため,変換関数がきわめて複雑になり,変換関数を生
成するのに長時間を要するので,新規話者の負担が大き
いという問題があった。また,変換精度のよい変換関数
を得るのが難しいという問題があった。
によれば,すべての新規話者音声の特徴量を標準話者音
声の特徴量に単一の変換関数によって変換することにな
るため,変換関数がきわめて複雑になり,変換関数を生
成するのに長時間を要するので,新規話者の負担が大き
いという問題があった。また,変換精度のよい変換関数
を得るのが難しいという問題があった。
【0006】本発明は上記問題点の解決を図り,精度の
よい変換関数を短時間で生成する手段を提供し,新規話
者の負担を軽減することを目的としている。
よい変換関数を短時間で生成する手段を提供し,新規話
者の負担を軽減することを目的としている。
【0007】
【課題を解決するための手段】図1は本発明の原理ブロ
ック図である。本発明では,新規話者音声の特徴量を変
換関数で標準話者音声の特徴量に変換する際に,複数の
変換関数の中から新規話者音声の各時刻における音響特
性に対応する変換関数を選択し,変換に用いる変換関数
を切り換えながら新規話者音声の特徴量を標準話者音声
の特徴量に変換する。
ック図である。本発明では,新規話者音声の特徴量を変
換関数で標準話者音声の特徴量に変換する際に,複数の
変換関数の中から新規話者音声の各時刻における音響特
性に対応する変換関数を選択し,変換に用いる変換関数
を切り換えながら新規話者音声の特徴量を標準話者音声
の特徴量に変換する。
【0008】N種の音響特性に対応するN個の変換関数
(1),(2),…(N) からなる変換関数群を生成する際には,
以下の処理を行う。入力された新規話者の音声から新規
話者音声特徴量抽出手段1で新規話者音声の特徴量時系
列を抽出する。特徴量時系列から音響特性抽出手段2で
N個の変換関数に対応する音響特性時系列を抽出する。
(1),(2),…(N) からなる変換関数群を生成する際には,
以下の処理を行う。入力された新規話者の音声から新規
話者音声特徴量抽出手段1で新規話者音声の特徴量時系
列を抽出する。特徴量時系列から音響特性抽出手段2で
N個の変換関数に対応する音響特性時系列を抽出する。
【0009】変換関数生成手段3は,入力された新規話
者音声に対応する標準話者音声の特徴量時系列を標準話
者音声特徴量記憶手段4から読み出し,各時刻の音響特
性に対応して,新規話者音声の特徴量を標準話者音声の
特徴量に変換するN個の変換関数からなる変換関数群を
生成する。
者音声に対応する標準話者音声の特徴量時系列を標準話
者音声特徴量記憶手段4から読み出し,各時刻の音響特
性に対応して,新規話者音声の特徴量を標準話者音声の
特徴量に変換するN個の変換関数からなる変換関数群を
生成する。
【0010】新規話者の音声で音声認識を行う際には,
以下の処理を行う。新規話者の音声から新規話者音声特
徴量抽出手段1で新規話者音声の特徴量時系列を抽出す
る。特徴量時系列から音響特性抽出手段2でN個の変換
関数に対応する音響特性時系列を抽出する。
以下の処理を行う。新規話者の音声から新規話者音声特
徴量抽出手段1で新規話者音声の特徴量時系列を抽出す
る。特徴量時系列から音響特性抽出手段2でN個の変換
関数に対応する音響特性時系列を抽出する。
【0011】変換関数切り換え手段5は,各時刻の音響
特性に対応する変換関数を,N個の変換関数群から選択
する。音声特徴量変換手段6は,選択された変換関数を
用いて,入力された新規話者音声の特徴量を標準話者音
声の特徴量に変換する。すなわち,変換関数群によっ
て,新規話者音声の特徴量時系列が標準話者音声の特徴
量時系列に変換される。
特性に対応する変換関数を,N個の変換関数群から選択
する。音声特徴量変換手段6は,選択された変換関数を
用いて,入力された新規話者音声の特徴量を標準話者音
声の特徴量に変換する。すなわち,変換関数群によっ
て,新規話者音声の特徴量時系列が標準話者音声の特徴
量時系列に変換される。
【0012】標準話者音声認識手段7は,標準話者音声
特徴量記憶手段4から読み出した標準話者音声の特徴量
時系列と,音声特徴量変換手段6によって新規話者音声
の特徴量時系列から変換されて得られた特徴量時系列と
を照合し,認識結果を出力する。
特徴量記憶手段4から読み出した標準話者音声の特徴量
時系列と,音声特徴量変換手段6によって新規話者音声
の特徴量時系列から変換されて得られた特徴量時系列と
を照合し,認識結果を出力する。
【0013】音響特性抽出手段2が抽出する音響特性と
して,弁別素性(distinctive feature)を用いることが
できる。弁別素性とは,例えば母音性,子音性,単ホル
マント性,鼻音性,エネルギー性,…というような音響
的性質を示すものである。
して,弁別素性(distinctive feature)を用いることが
できる。弁別素性とは,例えば母音性,子音性,単ホル
マント性,鼻音性,エネルギー性,…というような音響
的性質を示すものである。
【0014】また,具体的には,音響特性として,有声
音,無声音および無音などの性質を選び,これらの各性
質ごとに変換関数を用意してもよい。
音,無声音および無音などの性質を選び,これらの各性
質ごとに変換関数を用意してもよい。
【0015】変換関数生成手段3は,各音響特性ごと
に,変換関数を回帰分析で求めることができる。また,
変換関数生成手段3は,変換関数をニューラルネットで
求め,音声特徴量変換手段6は,音響特性に応じたニュ
ーラルネットで実現される変換関数により,新規話者音
声の特徴量を変換することもできる。
に,変換関数を回帰分析で求めることができる。また,
変換関数生成手段3は,変換関数をニューラルネットで
求め,音声特徴量変換手段6は,音響特性に応じたニュ
ーラルネットで実現される変換関数により,新規話者音
声の特徴量を変換することもできる。
【0016】
【作用】本発明では,入力音声の音響特性に対応する複
数の変換関数を生成して,認識の際には入力音声の各時
刻での音響特性により,これらの変換関数を切り換えて
用い,新規話者音声の特徴量を標準話者音声の特徴量に
変換するので,各々の変換関数が単純になり,例えば変
換関数の生成のために100語の音声入力による学習が
必要であったのに対し,きわめて少ない語数の入力によ
る学習でも,精度のよい変換関数を実現することが可能
になる。
数の変換関数を生成して,認識の際には入力音声の各時
刻での音響特性により,これらの変換関数を切り換えて
用い,新規話者音声の特徴量を標準話者音声の特徴量に
変換するので,各々の変換関数が単純になり,例えば変
換関数の生成のために100語の音声入力による学習が
必要であったのに対し,きわめて少ない語数の入力によ
る学習でも,精度のよい変換関数を実現することが可能
になる。
【0017】
【実施例】図2は本発明の実施例を示す。図2におい
て,帯域スペクトル時系列計算部11は,図1に示す新
規話者音声特徴量抽出手段1に対応する。有声音・無声
音・無音判定部21は,図1に示す音響特性抽出手段2
に対応する。DPマッチング部31,帯域スペクトル対
記憶選択部32,各音響特性ごとの帯域スペクトル対記
憶部群33および線型回帰分析部34は,図1に示す変
換関数生成手段3に対応する。標準話者単語音声帯域ス
ペクトル時系列テンプレート記憶部41は,図1に示す
標準話者音声特徴量記憶手段4に対応する。変換関数選
択部51は,図1に示す変換関数切り換え手段5に対応
する。音声特徴量変換部61は,図1に示す音声特徴量
変換手段6に対応する。DPマッチング音声認識部71
は,図1に示す標準話者音声認識手段7に対応する。
て,帯域スペクトル時系列計算部11は,図1に示す新
規話者音声特徴量抽出手段1に対応する。有声音・無声
音・無音判定部21は,図1に示す音響特性抽出手段2
に対応する。DPマッチング部31,帯域スペクトル対
記憶選択部32,各音響特性ごとの帯域スペクトル対記
憶部群33および線型回帰分析部34は,図1に示す変
換関数生成手段3に対応する。標準話者単語音声帯域ス
ペクトル時系列テンプレート記憶部41は,図1に示す
標準話者音声特徴量記憶手段4に対応する。変換関数選
択部51は,図1に示す変換関数切り換え手段5に対応
する。音声特徴量変換部61は,図1に示す音声特徴量
変換手段6に対応する。DPマッチング音声認識部71
は,図1に示す標準話者音声認識手段7に対応する。
【0018】音声特徴量変換部61は,有声用,無声
用,無音用の変換関数61a,61b,61cを持つ。
これらの変換関数群を生成する際には,以下の処理を行
う。
用,無音用の変換関数61a,61b,61cを持つ。
これらの変換関数群を生成する際には,以下の処理を行
う。
【0019】帯域スペクトル時系列計算部11は,新規
話者音声を帯域スペクトル時系列に変換する。有声音・
無声音・無音判定部21は,帯域スペクトル時系列から
各時刻における音響特性が有声音であるか無声音である
か無音であるかを判定する。無音であるか否かは帯域ス
ペクトルの全パワーの大小で判定する。有声音であるか
無声音であるかは,帯域スペクトルの低域パワーと高域
パワーの相対的大小で判定する。
話者音声を帯域スペクトル時系列に変換する。有声音・
無声音・無音判定部21は,帯域スペクトル時系列から
各時刻における音響特性が有声音であるか無声音である
か無音であるかを判定する。無音であるか否かは帯域ス
ペクトルの全パワーの大小で判定する。有声音であるか
無声音であるかは,帯域スペクトルの低域パワーと高域
パワーの相対的大小で判定する。
【0020】DPマッチング部31は,入力された新規
話者の帯域スペクトル時系列と,標準話者単語音声帯域
スペクトル時系列テンプレート記憶部41中の入力音声
に対応する帯域スペクトル時系列との時間整合をとり,
帯域スペクトル対を生成する。帯域スペクトル対は,時
間整合によって対応づけられた新規話者の帯域スペクト
ルと標準話者の帯域スペクトルの対である。
話者の帯域スペクトル時系列と,標準話者単語音声帯域
スペクトル時系列テンプレート記憶部41中の入力音声
に対応する帯域スペクトル時系列との時間整合をとり,
帯域スペクトル対を生成する。帯域スペクトル対は,時
間整合によって対応づけられた新規話者の帯域スペクト
ルと標準話者の帯域スペクトルの対である。
【0021】帯域スペクトル対記憶選択部32は,有声
音・無声音・無音判定部21の判定に従って,帯域スペ
クトル対を帯域スペクトル対記憶部群33中の有声音帯
域スペクトル対記憶部・無声音帯域スペクトル対記憶部
・無音帯域スペクトル対記憶部のいずれかに格納し蓄積
する。例えば,有声音・無声音・無音判定部21の判定
が有声音であれば,帯域スペクトル対は有声音帯域スペ
クトル対記憶部に格納され蓄積される。
音・無声音・無音判定部21の判定に従って,帯域スペ
クトル対を帯域スペクトル対記憶部群33中の有声音帯
域スペクトル対記憶部・無声音帯域スペクトル対記憶部
・無音帯域スペクトル対記憶部のいずれかに格納し蓄積
する。例えば,有声音・無声音・無音判定部21の判定
が有声音であれば,帯域スペクトル対は有声音帯域スペ
クトル対記憶部に格納され蓄積される。
【0022】線型回帰分析部34は,帯域スペクトル対
記憶部群33の中の各記憶部に蓄積された帯域スペクト
ル対に線型回帰分析を行って,各変換関数を求め,音声
特徴量変換部61にそれを通知し格納する。例えば,有
声音帯域スペクトル対記憶部に蓄積された帯域スペクト
ル対に対して線型回帰分析を行うことにより,入力音声
が有声音である場合の変換関数が生成され,音声特徴量
変換部61が管理する変換関数群中に有声用変換関数6
1aとして格納される。
記憶部群33の中の各記憶部に蓄積された帯域スペクト
ル対に線型回帰分析を行って,各変換関数を求め,音声
特徴量変換部61にそれを通知し格納する。例えば,有
声音帯域スペクトル対記憶部に蓄積された帯域スペクト
ル対に対して線型回帰分析を行うことにより,入力音声
が有声音である場合の変換関数が生成され,音声特徴量
変換部61が管理する変換関数群中に有声用変換関数6
1aとして格納される。
【0023】新規話者の音声で音声認識を行う際には,
以下の処理を行う。帯域スペクトル時系列計算部11
は,新規話者音声を帯域スペクトル時系列に変換する。
有声音・無声音・無音判定部21は,帯域スペクトル時
系列から各時刻における音響特性が有声音であるか無声
音であるか無音であるかを判定する。この判定に従っ
て,変換関数選択部51は,音声特徴量変換部61で使
用する変換関数群中のいずれかの変換関数を選択する。
以下の処理を行う。帯域スペクトル時系列計算部11
は,新規話者音声を帯域スペクトル時系列に変換する。
有声音・無声音・無音判定部21は,帯域スペクトル時
系列から各時刻における音響特性が有声音であるか無声
音であるか無音であるかを判定する。この判定に従っ
て,変換関数選択部51は,音声特徴量変換部61で使
用する変換関数群中のいずれかの変換関数を選択する。
【0024】ある時刻において,例えば有声音・無声音
・無音判定部21が有声音と判定した場合には,変換関
数選択部51は,その時刻の新規話者音声の帯域スペク
トルを標準話者音声の帯域スペクトルに変換する変換関
数として,有声用変換関数61aを選択する。
・無音判定部21が有声音と判定した場合には,変換関
数選択部51は,その時刻の新規話者音声の帯域スペク
トルを標準話者音声の帯域スペクトルに変換する変換関
数として,有声用変換関数61aを選択する。
【0025】音声特徴量変換部61は,選択された変換
関数に従って新規話者音声の帯域スペクトル時系列を標
準話者音声の帯域スペクトル時系列に変換する。DPマ
ッチング音声認識部71は,変換された帯域スペクトル
時系列と標準話者単語音声帯域スペクトル時系列テンプ
レート記憶部41中の単語ごとの帯域スペクトル時系列
とを照合して認識結果を出力する。
関数に従って新規話者音声の帯域スペクトル時系列を標
準話者音声の帯域スペクトル時系列に変換する。DPマ
ッチング音声認識部71は,変換された帯域スペクトル
時系列と標準話者単語音声帯域スペクトル時系列テンプ
レート記憶部41中の単語ごとの帯域スペクトル時系列
とを照合して認識結果を出力する。
【0026】図3は,図2に示す実施例による変換関数
生成時の処理フロー,すなわち学習時の処理フローを示
している。以下,図3に示す処理(a) 〜(l) に従って説
明する。
生成時の処理フロー,すなわち学習時の処理フローを示
している。以下,図3に示す処理(a) 〜(l) に従って説
明する。
【0027】(a) 学習のための新規話者の発声する単語
は,あらかじめ決められている。新規話者が発声する
と,帯域スペクトル時系列計算部11により,音声の新
規話者波形を帯域スペクトル時系列に変換する。 (b) DPマッチング部31において,新規話者帯域スペ
クトル時系列と,同じ単語の標準話者帯域スペクトル時
系列とのDP照合を行い,帯域スペクトル対を生成す
る。
は,あらかじめ決められている。新規話者が発声する
と,帯域スペクトル時系列計算部11により,音声の新
規話者波形を帯域スペクトル時系列に変換する。 (b) DPマッチング部31において,新規話者帯域スペ
クトル時系列と,同じ単語の標準話者帯域スペクトル時
系列とのDP照合を行い,帯域スペクトル対を生成す
る。
【0028】(c) 時系列が終了するまで,処理(d) 〜処
理(i) を繰り返す。終了したならば,処理(j) へ移る。 (d) 有声音・無声音・無音判定部21により,帯域スペ
クトルが有声音・無声音・無音のいずれであるかを判定
する。 (e) 〜(f) 有声音であれば,帯域スペクトル対記憶部群
33中の有声音帯域スペクトル対記憶部に帯域スペクト
ル対を格納する。 (g) 〜(h) 無声音であれば,帯域スペクトル対記憶部群
33中の無声音帯域スペクトル対記憶部に帯域スペクト
ル対を格納する。 (i) 無音であれば,帯域スペクトル対記憶部群33中の
無音帯域スペクトル対記憶部に帯域スペクトル対を格納
する。その後,処理(c) へ戻り,同様に処理を繰り返
す。
理(i) を繰り返す。終了したならば,処理(j) へ移る。 (d) 有声音・無声音・無音判定部21により,帯域スペ
クトルが有声音・無声音・無音のいずれであるかを判定
する。 (e) 〜(f) 有声音であれば,帯域スペクトル対記憶部群
33中の有声音帯域スペクトル対記憶部に帯域スペクト
ル対を格納する。 (g) 〜(h) 無声音であれば,帯域スペクトル対記憶部群
33中の無声音帯域スペクトル対記憶部に帯域スペクト
ル対を格納する。 (i) 無音であれば,帯域スペクトル対記憶部群33中の
無音帯域スペクトル対記憶部に帯域スペクトル対を格納
する。その後,処理(c) へ戻り,同様に処理を繰り返
す。
【0029】(j) 時系列が終了したならば,線型回帰分
析で無音用変換関数61cを生成し,格納する。なお,
線型回帰分析の手法については周知であるので,ここで
の詳しい説明は省略する。 (k) 同様に,線型回帰分析で無声音用変換関数61bを
生成し,格納する。(l) 同様に,線型回帰分析で有声音
用変換関数61aを生成し,格納する。以上の処理によ
り,変換関数の生成処理を終了する。
析で無音用変換関数61cを生成し,格納する。なお,
線型回帰分析の手法については周知であるので,ここで
の詳しい説明は省略する。 (k) 同様に,線型回帰分析で無声音用変換関数61bを
生成し,格納する。(l) 同様に,線型回帰分析で有声音
用変換関数61aを生成し,格納する。以上の処理によ
り,変換関数の生成処理を終了する。
【0030】図4は,図2に示す実施例による認識時の
処理フローを示している。以下,図4に示す処理(a) 〜
(k) に従って説明する。
処理フローを示している。以下,図4に示す処理(a) 〜
(k) に従って説明する。
【0031】(a) 新規話者が発声した音声を,帯域スペ
クトル時系列計算部11により,帯域スペクトル時系列
に変換する。
クトル時系列計算部11により,帯域スペクトル時系列
に変換する。
【0032】(b) 時系列が終了するまで,処理(c) 〜処
理(i) を繰り返す。終了したならば,処理(j) へ移る。 (c) 有声音・無声音・無音判定部21により,帯域スペ
クトルが有声音・無声音・無音のいずれであるかを判定
する。 (d) 〜(e) 有声音であれば,変換関数として有声用変換
関数を選択する。 (f) 〜(g) 無声音であれば,変換関数として無声用変換
関数を選択する。 (h) 無音であれば,変換関数として無音用変換関数を選
択する。 (i) 音声特徴量変換部61において,選択された変換関
数を用いることにより,帯域スペクトルを標準話者のも
のに変換する。その後,処理(b) へ戻り,同様に処理を
繰り返す。
理(i) を繰り返す。終了したならば,処理(j) へ移る。 (c) 有声音・無声音・無音判定部21により,帯域スペ
クトルが有声音・無声音・無音のいずれであるかを判定
する。 (d) 〜(e) 有声音であれば,変換関数として有声用変換
関数を選択する。 (f) 〜(g) 無声音であれば,変換関数として無声用変換
関数を選択する。 (h) 無音であれば,変換関数として無音用変換関数を選
択する。 (i) 音声特徴量変換部61において,選択された変換関
数を用いることにより,帯域スペクトルを標準話者のも
のに変換する。その後,処理(b) へ戻り,同様に処理を
繰り返す。
【0033】(j) 認識対象の時系列が終了したならば,
DPマッチング音声認識部71により,変換された帯域
スペクトル時系列と,標準話者の帯域スペクトル時系列
テンプレートとについて,DP(ダイナミックプログラ
ミング)マッチングを行う。 (k) DPマッチングの結果,スコアの最も良かった語句
を認識結果とし,処理を終了する。
DPマッチング音声認識部71により,変換された帯域
スペクトル時系列と,標準話者の帯域スペクトル時系列
テンプレートとについて,DP(ダイナミックプログラ
ミング)マッチングを行う。 (k) DPマッチングの結果,スコアの最も良かった語句
を認識結果とし,処理を終了する。
【0034】変換関数群を複数のニューラルネットで構
成してニューラルネット群とし,線型回帰分析部34
を,バックプロパゲーションによるニューラルネット学
習部として,同様の機能を実現することも可能である。
図5は,そのニューラルネットを用いた本発明の実施例
を示している。
成してニューラルネット群とし,線型回帰分析部34
を,バックプロパゲーションによるニューラルネット学
習部として,同様の機能を実現することも可能である。
図5は,そのニューラルネットを用いた本発明の実施例
を示している。
【0035】図5において,図2と同符号のものは図2
に示すものに対応する。35はニューラルネットに対す
る学習のためのバックプロパゲーション部,52は有声
音・無声音・無音の判定によって変換に使用するニュー
ラルネットを選択するニューラルネット選択部,62は
ニューラルネットにより帯域スペクトルを変換する変換
部,62aは有声用ニューラルネット,62bは無声用
ニューラルネット,62cは無音用ニューラルネットを
表す。
に示すものに対応する。35はニューラルネットに対す
る学習のためのバックプロパゲーション部,52は有声
音・無声音・無音の判定によって変換に使用するニュー
ラルネットを選択するニューラルネット選択部,62は
ニューラルネットにより帯域スペクトルを変換する変換
部,62aは有声用ニューラルネット,62bは無声用
ニューラルネット,62cは無音用ニューラルネットを
表す。
【0036】図5に示す実施例で,変換関数群,すなわ
ち有声用ニューラルネット62a,無声用ニューラルネ
ット62b,無音用ニューラルネット62cを生成する
場合,帯域スペクトル対記憶部群33中の有声音・無声
音・無音別に設けられた記憶部に,帯域スペクトル対を
分けて格納するまでの処理は,図2の実施例と同様であ
る。
ち有声用ニューラルネット62a,無声用ニューラルネ
ット62b,無音用ニューラルネット62cを生成する
場合,帯域スペクトル対記憶部群33中の有声音・無声
音・無音別に設けられた記憶部に,帯域スペクトル対を
分けて格納するまでの処理は,図2の実施例と同様であ
る。
【0037】本実施例では,変換関数をニューラルネッ
トで実現するため,バックプロパゲーション部35によ
る学習を行う。ここでは,記憶種別ごとに帯域スペクト
ル対を帯域スペクトル対記憶部群33から読み出し,例
えば新規話者音声の帯域スペクトルをニューラルネット
に与える入力信号とし,標準話者音声の帯域スペクトル
を教師信号とすることにより各ニューロンの内部状態を
決める学習を行う。
トで実現するため,バックプロパゲーション部35によ
る学習を行う。ここでは,記憶種別ごとに帯域スペクト
ル対を帯域スペクトル対記憶部群33から読み出し,例
えば新規話者音声の帯域スペクトルをニューラルネット
に与える入力信号とし,標準話者音声の帯域スペクトル
を教師信号とすることにより各ニューロンの内部状態を
決める学習を行う。
【0038】ニューラルネットは,一般には入力層,中
間層,出力層に配置されたニューロンで構成されること
が多いが,本実施例の場合,変換関数が単純化されるの
で,実質的には線型変換でもかなりの変換精度を保つこ
とができる。そのため,図6に示すように中間層を省略
して,入力層と出力層だけからなるニューラルネットと
してもよい。無音用ニューラルネット62cは,入力層
の入力信号をそのまま出力層に伝えるものでよい。
間層,出力層に配置されたニューロンで構成されること
が多いが,本実施例の場合,変換関数が単純化されるの
で,実質的には線型変換でもかなりの変換精度を保つこ
とができる。そのため,図6に示すように中間層を省略
して,入力層と出力層だけからなるニューラルネットと
してもよい。無音用ニューラルネット62cは,入力層
の入力信号をそのまま出力層に伝えるものでよい。
【0039】学習によって各ニューラルネット62a,
62b,62cが作成されると,それを用いた音声認識
は,次のように行う。
62b,62cが作成されると,それを用いた音声認識
は,次のように行う。
【0040】図5において,新規話者音声の帯域スペク
トル時系列について,有声音・無声音・無音判定部21
により,各時刻における音響特性が,有声音・無声音・
無音のいずれであるかを判定するまでの処理は,図2に
示す実施例と同様である。
トル時系列について,有声音・無声音・無音判定部21
により,各時刻における音響特性が,有声音・無声音・
無音のいずれであるかを判定するまでの処理は,図2に
示す実施例と同様である。
【0041】ニューラルネット選択部52は,有声音・
無声音・無音判定部21の判定結果により,変換部62
で使用するニューラルネットを選択する。すなわち,図
6に示すように,有声用ニューラルネット62a,無声
用ニューラルネット62b,無音用ニューラルネット6
2cと3種あるニューラルネットの中から1つを選択
し,新規話者帯域スペクトル時系列を,その選択したニ
ューラルネットに対する入力信号とする。この入力によ
り,出力層から出力される信号が標準話者音声の帯域ス
ペクトル時系列に相当するものとなる。
無声音・無音判定部21の判定結果により,変換部62
で使用するニューラルネットを選択する。すなわち,図
6に示すように,有声用ニューラルネット62a,無声
用ニューラルネット62b,無音用ニューラルネット6
2cと3種あるニューラルネットの中から1つを選択
し,新規話者帯域スペクトル時系列を,その選択したニ
ューラルネットに対する入力信号とする。この入力によ
り,出力層から出力される信号が標準話者音声の帯域ス
ペクトル時系列に相当するものとなる。
【0042】ニューラルネットにより変換した帯域スペ
クトル時系列を,DPマッチング音声認識部71に渡
す。その後の音声認識処理は,図2に示す実施例と同様
である。
クトル時系列を,DPマッチング音声認識部71に渡
す。その後の音声認識処理は,図2に示す実施例と同様
である。
【0043】以上の実施例では,音響特性として有声音
・無声音・無音の例を取り上げたが,本発明はこれに限
らず,各種の弁別素性を用いて同様に実施することが可
能である。
・無声音・無音の例を取り上げたが,本発明はこれに限
らず,各種の弁別素性を用いて同様に実施することが可
能である。
【0044】
【発明の効果】以上説明したように,本発明によれば,
音響特性に対応する複数の変換関数を用いるので,個々
の変換関数が単純になり,変換関数を短時間で生成でき
るようになる。したがって,新規話者の負担が小さくな
る。また,変換精度がよくなり,良好な認識結果を得る
ことができるようになる。
音響特性に対応する複数の変換関数を用いるので,個々
の変換関数が単純になり,変換関数を短時間で生成でき
るようになる。したがって,新規話者の負担が小さくな
る。また,変換精度がよくなり,良好な認識結果を得る
ことができるようになる。
【図1】本発明の原理ブロック図である。
【図2】本発明の実施例説明図である。
【図3】本発明の実施例による変換関数生成時の処理フ
ローを示す図である。
ローを示す図である。
【図4】本発明の実施例による認識時の処理フローを示
す図である。
す図である。
【図5】本発明のニューラルネットを用いた実施例説明
図である。
図である。
【図6】本発明の実施例に係るニューラルネットの例を
示す図である。
示す図である。
【図7】従来技術の説明図である。
1 新規話者音声特徴量抽出手段 2 音響特性抽出手段 3 変換関数生成手段 4 標準話者音声特徴量記憶手段 5 変換関数切り換え手段 6 音声特徴量変換手段 7 標準話者音声認識手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G10L 3/02 301 G10L 3/00 521 G10L 3/00 531 G10L 3/00 539 G10L 9/10 301
Claims (6)
- 【請求項1】 新規話者音声の特徴量を標準話者音声の
特徴量に変換する変換関数を生成して用いる話者適応音
声認識方法において,入力音声の各時刻における音響特
性に対応する複数の変換関数を,学習により生成する過
程と,認識時に,入力音声の各時刻における音響特性に
より,複数の変換関数中で使用する変換関数を切り換え
て,新規話者音声の特徴量を標準話者音声の特徴量に変
換する過程とを備えたことを特徴とする話者適応音声認
識方法。 - 【請求項2】 請求項1記載の話者適応音声認識方法に
おいて,複数の変換関数に各々対応する音響特性とし
て,弁別素性を用いることを特徴とする話者適応音声認
識方法。 - 【請求項3】 請求項1記載の話者適応音声認識方法に
おいて,複数の変換関数に各々対応する音響特性とし
て,有声音,無声音および無音を用いることを特徴とす
る話者適応音声認識方法。 - 【請求項4】 請求項1,請求項2または請求項3記載
の話者適応音声認識方法において,変換関数を回帰分析
で求めることを特徴とする話者適応音声認識方法。 - 【請求項5】 請求項1,請求項2または請求項3記載
の話者適応音声認識方法において,変換関数をニューラ
ルネットで求め,音響特性に応じたニューラルネットで
実現される複数の変換関数により入力音声の特徴量を標
準話者音声の特徴量に変換することを特徴とする話者適
応音声認識方法。 - 【請求項6】 新規話者音声の特徴量を標準話者音声の
特徴量に変換する変換関数を生成して用いることにより
音声認識を行う話者適応音声認識装置において,入力さ
れた新規話者の音声からその特徴量を抽出する新規話者
音声特徴量抽出手段(1) と,抽出した特徴量から,あら
かじめ定められた複数の音響特性に関する音響特性時系
列を抽出する音響特性抽出手段(2) と,認識時に参照す
る標準話者音声の特徴量時系列を記憶する標準話者音声
特徴量記憶手段(4) と,入力された新規話者の音声に対
応する標準話者音声の特徴量時系列を,前記標準話者音
声特徴量記憶手段(4) から読み出し,各時刻の音響特性
に対応して新規話者音声の特徴量を標準話者音声の特徴
量に変換する複数の変換関数を,前記音響特性抽出手段
(2) により抽出した音響特性に応じて生成する変換関数
生成手段(3) と,音声認識時に前記音響特性抽出手段
(2) により抽出した入力音声の各時刻における音響特性
により,使用する変換関数を切り換える変換関数切り換
え手段(5) と,この変換関数切り換え手段(5) によって
選択された変換関数により,新規話者音声の特徴量を標
準話者音声の特徴量に変換する音声特徴量変換手段(6)
と,変換された音声の特徴量と,前記標準話者音声特徴
量記憶手段(4) から読み出した標準音声の特徴量との照
合により音声認識を行う標準話者音声認識手段(7) とを
備えたことを特徴とする話者適応音声認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2412080A JP2980382B2 (ja) | 1990-12-19 | 1990-12-19 | 話者適応音声認識方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2412080A JP2980382B2 (ja) | 1990-12-19 | 1990-12-19 | 話者適応音声認識方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04219798A JPH04219798A (ja) | 1992-08-10 |
JP2980382B2 true JP2980382B2 (ja) | 1999-11-22 |
Family
ID=18520966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2412080A Expired - Fee Related JP2980382B2 (ja) | 1990-12-19 | 1990-12-19 | 話者適応音声認識方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2980382B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08297495A (ja) * | 1995-04-26 | 1996-11-12 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 信号パターン認識装置の学習方法及び学習装置 |
US7024359B2 (en) * | 2001-01-31 | 2006-04-04 | Qualcomm Incorporated | Distributed voice recognition system using acoustic feature vector modification |
JP2002366187A (ja) * | 2001-06-08 | 2002-12-20 | Sony Corp | 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2816163B2 (ja) | 1988-01-20 | 1998-10-27 | 株式会社リコー | 話者照合方式 |
-
1990
- 1990-12-19 JP JP2412080A patent/JP2980382B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2816163B2 (ja) | 1988-01-20 | 1998-10-27 | 株式会社リコー | 話者照合方式 |
Also Published As
Publication number | Publication date |
---|---|
JPH04219798A (ja) | 1992-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0876788A (ja) | 音声認識における混同しやすい語の検出方法 | |
JPH07334184A (ja) | 音響カテゴリ平均値計算装置及び適応化装置 | |
Shahin et al. | Talking condition recognition in stressful and emotional talking environments based on CSPHMM2s | |
JP2001166789A (ja) | 初頭/末尾の音素類似度ベクトルによる中国語の音声認識方法及びその装置 | |
JP3014177B2 (ja) | 話者適応音声認識装置 | |
Ilyas et al. | Speaker verification using vector quantization and hidden Markov model | |
JP2980382B2 (ja) | 話者適応音声認識方法および装置 | |
JP2871420B2 (ja) | 音声対話システム | |
JP3576066B2 (ja) | 音声合成システム、および音声合成方法 | |
JP2001255887A (ja) | 音声認識装置、音声認識方法及び音声認識方法を記録した媒体 | |
JPH0823758B2 (ja) | 話者適応形音声認識装置 | |
Wu et al. | Speech activated telephony email reader (SATER) based on speaker verification and text-to-speech conversion | |
JP3503862B2 (ja) | 音声認識方法及び音声認識プログラムを格納した記録媒体 | |
Kuah et al. | A neural network-based text independent voice recognition system | |
JP2862306B2 (ja) | 音声認識装置 | |
JP3357752B2 (ja) | パターンマッチング装置 | |
KR100236962B1 (ko) | 음소별 화자 종속 변이음 모델링 방법 | |
Nair et al. | A Study on Automatic Speech Recognition | |
JPH05323990A (ja) | 話者認識方法 | |
JPH06337700A (ja) | 音声合成装置 | |
JP3412501B2 (ja) | タスク適応化装置及び音声認識装置 | |
JPH06102895A (ja) | 音声認識モデル学習装置 | |
JPH09212190A (ja) | 音声認識装置及び文認識装置 | |
JP2000122693A (ja) | 話者認識方法および話者認識装置 | |
JPH01161399A (ja) | 音声認識装置における話者適応化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990831 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |