DE69823954T2

DE69823954T2 - Quellen-normalisierendes Training zur Sprachmodellierung

Info

Publication number: DE69823954T2
Application number: DE69823954T
Authority: DE
Inventors: Yifan Gong
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1997-09-17
Filing date: 1998-08-26
Publication date: 2005-07-14
Anticipated expiration: 2018-08-27
Also published as: EP0913809A3; EP0913809B1; DE69823954D1; US6151573A; EP0913809A2

Description

Diese Erfindung bezieht sich auf das Training für eine Modellierung eines Hidden-Markov-Modells (HMM-Modellierung) von Sprache und insbesondere auf das Beseitigen von Umgebungsfaktoren aus dem Sprachsignal während der Trainingsprozedur.
In der vorliegenden Anmeldung wird auf den Sprecher, den Handapparat oder das Mikrophon, den Übertragungskanal, die Rauschhintergrundbedingungen oder eine Kombination aus diesen als die Umgebung Bezug genommen. Ein Sprachsignal kann nur in einer speziellen Umgebung gemessen werden. Die Spracherkennungseinrichtungen leiden unter der Veränderlichkeit der Umgebung, weil die trainierten Modellverteilungen von den Testsignalverteilungen abweichen können, weil die Fehlanpassung der Umgebung und die trainierten Modellverteilungen flach sind, weil sie über verschiedene Umgebungen gemittelt sind.
Das erste Problem, die Fehlanpassung der Umgebung, kann durch Modellanpassung verringert werden, basierend auf einigen in der Testumgebung gesammelten Äußerungen. Um das zweite Problem zu lösen, sollten die Umgebungsfaktoren während der Trainingsprozedur aus dem Sprachsignal beseitigt werden, hauptsächlich durch Quellennormierung.
In der Richtung der Quellennormierung verwendet das sprecheradaptive Training Lösungen durch lineare Regression (LR-Lösungen), um die Veränderlichkeit zwischen den Sprechern zu verringern. Siehe z. B. T. Anastasakos u. a. mit dem Titel "A compact model for speaker-adaptive training", International Conference on Spoken Language Processing, Bd. 2, Oktober 1996. Eine weitere Technik modelliert die Mittelwertvektoren als die Summe aus einer sprecherunabhängigen Erwartungswertabweichung und aus einem sprecherabhängigen Vektor. Dies ist in A. Acero u. a. mit dem Titel "Speaker and Gender Normalization for Continuous-Density Hidden Markov Models" in Proc. Of IEEE International Conference on Acoustics, Speech and Signal Processing, Seiten 342–345. Atlanta, 1996, zu finden. Diese beiden Techniken erfordern die explizite Bezeichnung der Klassen, z. B. den Sprecher oder das Geschlecht der Äußerung während des Trainings.
Deshalb können sie nicht verwendet werden, um Cluster von Klassen zu trainieren, die akustisch nahe Sprecher, Handapparate oder Mikrophone oder Hintergrundrauschen repräsentieren. Eine derartige Unfähigkeit, Cluster zu entdecken, kann in einer Anwendung ein Nachteil sein.
Eine veranschaulichende Ausführungsform der vorliegenden Erfindung, die durch die beigefügten unabhängigen Ansprüche definiert ist, versucht, ein Verfahren für das Quellennormierungstraining für die HMM-Modellierung der Sprache zu schaffen, das die obenerwähnten Probleme vermeidet oder minimiert.
Die Aspekte der Erfindung sind in den Ansprüchen spezifiziert. Beim Ausführen der Prinzipien der vorliegenden Erfindung schafft ein Verfahren eine Lösung mit maximaler Wahrscheinlichkeit (ML) durch lineare Regression (LR) für das Problem der Umgebungsnormierung, wobei die Umgebung als eine (nicht beobachtbare) verborgene Variable modelliert wird. Ein EM-gestützter Trainingsalgorithmus kann optimale Cluster der Umgebungen erzeugen, wobei es deshalb nicht notwendig ist, eine Datenbank hinsichtlich der Umgebung zu bezeichnen. Für Spezialfälle wird die Technik mit der äußerungsweisen Cepstralmittelwertnormierungs-Technik (CMN-Technik) verglichen, wobei sie eine Leistungsverbesserung bei einer Telephondatenbank mit rauschbehafteter Sprache zeigt.
Gemäß einem weiteren Merkmal der vorliegenden Erfindung unter dem Kriterium der maximalen Wahrscheinlichkeit (ML) wird durch die Anwendung eines EM-Algorithmus und die Erweiterung der Baum-Welch-Vorwärts- und Rückwärts-Variable eine gemeinsame Lösung für die Parameter für die Quellennormierung erhalten, d. h. die kanonischen Verteilungen, die Transformationen und die Erwartungswertabweichungen.
Für ein besseres Verständnis der vorliegenden Erfindung wird nun beispielhaft auf die beigefügte Zeichnung Bezug genommen, worin:
1 ein Blockschaltplan eines Systems ist, das die Aspekte der vorliegenden Erfindung enthält;
2 ein Sprachmodell veranschaulicht;
3 eine Gaußsche Verteilung veranschaulicht;
4 die durch verschiedene Umgebungen verursachten Verzerrungen in der Verteilung veranschaulicht;
5 ein ausführlicherer Ablaufplan des Prozesses gemäß einer Ausführungsform der vorliegenden Erfindung ist; und
6 eine Erkennungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ist, die ein Quellennormierungsmodell verwendet.
Das Training wird an einem Computer-Arbeitsplatzrechner ausgeführt, der einen Monitor 11, einen Computer-Arbeitsplatzrechner 13, eine Tastatur 15 und eine Maus oder eine andere interaktive Vorrichtung 15a besitzt, wie in 1 gezeigt ist. Das System kann mit einer separaten Datenbank verbunden sein, die durch die Datenbank 17 in 1 dargestellt ist, um Modelle zu speichern und wiederzugewinnen.
Mit dem Begriff "Training" ist hierin gemeint, die Parameter des Sprachmodells gemäß einem Optimalkriterium zu fixieren. In diesem speziellen Fall werden HMM-Modelle (Hidden-Markov-Modelle) verwendet. Diese Modelle sind, wie in 2 dargestellt ist, wobei sie die Zustände A, B und C und die Übergänge E, F, G, H, I und J zwischen den Zuständen besitzen. Jeder dieser Zustände besitzt eine Mischung aus Gaußschen Verteilungen 18, die durch 3 dargestellt sind. Diese Modelle werden trainiert, um verschiedene Umgebungen zu betrachten. Durch Umgebung sind verschiedene Sprecher-, Handapparat-, Übertragungskanal- und Rauschhintergrundbedingungen gemeint. Die Spracherkennungseinrichtungen leiden unter der Veränderlichkeit der Umgebung, weil die trainierten Modellverteilungen infolge der Fehlanpassung der Umgebung von den Testsignalverteilungen abweichen können, wobei die trainierten Modellverteilungen flach sind, weil sie über verschiedene Umgebungen gemittelt sind. Für das erste Problem kann die Fehlanpassung der Umgebung durch eine Modellanpassung basierend auf den in der Testumgebung gesammelten Äußerungen verringert werden. Die Lehre des Anmelders hierin besteht darin, das zweite Problem durch das Beseitigen der Umgebungsfaktoren während der Trainingsprozedur aus dem Sprachsignal zu lösen. Dies ist das Quellennormierungstraining gemäß der vorliegenden Erfindung. Für das Umgebungsproblem wird hierin eine Lösung mit maximaler Wahrscheinlichkeit (ML) durch lineare Regression (LR) geschaffen, wobei die Umgebung als eine (nicht beobachtbare) verborgene Variable modelliert wird.
Eine reine Sprachmusterverteilung 40 erlebt bei verschiedenen Umgebungen eine komplexe Verzerrung, wie in 4 gezeigt ist. Die zwei Achsen stellen zwei Parameter dar, die z. B. die Frequenz-, die Energie-, die Formant-, die Spektral- oder die Cepstralkomponenten sein können. 4 veranschaulicht eine Änderung in der Verteilung bei 41, die auf Hintergrundrauschen oder eine Änderung der Sprecher zurückzuführen ist. Es ist eine Aufgabe der Anmeldung, die Verzerrung zu modellieren.
Das vorliegende Modell nimmt das Folgende an: 1) das Sprachsignal x wird durch ein Hidden-Markov-Modell mit kontinuierlicher Dichte (CDHMM), genannt Quellverteilungen, erzeugt; 2) das Signal hat, bevor es beobachtet wird, eine Umgebungstransformation erlebt, die aus einer Menge von Transformationen entnommen wird, wobei W_je die Transformationen im HMM-Zustand j der Umgebung e ist; 3) eine derartige Transformation ist linear und von den Mischungskomponenten der Quelle unabhängig; und 4) es gibt einen Erwartungswertabweichungsvektor b_ke bei der k-ten Mischungskomponente, der auf die Umgebung e zurückzuführen ist.
Zum Zeitpunkt t wird beobachtet: ot = Wjext + bke (1)
Das Problem ist, im Sinne einer maximalen Wahrscheinlichkeit (ML) die Menge der optimalen Quellverteilungen, der Transformationen und der Erwartungswertabweichungen zu finden.
Im Stand der Technik (A. Acero u. a., oben zitiert, und T. Anastasakos u. a., oben zitiert), muss die Umgebung e explizit sein, z. B.: Kennung des Sprechers, männlich/weiblich. Ein Aspekt der vorliegenden Erfindung überwindet diese Ein schränkung, indem er eine beliebige Anzahl von Umgebungen erlaubt, die optimal trainiert werden.
Sei N die Anzahl der HMM-Zustände, M die Mischungsanzahl, L die Anzahl der Umgebungen, Ω_s Δ {1, 2, ..., N} die Menge der Zustände, Ω_m Δ {1, 2, ..., M} die Menge der Mischungsindikatoren und Ω_e Δ {1, 2, ..., L} die Menge der Umgebungsindikatoren.
Für eine beobachtete Sprachfolge der T Vektoren: OΔo T / 1Δ (o₁, o₂, ..., o_T) wird die Zustandsfolge ΘΔ{θ₀, ..., θ_T}, wobei θ_t ∊ Ω_s gilt, die Mischungsindikatorfolge ΞΔ (ξ₁, ..., ξ_T), wobei ξ_t ∊ Ω_m gilt, und die Umgebungsindikatorfolge ΦΔ (φ₁, ..., φ_T), wobei φ_t ∊ Ω_e gilt, eingeführt. Sie sind alle nicht beobachtbar. Unter bestimmten zusätzlichen Annahmen kann die gemeinsame Wahrscheinlichkeit von O, Θ, Ξ und Φ bei gegebenem Modell λ als:
geschrieben werden, wobei bjke(ot)Δp(ot|θt = j, ξt = k, φ = e, λ) (3) = N(ot; Wjeμjk + bke, Σjk), (4) μi Δp(θt = i), aij Δp(θt+1 = j|θt = i) (5) cjk Δp(ξt = k|θt = j, λ), le Δp(φ = e|λ) (6)gilt.
In 1 enthält der Arbeitsplatzrechner 13, der einen Prozessor enthält, ein Programm, wie es veranschaulicht ist, das mit einem anfänglichen Standard-HMM-Modell 21 beginnt, das durch die Schätzprozeduren unter Verwendung der Baum-Welch- oder Schätzungsmaximierungs-Prozeduren 23 zu verfeinern ist, um die neuen Modelle 25 zu erhalten. Das Programm erhält die Trainingsdaten in einer Datenbank 19 unter verschiedenen Umgebungen, wobei diese in einem iterativen Prozess verwendet werden, um die optimalen Parameter zu erhalten. Aus diesen wird ein weiteres Modell 25 erhalten, das die Umgebungsänderungen berücksichtigt. Die Größen sind durch die Wahrscheinlichkeiten des Beobachtens eines speziellen Eingangsvektors in irgendeinem speziellen Zustand für eine in dem Modell gegebene spezielle Umgebung definiert.
Die Modellparameter können durch das Anwenden einer verallgemeinerten EM-Prozedur mit drei Typen verborgener Variable bestimmt werden: die Zustandsfolge, die Mischungskomponentenindikatoren und die Umgebungsindikatoren. (A. P. Dempster, N. M. Laird und D. B. Rubin mit dem Titel "Maximum Likelihood from Incomplete Data via the EM Algorithm", Journal of the Royal Statistical Society, 39 (1): 1–38, 1977). Für diesen Zweck lehrt der Anmelder, daß die CDHHM-Formulierung von B. Juang, "Maximum-Likelihood Estimation for Mixture Multivariate Stochastic Observation of Markov Chains" (The Bell System Technical Journal), Seiten 1235–1248, Juli-August 1985), auf das Ergebnis der folgenden Abschnitte zu erweitern ist: Es wird bezeichnet: αt(j, e)Δp(ot1 , θt = 1, Φ = e|λ) (7) βt(j, e)Δp(oTt+1 |θt = j, φ = e, λ) (8) γt(j, k, e)Δp(θt = j, ξt = k, φ = e|O, λ) (9)
Die Sprache wird als eine Folge von Rahmen (ein Vektor) beobachtet. Die Gleichungen 7, 8 und 9 sind Schätzungen der Zwischengrößen. Gleichung 7 ist z. B. die gemeinsame Wahrscheinlichkeit für die Beobachtung der Rahmen von den Zeitpunkten 1 bis t im Zustand j zum Zeitpunkt t und für die Umgebung von e unter der Voraussetzung des Modells λ.
Die folgenden Gleichungen für eine neue Schätzung können aus den Gleichungen 2, 7, 8 und 9 abgeleitet werden. Gleichung 8 ist die Wahrscheinlichkeit für die Beobachtung der Rahmen vom Zeitpunkt t + 1 zum letzten Zeitpunkt T unter der Voraussetzung, daß der Zustand zum Zeitpunkt t der Zustand j ist, daß es eine Umgebung von e und das Modell λ gibt. Gleichung 9 ist die gemeinsame Wahrscheinlichkeit, daß der Zustand zum Zeitpunkt t der Zustand j ist, daß die Mischung zum Zeitpunkt t die Mischung k ist, und daß es eine Umgebung von e gibt, unter der Voraussetzung der beobachteten Rahmenfolge 0 und des Modells λ.
Für die EM-Prozedur 23 sind die Gleichungen 10–21 die Lösungen für die Größen in dem Modell.
Die Wahrscheinlichkeit des Anfangszustands:
wobei R die Anzahl der Trainingsmerkmale ist.
Die Übergangswahrscheinlichkeit:
Die Mischungskomponentenwahrscheinlichkeit: (Die Mischungswahrscheinlichkeit befindet sich dort, wo es eine Mischung aus Gaußschen Verteilungen gibt)
Die Umgebungswahrscheinlichkeit:
Der Mittelwertvektor und der Erwartungswertabweichungsvektor: Es wird eingeführt:
Unter der Vorraussetzung
für ein gegebenes k gibt es N + L Gleichungen:
Diese Gleichungen 21 und 22 werden für die Mittelwertvektoren und die Erwartungswertabweichungsvektoren gemeinsam gelöst.
Deshalb können μ_jk und b_ke durch das Lösen des linearen Systems aus N + L Variable gleichzeitig erhalten werden.
Die Kovarianz:
wobei δ r / t(j, k, e)Δo r / t – W_je – b_ke gilt.
Die Transformation: Es wird angenommen, daß die Kovarianzmatrix diagonal ist: Σ –1(m,n) / jk = 0, falls n ≠ m. Für die Linie m der Transformation W_je kann abgeleitet werden (siehe z. B. C. J. Leggetter u. a. mit dem Titel "Maximum Likelihood Linear Regression for Speaker Adaptation of Continuos Density HMMs", Computer, Speech and Language, 9(2), 171–185, 1995): Z(m)je = Wje (m)Rje(m) (24)was ein lineares System aus D Gleichungen ist, wobei:
gilt. Wird angenommen, daß die Mittelwerte der Quellverteilungen (μ_jk) konstant sind, dann kann die obige Menge der Quellennormierungsformeln außerdem für die Modellanpassung verwendet werden.
Das Modell ist durch die Parameter spezifiziert. Das neue Modell ist durch die neuen Parameter spezifiziert.
Wie in den 1 und 5 veranschaulicht ist, wird mit einem Anfangsmodell als Standardmodell 21 begonnen, wie z. B. dem CDHMM-Modell mit den Anfangswerten. Dieser nächste Schritt ist die Schätzwertmaximierungs-Prozedur 23, die mit den Gleichungen 7–9 (Schritt 23a) und den Neuschätzungs-Gleichungen 10–13 (Schritt 23b) für die Wahrscheinlichkeit des Anfangszustands, die Übergangs wahrscheinlichkeit, die Mischungskomponentenwahrscheinlichkeit und die Umgebungswahrscheinlichkeit beginnt.
Der nächste Schritt (23c) besteht darin, einen Mittelwertvektor und einen Erwartungswertabweichungsvektor durch das Einführen von zwei zusätzlichen Gleichungen 14 und 15 und der Gleichungen 16–20 abzuleiten. Der nächste Schritt 23d besteht darin, die linearen Gleichungen 21 und 22 anzuwenden und 21 und 22 für die Mittelwertvektoren und die Erwartungswertabweichungsvektoren gemeinsam zu lösen und gleichzeitig die Varianz unter Verwendung der Gleichung 23 zu berechnen. Unter Verwendung von Gleichung 24, die ein System linear Gleichungen ist, wird nach den Transformationsparametern unter Verwendung der durch die Gleichungen 25 und 26 gegebenen Größen aufgelöst. Dann ist nach allen Modellparametern aufgelöst worden. Dann werden die alten Modellparameter durch die neu berechneten Modellparameter ersetzt (Schritt 24). Dann wird der Prozess für alle Rahmen wiederholt. Wenn dies für alle Rahmen der Datenbank ausgeführt worden ist, wird ein neues Modell gebildet, wobei dann die neuen Modelle unter Verwendung derselben Gleichung erneut bewertet werden, bis es keine Änderung über einen vorgegebenen Schwellenwert gibt (Schritt 27).
Nachdem ein Quellennormierungstrainingsmodell gebildet worden ist, wird dieses Modell in einer Erkennungseinrichtung verwendet, wie in 6 gezeigt ist, wobei die Eingangssprache in eine Erkennungseinrichtung 60 eingegeben wird, die das quellennormierte HMM-Modell 61, das durch das obige Training erzeugt worden ist, verwendet, um die Reaktion zu erreichen.
Die Erkennungsaufgabe besitzt 53 Befehle aus 1–4 Wörtern. ("call return", "cancel call return", "selective call forwarding" usw.). Die Äußerungen werden durch Telephonleitungen mit einer Vielfalt von Mikrophonen, einschließlich Kohle-, Elektred- und schnurlose Mikrophone und Telephone mit Freisprecheinrichtung, aufgezeichnet. Einige der Trainingsäußerungen entsprechen nicht ihren Transkriptionen. Zum Beispiel: "call screen" (cancel call screen), "matic call back" (automatic call back), "call tra" (call tracking).
Die Sprache wird mit 8 kHz mit einer 20-ms-Rahmenrate abgetastet. Die Beobachtungsvektoren bestehen aus den LPCC (Koeffizienten der linearen Vorhersagecodierung), den abgeleiteten 13 MFCC (den Cepstalkoeffizienten der Mel-Skala) plus den regressionsgestützten Delta-MFCC. Die CMN wird auf der Ebene der Äußerungen ausgeführt. Es gibt 3505 Äußerungen für das Training und 720 für das sprecherunabhängige Testen. Die Anzahl der Äußerungen pro Anruf variiert zwischen 5–30.
Infolge der Spärlichkeit der Daten müssen, abgesehen von der gemeinsamen Nutzung der Transformation zwischen den Zuständen und Mischungen, die Transformationen durch eine Gruppe von phonetisch ähnlichen Lauten gemeinsam genutzt werden. Die Gruppierung basierend auf einer hierarchischen Clusterbildung der Laute ist von der Menge des Trainings (SN) oder der Anpassung (AD) der Daten abhängig, d. h., je größer die Anzahl der Merkmale ist, desto größer ist die Anzahl der Transformationen. Die Erkennungsexperimente werden auf verschiedenen Systemkonfigurationen ausgeführt:

• BASELINE wendet die CMN äußerungsweise an. Diese einfache Technik beseitigt Kanalbesonderheiten, und einige langfristige Sprecherbesonderheiten, falls die Dauer der Äußerung lang genug ist, kann aber nicht mit additivem Rauschen im Zeitbereich umgehen.
• SN führt das quellennormierte HMM-Training aus, wobei angenommen wird, daß die Äußerungen eines Telephonanrufes von einer anrufabhängigen akustischen Quelle erzeugt worden sind. Der Sprecher, der Kanal und das Hintergrundrauschen, die für den Anruf spezifisch sind, werden dann durch MLLR beseitigt. Eine HMM-Erkennungseinrichtung wird dann unter Verwendung der Quellparameter angewendet. Es ist ein spezieller Fall bewertet worden, in dem jeder Anruf durch eine Umgebung modelliert wird.
• AD passt die traditionellen HMM-Parameter an einen nicht überwachten MLLR an. 1. Verwenden der momentanen HMMs und der Aufga bengrammatik, um die Testäußerungen phonetisch zu erkennen, 2. Abbilden der Lautbezeichnungen auf eine kleine Anzahl (N) von Klassen, die von der Menge der Daten in den Testäußerungen abhängt, 3. Schätzen der LR unter Verwendung der N Klassen und der zugeordneten Testdaten, 4. Erkennen der Testäußerungen mit einem transformierten HMM. Eine ähnliche Prozedur ist in C. J. Legetter und P. C. Woodland, "Maximum likelihood linear regression for speaker adaptation of continuous density HMMs", Computer, Speech and Language, 9(2): 171–185, 1995, eingeführt worden.
• SN + AD bezieht sich auf AD mit durch die SN-Technik trainierten Anfangsmodellen.

Basierend auf den in der Tabelle 1 zusammengefassten Ergebnissen wird auf Folgendes hingewiesen:

• Für eine Anzahl der Mischungskomponenten pro Zustand, die kleiner als 16 ist, ergeben SN, AD und SN + AD alle eine konsistente Verbesserung über die Baseline-Konfiguration.
• Für eine Anzahl der Mischungskomponenten pro Zustand, die kleiner als 16 ist, ergibt SN etwa 10% Fehlerverringerung gegenüber Baseline. Da SN eine Trainingsprozedur ist, die keine Änderung an der Erkennungseinrichtung erfordert, nutzt dieser Fehlerverringerungsmechanismus die Anwendungen unmittelbar.
• Für alle getesteten Konfigurationen ergibt AD unter Verwendung mit der SN-Prozedur trainierter akustischer Modelle immer eine zusätzliche Fehlerverringerung.
• Der effizienteste Fall von SN + AD liegt bei 32 Komponenten pro Zustand vor, was die Fehlerrate um 23% verringert, was zu einer Wortfehlerrate (WER) von 4,64% in der Aufgabe führt.

Tabelle 1: Die Wortfehlerrate (%) als Funktion der Testkonfiguration und die Anzahl der Mischungskomponenten pro Zustand
Obwohl die vorliegende Erfindung und ihre Vorteile ausführlich beschrieben worden sind, sollte es selbst verständlich sein, daß verschiedene Änderungen, Ersetzungen und Veränderungen hierin ausgeführt werden können, ohne vom Umfang der Erfindung abzuweichen, der durch die beigefügten Ansprüche definiert ist.

Claims

Verfahren zum Quellennormierungstraining für eine Modellierung eines Hidden-Markov-Modells (HMM-Modellierung) von Sprache (2), das die folgenden Schritte umfasst: (a) Bereitstellen eines anfänglichen HMM-Modells (21); (b) an dem anfänglichen Modell oder in der Folge eines neuen Modells Ausführen der folgenden Schritte an nicht markierten Multiumgebungs-Trainingsdaten, um ein neues Modell (25) zu erhalten: b1) Ausführen (23a) einer Erwartungswertmaximierung mit verborgenen Variablen einer Zustandsfolge, von Mischungskomponenten-Indikatoren und von Umgebungsindikatoren durch Schätzen von Zwischengrößen durch Bestimmen der Wahrscheinlichkeit der Beobachtung von Eingangssprache in einem Rahmen in einem gegebenen Zustand und in einer gegebenen Umgebung bei einer gegebenen momentanen Modellparameter-Menge; und b2) Ausführen (23b) einer neuen Erwartungswertberechnung, um die Wahrscheinlichkeit in einem gegebenen HMM-Zustand, die Wahrscheinlichkeit, in einem gegebenen Zustand zu sein, die Wahrscheinlichkeit einer gegebenen Mischungskomponente, die eine Gaußsche Komponente einer Mischung ist, und die Wahrscheinlichkeit einer gegebenen Umgebung zu bestimmen; b3) Ableiten (23c) von Mittelwertvektor- und Erwartungswertabweichungsvektor-Gleichungen; b4) gemeinsames Lösen (23d) der Mittelwertvektor- und Erwartungswertabweichungsvektor-Gleichungen unter Verwendung linearer Gleichungen sowie durch Bestimmen der Varianzen, der Mischungskomponenten und der linearen Transformationen für Umgebungen, Auflösen nach dem Mittelwertvektor für den gegebenen Zustand und die Mischungskomponente, und Auflösen nach dem Erwartungswertabweichungsvektor für die gegebene Umgebung und die Mischungskomponente; b5) Ersetzen (24) alter Modellparameter durch die berechneten Parameter; und c) wenn ein neues Modell gebildet worden ist, Bestimmen (27), ob es sich von dem vorhergehenden Modell signifikant unterscheidet, und wenn ja, Wiederholen der Schritte b1 bis b5.
Verfahren nach Anspruch 1, bei dem im Schritt b1 der Erwartungswert von Zwischengrößen bestimmt wird durch: αt(j, e)Δp(ot1 , θt = j, φ = e|λ),die gemeinsame Wahrscheinlichkeit der Beobachtung von Eingangssprache-Rahmen im Bereich der Zeitpunkte 1 bis t im Zustand j und in der Umgebung e bei einer gegebenen momentanen Modellparameter-Menge λ; βt(j, e)Δp(oTt+1 |θt = j, φ = e, λ),die Wahrscheinlichkeit der Beobachtung von Eingangssprache-Rahmen von dem Zeitpunkt t + 1 bis zum letzten Zeitpunkt T im Zustand j und in der Umgebung e, bei einer gegebenen momentanen Modellparameter-Menge λ; und γt(j, k, e)Δp(θt = j, ξt = k, φ = e|O, λ),die Wahrscheinlichkeit, daß zu einem Zeitpunkt t der Zustand durch j gegeben ist und die Mischung durch k gegeben ist in einer Umgebung e für die beobachtete Rahmenfolge O und die momentane Modellparameter-Menge λ.
Verfahren nach Anspruch 2, bei dem im Schritt b2 die Wahrscheinlichkeit des Anfangszustandes bestimmt wird durch
die Übergangswahrscheinlichkeit bestimmt wird durch
die Mischungskomponenten-Wahrscheinlichkeit bestimmt wird durch
und die Umgebungswahrscheinlichkeit bestimmt wird durch
wobei R die Anzahl der Trainingsmerkmale oder Äußerungen, die für die Erzeugung des neuen Modells bereitgestellt werden, ist, T^r die Gesamtzahl von Rahmen in der Äußerung r ist, o r / t der beobachtete Rahmen t der Äußerung r ist und p(o^r|λ) die Wahrscheinlichkeit der Äußerung r bei einem gegebenem Modell λ ist.
Verfahren nach einem der Ansprüche 2 bis 3, bei dem im Schritt b3 die Ableitung des Mittelwertvektors und des Erwartungswertabweichungsvektors erfolgt durch
der Durchschnitt beobachteter Vektoren im Zustand j, mit der Mischungskomponente k und in der Umgebung e;
die gemeinsame Wahrscheinlichkeit, im Zustand j zu sein, mit der Mischungskomponente k und in einer Umgebung e, gemittelt über alle Äußerungen;
die gewichtete inverse Kovarianzmatrix für die Mischungskomponente k in der Umgebung e; Ejke = g(j, k, e)Wje'Σ–1jk ,die durch W_je' transformierte und gewichtete inverse Kovarianzmatrix im Zustand j für die Mischungskomponente k und in der Umgebung e;
die durch W_je transformierte und durch g(j, k, e) gewichtete invertierte Kovarianzmatrix im Zustand j für die Mischungskomponente k;
der durch Σ –1 / jk skalierte und durch W_je transformierte Durchschnitt von beobachteten Vektoren im Zustand j und für die Mischungskomponente k; und
der durch Σ –1 / jk skalierte Durchschnitt von beobachteten Vektoren für die Mischungskomponente k und die Umgebung e, wobei W_je die lineare Transformation des Zustandes j in der Umgebung e ist, Σ_jk die Kovarianzmatrix des Zustands j für die Mischungskomponente k ist und Σ –1 / jk die Inverse von Σ_jk ist.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem die Gleichungen des Schrittes b4
verwendet werden, um die Gaußschen Mittelwertvektoren μ_jk für einen Zustand j und eine Mischungskomponente k und die Erwartungswertabweichungsvektoren b_ke der Mischungskomponente k und der Umgebung e gemeinsam zu lösen; und die Gleichung
verwendet wird, um die Varianz zu bestimmen; und für eine diagonale Kovarianz die Gleichungen
verwendet werden, um die Transformation W_je ^(m), die Linie m von W_je, zu bestimmen, wobei d r / t(j, k, e) der Erwartungswertabweichungsvektor im Zustand j für die Mischungskomponente k und die Umgebung e für den Rahmen t der Äußerung r ist; Z (m,n) / je, das n-te Element des Vektors Z (m) / je, eine durch Σ –1(m,n) / jk skalierte und durch γ gewichtete Kreuzkorrelation zwischen dem Gaußschen Mittelwert und dem Fehlerterm ist; und R (p,n) / je(m), das Element bei der Linie p in der Zeile n der Matrix R_je(m) eine durch Σ –1(m,n) / jk skalierte und durch γ gewichtete Autokorrelation des Gaußschen Mittelwertes ist.
Spracherkennungssystem, das umfasst: eine Spracherkennungseinrichtung; und ein Quellennormierungsmodell, das durch Anwenden eines Erwartungswertmaximierungsalgorithmus abgeleitet wird, um mit der Spracherkennungseinrichtung verwendet zu werden, und so konfiguriert, daß es eines der Verfahren der Ansprüche 1 bis 5 ausführt.