-
GEBIET DER
ERFINDUNG
-
Diese
Erfindung betrifft die Spracherkennung und insbesondere die Kompensation
von Hintergrundrauschen und Kanalverzerrung.
-
HINTERGRUND
DER ERFINDUNG
-
Eine
Spracherkennungseinrichtung, die mit Sprachdaten aus einer verhältnismäßig leisen
Büroumgebung
trainiert ist und in einer mobilen Umgebung betrieben wird, kann
mindestens auf Grund von Hintergrundgeräuschen und das Mikrophon betreffenden
Veränderungen,
die als Quellen für
Verzerrungen wirksam werden, versagen. Das Hintergrundgeräusch kann
von einem Computer-Ventilator, von einem Kraftfahrzeugmotor und/oder
Straßenlärm sein.
Die Mikrophonveränderungen
können
auf die Qualität
des Mikrophons, handgehalten oder nicht, und seine Position in Bezug
auf den Mund zurückzuführen sein.
Bei einer Anwendung der Spracherkennung in einer mobilen Umgebung
unterliegen sowohl die Mikrophon-Vorbehandlung als auch das Hintergrundrauschen
Veränderungen.
-
Eine
Cepstral-Mittelwertnormierung (CMN) setzt den Mittelwert einer Äußerung zurück und ist
eine einfache und wirksame Methode, um mit einer Faltungsverzerrungen
wie etwa einer Fernsprechkanalverzerrung umzugehen, siehe B. Atal:
Effectiveness of Linear Prediction Characteristics of the Speech
Wave for Automatic Speaker Identification and Verification, in:
Journal of Acoustics Society of America, Bd. 55, 1974, S. 1304–1312. Eine
spektrale Subtraktion (SS) vermindert das Hintergrundrauschen im
Merkmalraum; siehe den Artikel von S. F. Boll: Suppression of Acoustic
Noise in Speech Using Spectral Subtraction, in: IEEE Transactions
on Acoustics, Speech and Signal Processing, ASSP-27(2), April 1979,
S. 113–129.
Die so genannte Parallel Model Combination (PMC, engl.) ergibt eine
Approximation von Sprachmodellen unter Rauschbedingungen ausgehend
von rauschfreien Sprachmodellen und Schätzungen für das Rauschen; siehe M. J.
F. Ges and S. Young: An Improved Approach to the Hidden Markov Model
Decomposition of Speech and Noise, in: Proceedings of IEEE International
Conference on Acoustics, Speech and Signal Processing, Bd. 1, USA,
April 1992, S. 233–236.
Das Verfahren erfordert keine Trainingsdaten.
-
Eine
gemeinsame Kompensation von Zusatzrauschen und faltungsbedingtem
Rauschen kann durch die Einführung
eines Kanalmodells und eines Rauschmodells erzielt werden. Ein systematischer
spektraler Fehler durch additives Rauschen und eine cepstrale Verzerrung
für faltungsbedingtes
Rauschen werden in einem Artikel von Afify, Y. Gong und J. P. Haton
eingeführt.
Dieser Artikel erschien unter dem Titel "A General Joint Additive and Convolutive
Bias Compensation Approach Applied to Noisy Lombard Speech Recognition" in IEEE Trans. on
Speech and Audio Processing, 6(6), November 1998, S. 524–538. Die
fünf Arten
der systematischen Fehler können
durch Anwenden einer Erwartungswertmaximierung (EM) sowohl im Spektral-
als auch im Faltungsbereich berechnet werden. Ein Verfahren, um
die Faltungskomponente zu berechnen, wobei ein erneutes Abtasten
von Trainingsdaten erforderlich ist, ist von J. L. Gauvain u. a.
präsentiert
worden; siehe J. L. Gauvain, L. Lamel, M. Adda-Decker und D. Matrouf:
Developments in Continuous Speech Dictation using the ARPA NAB News
Task, in: Proc. of IEEE International Conference on Acoustics, Speech,
and Signal Processing, Detroit, 1996, S. 73–76. Außerdem ist eine Lösung für die Faltungskomponente
durch ein Verfahren des steilstmöglichen
Abfalls berichtet worden; siehe Y. Minami und S. Furui: A Maximum
Likelihood Procedure for a Universal Adaptation Method Based on
HMM Composition, in: Proc. of IEEE International Conference on Acoustics,
Speech and Signal Processing, Detroit, 1995, S. 129–132. Ein
Verfahren von Y. Minami und S. Furui erfordert zusätzliche
allgemein gültige
Sprachmodelle sowie eine Neubestimmung der Kanalverzerrung mit den
allgemein gültigen
Modellen, wenn Kanalveränderungen
auftreten; siehe Y. Minami und S. Furui: Adaptation Method Based
on HMM Composition and EM Algorithm, in: Proceedings of IEEE International
Conference on Acoustics, Speech and Signal Processing, Atlanta 1996,
S. 327–330.
-
Die
Verfahren, die von M. F. J. Gales in: PMC for Speech Recognition
in Additive and Convolutional Noise, Technical Report TR-154, CUED/F-INFENG,
Dezember 1993, vorgestellt wurden, erfordern zwei Durchläufe der
Testäußerung,
z. B. eine Parameterschätzung
gefolgt von der Erkennung, mehrere Transformationen zwischen Cepstral-
und Spektralbereich und ein Gaußsches
Mischungsmodell für
unverfälschte Sprache.
-
Alternativ
können
die nichtlinearen Veränderungen
durch beide Verzerrungstypen durch lineare Gleichungen genähert werden,
vorausgesetzt, die Veränderungen
sind gering. Der Jacobi-Ansatz, der Sprachmodell-Parameteränderungen
als das Produkt aus einer Jacobi-Matrix und dem Unterschied in verrauschten
Zuständen
modelliert, und eine statistische lineare Approximation gehen beide
in diese Richtung; siehe S. Sagayama, Y. Yamaguchi und S. Takahashi:
Jacobian Adaptation of Noisy Speech Models, in: Proceedings of IEEE Automatic
Speech Recognition Workshop, Santa Barbara, CA, USA, Dezember 1997,
IEEE Signal Processing Society, S. 396–403, und außerdem N.
S. Kim: Statistical Linear Approximation for Environment Compensation,
IEEE Signal Processing Letters, 5(1): 8.-10. Januar 1998.
-
Eine
Maximum Likelihood Linear Regression (MLLR, engl.) transformiert
HMM-Parameter so, dass sie an die Verzerrungsfaktoren angepasst
sind; siehe C. J. Leggetter und P. C. Woodland: Maximum Likelihood Linear
Regression for Speaker Adaptation of Continuous Density HMMs, in:
Computer, Speech and Language, 9(2), 1995, S. 171–185. Dieses
Verfahren ist bei beiden Quellen wirksam, erfordert jedoch Trainingsdaten
und führt
die Abhängigkeit
von Sprechern ein.
-
Yamamoto
H. u. a.: Fast speech recognition algorithm under noisy environment
using modified CMS-PMC and improved IDMM + SQ, ICASSP 1997, offenbart
eine Modellanpassung durch Kombinieren von PMC und CMN.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Die
Erfindung ist durch die unabhängigen
Ansprüche
definiert. Ausführungsformen
sind wie in den abhängigen
Ansprüchen
dargelegt beschaffen.
-
Gemäß der vorliegenden
Erfindung wird ein neues Verfahren geschaffen, das Rauschen und
Kanalverzerrungen gleichzeitig bearbeitet, um ein sprecherunabhängiges System
gegen verschiedenste Arten des Rauschens und der Kanalverzerrungen
robust zu machen.
-
BESCHREIBUNG
DER ZEICHNUNG
-
1 veranschaulicht
eine Spracherkennungseinrichtung gemäß einer Ausführungsform
der vorliegenden Erfindung; und
-
2 veranschaulicht
das Verfahren der vorliegenden Erfindung.
-
BESCHREIBUNG
BEVORZUGTER AUSFÜHRUNGSFORMEN
DER VOR-LIEGENDEN
ERFINDUNG
-
In 1 ist
eine Spracherkennungseinrichtung gemäß der vorliegenden Erfindung
veranschaulicht. Die Sprache wird der Erkennungseinrichtung 11 zugeführt. Um
den Wortlaut zu erkennen, wird die Sprache mit Hidden-Markov-Modellen
(HMMs) 13 verglichen. Die Modelle wurden zunächst auf
der Grundlage von Sprache geschaffen, die in einer ruhigen Umgebung
und mit einem Mikrophon guter Qualität aufgezeichnet wurde. Es besteht
die Aufgabe, eine Sprachmodellmenge zu entwickeln, die für einen
Betrieb bei gleichzeitigem Vorhandensein von Kanal-/Mikrophon-Verzerrungen
und Hintergrundrauschen geeignet ist. Gemäß der vorliegenden Erfindung
wird eine Sprachmodellmenge unter Verwendung einer Statistik über das
Rauschen und Sprache geschaffen. Ein Verfahren mit geringem Rechenaufwand
integriert sowohl PMC als auch CMN.
-
Wie 2 zeigt,
ist der erste Schritt 1 das Starten mit HMM-Modellen, die
an unverfälschter
Sprache mit Cepstral-Mittelwertnormierung trainiert sind. Diese Modelle
werden modifiziert, um Modelle für
die Kompensation einer Kanal/Mikrophon-Verzerrung (Faltungsverzerrung)
und eines gleichzeitigen Hintergrundrauschens (additiven Rauschens)
zu erhalten. Bei einem HMM-Modell gibt es eine Menge Parameter,
wovon jedoch nur eine Teilmenge geändert wird, und zwar die mittleren
Vektoren mp,j,k. Die mittleren Vektoren
mp,j,k des originalen Modellraums werden
modifiziert, wobei p der Index der Wahrscheinlichkeitsdichtefunktion
(PDF: Probability Density Function (engl.)), j der Zustand und k
die Mischungskomponente ist.
-
Der
zweite Schritt 2 ist die Berechnung des so genannten mittleren
mel-skalierten Cepstrumkoeffizienten-Vektors (MFCC-Vektors) über die
trainierte Datenbank: Frage alle Daten ab und berechne den Mittelwert,
um b zu erhalten.
-
Der
dritte Schritt 3 besteht darin, den Mittelwert b zu jedem
Vorrat mittlerer Vektoren, der durch mp,j,k repräsentiert
ist, zu addieren, Gleichung (1), um Folgendes zu erhalten: m p,j,k = mp,j,k +
b (1)
-
Beispielsweise
könnte
es 100 PDFs, 3 Zustände
pro PDF und 2 Vektoren pro Zustand oder insgesamt 600 Vektoren geben.
-
Im
vierten Schritt 4 wird für eine bestimmte eingegebene
Testäußerung ein
Schätzwert
des Hintergrundrauschvektors X ~ berechnet.
-
Es
sei ul Δ[ul1 , ul2 ,
... ulD ] und vl Δ[vl1 ,
vl2 , ... vlD ], wobei l bedeutet, dass die Werte im Log-Spektral-Bereich dargestellt
sind.
-
Es
wird der Kombinationsoperator ⊕ eingeführt, so
dass: wl Δul ⊕ vl = [wl1 ,wl2 , ... wlD ] (2) mit wlj = log(exp(ulj ) + exp(vlj )) (3)
-
Im
Schritt 5 werden die an das Rauschen X ~ angepassten mittleren
Vektoren unter Verwendung der Gleichung 4 berechnet: m ⌢p,j,k =
IDFT(DFT(m p,j,k) ⊕ DFT(X ⌢)) (4)wobei DFT
die DFT-Operation, IDFT die zur DFT inverse Operation und m p,j,k der
rauschkompensierte mittlere Vektor ist.
-
Die
Gleichung 4 umfasst mehrere Operatoren. DFT ist die diskrete Fourier-Transformation und
IDFT ist die inverse diskrete Fourier-Transformation. ⊕ ist eine
Operation mit zwei Vektoren, A ⊕ B = C. Wie ⊕ definiert
ist, ist aus den Gleichungen 2 und 3 ersichtlich. Die Gleichung
2 sagt aus, dass die Operation ⊕ auf zwei Vektoren u und
v wirkt und das Ergebnis ein Vektor der Dimension D oder [wl1 ,
wl2 , ... wlD ]T ist, wobei T die Transposition
ist. Aus zwei Vektoren wird ein weiterer Vektor erzeugt. Es ist
nun jedes Element in dem resultierenden Vektor zu bestimmen. Die
Gleichung 3 sagt aus, dass das j-te Element in diesem Vektor (w l / j)
als Logarithmus der Summe der Exponentialfunktion des Elements von
u und der Exponentialfunktion des j-ten Elements von v definiert
ist. Dies vervollständigt
die Definition der Gleichung 4.
-
In
den folgenden Schritten soll der mittlere Vektor b ^ der verrauschten
Daten y über
dem verrauschten Sprachraum N (des resultierenden Modells) entfernt
werden. Es könnten
genügend
verrauschte Daten von kompensierten Modellen synthetisiert werden,
dies erfordert jedoch sehr viele Berechnungen. Gemäß der vorliegenden
Erfindung wird der Vektor unter Verwendung einer Statistik verrauschter
Modelle berechnet. Die gesamte Erkennungseinrichtung wird mit CMN
(Cepstral-Mittelwertnormierungsmodus) betrieben, wobei jedoch die Modelle
in Gleichung 4 nicht länger
mittelwertnormiert sind. Das Problem des additiven Rauschens ist
damit erledigt. Die zweite Hälfte
der Verarbeitung ist das Entfernen der Cepstral-Mittelwerte aus
den in Gleichung 4 definierten Modellen. Dies ist nicht schwierig,
da die Modelle in Gleichung 4 vorliegen. Im Schritt 6 ist über alle
Samples, die durch die Gleichung 4 erzeugt werden, zu integrieren,
um den Mittelwert zu erhalten. Der Mittelwert ist b ^. Die Gleichung
5 ist diese Integration.
-
Es
sei P die Variable, die den PDF-Index bezeichnet, J die Variable
für den
Zustandsindex und K die Variable für den Mischungskomponenten-Index. b ^ = E{y}
= NyΣpΣjΣk P,(p)PJ|,(j,p)PK|,,J(k|p,j)PY|,,,J,K(y|p,j,k)dy (5)Da p(y|p,j,k) = N(y,IDFT(DFT(m p,j,k) ⊕ DFT(X ~)),Ep,j,k) (6)gilt: b ⌢ = ΣpΣjΣkPH(p)PJ|H(j|p)PK|H,J(k|p,j)m ⌢p,j,k) (7)
-
Die
Gleichung 7 zeigt, dass b ^ analytisch berechnet werden kann und es
nicht erforderlich ist, die physikalische Erzeugung und Integration
auszuführen.
Das Endergebnis ist die Gleichung 7, welche die Integration in mehrere
Summen überführt hat:
Summen über
die Wahrscheinlichkeitsdichtefunktionen und die Summe über Zustände und
die Summe über
Mischungskomponenten. Dann gibt es mehrere Größen: PH ist
die Wahrscheinlichkeit, den PDF-Index zu haben, PJ für ein gegebenes
H ist die Wahrscheinlichkeit, in dem Zustand zu sein, wenn PDFp
gegeben ist. Die nächste
ist die Wahrscheinlichkeit, bei den gegebenen Mischungskomponenten
p, j den PDF-Index zu haben. Der mittlere Vektor des kompensierten
Modus. Abschließend
wird dieses b ^ aus dem kompensierten Mo dell entfernt, um das Zielmodell
zu erhalten. Dies erfolgt im Schritt 7. Das Zielmodell
ist: m .p,j,k = m ^p,j,k – b ^ (8)
-
Dieses
Zielmodell soll in die Erkennungsvorrichtung geladen werden. Diese
Operation wird für
jede Äußerung durchgeführt.
-
Die
Berechnung von b ^ erfordert folglich die Kenntnis der Wahrscheinlichkeit
jeder PDF. Es gibt zwei Probleme mit P (, = p):
- – den zusätzlich erforderlichen
Speicherplatz;
- – die
Abhängigkeit
von der Erkennungsaufgabe, z. B. Vokabular, Grammatik.
-
Obwohl
es möglich
ist, diese Wahrscheinlichkeit zu erhalten, sollen die folgenden
vereinfachten Fälle betrachtet
werden.
-
Die
Operation zur Berechnung von b ^ kann mit drei Näherungen vereinfacht werden.
Die erste verwendet gleiche Wahrscheinlichkeiten für PH(p) oder die Zwangsbedingung C.
- 1. Verwendung gleicher Wahrscheinlichkeiten für PH(p): PH(p)= C (9)
- 2. Verwendung gleicher Wahrscheinlichkeiten für PH(p), PJ|H(j|p) und
PK|H,J(k|p,j): PH(p) = C, PJ|H(j|p) = D, PK|H,J(k|p,j) = E (10)
- 3. Der mit der Gleichung 10 beschriebene Fall besteht eigentlich
darin, über
die kompensierten mittleren Vektoren m p,j,k zu mitteln.
Bezug nehmend auf die Gleichungen 4 und 1 kann erwartet werden,
dass durch das Mitteln der Sprachanteil m p,j,k ebenso
wie die CMN vermindert wird. Folglich könnte die Gleichung 7 weiter
vereinfacht werden zu: b ⌢ =
IDFT(DFT(b) ⊕ DFT(X ⌢)) (11)
-
Das
Modell mTp ,j,k,t wird dann mit einer
CMN auf verrauschte Sprache angewendet. Leider ist b ^ in allen obigen
Fällen
eine Funktion sowohl des Kanal- als
auch des Hintergrundrauschens. Mit anderen Worten: In Gegenwart
von Rauschen gibt es keine Garantie, dass der Kanal durch solch
einen Vektor wie für
eine CMN zurückgesetzt
wird.
-
Es
wurde eine Teilmenge der Freisprech-Aufzeichnungen enthaltenden
WAVE-Datenbank benutzt, die aus drei Aufzeichnungssitzungen besteht:
geparkttrn (Fahrzeug geparkt, Motor aus), geparkt (Fahrzeug geparkt,
Motor aus) und Stadtfahrt (Fahrzeug im stockenden Verkehr).
-
In
jeder Sitzung lasen 20 Sprecher (10 davon männlich) 40 Sätze bzw.
Aussprüche,
was 800 Äußerungen
ergibt. Jeder Ausspruch ist eine Folge von 10, 7 oder 4 Zeichen,
mit gleichen Wahrscheinlichkeiten. Die Datenbank wird mit 8 kHz
abgetastet, bei einer MFCC-Analyserahmendauer von 20 ms. Der Merkmalsvektor
besteht aus 10 statistischen und 10 dynamischen Koeffizienten.
-
Die
in allen Versuchen verwendeten Hidden-Markov-Modelle (HMMs) sind
an unverfälschten
TIDIGITS-Sprachdaten trainiert worden. Es wird eine auf der Äußerung basierende
Cepstral-Mittelwertnormierung angewendet. Die HMMs enthalten 1957
mittlere Vektoren und 270 diagonale Varianzen. Auf der Grund lage
der TIGIDIT-Testmenge bewertet weist die Erkennungseinrichtung eine
Wortfehlerrate von 0,36 % auf.
-
Um
die Leistungsfähigkeit
in einer geräuschvollen
Umgebung zu verbessern, können
die Varianzen der Gaußschen
PDFs an einige schwach verrauschte Daten, z. B. WAVES-parked_eval-Daten
MAP-angepasst werden. Eine solche Anpassung wird sich nicht auf
die Erkennung von unverfälschter
Sprache auswirken, jedoch den Varianz-Unterschied zwischen HMMs
verrauschter Sprache verringern. Der neue Algorithmus wird als "gemeinsame Kompensation
von additivem Rauschen und Faltungsverzerrung" (JAC: joint compensation of additive
noise and convolutive distortion (engl.)) bezeichnet.
-
Tabelle
1: Wortfehlerrate (WER)(%) in Abhängigkeit von Fahrzuständen und
Kompensationsverfahren
-
Die
Tabelle 1 zeigt, dass:
- • im Vergleich zur rauschfreien
Erkennung (WER 0,36 %) ohne jede Kompensation (BASELINE) die Leistungsfähigkeit
der Erkennung stark nachlässt;
- • die
CMN die Wortfehlerrate für
Daten aus dem geparkten Zustand wirksam verringert, jedoch bei Fahrzuständen, in
denen additives Rauschen dominierend wird, unwirksam ist;
- • die
PMC die Wortfehlerrate für
Fahrzustände
wesentlich verringert, jedoch für
Daten aus dem geparkten Zustand, in dem die Mikrophon-Fehlanpassung
dominierend ist, zu schlechten Ergebnissen führt;
- • alle
gemeinsamen Kompensationen von additivem Rauschen und Faltungsverzerrung
(JAC) zu geringeren Wortfehlerraten als die nicht auf diesem Prinzip
beruhenden Verfahren führen;
- • eine
Vereinfachung der Gleichung 7 zur Gleichung 9 und dann zur Gleichung
10 eine schrittweise Zunahme der Wortfehlerrate zur Folge hat, wenngleich
die Verschlechterung nicht schwerwiegend ist. Insbesondere sind
die Informationen in der PDF-Wahrscheinlichkeit für die Leistungsfähigkeit
unkritisch;
- • eine
vereinfachte gemeinsame Kompensation von additivem Rauschen und
Faltungsverzerrung (JAC) in allen Tests die niedrigste Wortfehlerrate
bietet. Für
diese Freisprech-Spracherkennung vermindert das neue Verfahren die
Wortfehlerrate um 61 % für
den geparkten Zustand und 94 % für
den Zustand der Stadtfahrt.
