DE69712277T2 - Verfahren und vorrichtung zur automatischen sprachsegmentierung in phonemartigen einheiten - Google Patents
Verfahren und vorrichtung zur automatischen sprachsegmentierung in phonemartigen einheitenInfo
- Publication number
- DE69712277T2 DE69712277T2 DE69712277T DE69712277T DE69712277T2 DE 69712277 T2 DE69712277 T2 DE 69712277T2 DE 69712277 T DE69712277 T DE 69712277T DE 69712277 T DE69712277 T DE 69712277T DE 69712277 T2 DE69712277 T2 DE 69712277T2
- Authority
- DE
- Germany
- Prior art keywords
- segmentation
- speech
- phoneme
- scvq
- bpc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 title claims description 63
- 238000000034 method Methods 0.000 title claims description 21
- 239000013598 vector Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 238000013518 transcription Methods 0.000 claims description 10
- 230000035897 transcription Effects 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical group C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 claims description 5
- 230000007704 transition Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 2
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 2
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 2
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
- Die Erfindung bezieht sich auf ein Verfahren zur automatischen Sprachsegmentierung zur Verwendung in Sprachverarbeitungsanwendungen. Eine von verschiedenen möglichen Anwendungen ist die Sprachsynthese und insbesondere die Sprachsynthese auf der Basis von verketteten Diphonen. Diphone sind kurze Sprachsegmente, die hauptsächlich einen Übergang zwischen zwei benachbarten Phonemen enthalten plus den letzten Teil des vorhergehenden bzw. den ersten Teil des nachfolgenden Phonems. Diphone können nach bestimmten Regeln, die an sich bekannt sind, aus einer Datenbank extrahiert werden, die bereits in einzelne Phoneme segmentiert ist. Typischerweise besteht eine derartige Datenbank aus getrennten Wörtern, die von einem bestimmten einzelnen Sprecher in einer kontrollierten Umgebung aufgezeichnet wurden, und umfasst auch die verifizierte Übereinstimmung zwischen phonetischer Transkription und akustischer Realisierung. Eine einfache und automatische Realisierung des Segmentierungsverfahrens entsprechend der Einleitung und basierend auf Phonem-Hidden-Markov-Modellen (HMM) wurde von O. Boffard et al. in dem Artikel "Automatic Generation of Optimized Unit Dictionaries for Text to Speech Synthesis", International Conference on Speech and Language Processing, Banff, Alberta KANADA (1992), S. 1211-1215, beschrieben. Die Qualität des bekannten Verfahrens wurde jedoch dahingehend als unzureichend empfunden, dass die vom Verfahren gefundenen Grenzen im Allgemeinen zu weit von den Positionen abweichen, an denen die entsprechenden Grenzen bei manueller Vorgehensweise angeordnet würden. Natürlich könnte die Segmentierungsgenauigkeit verbessert werden, wenn man die Phonem-HMMs zuerst mit einer separaten und manuell segmentierten Datenbank trainiert. Die Einrichtung einer derartigen manuell segmentierten Datenbank ist jedoch oftmals zu kostenaufwendig, da dies jedes Mal wiederholt werden muss, wenn ein neuer Sprecher für ein Sprachsynthesesystem eingesetzt wird. Unter anderem hat die vorliegende Erfindung daher zur Aufgabe, ein Verfahren zur Sprachsegmentierung vorzuschlagen, das vollautomatisch funktioniert, kein manuell segmentiertes Sprachmaterial erfordert und zu einem besseres Ergebnis führt als das in der Referenzschrift genannte Verfahren.
- Es ist zu beachten, dass in der Abhandlung "Recognition of intervocalic stops in continuous speech using context-dependant HMMs" von H. Franco in J. Acoust. Soc. Japan, Band 11, Nr. 1, Jan. 1990, eine automatische Segmentierungsprozedur beschrieben wird, die auf zwei Schritten beruht, wobei vorläufige Segmentierungspunkt- Kandidaten als Ankerpunkte zur Verknüpfung mit spezifischen Zuständen der HMM- Modelle benutzt werden.
- Gemäß einem ihrer Aspekte schafft die Erfindung ein Verfahren zur automatischen Sprachsegmentierung zur Verwendung in Sprachverarbeitungsanwendungen, wobei das genannte Verfahren die folgenden Schritte umfasst:
- - Klassifizieren und Segmentieren von Äußerungen aus einer Sprachdatenbank in die drei breiten phonetischen Klassen (BPC) stimmhaft, stimmlos und still zum Erhalten von vorläufigen Segmentierungspositionen;
- - Verwenden der vorläufigen Segmentierungspositionen als Ankerpunkte zur weiteren Segmentierung in phonemartige Einheiten durch sequenzbegrenzte Vektorquantisierung (sequence-constrained vector quantization) in einem SCVQ-Schritt;
- - Initialisieren von Phonem-Hidden-Markov-Modellen mit den durch den SCVQ-Schritt gelieferten Segmenten und weitere Abstimmung der HMM-Parameter durch Baum-Welch-Schätzung;
- - schließlich Verwenden der vollständig trainierten HMMs zur Durchführung einer Viterbi-Ausrichtung der Äußerungen in Bezug auf ihre phonetische Transkription und auf diese Weise Erhalten der endgültigen Segmentierungspunkte.
- Ein weiterer Vorteil des genannten Verfahrens besteht darin, dass nur minimale Anfangsinformationen erforderlich sind, die zum Beispiel aus einer phonetischen Transkription der Äußerungen bestehen. Insbesondere ist keine separate manuell segmentierte Datenbank zur Schätzung der HMM-Parameter erforderlich.
- Vorteilhafterweise wird nach der genannten Trainingsphase eine Diphongruppe zur weiteren Nutzung, zum Beispiel für die Sprachsynthese, konstruiert. Die Erfindung hat ein einfaches und kostengünstiges System für mehrere Sprecher geschaffen.
- Die Erfindung bezieht sich auch auf eine Vorrichtung zur Sprachsegmentierung zur Verwendung in Sprachverarbeitungsanwendungen, wobei die Vorrichtung folgendes umfasst:
- - BPC-Segmentierungsmittel, die durch eine Sprachdatenbank gespeist werden und zur Klassifzierung und Segmentierung der empfangenen Äußerungen in die drei breiten phonetischen Klassen (BPC) stimmhaft, stimmlos und still dienen, um vorläufige Segmentierungspositionen zu erhalten;
- - SCVQ-Segmentierungsmittel, die durch die genannten BPC- Segmentierungsmittel gespeist werden, um unter Verwendung der vorläufigen Segmentierungspositionen als Ankerpunkte eine weitere Segmentierung in phonemartige Einheiten durch sequenzbegrenzte Vektorquantisierung (SCVQ) durchzuführen;
- - Phonem-Hidden-Markov-Modell-(HMM)-Mittel, die durch die genannten SCVQ-Segmentierungsmittel gespeist werden und zur Initialisierung des Phonem-HMMs und zur weiteren Abstimmung der HMM-Parameter durch Baum-Welch-Schätzung dienen;
- - abschließende Segmentierungsmittel, die die vollständig trainierten HMMs benutzen, um eine Viterbi-Ausrichtung der Äußerungen in Bezug auf ihre phonetische Transkription durchzuführen und auf diese Weise die endgültigen Segmentierungspunkte zu erhalten.
- Bei einer derartigen Vorrichtung würde es ungeschultem Personal möglich sein, sie in kurzer Zeit auf einen beliebigen neuen Sprecher zu trainieren. Weitere vorteilhafte Aspekte der Erfindung werden in den abhängigen Ansprüchen genannt.
- Diese und andere Aufgaben und Vorteile der Erfindung werden im Folgenden unter Bezugnahme auf bevorzugte Ausführungsformen und insbesondere unter Bezugnahme auf die beigefügten Figuren ausführlich beschrieben, die Folgendes zeigen:
- Fig. 1 ein Gesamtblockschaltbild der Vorrichtung;
- Fig. 2 fünf Messungen für ein bestimmtes sinnloses Wort;
- Fig. 3 eine erste Segmentierung in breite phonetische Klassen;
- Fig. 4 eine Phonem-Segmentierung durch Vektorquantisierung;
- Fig. 5 das Gleiche, aber mit Verbesserung durch HMM-Segmentierung.
- Mit der vorliegenden Erfindung soll jede Äußerung aus einer Datenbank in eine Sequenz von nicht-überlappenden aneinandergrenzenden Phonem-Segmenten unterteilt werden und eine Eins-zu-Eins-Übereinstimmung zwischen diesen Segmenten und einer Sequenz von phonetischen Klassenkennungen gebildet werden, die durch phonetische Transkription geschaffen wurden. Die Sprache kann zweckmäßigerweise als eine Sequenz von akustischen Vektoren beschrieben werden, die jeweils die Sprache über ein gleichförmiges Zeitfenster von typischerweise 10-20 ms mit Verschiebungen zwischen den Fenstern von 2,5-10 ms charakterisieren. Ein p-dimensionaler akustischer Vektor eines Fensters t ist o(t) = [o&sub1;(t)... op(t)]', wobei das Akzentzeichen die Vektortransposition bezeichnet und eine komplette Sequenz von T Fenstern dann dargestellt wird durch O(1,T) = o(1), o(T). In der Ausführungsform der vorliegenden Erfindung ist für die BPC- Segmentierung p = 5, für die sequenzbegrenzte Vektorquantisierung p = 12 und für die Hidden-Markov-Modellierung p = 51. Ein BPC-Element oder eine phonemartige Einheit, die durch ein Segment I aufgespannt wird, kann durch einen prototypischen Vektor oder Schwerpunkt mit der Bezeichnung dargestellt werden. Der Intrasegment-Abstand d&sub1;(i,j) des Segmentes I ist definiert als die Summe der Abstände zwischen den Vektoren O(i,j), die das Segment aufspannen, einerseits und den Schwerpunkt
- andererseits. Durch Minimierung der Verzerrung
- erhält man die Segmentierungspunkte (bl(l = 1... L-1). Diese allgemeine Formel wird im Folgenden für die Abstandsmessung, für die Minimierungsprozedur und auch zur Bestimmung der Schwerpunkte benutzt.
- Fig. 1 zeigt ein Gesamtblockschaltbild einer Ausführungsform des Systems. Hier ist Element 20 ein Mikrofon zum Empfangen von Sprache von einer bestimmten Sprecherperson, die angewiesen ist, die Gruppe von vorher festgelegten getrennten Wörtern auszusprechen, die jeweils segmentiert werden sollen. Derartige Gruppen wurden für verschiedene Sprachen vorgeschlagen. Einige oder alle der Worte können sinnlose Worte sein. Die erste Verarbeitungsebene in Block 22 besteht aus periodischer Abtastung, Digitalisierung und Filterung. Die Ergebnisse werden im Zwischenspeicher 24 gespeichert, um den Empfang der Sprache von der Verarbeitung abzukoppeln. Die allgemeine Steuerung befindet sich in Block 34, bei dem es sich um einen Standardcomputer handeln kann, der auf angemessene Weise programmiert wurde und der die Blöcke 24-31, 36 steuert. Die Steuerung kann das Synchronisieren, das Liefern eines Anwendungsprogramms und die eventuelle Zwischenspeicherung zwischen den verschiedenen Verarbeitungsschritten implizieren. Der Übersichtlichkeit halber wurde nur eine einzige unidirektionale Verbindung gezeichnet. Nach dem Auslesen der Äußerungen aus dem Speicher 24 wird in Block 26 die erste Phase der Klassifizierung und Segmentierung in die breiten phonetischen Klassen (BPC) stimmhaft (voiced), stimmlos (unvoiced) und still (silence) durchgeführt. Die Ergebnisse dieser vorläufigen BPC-Segmentierung werden in Block 28 weiter verarbeitet, der die zweite Phase, die sequenzbegrenzte Vektorquantisierung (sequence constrained vector quantizing, SCVQ), zur weiteren Segmentierung in Phoneme durchführt. In Block 30 wird die dritte Phase realisiert. Hierbei werden die durch die vorhergehende SCVQ- Stufe gelieferten Segmente zum Initialisieren der Phonem-HMMs benutzt, die dann durch Baum-Welch-Schätzung weiter auf die zu segmentierende Datenbank abgestimmt werden. Eine hervorragende und gut zugängliche Abhandlung über HMMs und den sogenannten Baum-Welch-Lösungsansatz findet man bei L.R. Rabiner, "A tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Proc. IEEE, Band 77, Nr. 2, Febr. 1989, S. 257-286. Schließlich werden diese HMMs in Block 31 benutzt, um eine zeitliche Viterbi-Ausrichtung der Äußerungen der Sprachenbank auf ihre phonetische Transkription durchzuführen. An sich ist die Viterbi-Ausrichtung eine Standardtechnologie, deren Beschreibung der gleichen Referenzschrift zu entnehmen ist.
- Das Ergebnis der Segmentierung wird im Speicher 32 gespeichert. Aus der Sequenz der auf diese Weise pro geäußertem Wort erzeugten Phoneme erstellt das diphonerzeugende Gerät 39 die verschiedenen Diphone, die zur Erzeugung von tatsächlicher Sprache notwendig sind, wobei diese Diphone als Datenbank in den Speicher zurückgeschrieben werden, die zur Erzeugung von Sprache dient und einen beliebigen Inhalt haben kann, oder die für andere Sprachverarbeitungsanwendungen auf der Basis der tatsächlich erhaltenen begrenzten Sprachmenge vom menschlichen Sprecher genutzt werden kann. Die Kontrolle hierfür ist abgeleitet vom (begrifflichen) Steuerungs-/Wiedergabesystem 36, dass über die Verbindung 42 auf die Datenbank zugreift, über Leitung 40 Diphone erhält und über die bidirektionale Verbindung 38 weiter mit dem Speicher 32 in Interaktion bleibt. Die tatsächlichen Sprachausgabegeräte über Leitung 41 sind der Kürze halber nicht dargestellt. Ein Ablaufplan für die Sprachverarbeitung wird im Allgemeinen in ähnlicher Weise erstellt, wobei jedes betreffende gesprochene Wort vollständig verarbeitet wird, bevor das nächste vorgelegt wird.
- Die erste Phase der Segmentierung soll sogenannte Ankerpunkte für nachfolgende Phasen schaffen. Die drei Klassen sind Stille (silence, SIL), wobei keine Sprachsignalform vorhanden ist, stimmhaft (voiced, voi), wobei die Sprachsignalform quasiperiodisch ist, und stimmlos (unvoiced, unv), wobei die Signalform aperiodisch oder zufällig ist. In der Ausführungsform basiert die Segmentierung auf fünf verschiedenen Messungen, und zwar wie folgt:
- - normalisierte Kurzzeitenergie EN, so dass SIL EN nahe an 1 hat (es ist zu beachten, dass die Energie auf logarithmische Weise gemessen wird);
- - normalisierte niederfrequente Energie Elow in einem Bereich von 50-1200 Hz;
- - normalisierte hochfrequente Energie Ehigh in einem Bereich von 2000-4000 Hz;
- - Nulldurchgang Rate ZN;
- - erster LPC-Koeffizient a1 eines LPC-Modells erster Ordnung.
- In der Ausführungsform wurde die abgetastete Signalform x(k) für k = 0... N-1 durch eine Filterfunktion (1 - 0,95 z&supmin;¹) vorverzerrt, blockiert und per Hamming- Fenster in Fenster von 20 ms mit einer fensterweisen Verschiebung von 2,5 ms aufgeteilt. Abb. 2 zeigt die fünf genannten Messungen für ein sinnloses Wort 'kekakke' in niederländischer Aussprache. Unmittelbar unter der Signalform sind die zugehörigen Phonemzeichen angegeben. Wie abgebildet betrug die Hauptdauer des Vokals 'A' ca. 10 ms. In der Figur lassen sich deutlich drei stimmhafte Intervalle, drei stimmlose Intervalle und vier stille Intervalle unterscheiden. Die Ergebnisse der fünf genannten Messungen sind in Form entsprechender Signalkurven abgebildet. Bestimmte Übergänge sind deutlicher zu sehen als andere. In der Praxis implizieren Übergänge zwischen aufeinanderfolgenden Phonemen nicht immer eine Änderung von breiten phonetischen Klassen.
- Zunächst wird nun die verfügbare phonetische Transkription der Äußerungen auf eine Transkription in Form von breiten phonetischen Klassen abgebildet; in der Tat weiß das System, welches Wort eigentlich empfangen werden sollte, da der Sprecher die Worte in einer vorgegebenen Reihenfolge eingeben muss. Wenn beispielsweise eine bestimmte Äußerung aus einer Folge von L' Elementen breiter phonetischer Klassen besteht, müssen die entsprechenden nachfolgenden Segmente in der Beobachtung O&sub1;T zusammen mit einer Gruppe von Schwerpunkten { } gefunden werden, die den oben definierten Gesamtabstand minimiert. Der hier benutzte Abstand ist der gewichtete euklidische Abstand und die geschätzte Varianz der Messungen wird als Gewichtungsfaktor benutzt. Diese Minimierung wird in einer dynamischen Programmierumgebung durchgeführt, die mit der bekannten Vorgehensweise der Ebenenkonstruktion gut vergleichbar ist, siehe C.S. Myers und L.R. Rabiner, "A Level Building Dynamic Time Wraping Algorithm for Connected Word Recognition", IEEE Trans. ASSP, Band 29, Nr. 2, April 1981, S. 284-297. Das hier genutzte Verfahren ist im Wesentlichen iterativ und wird fortgesetzt, bis keine weitere Verbesserung mehr erzielt wird. Jede Wiederholung der Prozedur besteht aus aufeinanderfolgenden Schritten. Im ersten Schritt wird eine optimale Gruppe von Grenzen b&sub1; für eine gegebene Gruppe von Schwerpunkten gesucht. Im zweiten Schritt werden die Schwerpunkte { } und die Varianz unter Verwendung der neu erfassten Segmentierungspunkte aktualisiert. In Hinblick auf die hier benutzte gewichtete Euler-Distanz ist der aktualisierte Schwerpunkt, der eine breite phonetische Klasse darstellt, einfach der arithmetische Mittelwert aller Beobachtungsvektoren für die gegebene Gruppe von Segmentierungspunkten. Der erste Schritt beginnt mit der Einheitenvarianz und Schwerpunkten, die idealisierte breite phonetsiche Klassen darstellen:
- Minimale, durchschnittliche und maximale Dauer eines BPC-Elementes sind gleich der Summe der entsprechenden Größen für die Phoneme, aus denen ein BPC-Segment besteht. Informationen über minimale und maximale'Dauer der Phoneme sind in der Literatur zu finden. Diese Informationen über minimale und maximale Dauer werden benutzt, um die Suche nach BPC-Grenzen durch die Vorgabe von Ober- und Untergrenzen für das Intervall, in dem ein BPC-Segment liegen kann, zu begrenzen. Die durchschnittliche Dauer schließlich dient zum Skalieren der minimalen und der maximalen Dauer im Verhältnis zur tatsächlichen Länge der Äußerung.
- Fig. 3 zeigt das Ergebnis der ersten BPC-Segmentierung als kumulative Bruchteile, die weniger als eine bestimmte Marge von den manuell ermittelten Übergangspunkten abweichen. Wie abgebildet, werden 82% der Übergänge in zufriedenstellender Weise lokalisiert, da die Marge kleiner als 20 ms ist.
- Aus der oben geschilderten Segmentierung ergeben sich Ankerpunkte für die weitere Verarbeitung der Sprache. Im Allgemeinen würde diese Verarbeitung sich auf die Segmentierung jedes BPC-Elementes in seine phonemartigen Einheiten reduzieren, aus denen es sich zusammensetzt. Spezieller werden die Äußerungen in aufeinanderfolgende quasi-stationäre Elemente segmentiert. Aufgrund der Forderung der Stationärheit werden Diphthonge und Plosive weiter in ihre zusammensetzenden Phoneme unterteilt. Auch hier müssen die Segmentgrenzen und Schwerpunkte gefunden werden, die die Gesamtverzerrung minimieren, was auf eine iterative Weise geschieht, die der Vorgehensweise in der vorhergehenden Phase ähnelt. Für den ersten Iterationsschritt wird der Schwerpunkt definiert als der Vektor, der die Verzerrung über alle Hypothesen minimiert, die die gleiche Kennung besitzen und in einer einzigen Beobachtungssequenz O = (bl-1+1),...(bl) zusammengefasst sind.
- Auf diese Weise erhält man Schwerpunkte aus den vorliegenden Beobachtungen, was den offensichtlichen Vorteil hat, dass keine Vorkenntnisse erforderlich sind. Die erste SCQV-Iteration erfolgt durch ebenenkonstruierende dynamische Programmierung. Das Schema der zweiten Iteration ist das Gleiche wie bei der vorhergehenden BPC- segmentierenden Phase. Der in der ersten Iteration gefundene Phonem-Schwerpunkt wird im nächsten Schritt als Referenz verwendet, wodurch der Prozess auf einen Schablonenpaarigkeitsvergleich reduziert wird. Im dritten und letzten Schritt wird ein Schwerpunkt für jedes Auftreten einer Kennung berechnet. Weitere Iterationen führen zu keiner weiteren Verbesserung. Fig. 4 zeigt die Phonem-Segmentierung mit Hilfe der Ankerpunkte, die durch die erste Phase erzeugt wurden. Im Gegensatz zur BPC-Phase beziehen sich die Kennungen hier auf etwa fünfzig verschiedene Phonem-Klassen. Angesichts der wesentlich größeren Anzahl von Klassen ist die Segmentierung sicherlich akzeptabler als die Segmentierung der ersten Phase: bei ca. 70% aller Klassen war die Abweichung von der manuellen Segmentierung kleiner als 20 ms.
- Durch die Berücksichtigung der statistischen Veränderlichkeit der Sprache wird das mit der sequenzbegrenzten Vektorquantisierung erzielte Ergebnis durch die Verwendung von Hidden-Markov-Modellen weiter verbessert. Insgesamt wurden erneut etwa 50 verschiedene phonemartige Einheiten benutzt, wobei jede ein eigenes HMM bekamen.
- Um die Realisierung einer vollautomatischen Prozedur sicherzustellen, werden die HMMs mit den in der SCQV-Phase erhaltenen Ergebnissen initialisiert. Jede phonemartige Einheit - mit Ausnahme der Burst-Einheit - erhält eine einfache HMM-Topologie von links nach rechts mit sechs Zuständen und enthält Selbstschleifen und direkte Übergänge zur nächsten Stufe; aus diesem Grund beträgt die Dauer mindestens sechs Fenster von jeweils 5 ms, und diese Fenster sind kürzer als die weiter oben betrachteten. Ein burstartiges Segment wird durch ein 2-Stufen-Modell mit der gleichen Art von Selbstschleifen und Übergängen dargestellt.
- Die Emissionsverteilungen sind von kontinuierlicher Art. Jeder Beobachtungsvektor ist in 4 Teilvektoren unterteilt, die folgendes darstellen:
- - Momentane Merkmale (16-Kanal-Filterbank-Analyse);
- - die erste und die zweite finite Differenz dieser Merkmale, wie in Bezug auf die vorhergehenden Fenster bestimmt;
- - Energiedaten.
- Die Emissionswahrscheinlichkeitsdichte für jeden Teilvektor ist eine multivariante Gaußsche Mischungsverteilung.
- Die HMM-Parameter werden folgendermaßen justiert. Man betrachtet eine bestimmte phonemartige Einheit und die Gruppe der Beobachtungssequenzen, die in der SCVQ-Phase hierfür herausgeschnitten wurden. Das HMM dieser phonemartigen Einheit wird initialisiert, indem die akustischen Vektoren von jeder Beobachtungssequenz gleichmäßig auf die 6 (oder 2) HMM-Zustände dieser Einheit verteilt werden. Dies hat zur Folge, dass jedem Zustand des Modells durch die gleichmäßige Verteilung auf die Zustände spezifische akustische Vektoren in einer Beobachtung zugeordnet werden. Als nächstes wird ein k-Mittel-Algorithmus verwendet, um diese akustischen Vektoren in Cluster aufzuteilen, aus denen Anfangswerte für die Parameter der Mischungsverteilung berechnet werden können. Siehe auch J.G. Wilpon und L.R. Rabiner, "A Modified K-Means Clustering Algorithm for Use in Isolated Word Recognition", IEEE Trans. ASSP, Band 33, Nr. 3, Juni 1985, S. 587 - 594.
- Diese Parameter sind Mittelvektoren, Kovarianzmatrizen der Komponentendichten und Mischungsgewichte. Die Übergangswahrscheinlichkeiten werden bei willkürlichen Werten ungleich Null initialisiert. Hat man diese anfänglichen HMMs einmal erhalten, wird ein überwachtes Viterbi-Training angewendet, was zu einer neuen Segmentierung führt. Hieraus können aktualisierte HMM-Parameter berechnet werden. Letztere umfassen Übergangswahrscheinlichkeiten unter Verwendung der Übergangsstatistiken zwischen aus dem Ausrichtungspfad geholten Zuständen. Anschließend erfolgt eine Feinabstimmung der Modelle durch Schätzung der Parameter gemäß Baum-Welch für jede vollständige Äußerung.
- Schließlich werden die vollständig trainierten HMMs benutzt, um eine Viterbi-Ausrichtung von jedem Wort in der Datenbank auf sein phonetisches Transkript durchzuführen. Dadurch erhält man die endgültigen Segmentierungspunkte. Fig. 5 zeigt das Ergebnis; die Verbesserung im Vergleich zur SCQV-Segmentierung aus Fig. 4 ist beeindruckend: bei nahezu 90% der Übergänge ist die Abweichung kleiner als 20 ms.
Claims (6)
1. Verfahren zur automatischen Sprachsegmentierung zur Verwendung in
Sprachverarbeitungsanwendungen, wobei das genannte Verfahren die folgenden Schritte
umfasst:
- Klassifizieren und Segmentieren von Äußerungen aus einer
Sprachdatenbank in die drei breiten phonetischen Klassen (BPC) stimmhaft, stimmlos und still zum
Erhalten von vorläufigen Segmentierungspositionen;
- Verwenden der vorläufigen Segmentierungspositionen als Ankerpunkte zur
weiteren Segmentierung in phonemartige Einheiten durch sequenzbegrenzte
Vektorquantisierung (sequence-constrained vector quantization) in einem SCVQ-Schritt;
- Initialisieren von Phonem-Hidden-Markov-Modellen mit den durch den
SCVQ-Schritt gelieferten Segmenten und weitere Abstimmung der HMM-Parameter durch
Baum-Welch-Schätzung;
- schließlich Verwenden der vollständig trainierten HMMs zur Durchführung
einer Viterbi-Ausrichtung der Äußerungen in Bezug auf ihre phonetische Transkription und
auf diese Weise Erhalten der endgültigen Segmentierungspunkte.
2. Verfahren nach Anspruch 1, wobei nach der genannten Segmentierung eine
Diphongruppe zur weiteren Nutzung zusammengestellt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei es sich bei der genannten
Sprachverarbeitung um Sprachsynthese handelt.
4. Vorrichtung zur Sprachsegmentierung zur Verwendung in
Sprachverarbeitungsanwendungen, wobei die genannte Vorrichtung folgendes umfasst:
- BPC-Segmentierungsmittel (26), die durch eine Sprachdatenbank gespeist werden und zur
Klassifzierung und Segmentierung der empfangenen Äußerungen in die drei breiten
phonetischen Klassen (BPC) stimmhaft, stimmlos und still dienen, um vorläufige
Segmentierungspositionen zu erhalten;
- SCVQ-Segmentierungsmittel (28), die durch die genannten BPC-Segmentierungsmittel
gespeist werden, um unter Verwendung der vorläufigen Segmentierungspositionen als
Ankerpunkte
eine weitere Segmentierung in phonemartige Einheiten durch sequenzbegrenzte
Vektorquantisierung (SCVQ) durchzuführen;
- Phonem-Hidden-Markov-Modell-(HMM)-Mittel (30), die durch die genannten SCVQ-
Segmentierungsmittel gespeist werden und zur Initialisierung des Phonem-HMMs und zur
weiteren Abstimmung der HMM-Parameter durch Baum-Welch-Schätzung dienen;
- abschließende Segmentierungsmittel (31), die die vollständig trainierten HMMs benutzen,
um eine Viterbi-Ausrichtung der Äußerungen in Bezug auf ihre phonetische Transkription
durchzuführen und auf diese Weise die endgültigen Segmentierungspunkte zu erhalten.
5. Vorrichtung nach Anspruch 4, die diphonerzeugende Mittel enthält, welche
durch die genannten Segmentierungsmittel gespeist werden, um eine Diphongruppe
zusammenzustellen.
6. Vorrichtung nach Anspruch 4 oder 5, die weiterhin eine
Ausgangssteuerungsstufe zur Steuerung einer Sprachsynthese-Ausgangsstufe durch eine
Zwischenspeicherstufe zwischen den genannten Abstimmungsmitteln und der genannten Sprachsynthese-
Ausgangsstufe enthält.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP96200509 | 1996-02-27 | ||
PCT/IB1997/000066 WO1997032299A1 (en) | 1996-02-27 | 1997-01-31 | Method and apparatus for automatic speech segmentation into phoneme-like units |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69712277D1 DE69712277D1 (de) | 2002-06-06 |
DE69712277T2 true DE69712277T2 (de) | 2002-12-19 |
Family
ID=8223721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69712277T Expired - Fee Related DE69712277T2 (de) | 1996-02-27 | 1997-01-31 | Verfahren und vorrichtung zur automatischen sprachsegmentierung in phonemartigen einheiten |
Country Status (7)
Country | Link |
---|---|
US (1) | US6208967B1 (de) |
EP (1) | EP0823112B1 (de) |
JP (1) | JPH11504734A (de) |
KR (1) | KR100422263B1 (de) |
DE (1) | DE69712277T2 (de) |
TW (1) | TW434528B (de) |
WO (1) | WO1997032299A1 (de) |
Families Citing this family (135)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001046945A1 (en) * | 1999-12-20 | 2001-06-28 | British Telecommunications Public Limited Company | Learning of dialogue states and language model of spoken information system |
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
JP4054507B2 (ja) | 2000-03-31 | 2008-02-27 | キヤノン株式会社 | 音声情報処理方法および装置および記憶媒体 |
JP4759827B2 (ja) * | 2001-03-28 | 2011-08-31 | 日本電気株式会社 | 音声セグメンテーション装置及びその方法並びにその制御プログラム |
US7266497B2 (en) * | 2002-03-29 | 2007-09-04 | At&T Corp. | Automatic segmentation in speech synthesis |
US20040004599A1 (en) * | 2002-07-03 | 2004-01-08 | Scott Shepard | Systems and methods for facilitating playback of media |
US7337115B2 (en) * | 2002-07-03 | 2008-02-26 | Verizon Corporate Services Group Inc. | Systems and methods for providing acoustic classification |
WO2004032112A1 (en) * | 2002-10-04 | 2004-04-15 | Koninklijke Philips Electronics N.V. | Speech synthesis apparatus with personalized speech segments |
US7292977B2 (en) * | 2002-10-17 | 2007-11-06 | Bbnt Solutions Llc | Systems and methods for providing online fast speaker adaptation in speech recognition |
US7643990B1 (en) * | 2003-10-23 | 2010-01-05 | Apple Inc. | Global boundary-centric feature extraction and associated discontinuity metrics |
US7409347B1 (en) * | 2003-10-23 | 2008-08-05 | Apple Inc. | Data-driven global boundary optimization |
EP1889255A1 (de) * | 2005-05-24 | 2008-02-20 | Loquendo S.p.A. | Automatische textunabhängige, sprachenunabhänige sprecher-voice-print-erzeugung und sprechererkennung |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US7680657B2 (en) * | 2006-08-15 | 2010-03-16 | Microsoft Corporation | Auto segmentation based partitioning and clustering approach to robust endpointing |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US20080189109A1 (en) * | 2007-02-05 | 2008-08-07 | Microsoft Corporation | Segmentation posterior based boundary point determination |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
CA2657087A1 (en) * | 2008-03-06 | 2009-09-06 | David N. Fernandes | Normative database system and method |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
CA2685779A1 (en) * | 2008-11-19 | 2010-05-19 | David N. Fernandes | Automated sound segment selection method and system |
WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US8924209B2 (en) * | 2012-09-12 | 2014-12-30 | Zanavox | Identifying spoken commands by templates of ordered voiced and unvoiced sound intervals |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3937002A1 (de) | 2013-06-09 | 2022-01-12 | Apple Inc. | Vorrichtung, verfahren und grafische benutzeroberfläche für gesprächspersistenz über zwei oder mehrere instanzen eines digitalen assistenten |
CN105265005B (zh) | 2013-06-13 | 2019-09-17 | 苹果公司 | 用于由语音命令发起的紧急呼叫的***和方法 |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
CN104409080B (zh) * | 2014-12-15 | 2018-09-18 | 北京国双科技有限公司 | 语音端点检测方法和装置 |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US11372917B2 (en) * | 2017-12-27 | 2022-06-28 | Meta Platforms, Inc. | Labeling video files using acoustic vectors |
US11468879B2 (en) | 2019-04-29 | 2022-10-11 | Tencent America LLC | Duration informed attention network for text-to-speech analysis |
US11410642B2 (en) * | 2019-08-16 | 2022-08-09 | Soundhound, Inc. | Method and system using phoneme embedding |
CN112037755B (zh) * | 2020-11-03 | 2021-02-02 | 北京淇瑀信息科技有限公司 | 一种基于音色克隆的语音合成方法、装置及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0515709A1 (de) * | 1991-05-27 | 1992-12-02 | International Business Machines Corporation | Verfahren und Einrichtung zur Darstellung von Segmenteinheiten zur Text-Sprache-Umsetzung |
EP0559349B1 (de) * | 1992-03-02 | 1999-01-07 | AT&T Corp. | Lernverfahren und Gerät zur Spracherkennung |
US5715367A (en) * | 1995-01-23 | 1998-02-03 | Dragon Systems, Inc. | Apparatuses and methods for developing and using models for speech recognition |
-
1997
- 1997-01-31 KR KR1019970707600A patent/KR100422263B1/ko not_active IP Right Cessation
- 1997-01-31 JP JP9530742A patent/JPH11504734A/ja not_active Ceased
- 1997-01-31 EP EP97900707A patent/EP0823112B1/de not_active Expired - Lifetime
- 1997-01-31 WO PCT/IB1997/000066 patent/WO1997032299A1/en active IP Right Grant
- 1997-01-31 DE DE69712277T patent/DE69712277T2/de not_active Expired - Fee Related
- 1997-02-25 US US08/806,873 patent/US6208967B1/en not_active Expired - Fee Related
- 1997-03-10 TW TW086102943A patent/TW434528B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP0823112B1 (de) | 2002-05-02 |
WO1997032299A1 (en) | 1997-09-04 |
KR19990008076A (ko) | 1999-01-25 |
TW434528B (en) | 2001-05-16 |
KR100422263B1 (ko) | 2004-07-30 |
US6208967B1 (en) | 2001-03-27 |
DE69712277D1 (de) | 2002-06-06 |
EP0823112A1 (de) | 1998-02-11 |
JPH11504734A (ja) | 1999-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69712277T2 (de) | Verfahren und vorrichtung zur automatischen sprachsegmentierung in phonemartigen einheiten | |
DE69613338T2 (de) | Verfahren und system zur mustererkennung mittels baumstrukturierten wahrscheinlichkeitsdichten | |
DE69519297T2 (de) | Verfahren und vorrichtung zur spracherkennung mittels optimierter partieller buendelung von wahrscheinlichkeitsmischungen | |
DE602005002706T2 (de) | Verfahren und System für die Umsetzung von Text-zu-Sprache | |
DE69022237T2 (de) | Sprachsyntheseeinrichtung nach dem phonetischen Hidden-Markov-Modell. | |
DE69707876T2 (de) | Verfahren und vorrichtung fuer dynamisch eingestelltes training zur spracherkennung | |
DE3337353C2 (de) | Sprachanalysator auf der Grundlage eines verborgenen Markov-Modells | |
DE69010941T2 (de) | Verfahren und Einrichtung zur automatischen Bestimmung von phonologischen Regeln für ein System zur Erkennung kontinuierlicher Sprache. | |
EP1159734B1 (de) | Verfahren und anordnung zur ermittlung einer merkmalsbeschreibung eines sprachsignals | |
DE69524036T2 (de) | Vorrichtung zur erkennung von gesprächsthemen | |
DE69719654T2 (de) | Grundfrequenzmuster enthaltende Prosodie-Datenbanken für die Sprachsynthese | |
DE10042944C2 (de) | Graphem-Phonem-Konvertierung | |
DE60126564T2 (de) | Verfahren und Anordnung zur Sprachsysnthese | |
DE69032777T2 (de) | Spracherkennung unter Anwendung von Stichwörtern und Nichtstichwörter-Modellierung | |
DE69818231T2 (de) | Verfahren zum diskriminativen training von spracherkennungsmodellen | |
DE69523219T2 (de) | Anpassungsfähiges Lernverfahren zur Mustererkennung | |
DE69713452T2 (de) | Verfahren und System zur Auswahl akustischer Elemente zur Laufzeit für die Sprachsynthese | |
DE3242866C2 (de) | ||
DE69519887T2 (de) | Verfahren und Vorrichtung zur Verarbeitung von Sprachinformation | |
DE69722980T2 (de) | Aufzeichnung von Sprachdaten mit Segmenten von akustisch verschiedenen Umgebungen | |
DE602004012909T2 (de) | Verfahren und Vorrichtung zur Modellierung eines Spracherkennungssystems und zur Schätzung einer Wort-Fehlerrate basierend auf einem Text | |
DE69414752T2 (de) | Sprecherunabhängiges Erkennungssystem für isolierte Wörter unter Verwendung eines neuronalen Netzes | |
DE68924134T2 (de) | Spracherkennungssystem. | |
EP3010014B1 (de) | Verfahren zur interpretation von automatischer spracherkennung | |
DE69613293T2 (de) | Vorrichtung zur Musteranpassung für Sprach- oder Mustererkennung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |