DE68926749T2

DE68926749T2 - Sprachtraining

Info

Publication number: DE68926749T2
Application number: DE68926749T
Authority: DE
Inventors: Frederick Warwick M Stentiford
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 1988-07-25
Filing date: 1989-07-25
Publication date: 1996-10-31
Anticipated expiration: 2009-07-26
Also published as: AU634720B2; US5503560A; KR900702495A; AU4049389A; EP0446208A1; DK11591A; EP0446208B1; DE68926749D1; GB2242772B; ATE139856T1; FI910360A0; WO1990001203A1; GB9004534D0; DK11591D0; GB8817705D0; GB2242772A; JPH04501617A

Description

Diese Erfindung bezieht sich auf Vorrichtungen und Verfahren zum Aussprachetraining, insbesondere, jedoch nicht ausschließlich, zum Trainieren der Aussprache zweiter oder fremder Sprachen.
Solch eine Vorrichtung und ein Verfahren sind z. B. aus der EP-A-0 094 502 bekannt.
Ein Systemtyp, der zur automatischen Übersetzung von Sprache zwischen unterschiedlichen Fremdsprachen verwendet wird, ist in unserer europäischen Patentanmeldung Nr. 026293BA beschrieben. Diese Ausrüstung verwendet Spracherkennung, um in den Äußerungen des Sprechers Wörter zu erkennen, Mustererkennungstechniken, um aus den Sprachäußerungen Bedeutungen abzuleiten, sowie Sprachcodierung, um in einer Fremdsprache Sprache zu erzeugen.
Diese Erfindung verwendet eine ähnliche Technologie, ist jedoch auf eine andere Weise für einen neuen Zweck konfiguriert, nämlich zum Training eines Benutzers zum Sprechen einer Fremdsprache.
Diese Erfindung verwendet Spracherkennung nicht nur, um die gesprochenen Worte zu erkennen, sondern auch, um die Konsistenz der Aussprache zu überprüfen. Es ist ein Merkmal angehender Sprachschüler, daß sie, obwohl sie eine Aussprache nachahmen können, diese leicht vergessen und eine unkorrekte Aussprache behalten, bis sie von einem Fachmann überprüft werden. Eine Maschine, die eine Falschaussprache sowie Übersetzungsungenauigkeiten erkennt, würde einen Schüler befähigen, einen hohen Grad an Fertigkeit zu erreichen, bevor er die Unterstützung eines herkömmlichen Sprachlehrers benötigt, um weitere Fortschritte zu machen. In der Tat sind sehr hohe Ebenen einer linguistischen Fertigkeit möglich, die in den meisten Konversationen, wie z. B. auf kurzen Reisen oder bei der Benutzung des Telephons, nicht erforderlich sind, wobei in diesen Fällen das rechnerunterstützte Aussprachetraining an sich ausreichend ist.
Herkömmliche Verfahren verwenden entweder teuere ausgebildete Lehrkräfte oder passive Aufzeichnungen der Fremdsprache, die nicht die Qualität der Aussprache des Schüler überprüfen.
Einige automatische Systeme erzeugen eine visuelle Anzeige einer Darstellung der Sprache des Schülers, wobei vom Schüler erwartet wird, daß er seine Aussprache ändert, bis die Anzeige einem Standard entspricht. Diese Technik besitzt den Nachteil, daß die Benutzer sehr viel Zeit aufwenden müssen, um auszuprobieren und zu verstehen, wie ihre Sprache mit der visuellen Darstellung zusammenhängt.
Ein weiterer Ansatz (z. B. in Revue de Physique Appliqu e, Bd. 19, Nr. 9, 9. September 1983, S. 595-610, M.T. Janot-Giorgetti u. a. "Utilisation d'un systeme de reconnaissance de la parole comme aide à l'acquisition orale d'une langue etrangere" beschrieben) verwendet eine sprecherunabhängige Erkennung, um Sprachäußerungen mit Standardmustern zu vergleichen. Eine dem Schüler ausgegebene Punktzahl zeigt an, wie gut seine Aussprache mit dem Ideal übereinstimmt. Bis jedoch die sprecherunabhängige Erkennungstechnik perfektioniert ist, können bestimmte Merkmale der Sprecherstimme, wie z. B. die Tonlage, die Vergleichspunkt zahlen nachteilig beeinflussen, wobei diese Merkmale keine relevante Verbindung zur Qualität der Aussprache haben. Ein Schüler kann somit dazu veranlaßt werden, die Tonlage seiner Stimme zu erhöhen, um seine Punktzahl zu verbessern, wobei er eine wichtige Fehlaussprache noch nicht korrigiert hat.
Ferner kann die aktuelle sprecherunabhängige Erkennungstechnik nur ein kleines Vokabular von Wörtern handhaben, ohne eine sehr hohe Fehlerrate zu erzeugen. Dies bedeutet, daß Trainingssysteme auf der Grundlage dieser Technologie keine längeren Sprachäußerungen und Sätze verarbeiten und interpretieren können. Ein Verfahren zum Aussprachetraining von gehörlosen Sprechern ist in Proceedings ICASSP 87, Bd. 1, S. 372-375, D. Kewley-Port u. a. "Speaker-dependant Recognition as the Basis for a Speech Training Aid" beschrieben. Bei diesem Verfahren wählt ein Betreuer die am besten ausgesprochenen Sprachäußerungen eines Sprechers aus, welche dann in Modelle umgesetzt werden. Die Genauigkeit der anschließenden Aussprache des Sprechers wird als eine Funktion der Ähnlichkeit zu diesen Modellen angezeigt (je ähnlicher, desto besser). Dieses System besitzt zwei Nachteile; erstens erfordert es eine menschliche Intervention seitens des Betreuers und zweitens kann der Sprecher seine Aussprache nicht über seine vorangehenden besten Sprachäußerungen hinaus verbessern, sondern lediglich versuchen, diese zu erreichen.
Gemäß der vorliegenden Erfindung wird eine Vorrichtung zum Aussprachetraining geschaffen, mit
- einer Spracherzeugungsvorrichtung zum Erzeugen von Sprachäußerungen; und
- einer Spracherkennungsvorrichtung, die dazu dient, in den Sprachäußerungen eines Schülers Wörter aus einer vorgegebenen ausgewählten Gruppe von Wörtern zu erkennen, wobei die Spracherkennungsvorrichtung eine sprecherabhängige Erkennung verwendet, indem die Sprachäußerungen des Schülers für jedes Wort der Gruppe mit Modellen verglichen werden, wobei die Vorrichtung anfangs die Modelle erzeugt, indem der Schüler aufgefordert wird, jedes Wort der Gruppe auszusprechen, und aus solchen Sprachäußerungen die Modelle gebildet werden, und wobei die Vorrichtung ferner Verbesserungen der Aussprache mit zunehmender Abweichung der nachfolgenden Sprachäußerungen des Schülers von diesen Modellen anzeigt.
Im folgenden werden einige nicht einschränkende Beispiele von Ausführungsformen der Erfindung mit Bezug auf die Zeichnungen beschrieben, in welchen:
Fig. 1 Schritte in einem Verfahren zum Sprachtraining gemäß einem Aspekt der Erfindung zeigt;
Fig. 2 eine Vorrichtung schematisch erläutert, die zur Durchführung eines Aspekts der Erfindung geeignet ist;
Fig. 3 eine Anzeige in einer Vorrichtung zum Sprachtraining gemäß einem weiteren Aspekt der Erfindung zeigt.
Wie in den Fig. 1 und 2 gezeigt, wird bei der ersten Verwendung des dargestellten Systems der Schüler vom System gefragt (entweder unter Verwendung eines Bildschirms und einer Tastatur oder unter Verwendung eines herkömmlichen Sprachsynthesizers und einer sprecherunabhängigen Erkennungsvorrichtung), welche Sprache er lernen möchte und welchen Fachbereich (z. B. Bedienung des Telephons oder Buchung von Hotels) er benötigt. Der Schüler muß dann eine Trainingsprozedur durchführen, so daß die sprecherabhängige Spracherkennungsvorrichtung 1 seine Stimme erkennen kann. Zu diesem Zweck wird der Schüler in der Fremdsprache von einem Sprachgenerator 3, der eine vorher aufgezeichnete Stimme eines Muttersprachlers verwendet, aufgefordert, eine Gruppe von Schlüsselwörtern, die für diesen Fachbereich relevant sind, zu wiederholen. Da gleichzeitig die Quellensprachübersetzung jedes Wortes angezeigt wird, bietet sich dem Schüler die Gelegenheit, das Vokabular zu lernen. Dieser Prozeß dient als passiver Lernschritt, während dem der Schüler seine Aussprache üben kann und Wörter beliebig oft wiederholen kann, bis er glaubt, daß er die Sprachäußerung so genau nachgeahmt hat, wie es ihm möglich erscheint.
Eine Steuereinheit 2 steuert die Folge von Aufforderungen und Antworten. Die Steuereinheit kann günstigerweise ein Personalcomputer (z. B. ein IBM PC) sein.
Diese Sprachäußerungen werden nun als erste Gruppe von Modellen verwendet oder zur Erzeugung derselben verwendet, die in einem Modellspeicher 1a gespeichert sind, um von der Spracherkennungsvorrichtung 1 zur Verarbeitung der Stimme des Schülers verwendet zu werden. Diese Modelle stellen den ersten Versuch des Schülers dar, die perfekte Aussprache des aufgezeichneten Muttersprachlers zu nachzuahmen.
Der zweite Schritt des Trainingsprozesses überprüft einfach die Fähigkeit des Schülers, sich an die Übersetzungen und die Aussprachen des Schlüsselwortvokabulars zu erinnern. Er wird in seiner Quellensprache (entweder visuell auf dem Bildschirm 4 oder verbal vom Sprachgenerator 3) aufgefordert, die Übersetzungen der Schlüsselwörter auszusprechen, die er in der vorangehenden Stufe geübt hat. Nachdem jedes Wort ausgesprochen ist, wiederholt der Sprachgenerator 3 für den Schüler die Fremdwörter, die von der Erkennungsvorrichtung 1 erkannt worden sind, und zeigt das Quellensprachäquivalent an. Falsche Übersetzungen werden registriert, um später im Trainingszyklus wiederholt zu werden. Der Schüler kann die Wörter beliebig oft wiederholen, entweder um seine Aussprache zu verfeinern oder um eine Maschinenfehlerkennung zu korrigieren. Wenn die Erkennungsvorrichtung 1 ein Fremdwort fortlaufend (z. B. öfter als fünfmal) falsch erkennt, entweder aufgrund einer niedrigen Abstandspunktzahl oder weil zwei Wörter mit nahezu gleichen Abständen erkannt worden sind, wird der Schüler aufgefordert, dieses Wort erneut zu wiederholen (vorzugsweise mehrere Male), gefolgt von einer Äußerung eines Muttersprachlers vom Generator 3, so daß ein neues Spracherkennungsmodell erzeugt werden kann, um das ursprüngliche Modell im Speicher 1a zu ersetzen. Eine solche Aktion zeigt in der Tat an, daß der Schüler seine Aussprache verändert hat, nachdem er die Aufforderung mehrere Male gehört hat, und eine genauere Nachahmung des Muttersprachlers erreicht hat. Dieses Verfahren hat gegenüber dem Stand der Technik den Vorteil, daß der Fortschritt des Schülers anhand seiner Abweichung von seinem ursprünglichen (und/oder aktualisierten) Modell gemessen wird, statt anhand seiner Konvergenz zum Modell des Muttersprachlers, wodurch die Probleme aufgrund der Tonlage oder anderer Unterschiede zwischen den zwei Stimmen beseitigt werden. Wenn der Schüler glaubt, daß er das Schlüsselwortvokabular beherrscht, kann er zum dritten Trainingsschritt übergehen.
Der Schüler wird in seiner eigenen Sprache (entweder visuell auf dem Bildschirm 4 oder verbal durch den Generator 3) aufgefordert, verbale Übersetzungen von Wörtern oder vollständigen Sprachäußerungen durchzuführen, die für seinen Interessenbereich relevant sind. Alternativ können diese Aufforderungen die Form eines Dialoges in der Fremdsprache annehmen, auf die der Schüler antworten muß. Ein brauchbares Verfahren zum auffordern ist eine "Lückentext"-Übung, die eine Bildschirmanzeige eines Textabschnitts verwendet, in dem mehrere Wörter fehlen, die der Schüler vervollständigen soll, indem er ausspricht, was er für die fehlenden Wörter hält. Das System funktioniert vorzugsweise auf die gleiche Weise wie das sprachäußerungsbasierte Sprachübersetzungssystem (europäische Anmeldung Nr. 0262938) und erkennt die im voraus trainierten Schlüsselwörter, um die ausgesprochenen Sprachäußerungen zu identifizieren. Das System gibt anschließend die korrekte Antwort/Übersetzung an den Schüler in einer Stimme eines Muttersprachlers zurück und gibt dem Schüler eine Gelegenheit, seine Übersetzung zu wiederholen, falls sie falsch war, falls er mit der Aussprache nicht zufrieden war oder falls die Erkennungsvorrichtung 1 nicht fähig war, die korrekte fremde Sprachäußerung zu identifizieren. In dem Fall, in dem der Schüler nicht entscheiden kann, ob die Erkennungsvorrichtung 1 seine beabsichtigte Bedeutung erkannt hat, kann gleichzeitig die Quellensprachversion der erkannten fremden Sprachäußerung angezeigt werden. Falsch übersetzte Sprachäußerungen werden dem Schüler später im Trainingszyklus erneut (visuell oder verbal) für einen weiteren Übersetzungsversuch vorgelegt.
Wenn die Erkennungsvorrichtung 1 die korrekte Sprachäußerung aufgrund einer schlechten Schlüsselworterkennung und eine Verschiebung der Aussprache des Schülers wiederholt nicht identifizieren kann, wird der Schüler aufgefordert, jedes Schlüsselwort, daß in der richtigen Übersetzung vorliegt, für eine getrennte Erkennung zu wiederholen. Wenn eines oder mehrere dieser Schlüsselwörter fortlaufend falsch erkannt wird, werden wie oben beschrieben neue Modelle erzeugt.
Die Sprachäußerungen werden dem Schüler in einer Reihenfolge zur Übersetzung vorgelegt, die sich nach der Häufigkeit ihrer Verwendung im Interessenbereich richtet. Vorzugsweise ermöglicht das System dem Schüler, das Training an einem beliebigen Punkt zu unterbrechen und zu einem späteren Zeitpunkt fortzusetzen, so daß er so schnell oder so langsam Fortschritte machen kann wie er will.
Der bevorzugte Typ einer Sprachäußerungserkennung (beschrieben in der europäischen Patentanmeldung Nr. 0262938 und in "Machine Translation of Speech". Stentiford & Steer, British Telecom Technology Journal, Bd. 6, Nr. 2, April 1988, S. 116-123) erfordert, daß in ihr enthaltene Sprachäußerungen mit veränderlichen Parametern, z. B. Daten, Zeiten, Orte oder andere Teilsprachäußerungen, in einer hierarchischen Weise behandelt werden sollten. Die Form der Sprachäußerung wird zuerst unter Verwendung eines allgemeinen Satzes von Schlüsselwörtern identifiziert. Ist dies erledigt, kann der Typ des in der Sprachäußerung vorliegenden Parameters abgeleitet und ein spezieller Satz von Schlüsselwörtern verwendet werden, um die Parameterinhalte zu identifizieren. Parameter können in anderen Parametern geschachtelt sein. Als ein einfaches Beispiel kann sich ein Parameter auf eine Hauptstadt beziehen, wobei in diesem Fall die speziellen Schlüsselwörter nur diese Städte umfassen. Während der Schüler die Übersetzung trainiert, können Fehler in Parameterinhalten ebenfalls hierarchisch behandelt werden. Wenn das System die korrekte Form der vom Schüler ausgesprochenen Sprachäußerung identifiziert hat, dieser jedoch eine falsche Parameterübersetzung erzeugt hat, kann der Schüler angewiesen werden, die richtige Übersetzung des Parameters isoliert anzugeben, ohne zur ganzen Sprachäußerung zurückkehren zu müssen.
Die Parameter werden aufgrund ihres Auftretens über einen weiten Bereich von Sprachäußerungen normalerweise aus einem Diskussionsbereich ausgewählt. Es ist daher selbstverständlich, daß der Schüler das spezielle Training für diese Äußerungen durchführen sollte, wenn er mit diesen Probleme zu haben scheint.
Die Schlüsselwörter werden gemäß der Information, die sie enthalten, sowie danach ausgewählt, wie gut sie sich von den in jedem Fachbereich verwendeten Sprachäußerungen unterscheiden. Dies bedeutet, daß es für das System nicht erforderlich ist, jedes Wort zu erkennen, um die ausgesprochene Sprachäußerung zu identifizieren. Dies hat den Vorteil, daß eine Anzahl von Spracherkennungsfehlern toleriert werden kann, bevor die Sprachäußerungsidentifizierung verloren geht. Ferner können richtige Sprachäußerungen trotz der Fehler in der Aussprache, die ein Anfänger erzeugen kann, identifiziert werden. Es ist vernünftig anzunehmen, daß dann, wenn das System Übersetzungversuche mit ihren korrigierten Versionen in Übereinstimmung bringen kann, solche Sprachäußerungen, die aus dem Zusammenhang herausgenommen sind, in der Praxis verständlich sein sollten, wenn Muttersprachler verwendet werden. Dies bedeutet, daß das System dazu neigt, das Training auf gerade jene Abschnitte des Schülerwortschatzes zu konzentrieren, die die größte Mehrdeutigkeit in der Fremdsprache ergeben. Dies kann durch schlechte Aussprache wichtiger Schlüsselwörter oder einfach durch deren Weglassen hervorgerufen werden.
Das beschriebene System schafft daher ein automatisiertes Lernschema, das Sprachschüler schnell auf ein minimales Niveau von Verständlichkeit bringen kann und das insbesondere für beschäftigte Geschäftsleute, die einfach ihre Transaktionen ausführen wollen, oder für Urlauber brauchbar ist, die sich nicht zu sehr um die grammatikalische Genauigkeit kümmern.
Die richtige Aussprache der Sprachäußerungen ist durch die aufgezeichnete Stimme eines Muttersprachlers gegeben, der die geeignete Intonation und Artikulation zwischen Wörtern mitbringt. Der fortgeschrittene Schüler wird aufgefordert, in der gleichen Weise zu sprechen, wobei das System mit der Überprüfung jeder Sprachäußerung fort fährt und die verwendete wortorientierte Technologie fähig ist, mit der zunehmend flüssigen Sprache Schritt zu halten.
Wie in Fig. 3 gezeigt, ist gemäß einem weiteren Aspekt der Erfindung eine visuelle Darstellung des Mundes des Muttersprachlers vorgesehen, um die Artikulation jedes gesprochenen Wortes darzustellen. Diese Anzeige kann herkömmlicher Weise auf einer CRT-Anzeigevorrichtung unter Verwendung einer Gruppe quantisierter Mundformen dargestellt werden, wie in unserer vorangehenden europäischen Patentanmeldung Nr. 0225729A offenbart ist. Ferner kann eine vollständige Gesichtdarstellung verwendet werden.
In einer einfachen Ausführungsform kann die Anzeigevorrichtung in Verbindung mit einem Spiegel montiert sein, so daß der Anwender den Muttersprachler nachahmen kann.
In einer zweiten Ausführungsform kann eine Bildtelephon- Codierungsvorrichtung des in unserem vorangehenden europäischen Patent Nr. 0225729 offenbarten Typs verwendet werden, um eine entsprechende Anzeige des Mundes des Schülers zu erzeugen, so daß er seine Artikulation genau mit derjenigen des Muttersprachlers vergleichen kann. Die zwei Anzeigen können vom Schüler gleichzeitig wiederholt werden, entweder Seite für Seite oder überlagert (wobei in diesem Fall verschiedene Farben verwendet werden können), wobei ein Zeitsprungverfahren verwendet wird, um die Anzeigen auf einander auszurichten.

Claims

1. Vorrichtung zum Aussprachetraining, mit

- einer Spracherzeugungseinrichtung (3) zum Erzeugen von Sprachäußerungen; und

- einer Spracherkennungseinrichtung (1), die so beschaffen ist, daß sie die Sprachäußerungen eines Schülers wortweise mit Modellen einer vorgegebenen ausgewählten Gruppe von Wörtern vergleicht und eine Punktzahl erzeugt, die die Ähnlichkeit zwischen den Sprachäußerungen des Schülers und den Modellen angibt;

dadurch gekennzeichnet, daß die Spracherkennungseinrichtung (1) so beschaffen ist, daß sie eine sprecherabhängige Erkennung verwendet, wobei die Vorrichtung so beschaffen ist, daß sie anfangs die Modelle erzeugt, indem sie den Schüler auffordert, jedes Wort aus der Gruppe auszusprechen, und die Modelle aus diesen Sprachäußerungen bildet, und wobei die Vorrichtung ferner so beschaffen ist, daß sie mit zunehmender Abweichung der folgenden Sprachäußerungen des Schülers von den Modellen die Verbesserungen der Aussprache anzeigt.

2. Vorrichtung nach Anspruch 1, die so beschaffen ist, daß sie die Modelle anhand der folgenden Sprachausdrücke aktualisiert, wenn die Abweichung einen vorgegebenen Schwellenwert überschreitet.

3. Vorrichtung nach Anspruch 1 oder Anspruch 2, die ferner eine Steuereinrichtung (2) enthält, die mit der Spracherzeugungseinrichtung (3) und der Spracherkennungseinrichtung (1) verbunden ist und so beschaffen ist, daß die Vorrichtung im Gebrauch eine Aufforderung erzeugt, auf die ein Schüler durch Sprechen antworten kann, wobei die Spracherkennungseinrichtung so beschaffen ist, daß sie in der Antwort des Schülers das Vorhandensein von Wörtern aus der Gruppe erkennt, und wobei die Spracherzeugungseinrichtung so beschaffen ist, daß sie einen Sprachausdruck in Abhängigkeit davon erzeugt, was die Spracherkennungseinrichtung erkannt hat.

4. Vorrichtung zum Aussprachetraining nach Anspruch 3, die ferner enthält

- eine Redewendungserkennungseinrichtung zum Identifizieren von Redewendungen anhand der Kombination und der Reihenfolge von Wörtern aus der vorgegebenen ausgewählten Gruppe,

wobei im Gebrauch der Schüler aufgefordert wird, durch Aussprechen einer Redewendung zu antworten, und wobei die Redewendungserkennungseinrichtung die Redewendung erkennt und der von die Spracherzeugungseinrichtung erzeugte Sprachäußerung so ausgewählt wird, daß sie eine Antwort auf die Redewendung darstellt.

5. Vorrichtung zum Aussprachetraining nach Anspruch 3 oder Anspruch 4, bei der die Aufforderung eine von der Spracherzeugungseinrichtung (3) erzeugte Sprachäußerung ist.

6. Vorrichtung zum Aussprachetraining nach irgendeinem der vorangehenden Ansprüche, die ferner eine Bilderzeugungseinrichtung zum Erzeugen entsprechender Videobilder eines Mundes umfaßt, wobei ein Schüler aufgefordert wird, die korrekte Aussprache der Sprachäußerungen nachzuahmen.

7. Vorrichtung nach Anspruch 6, die ferner eine Videoanalyseeinrichtung enthält, die so beschaffen ist, daß sie die Mundbewegungen des Schülers analysiert und die entsprechenden synthetisierten und analysierten Mundbewegungen anzeigt.

8. Sprachtrainingsvorrichtung nach irgendeinem der vorangehenden Ansprüche, bei der die Spracherzeugungseinrichtung (3) so beschaffen ist, daß sie Sprachäußerungen einer Sprache im Akzent eines Muttersprachlers dieser Sprache erzeugt.

9. Verfahren zum Aussprachetraining, das umfaßt:

- Auffordern eines Schülers, eine Sprachäußerung auszusprechen, gekennzeichnet durch

- Analysieren der Sprachäußerung unter Verwendung einer sprecherabhängigen Spracherkennung, die Modelle verwendet, die aus den vorangehenden Sprachäußerungen des Schülers abgeleitet sind;

wobei Verbesserungen in der Aussprache durch Messen des Abstandes zwischen der Sprachäußerung und dem Modell gemessen werden; wobei die Bewertung so beschaffen ist, daß eine Vergrößerung des Abstandes einer Ausspracheverbesserung entspricht.

10. Verfahren nach Anspruch 9, das ferner den Schritt enthält: Aktualisieren der Modelle, wenn der Abstand einen vorgegebenen Schwellenwert überschreitet.

11. Verfahren zum Aussprachetraining, das eine Vorrichtung nach irgendeinem der Ansprüche 1 bis 8 verwendet.