DE69923253T2

DE69923253T2 - Verfahren und Vorrichtung zur Spracherkennung

Info

Publication number: DE69923253T2
Application number: DE69923253T
Authority: DE
Inventors: Christian Lindholm; Kari Laurila
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 1998-05-25
Filing date: 1999-03-19
Publication date: 2006-01-05
Anticipated expiration: 2019-03-20
Also published as: JP2000056792A; EP0961263B1; JP2015018276A; FI981154A0; DE69923253D1; FI981154A; EP0961263A3; US6694295B2; EP0961263A2; JP2011175265A; JP5048174B2; US20020032567A1

Description

Die Erfindung bezieht sich auf ein Verfahren zum Erkennen von Sprache und eine das erfindungsgemäße Spracherkennungsverfahren verwendende Einrichtung.
Normalerweise ist es bei Mobiltelefonen möglich, durch einen Telefonnotizblock, bzw. ein Telefonbuch zum Auswählen eines Namens durch das Verwenden des ersten Buchstabens des gesuchten Namens zu blättern. In diesem Fall werden, wenn ein Benutzer während der Suche beispielsweise den Buchstaben "s" drückt, die mit dem Buchstaben "s" beginnenden Namen aus einem Speicher abgerufen. Der Benutzer kann dadurch den Namen, den er sucht, schneller finden, ohne den Inhalt des Notizblocks zum Finden des Namens in alphabetischer Reihenfolge durchblättern zu müssen. Diese Art von Verfahren ist ganz manuell und beruht auf den von dem Benutzer über eine Tastatur eingegebenen Befehlen und das darauf beruhende Durchsuchen des Speichers.
Heutzutage gibt es auch einige Mobilstationen, die Spracherkennungseinrichtungen verwenden, wobei ein Benutzer einen Befehl per Sprache geben kann. Bei diesen Einrichtungen ist die Spracherkennungseinrichtung oft sprecherabhängig, d.h. die Arbeitsweise der Spracherkennungseinrichtung beruht darauf, dass der Benutzer die Spracherkennungseinrichtung Worte lehrt, die die Spracherkennungseinrichtung später erkennen soll. Es gibt auch sogenannte sprecherunabhängige Spracherkennungseinrichtungen, für die keine separate Trainingsphase erforderlich ist. In diesem Fall beruht die Arbeitsweise der Spracherkennungseinrichtung auf einer großen Menge Lehrmaterial, das aus einer großen Stichprobe unterschiedlicher Arten von Sprechern zusammengestellt ist. Eine angemessene Arbeitsweise im Falle eines sogenannten Durchschnittsbenutzers ist typisch für eine sprecherunabhängige Erkennungseinrichtung. Eine sprecherabhängige Spracherkennungseinrichtung arbeitet dementsprechend am besten für die Person, die die Spracherkennungseinrichtung trainiert hat.
In dem Europäischen Patent Nummer EP 0 718 823 ist ein Verfahren zum Umwandeln von Sprachinformationen in maschinenlesbare Daten offenbart, wobei aufgezeichnete Sprachelemente mit vorausgewählten Teilwortsegmenten der diesen spezifischen mechanischen Datenelementen zugeordneten Sprachelemente verglichen werden. Vor dem Vergleich werden die für die technische Anlage relevanten Hauptsprachelemente ausgewählt. Die Auswahl eines Teilwortsegments wird beruhend auf einem vorhergehenden Vollwortsegment gemäß der räumlichen Position des Benutzers und/oder der Gestik des Benutzers und/oder der Blickrichtung des Benutzers und/oder der Sprachrichtung des Benutzers getroffen. Die Auswahl eines Teilwortsegments vermindert die Komplexität des Wortsegments während der Spracheingabe. Das Spracherkennungsmodul enthält einen Filter zur Auswahl von Hauptsprachelementen.
Es ist für beide vorstehend genannte Spracherkennungseinrichtungen typisch, dass die Leistung der Spracherkennungseinrichtung stark vom Umfang eines verwendeten Wortschatzes abhängt. Es ist für Spracherkennungseinrichtungen gemäß dem Stand der Technik auch typisch, dass sie auf eine bestimmte Anzahl an Wörtern beschränkt sind, die die Spracherkennungseinrichtung erkennen kann. Bei Mobilstationen wird für einen Benutzer beispielsweise ein Maximum von 20 Namen bereitgestellt, die er in einem Notizblock innerhalb des Telefons per Sprache speichern kann, und wobei er diese gespeicherten Namen in Verbindung mit einer Sprachauswahl entsprechend verwenden kann. Es ist ziemlich offensichtlich, dass eine derartige Zahl in gegenwärtigen und zukünftigen Anwendungen nicht ausreichen wird, bei denen die Aufgabe besteht, die Zahl der zu erkennenden Worte wesentlich zu erhöhen. Während sich die Zahl der zu erkennenden Worte beispielsweise um das Zehnfache erhöht, ist es mit den aktuellen Verfahren nicht möglich, die gleiche Spracherkennungsleistung wie bei Verwendung eines kleineren Wortschatzes zu erhalten. In Endeinrichtungen ist ein weiterer begrenzender Faktor beispielsweise das Erfordernis eines verwendbaren Speichers, der sich selbstverständlich erhöht, wenn sich der Wortschatz der Spracherkennungseinrichtung erweitert.
In aktuellen Spracherkennungseinrichtungen gemäß dem Stand der Technik kann die Aktivierung einer Spracherkennungseinrichtung per Sprache unter Verwendung eines bestimmten Aktivierungsbefehls wie beispielsweise "AKTIVIEREN" implementiert sein, woraufhin die Spracherkennungseinrichtung aktiviert und zum Empfangen von Befehlen von dem Benutzer bereit ist. Eine Spracherkennungseinrichtung kann auch mit einer separaten Taste aktiviert werden. Es ist für sprachaktivierte Spracherkennungseinrichtungen typisch, dass die Aktivierungsleistung vom Lärmpegel der Umgebung abhängig ist. Der Lärmpegel der Umgebung beeinflusst auch während der Arbeitsweise der Spracherkennungseinrichtung stark die erreichbare Leistung der Spracherkennungseinrichtung. Es kann festgestellt werden, dass kritische Parameter für die Leistung einer Spracherkennungseinrichtung der Umfang des Wortschatzes und die Lärmbedingungen der Umgebung sind.
Ein weiteres bekanntes Spracherkennungssystem ist in der US 4 866 778 offenbart, bei dem ein Benutzer einen Teil-Wortschatz von Wörtern durch das Auswählen einer Anfangsfolge eines oder mehrerer Buchstaben zum Veranlassen der Durchführung der Erkennung gegenüber dem auf mit diesen Anfangsbuchstaben beginnende Wörter beschränkten Teil-Wortschatz auswählen kann.
Wir haben nun ein Verfahren und eine Einrichtung zur Spracherkennung erfunden, deren Aufgabe das Vermeiden oder zumindest das Vermindern der vorstehend genannten Probleme im Stand der Technik ist. Die vorliegende Erfindung bezieht sich auf eine Einrichtung und ein Verfahren, wobei es einem Benutzer erlaubt ist, während der Spracherkennung ein Abfragekriterium anzugeben, mittels dessen eine Spracherkennung ausschließlich auf die Sprachmodelle beschränkt ist, die dem vom Benutzer bereitgestellten Abfragekriterium entsprechen. In diesem Fall wird lediglich ein bestimmter während der Spracherkennung zu verwendender Teilsatz aus den vorgespeicherten Sprachmodellen ausgewählt.
Gemäß einem Ausführungsbeispiel der Erfindung wird eine Spracherkennungseinrichtung gleichzeitig mit der Bereitstellung eines die Spracherkennung beschränkenden Abfragekriteriums durch das Berühren der Einrichtung durch die Verwendung der bestehenden Tastatur oder des/r bestehenden berührungsempfindlichen Schirms/Grundfläche der Einrichtung aktiviert. Die Aktivierung ist vorzugsweise mit einer Taste implementiert. Ein erfindungsgemäßes Verfahren bietet dem Benutzer einem logischen Weg zum Aktivieren der Spracherkennungseinrichtung, wobei sie zur gleichen Zeit zusammen mit dem eingegebenen Abfragekriterium eine verbesserte Leistung der Spracherkennungseinrichtung bereitstellt. Die erfindungsgemäße Beschränkung der Spracherkennung kann auch unabhängig von der Aktivierung der Spracherkennungseinrichtung implementiert werden.
Gemäß einem Ausführungsbeispiel der Erfindung umfasst die Einrichtung einen berührempfindlichen Schirm oder eine berührempfindliche Oberfläche (Grundfläche), wobei die Informationen über den auf dem Schirm geschriebenen Buchstaben oder über die mehreren Buchstaben zu der Spracherkennungseinrichtung übertragen werden, woraufhin die Spracherkennung auf Wörter beschränkt wird, in denen die fraglichen Buchstaben auftreten. Eine Spracherkennung wird am Besten auf einen Namen beschränkt, der mit dem von dem Benutzer auf den Berührschirm geschriebenen Buchstaben beginnt.
Gemäß einem Ausführungsbeispiel der Erfindung kann die Spracherkennung auch durch das Verwenden aller gespeicherten Modelle im voraus und das Verwenden des von dem Benutzer bereitgestellten beschränkenden Abfragekriteriums, wenn das endgültige Erkennungsergebnis definiert wird, implementiert werden.
Gemäß einem ersten Gesichtspunkt der Erfindung ist ein Verfahren zum Erkennen einer Äußerung eines Benutzers mit einer Mobileinrichtung bereitgestellt, wobei ein Satz von Modellen der Äußerungen zuvor und zur Spracherkennung gespeichert wurde, wobei die Äußerung des Benutzers empfangen wird, die Äußerung des Benutzers mit den vorgespeicherten Modellen verglichen wird, und auf der Grundlage des Vergleichs eine Erkennungsentscheidung getroffen wird, wobei das Verfahren dadurch gekennzeichnet ist, dass

– es dem Benutzer erlaubt ist, durch ein Berühren der Mobileinrichtung ein den Vergleich beschränkendes Abfragekriterium bereitzustellen, wobei das Abfragekriterium ein Element in einer Menüstruktur der Mobileinrichtung identifiziert,
– ein Teilsatz von Modellen auf der Grundlage des von dem Benutzer bereitgestellten Abfragekriteriums aus den gespeicherten Modellen ausgewählt wird, wobei der Teilsatz der Modelle Unterelemente der Menüstruktur identifiziert, und
– ein Vergleich zum Treffen der Erkennungsentscheidung durch Vergleichen der Äußerung des Benutzers mit dem Teilsatz der Modelle durchgeführt wird.

Gemäß einem zweiten Gesichtspunkt der Erfindung ist ein Verfahren zum Erkennen einer Äußerung eines Benutzers mit einer Mobileinrichtung bereitgestellt, wobei ein Satz von Modellen der Äußerungen zuvor und zur Spracherkennung gespeichert wurde, wobei die Äußerung des Benutzers empfangen wird, die Äußerung des Benutzers mit den vorgespeicherten Modellen verglichen wird, und auf der Grundlage des Vergleichs eine Erkennungsentscheidung getroffen wird, wobei das Verfahren dadurch gekennzeichnet ist, dass

– ein Vergleich zum Treffen einer ersten Erkennungsentscheidung durch Vergleichen der Äußerung des Benutzers mit den vorgespeicherten Modellen ausgeführt wird,
– der Benutzer durch ein Berühren der Mobileinrichtung zur Auswahl eines Teilsatzes von Modellen ein den Vergleich beschränkendes Abfragekriterium bereitstellen kann, wobei das Abfragekriterium ein Element in einer Menüstruktur der Mobileinrichtung identifiziert und der Teilsatz der Modelle Unterelemente der Menüstruktur identifiziert,
– ein endgültiger Vergleich zum Treffen der Erkennungsentscheidung durch ein Vergleichen der ersten Erkennungsentscheidung mit dem Teilsatz der Modelle ausgeführt wird.

Gemäß einem dritten Gesichtspunkt der Erfindung ist eine Mobileinrichtung mit einer Spracherkennungseinrichtung zum Erkennen der Äußerung eines Benutzers, einer Speichereinrichtung zum Speichern von Sprachmodellen und einer Einrichtung zum Empfangen der Äußerung des Benutzers, und Vergleichseinrichtungen zum Ausführen des Erkennungsvorgangs durch Vergleichen der Äußerung des Benutzers mit den in der Speichereinrichtung gespeicherten Modellen bereitgestellt, die dadurch gekennzeichnet ist, dass die Einrichtung auch eine Einrichtung zum Empfangen eines Abfragekriteriums von dem Benutzer durch das Berühren der Einrichtung, eine Einrichtung zum Auswählen eines Satzes aus den gespeicherten Modellen auf der Grundlage des von dem Benutzer empfangenen Abfragekriteriums zur Beschränkung des von den Vergleichseinrichtungen ausgeführten Vergleichs mit dem Satz der Modelle, und eine Einrichtung zum Speichern einer Menüstruktur der Mobileinrichtung und zum Identifizieren des empfangenen Abfragekriteriums als Element in einer Menüstruktur der Mobileinrichtung umfasst.
Es zeigen:
1 die Struktur einer Spracherkennungseinrichtung gemäß dem Stand der Technik als Blockdiagramm,
2 die Struktur einer Spracherkennungseinrichtung gemäß der Erfindung als Blockdiagramm,
3 die Arbeitsweise eines erfindungsgemäßen Verfahrens als Ablaufdiagramm,
4 die Arbeitsweise eines anderen erfindungsgemäßen Verfahrens als Ablaufdiagramm, und
5 die Struktur einer ein erfindungsgemäßes Verfahren verwendenden Mobilstation.
1 zeigt die Ablaufdiagrammstruktur einer bekannten Spracherkennungseinrichtung, bei der die Erfindung anwendbar ist. Typischerweise ist die Arbeitsweise der Spracherkennungseinrichtung in zwei unterschiedliche Hauptaktivitäten aufgeteilt: eine tatsächliche Spracherkennungsphase 10-12, 14-15 und eine Sprachtrainingsphase 10-13, wie in 1 gezeigt. Die Spracherkennungseinrichtung empfängt von einem Mikrophon als Eingabeeinrichtung ein Sprachsignal S(n), das von einem A/D-Wandler 10 beispielsweise bei Verwendung einer Abtastfrequenz von 8kHz und einer 12-Bit Auflösung pro Abtastwert in eine digitale Form gewandelt wird. Typischerweise umfasst die Spracherkennungseinrichtung einen sogenannten Vorrechner 11, wobei das Sprachsignal analysiert und ein Merkmalsvektor 12 modelliert wird, der das Sprachsignal während einem bestimmten Zeitabschnitt beschreibt. Der Merkmalsvektor wird beispielsweise in 10ms-Intervallen bestimmt. Der Merkmalsvektor kann unter Verwendung mehrerer unterschiedlicher Verfahren modelliert werden. Unterschiedliche Arten von Verfahren zum Modellieren eines Merkmalsvektors wurden beispielsweise in der Druckschrift J. Picone, "Signal modeling techniques in speech recognition", IEEE Proceedings, Vol. 81, Nummer 9, S. 1215-1247, September 1993 dargestellt. Während der Trainingsphase werden in einem Trainingsblock 13 der Spracherkennungseinrichtung mittels des Merkmalsvektors 12 Modelle für die von der Spracherkennungseinrichtung verwendeten Worte erstellt. Beim Modelltraining 13a wird ein Modell für das zu erkennende Wort bestimmt. In der Trainingsphase kann eine Wiederholung des zu modellierenden Wortes verwendet werden. Die Modelle werden in einem Speicher 13b gespeichert. Während der Spracherkennung wird der Merkmalsvektor 12 zu einer tatsächlichen Erkennungseinrichtung 14 übertragen, die in einem Block 15a die während der Trainingsphase erstellten Modelle mit den aus der zu erkennenden Sprache zu erstellenden Merkmalsvektoren vergleicht, und die Entscheidung über das Erkennungsergebnis wird in einem Block 15b getroffen. Das Erkennungsergebnis 15 bezeichnet das in dem Speicher der Spracherkennungseinrichtung gespeicherte Wort, das dem Wort am besten entspricht, das von einer die Spracherkennungseinrichtung verwendenden Person geäußert wurde.
2 zeigt die Arbeitsweise einer erfindungsgemäßen Spracherkennungseinrichtung, bei der die Spracherkennungseinrichtung zusätzlich zu der Lösung gemäß 1 einen Block 16 umfasst, in dem die Auswahl der Modelle auf der Grundlage der durch einen Benutzer beispielsweise durch eine Tastatur erteilten Befehle ausgeführt wird. Der Block 16 empfängt als Eingabe ein Signal 17, das die Informationen enthält, auf welche Taste der Benutzer gedrückt hat. In dem Block 16 werden durch den Block 13b übertragene Sprachmodelle 18 mit dem Signal 17 verglichen und ein Teilsatz 19 wird aus diesen ausgewählt und zu dem Block 15a der Spracherkennungseinrichtung übertragen. Die Auswahl der sich auf die Arbeitsweise des Blockes 16 beziehenden Modelle wird nachstehend unter Verwendung einer erfindungsgemäßen Speicherstruktur beschrieben.
Tabelle 1
Tabelle 2
Die Tabelle 1 zeigt eine erfindungsgemäße Speicherstruktur, die beispielsweise ein Telefonbuch einer Mobilstation oder einen Teil davon bilden kann. Der Speicher umfasst den Namen einer Person, eine dem Namen zugehörige Telefonnummer, sowie ein während der Spracherkennungstrainingsphase erstelltes Referenzmodell (beispielsweise einen Merkmalsvektor). Die Tabelle zeigt als Beispiel eine Zeile der Tabelle, in der der Name einer Person "Smith", eine zugehörige Telefonnummer "0405459883", sowie ein ein Referenzmodell "xxx...x" enthaltendes Datenfeld gespeichert sind. Die Länge des Referenzmodells ist ein für eine Spracherkennungseinrichtung spezifischer Parameter und daher hängt die Feldlänge von der verwendeten Spracherkennungseinrichtung ab. Erfindungsgemäß geht die Verarbeitungseinrichtung der Einrichtung, wenn ein Benutzer eine bestimmte Taste der Einrichtung wie beispielsweise die Taste "s" drückt, den Inhalt des Speichers durch und vergleicht den Inhalt des den Namen enthaltenden Datenfeldes und ruft lediglich die mit dem Buchstaben "s" beginnenden Namen aus dem Speicher ab. Der Vergleich kann beispielsweise durch das Vergleichen des ASCII-Zeichens der gedrückten Taste mit dem ASCII-Zeichen des ersten Buchstabens des Namens im Speicher ausgeführt werden und durch das Auswählen des dem Namen zugehörigen Referenzmodells unter der Voraussetzung, dass die Buchstaben einander beim Vergleich entsprechen. Die Informationen über die ausgewählten Referenzmodelle (Teilsatz) werden dann zu der Spracherkennungseinrichtung übertragen, woraufhin die Spracherkennungseinrichtung die Spracherkennung unter Verwendung der sich auf die vorstehend ausgewählten Namen beziehenden Modelle ausführt.
Der Benutzer kann ferner auch eine weitere Taste wie beispielsweise die Taste "m" drücken, woraufhin die Spracherkennung auf mit der Buchstabenkombination "Sm" beginnende Namen beschränkt wird. In diesem Fall kann die Zahl zu erkennender Namen weiter beschränkt werden, d.h. der Teilsatz von Modellen nimmt ab. Außerdem ist es auch möglich, dass der Speicher andere Felder als das vorstehend genannte Namensfeld enthält, auf Grundlage derer die Spracherkennungseinrichtung erfindungsgemäß aktiviert wird. Der Telefonspeicher einer Einrichtung, beispielsweise einer Mobilstation, kann beispielsweise ein Feld enthalten, das anzeigt, ob eine bestimmte Nummer eine Mobilstationsnummer ist oder nicht. In diesem Fall kann das Speicherfeld beispielsweise ein Element "GSM" enthalten, wobei, wenn der Benutzer dieses Feld aktiviert, ausschließlich die GSM-Nummern ausgewählt werden und nicht die anderen wie beispielsweise Festnetz- oder Faxnummern. Die Erfindung ist somit nicht darauf beschränkt, dass die Arbeitsweise der Spracherkennungseinrichtung von dem von dem Benutzer ausgewählten Buchstaben gesteuert wird, sondern der Benutzer kann beispielsweise auch gemäß einer anderen Klassifikation Namen aus einem Telefonbuch auswählen. Die Namen in einem Telefonbuch können beispielsweise in Klassen wie "Daheim", "Büro", "Freunde" aufgeteilt sein, ein Fall, bei dem die Mobilstation einen bequemen Weg, aus dem Menü beispielsweise die Klasse "Freunde" auszuwählen, bereitstellen kann, wobei die Spracherkennung erfindungsgemäß auf die Namen in dieser Klasse gerichtet ist. Die Mobilstation kann auch eine Tastatur umfassen, wobei mehrere unterschiedliche Zeichen in einer bestimmten Taste kombiniert sind. Die Buchstabensymbole "j, k, l" können beispielsweise in der numerischen Taste "5" enthalten sein. In diesem Fall kann die Erfindung derart angewendet werden, dass, wenn der Benutzer die Taste "5" drückt, die Spracherkennungseinrichtung aktiviert ist, so dass sie bei der Spracherkennung auf mit den Buchstaben "j", "k" oder "l" beginnende Namen beschränkt ist. In einem Ausführungsbeispiel der Erfindung kann die Spracherkennung, wenn der Benutzer die Taste SENDEN drückt, erfindungsgemäß beispielsweise auf die zuletzt getätigten Anrufe (beispielsweise die letzten 10 Anrufe) beschränkt werden. In diesem Fall kann ein Anruf beispielsweise durch das Drücken und Halten der Taste SENDEN begonnen werden, während der Benutzer gleichzeitig den zu erkennenden Namen ausspricht, wobei die Spracherkennung auf einen den Namen/das Symbol der letzten 10 Anrufe enthaltenden Teilsatz von Modellen beschränkt ist.
Die Spracherkennungseinrichtung wird am Besten durch ein Drücken und Halten aktiviert, wobei die Einrichtung (Spracherkennungseinrichtung) durch das Drücken und Halten der fraglichen Taste informiert wird, dass der Beginn einer Spracherkennung gewünscht wird. Gleichzeitig werden die Informationen über die gedrückte Taste zu der Spracherkennungseinrichtung übertragen, d.h. die Spracherkennung wird beispielsweise auf mit dem Buchstaben auf der Taste beginnende Worte beschränkt, wobei lediglich die vom Benutzer gewünschten Referenzmodelle aktiviert werden. Es ist auch erfindungsgemäß, dass die Spracherkennungseinrichtung auf eine andere Weise als durch das Drücken einer Taste, beispielsweise per Sprache, aktiviert wird. In diesem Fall kann nach der Aktivierung der Spracherkennungseinrichtung während der Spracherkennung die erfindungsgemäße, wie vorstehend dargestellte Referenzmodellauswahl verwendet werden.
Eine erfindungsgemäße Anordnung kann auch für die Menüstruktur einer Mobilstation gebildet werden, wie in Tabelle 2 gezeigt. Die Tabelle 2 zeigt einen bestimmten Teil der Menüstruktur eines Telefons. In diesem Beispiel besteht das Hauptmenü aus den Menüs "Telefoneinstellungen", "Mitteilungen" und "Speicherfunktionen". Das Menü "Mitteilungen" besteht entsprechend aus den Untermenüs "Mitteilungen Lesen" und "Miteilungen Schreiben". Wenn ein Benutzer des Telefons eine Menüfunktion per Sprache oder durch das Drücken einer Menütaste auswählt, wird die Aktivierung auf die Punkte in dem Menü beschränkt. In dem Beispiel richtet sich eine Sprachaktivierung auf die Menüs "Telefoneinstellungen", "Mitteilungen" und "Speicherfunktionen". Der Benutzer kann ferner per Hand das Untermenü "Mitteilungen" auswählen, ein Fall, bei dem eine Sprachaktivierung auf die Punkte "Mitteilungen Lesen" und "Miteilungen Schreiben" des fraglichen Menüs gerichtet ist. Das vorstehend beschriebene Verfahren kann auch für externe Dienste für eine Mobilstation und deren Aktivierung angewendet werden. In diesem Fall ist eine bestimmte Taste der Mobilstation für einen bestimmten Dienst wie beispielsweise einen WWW-Dienst (World Wide Web) definiert. In diesem Fall ermöglicht das Drücken und Halten der fraglichen Taste beispielsweise die Auswahl eines Lesezeichens ("Bookmarks") von WWW-Adressen durch die Verwendung eines Sprachbefehls. In dieser Anmeldung enthält die Mobilstation eine Tabelle von Buchstabensymbolen, die wie vorstehend beschrieben ausgewählt werden.
3 zeigt den Arbeitsablauf eines erfindungsgemäßen Verfahrens. In Phase 30 wird erfasst, ob ein Benutzer das Drücken und Halten ausgeführt hat, das die Spracherkennungseinrichtung aktiviert, oder nicht. Wenn kein Drücken und Halten erfasst wird, bleibt die Einrichtung in einem Zustand, bei dem auf die Aktivierung der Spracherkennungseinrichtung gewartet wird. Alternativ dazu kann die Spracherkennungseinrichtung dann aktiviert werden, wenn der Benutzer auf einer berührempfindlichen Oberfläche wie einem Schirm zu schreiben beginnt. Die Aktivierung der Spracherkennungseinrichtung kann auch sprachbasiert sein. In Phase 31 wird der auf den Berührschirm geschriebene Buchstabe/Text erkannt. In Phase 32 werden die Informationen über das Drücken der Taste zu der Spracherkennungseinrichtung übertragen und/oder die Informationen über das von dem Benutzer auf den Berührschirm geschriebene oder gezeichnete alphanumerische Zeichen übertragen. Es ist auch möglich auf dem Berührschirm eine andere Figur zu zeichnen, die von einem alphanumerischen Zeichen abweicht, das in der Spracherkennung verwendet wird. In Phase 33 wird untersucht, ob der Benutzer das Drücken der Tasten oder das Schreiben auf den Berührschirm immer noch ausführt, oder nicht, ein Fall, bei dem die Informationen über diese Aktivitäten auch zu der Spracherkennungseinrichtung übertragen werden. Das kann durch das Vergleichen der Aktivitäten des Benutzers mit einem bestimmten Zeitschwellenwert geschehen, mittels dessen entschieden wird, ob der Benutzer die Eingabe von Befehlen abgeschlossen hat, oder nicht. In Phase 34 wird das von dem Benutzer ausgesprochene Wort unter Verwendung der in Phase 32 bereitgestellten Informationen erkannt.
4 zeigt eine andere Arbeitsabfolge eines erfindungsgemäßen Verfahrens. Bei diesem Verfahren wird das ausgesprochene Wort zuerst herkömmlich erkannt und erst danach die von dem Benutzer bereitgestellte Beschränkung zum Beschränken des während der Erkennungsphase erhaltenen Ergebnisses verwendet. In 4 entsprechen die Phasen 30-33 den entsprechenden Phasen in 3. In Phase 35 wird die Äußerung des Benutzers durch die Verwendung aller vorgespeicherten Modelle erkannt. Die Informationen über dieses Erkennungsergebnis werden zu Phase 34 übertragen, wobei die endgültige Erkennungsentscheidung durch das Vergleichen der ersten Erkennungsentscheidung mit dem auf der Grundlage der von dem Benutzer bereitgestellten Beschränkung erhaltenen Teilsatz von Modellen getroffen wird. Die von der Phase 35 erhaltene Erkennungsentscheidung enthält einen Satz vorgeschlagener Worte, die erkannt wurden, und die den Worten, die zu Phase 34 übertragen werden, entsprechendenden Erkennungswahrscheinlichkeiten. Im Fall einer Fehlerkennung ist das Wort mit der höchsten Erkennungswahrscheinlichkeit nicht das von dem Benutzer ausgesprochene Wort. In diesem Fall kann erfindungsgemäß in Phase 34 die endgültige Spracherkennungsphase mittels des von dem Benutzer bereitgestellten Abfragekriterium ausgeführt werden und eine bessere Spracherkennungsleistung erfindungsgemäß erreicht werden.
Ein erfindungsgemäßes Verfahren kann auch derart arbeiten, dass das Geben einer Beschränkung und das Erkennen eines ausgesprochenen Wortes im Wesentlichen gleichzeitige Aktivitäten sind.
5 zeigt die Struktur einer Mobilstation, die eine die Erfindung verwendende Spracherkennungseinrichtung 66 besitzt. Die Mobilstation umfasst für die Einrichtung typische Teile wie ein Mikrofon 61, eine Tastatur 62, einen Schirm 63, einen Lautsprecher 64 und einen die Arbeitsweise der Mobilstation steuernden Steuerblock 65. Gemäß einem Ausführungsbeispiel der Erfindung kann der Schirm 63 eine berührempfindliche Oberfläche wie ein Schirm sein. Die Figur stellt außerdem für eine Mobilstation typische Sende- und Empfangsblöcke 67, 68 dar. Der Steuerblock 65 steuert in Verbindung mit der Mobilstation auch die Arbeitsweise der Spracherkennungseinrichtung 66. Wenn die Spracherkennungseinrichtung entweder während der Trainingsphase der Spracherkennungseinrichtung oder während der tatsächlichen Spracherkennungsphase aktiviert wird, werden die von dem Benutzer gegebenen Sprachbefehle von dem Mikrofon 61 von dem Steuerblock gesteuert zu der Spracherkennungseinrichtung 66 übertragen. Erfindungemäß überträgt der Steuerblock 65 die Informationen über die von dem Benutzer über Tasten oder über auf einem Berührschirm eingegebene alphanumerische Zeichen/Figuren gegebenen Befehle zu der Spracherkennungseinrichtung 66. Die Sprachbefehle können auch durch ein separates HF-("hands free", bzw. Freihand-) Mikrophon übertragen werden. Die Spracherkennungseinrichtung ist typischerweise mittels DSP implementiert und umfasst für ihre Arbeitsweise erforderliche externe und/oder interne ROM-/RAM-Schaltkreise 69.
Ein Ausführungsbeispiel der Erfindung kann eine Einrichtung wie beispielsweise eine Mobilstation umfassen, die eine berührempfindliche Oberfläche wie beispielsweise einen berührempfindlichen Schirm oder eine berührempfindliche Grundfläche besitzt. In diesem Fall schreibt der Benutzer den ersten Buchstaben des zu erkennenden Wortes beispielsweise mit einem Stift oder zeichnet ihn mit einem Finger auf die berührempfindliche Oberfläche und spricht gleichzeitig das zu erkennende Wort aus (alternativ drückt der Benutzer auf die Stelle des auf dem Schirm dargestellten Buchstabens). In diesem Fall werden die Informationen über den bereitgestellten Buchstaben zu der Spracherkennungseinrichtung übertragen und die Spracherkennung wird auf Worte beschränkt, in denen der fragliche Buchstabe auftaucht. Das Erkennen wird am Besten auf Worte beschränkt, die mit dem fraglichen Anfangsbuchstaben beginnen, wie vorstehend beschrieben. In diesem Fall kann der Benutzer erfindungsgemäß beispielsweise den Buchstaben "S" auf die berührempfindliche Oberfläche schreiben und gleichzeitig den zu erkennenden Namen, beispielsweise "Smith", aussprechen, woraufhin das Erkennen auf mit dem Buchstaben "S" beginnende Namen beschränkt wird.
Alternativ dazu kann der Benutzer zuerst einen Buchstaben auf den Berührschirm schreiben und danach das zu erkennende Wort aussprechen. Das vorstehend beschriebene auf Tasten beruhende Verfahren und das Schreiben auf eine berührempfindliche Oberfläche können auch kombiniert werden, ein Fall, bei dem der Benutzer sowohl auf eine berührempfindliche Oberfläche schreiben als auch eine Taste drücken kann und beide Daten bei der Spracherkennung verwenden kann. Die berührempfindliche Oberfläche selbst ist nicht Teil dieser Erfindung und kann auf verschiedene Arten gemäß dem Stand der Technik implementiert werden.
Es ist abschätzbar, dass mit einem erfindungsgemäßen Verfahren eine im Vergleich mit Erkennungseinrichtungen gemäß dem Stand der Technik 10- bis 30-fache Erkennungsgenauigkeit erreicht werden kann, wenn die Zahl der zu erkennenden Namen dieselbe bleibt. Andererseits können mittels der Erfindung erfindungsgemäß 10- bis 30mal so viele Namen erkannt werden, während die Erkennungsgenauigkeit unverändert bleibt. Diese verbesserte Leistung beruht auf einer erfindungsgemäßen Kombination, wobei vom Benutzer durch Tasten/eine berührempfindliche Oberfläche gegebene Befehle, d.h. die Spracherkennungssuche beschränkende Abfragekriterien, mit einer Spracherkennung kombiniert werden. Ein Ausführungsbeispiel der Erfindung beruht auf der Verwendung eines Berührschirms. Ein Vorteil dieser Anmeldung ist, dass die in der Texterkennung und der Spracherkennung verwendeten Algorithmen beinahe identisch sind, wobei sich der Umfang des erforderlichen Programmspeichers in einer Einrichtung nicht besonders erhöht, bei der diese beiden Funktionen implementiert sind.
Vorstehend wurde eine Mobilstation als Ausführungsbeispiel der Erfindung beschrieben. Die Erfindung kann allerdings ebenso auf beispielsweise Computer angewendet werden. Die vorliegende Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt und kann im Rahmen der beiliegenden Patentansprüche abgeändert werden.

Claims

Verfahren zum Erkennen einer Äußerung eines Benutzers mit einer Mobileinrichtung, wobei ein Satz von Modellen der Äußerungen zuvor gespeichert wurde und zur Spracherkennung, wobei die Äußerung des Benutzers empfangen wird, die Äußerung des Benutzers mit den vorgespeicherten Modellen verglichen wird, und auf der Grundlage des Vergleichs eine Erkennungsentscheidung getroffen wird, dadurch gekennzeichnet, dass der Benutzer durch ein Berühren der Mobileinrichtung ein den Vergleich beschränkendes Abfragekriterium bereitstellen kann, wobei das Abfragekriterium ein Element in einer Menüstruktur der Einrichtung identifiziert, ein Teilsatz von Modellen auf der Grundlage des von dem Benutzer bereitgestellten Abfragekriteriums aus den gespeicherten Modellen ausgewählt wird, wobei der Teilsatz der Modelle Unterelemente der Menüstruktur identifiziert, und ein Vergleich zum Treffen der Erkennungsentscheidung durch Vergleichen der Äußerung des Benutzers mit dem Teilsatz der Modelle durchgeführt wird.
Verfahren zum Erkennen einer Äußerung eines Benutzers mit einer Mobileinrichtung, wobei ein Satz von Modellen der Äußerungen zuvor gespeichert wurde und zur Spracherkennung, wobei die Äußerung des Benutzers empfangen wird, die Äußerung des Benutzers mit den vorgespeicherten Modellen verglichen wird, und auf der Grundlage des Vergleichs eine Erkennungsentscheidung getroffen wird, dadurch gekennzeichnet, dass ein Vergleich zum Treffen einer ersten Erkennungsentscheidung durch Vergleichen der Äußerung des Benutzers mit den vorgespeicherten Modellen ausgeführt wird, der Benutzer durch ein Berühren der Mobileinrichtung zur Auswahl eines Teilsatzes von Modellen ein den Vergleich beschränkendes Abfragekriterium bereitstellen kann, wobei das Abfragekriterium ein Element in einer Menüstruktur der Mobileinrichtung identifiziert und der Teilsatz der Modelle Unterelemente der Menüstruktur identifiziert, ein endgültiger Vergleich zum Treffen der Erkennungsentscheidung durch Vergleichen der ersten Erkennungsentscheidung mit dem Teilsatz der Modelle ausgeführt wird.
Verfahren nach Patentanspruch 1 oder 2, dadurch gekennzeichnet, dass die Mobileinrichtung als Reaktion auf das von dem Benutzer bereitgestellte Abfragekriterium aktiviert wird.
Verfahren nach Patentanspruch 1 oder 2, dadurch gekennzeichnet, dass der Benutzer das Abfragekriterium durch Drücken einer Taste eingeben kann.
Verfahren nach Patentanspruch 1 oder 2, dadurch gekennzeichnet, dass der Benutzer das Abfragekriterium durch Schreiben eines alphanumerischen Zeichens auf einer berührungsempfindlichen Oberfläche der Mobileinrichtung bereitstellen kann.
Verfahren nach Patentanspruch 3 oder 4, dadurch gekennzeichnet, dass der Benutzer das Abfragekriterium durch Drücken und Halten bereitstellen kann.
Mobileinrichtung mit einer Spracherkennungseinrichtung (66) zum Erkennen der Äußerung eines Benutzers, einer Speichereinrichtung (69) zum Speichern (13b) von Sprachmodellen und einer Einrichtung (61) zum Empfangen der Äußerung des Benutzers, und Vergleichseinrichtungen (19, 15a, 15b) zum Ausführen des Erkennungsvorgangs durch Vergleichen der Äußerung des Benutzers mit den in der Speichereinrichtung gespeicherten Modellen, dadurch gekennzeichnet, dass die Mobileinrichtung auch Einrichtungen (62, 63) zum Empfangen eines Abfragekriteriums (17) von dem Benutzer durch die Berührung der Mobileinrichtung, eine Einrichtung (16) zum Auswählen eines Satzes aus den gespeicherten Modellen auf der Grundlage des von dem Benutzer empfangenen Abfragekriteriums zur Beschränkung des von den Vergleichseinrichtungen (19, 15a, 15b) ausgeführten Vergleichs mit dem Satz der Modelle, und eine Einrichtung (65) zum Speichern einer Menüstruktur der Mobileinrichtung und zum Identifizieren des empfangenen Abfragekriteriums als ein Element in einer Menüstruktur der Mobileinrichtung umfasst.
Mobileinrichtung nach Patentanspruch 7, dadurch gekennzeichnet, dass die Einrichtung zum Empfangen des Abfragekriteriums von dem Benutzer eine Tastatur umfasst.
Mobileinrichtung nach Patentanspruch 7, dadurch gekennzeichnet, dass die Einrichtung zum Empfangen des Abfragekriteriums eine berührungsempfindliche Oberfläche umfasst.
Mobileinrichtung nach Patentanspruch 7, dadurch gekennzeichnet, dass sie Einrichtungen (62, 63, 65) zum Aktivieren der Spracherkennungseinrichtung als Reaktion auf das von dem Benutzer empfangene Abfragekriterium umfasst.