DE102006058758A1 - Method for controlling telecommunication transmitter, involves registering input signal generated by input device and generating data set from input signal - Google Patents
Method for controlling telecommunication transmitter, involves registering input signal generated by input device and generating data set from input signal Download PDFInfo
- Publication number
- DE102006058758A1 DE102006058758A1 DE102006058758A DE102006058758A DE102006058758A1 DE 102006058758 A1 DE102006058758 A1 DE 102006058758A1 DE 102006058758 A DE102006058758 A DE 102006058758A DE 102006058758 A DE102006058758 A DE 102006058758A DE 102006058758 A1 DE102006058758 A1 DE 102006058758A1
- Authority
- DE
- Germany
- Prior art keywords
- input
- user
- communication
- signals
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Steuern einer Telekommunikationsendeinrichtung.The The invention relates to a method and a device for controlling a telecommunications terminal.
In der Telekommunikation werden unterschiedliche Verfahren eingesetzt, um die Bedienung von Endgeräten sowie die Sprachqualität für den Benutzer zu vereinfachen bzw. zu verbessern. Zu diesem Zweck wird in Endgeräten beispielsweise eine Freisprechfunktion integriert oder es werden Maßnahmen zur Unterdrückung von Hintergrundgeräuschen vorgesehen.In Telecommunications use different methods to the operation of terminals as well as the voice quality for the Simplify or improve users. For this purpose will be in terminals For example, a handsfree function integrated or become activities for suppression of background noise intended.
Um die Bedienung zu vereinfachen, werden auch Steuerungsfunktionen zunehmend in einer Weise bereitgestellt, dass diese berührungslos ausführbar sind, da beispielsweise in bestimmten Umgebungen wie in einem Fahrzeug die manuelle Bedienung eines Telekommunikationsgerätes durch einen Benutzer nicht möglich oder nicht erwünscht ist. Alternativ zur manuellen Bedienung kann die Bedienung beispielsweise mittels Sprachbefehlen erfolgen, wenn entsprechende Methoden zur Spracherkennung bereitgestellt werden.Around to simplify the operation, also control functions increasingly provided in a way that these contactless executable are, for example, in certain environments such as in a vehicle the manual operation of a telecommunication device a user is not possible or not desired is. As an alternative to manual operation, the operation can be, for example using voice commands, if appropriate methods for Speech recognition be provided.
In der Vergangenheit gab es auch bereits Versuche, Teile eines in einem System befindlichen Spracherkenners durch Definition eines zu sprechenden Aktivierungsausdruckes wie zum Beispiel "Wach auf" dazu zu bringen, auch weitere Äußerungen für einen bestimmten Zeitraum auszuwerten. Ein solcher Aktivierungsausdruck wird überlicherweise auch als "Hot Word" bezeichnet. Allerdings führten dabei fehlinterpretierte Hintergrundgeräusche sowie ähnliche Äußerungen des Nutzers oder fremder Personen oft zu ungewollten Aktivierungen oder Deaktivierungen entsprechender Teile des Spracherkenners.In There have already been experiments in the past, parts of one in one System located speech recognizer by definition of a to be spoken Activation expression such as "wake up" to bring, even more utterances for one evaluate a specific period of time. Such an activation expression becomes usual also referred to as "hot word". Indeed led while misinterpreted background noise and similar utterances of the user or strangers often to unwanted activations or deactivating corresponding parts of the speech recognizer.
Für die Steuerung
eines Endgerätes
kann auch relevant sein, in welcher Position der Benutzer sich relativ
zum Gerät
befindet. Aus
Ferner
ist es bekannt, mobile Endgeräte
mit Bewegungs- und Neigungssensoren auszurüsten, um die Orientierung des
Gerätes
in den Raumachsen, statisch und in der Bewegung dynamisch, zu erfassen.
Es sind entsprechend ausgerüstete
Mobiltelefone bekannt, bei denen solche Sensoren direkt zur Ausführung bestimmter
Steuerfunktionen eingesetzt werden. Ferner ist aus der
Die aus dem Stand der Technik bekannten Methoden erlauben somit zwar die Bestimmung der Position eines Sprechers innerhalb eines Raumes oder der Orientierung eines Gerätes. Diese Informationen sind jedoch nicht geeignet, um mit ausreichender Sicherheit entscheiden zu können, ob bei einem Benutzer ein Kommunikationswunsch besteht.The Although known from the prior art methods thus allow determining the position of a speaker within a room or the orientation of a device. However, this information is not suitable to provide sufficient Security to decide whether there is a communication request for a user.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung vorzuschlagen, mit deren Hilfe ein Zuwenden oder Abwenden eines Benutzers zu einem Telekommunikationsendgerät sicher erkannt werden kann.Of the The present invention is therefore based on the object, a method and to propose a device with the aid of which to turn or Avoiding a user to a telecommunication terminal safely can be recognized.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1, sowie eine Telekommunikationsvorrichtung nach Anspruch 14 gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen sind in den jeweiligen Unteransprüchen umschrieben.These The object is achieved by a method according to claim 1, as well as a telecommunication device solved according to claim 14. Advantageous embodiments and further developments are described in the respective subclaims.
Dementsprechend umfasst ein erfindungsgemäßes Verfahren zum Steuern einer Telekommunikationsendeinrichtung das Registrieren wenigstens eines mittels einer ersten Eingabeeinrichtung generierten ersten Eingabesignals, das Erzeugen eines ersten Datensatzes aus diesem wenigstens einen ersten Eingabesignal, sowie das automatische Ermitteln eines Kommunikationsbereitschafts-Zustands eines Benutzers der Telekommunikationsendeinrichtung durch Auswerten des ersten Datensatzes in Abhängigkeit von vorgegebenen variablen Regeln. Um eine Änderung des Kommunikationsbereitschafts-Zustands feststellen zu können, wird dieser überwacht. Wird eine Änderung des Kommunikationsbereitschafts-Zustands des Benutzers festgestellt, so wird automatisch eine vorgegebene Funktion der Telekommunikationsendeinrichtung oder mindestens einer mit der Telekommunikationseinrichtung über ein Netzwerk assoziierten Einrichtung ausgeführt. Im einfachsten Fall besteht der Kommunikationsbereitschafts-Zustand eines Benutzers im Vorliegen oder Nicht-Vorliegen einer Kommunikationsbereitschaft eines Benutzers.Accordingly comprises a method according to the invention to control a telecommunications terminal registering at least one generated by means of a first input device first input signal, generating a first data set this at least a first input signal, as well as the automatic Determining a communication ready state of a user the telecommunication terminal device by evaluating the first Data set dependent of predetermined variable rules. To change the communication readiness state to be able to determine this is monitored. Will be a change the communication readiness state of the user is detected, so automatically a predetermined function of the telecommunications terminal or at least one with the telecommunication device via a Network associated device executed. In the simplest case exists the communication ready state of a user in the presence or non-existence of a communication readiness of a user.
Vorzugsweise erfolgt das Überwachen des Kommunikationsbereitschafts-Zustands dadurch, dass zu vorgegebenen Zeitpunkten wenigstens ein erstes Eingabesignal registriert, daraus ein erster Datensatz erzeugt und durch Auswerten dieses ersten Datensatzes automatisch ein Kommunikationsbereitschafts-Zustand ermittelt wird. Vorteilhaft werden diese Schritte zyklisch in einem vorgegebenen Zeitintervall ausgeführt, um eine kontinuierliche Überwachung zu gewährleisten.The monitoring of the readiness for communication state is preferably carried out by registering at least one first input signal at predefined times, generating a first data record therefrom, and by automatically evaluating this first data record, a ready-to-communicate state is determined. Advantageously, these steps are cyclic in a given Time interval executed to ensure continuous monitoring.
Die Telekommunikationsendeinrichtung, im Folgenden auch kurz als Endgerät bezeichnet, kann vorteilhaft als mobiles Telekommunikationsendgerät wie zum Beispiel als Mobiltelefon, Smartphone oder PDA ausgebildet sein. Je nach Einsatzzweck kann jedoch auch jedes andere zur Telekommunikation ausgebildete Gerät als Endgerät eingesetzt werden. In einer bevorzugten Ausführungsform des Verfahrens ist das Endgerät beispielsweise als fest installiertes, öffentliches Telefon oder als Internetstation ausgebildet, wobei die Internetstation zum Beispiel ein öffentlich zugängliches Zugangsterminal für den Zugriff auf das Internet umfasst.The Telecommunication terminal, hereinafter also referred to as terminal for short, can be advantageous as a mobile telecommunication terminal such as Example be designed as a mobile phone, smartphone or PDA. Depending on the purpose, however, any other trained for telecommunications Device as terminal be used. In a preferred embodiment of the method the terminal For example, as a fixed, public telephone or as Internet station trained, the Internet station, for example, a public accessible Access terminal for includes access to the Internet.
Eine Änderung des Kommunikationsbereitschafts-Zustands eines Benutzers wird in der Regel immer dann erkannt, wenn ein Benutzer sich dem Endgerät zuwendet oder sich von diesem abwendet.A change the communication readiness state of a user is in the rule is always recognized when a user turns to the terminal or turns away from it.
Das Verfahren ermöglicht somit vorteilhaft die Gewinnung wenigstens eines Aktivierungs- oder Deaktivierungssignals, wenn ein Zuwenden oder Abwenden eines Benutzers zu oder von dem Endgerät erkannt wird, wobei das Signal zur Aktivierung oder Deaktivierung einer vorbestimmten Komponente der Telekommunikationsendeinrichtung dient.The Procedure allows thus advantageously obtaining at least one activation or deactivation signal, when turning to or from a user Terminal detected is, the signal for activating or deactivating a predetermined component of the telecommunication terminal device is used.
Das automatische Ausführen der vorgegebenen Funktion der Telekommunikationsendeinrichtung entspricht insofern vorteilhaft dem Aktivieren oder Deaktivieren mindestens einer vorbestimmten Komponente der Telekommunikationsendeinrichtung. Dementsprechend wird ein Aktivierungs- bzw. Deaktivierungssignal an die entsprechende Komponente übermittelt, beispielsweise in Abhängigkeit von der Position und der Bewegung des Nutzers im Verhältnis zum Endgerät, und zwar dann, wenn der Nutzer durch Handlungen mit dem Endgerät und/oder sprachliche Äußerungen seinen Kommunikationswunsch bzw. den Abschluss der Kommunikation zum Ausdruck bringt. Ein Signal wird somit immer dann generiert, wenn sich der Nutzer dem Endgerät zuwendet und beginnt, mit mindestens einer lokalen oder über ein Netzwerk assoziierten Anwendung und/oder einem entfernten Kommunikationspartner über Sprache zu kommunizieren bzw. wenn sich der Nutzer vom Endgerät abwendet und die Kommunikation mit der Anwendung und/oder einem entfernten Kommunikationspartner beendet, wobei der Kommunikationspartner Mensch und/oder Maschine sein kann.The automatic execution the predetermined function of the telecommunications terminal corresponds insofar advantageous to activate or deactivate at least a predetermined component of the telecommunication terminal. Accordingly is an activation or deactivation signal to the appropriate Component transmitted, for example, depending on from the position and movement of the user in relation to terminal namely when the user through actions with the terminal and / or linguistic utterances his desire to communicate or the completion of the communication expresses. A signal is thus always generated if the user is the terminal turns and starts with at least one local or over one Network associated application and / or a remote communication partner via voice to communicate or when the user turns away from the terminal and communication with the application and / or a remote communication partner terminated, the communication partner man and / or machine can be.
In einer bevorzugten Ausführungsform des Verfahrens wird das Endgerät durch den Benutzer mittels Sprachsteuerung gesteuert, wobei die bei Feststellen einer Änderung des Kommunikationsbereitschafts-Zustands des Benutzers auszuführende Funktion vorteilhaft das Aktivieren oder Deaktivieren mindestens einer Applikation der Endgerätes oder einer über ein Netzwerk assoziierten Applikation umfasst, die der Kommunikation des Benutzers mit einem Anwendungsprogramm des Endgerätes dient oder diese unterstützt. Zu diesem Zweck umfasst die Applikation vorteilhaft mindestens eine Spracherkennungs-, Echokompensations-, Freisprech-, Sprecherverifizierungs-, Sprechererkennungs-, Sprecherklassifizierungs-, Sprachidentifizierungs-, Sprachsynthese-, Geräuschreduktionsfunktion und/oder mindestens eine Funktion zur Erfassung und Auswertung prosodischer Merkmale der Spracheingabe wie zum Beispiel Wortakzent, Silbenbetonung oder Satzmelodie.In a preferred embodiment of the procedure becomes the terminal controlled by the user by means of voice control, wherein the when a change is detected the communication readiness state of the user to be performed Advantageously, activating or deactivating at least one application the terminal or one over a network associated application that includes communication the user is using an application program of the terminal or this supports. For this purpose, the application advantageously comprises at least one Speech Recognition, Echo Cancellation, Handsfree, Speaker Verification, Speaker Recognition, Speaker Classification, Voice Identification, Speech Synthesis, Noise reduction function and / or at least one function for detecting and evaluating prosodic Characteristics of speech input such as word accent, syllabic emphasis or sentence melody.
Bei Einsatz berührungsloser Eingabeeinrichtungen wie beispielsweise Kameras oder Mikrofonen wird durch das Verfahren vorteilhaft die Benutzung von Endgeräten ohne direkten Kontakt von Nutzer und Endgerät, wie zum Beispiel das Abnehmen und Auflegen eines Hörers, ermöglicht. Zweckmäßigerweise sind auch entsprechende berührungslose Ausgabeeinrichtungen vorgesehen, wie zum Beispiel ein Bildschirm oder Lautsprecher.at Use of non-contact Input devices such as cameras or microphones by the method advantageous the use of terminals without direct contact between user and device, such as losing weight and placing a handset, allows. Conveniently, are also corresponding non-contact Output devices provided, such as a screen or speakers.
Die Erfassung eines Kommunikationswunsches eines Nutzers eines Endgerätes erfolgt somit prinzipiell mittels festgelegter, deterministischer Regeln, die im Endgerät oder auch beispielsweise in einem entfernten Serversystem abgespeichert sind, wobei die Regeln festlegen, welche Bedingungen vorliegen müssen, um ein "Zuwendungs"- bzw. "Abwendungs"-Signal zu generieren. Die Bedingungen werden dabei beschrieben durch den ersten Datensatz, welcher jeweils mittels ausgewählter Eingabeeinrichtungen registrierte Eingabesignale repräsentiert. Beispiele einsetzbarer Eingabeeinrichtungen sind Mikrofone, Mikrofon-Arrays, Kameras, Neigungssensoren, Bewegungssensoren, Griffel, berührungsempfindliche Bildschirme (engl. Touchscreen), Mäuse und/oder Tasten.The Detecting a communication request of a user of a terminal is done thus in principle by means of fixed, deterministic rules, the in the terminal or also stored for example in a remote server system are, whereby the rules determine, which conditions must be, in order generate a "grant" or "avoidance" signal. The conditions are described by the first record, which in each case by means of selected Input devices represented registered input signals. Examples of usable input devices are microphones, microphone arrays, cameras, Tilt sensors, motion sensors, stylus, touch-sensitive Screens (English touchscreen), mice and / or buttons.
Vorteilhaft umfasst das Registrieren des wenigstens einen ersten Eingabesignals das Registrieren wenigstens zweier mittels unterschiedlicher Eingabeeinrichtungen generierter Eingabesignale, da durch Auswerten unterschiedlicher Arten von Eingabesignalen eine Kommunikationsbereitschaft des Nutzers aufgrund komplexerer Regeln sicherer erkannt werden kann. Das Umwandeln der registrierten Eingabesignale in einen gemeinsamen Datensatz stellt eine Vorverarbeitung dar, bei der Merkmalsvektoren gewonnen werden, die vorteilhaft der Bildung eines zu trainierenden, statistischen Verhaltensmodells oder Medienmodells dienen, mit dessen Hilfe nach einem Trainings- bzw. Adaptionsprozess beim Auftreten bestimmter statischer und/oder dynamischer Eingabesignale ein Kommunikationsbeginn- bzw. Kommunikationsende-Signal generiert werden kann.Advantageously, registering the at least one first input signal comprises registering at least two input signals generated by means of different input devices, since a communication readiness of the user can be detected more reliably by evaluating different types of input signals due to more complex rules. The conversion of the registered input signals into a common data set represents a preprocessing in which feature vectors are obtained which advantageously serve to form a statistical behavior model or media model to be trained, with the aid of which after a training or adaptation process when certain static and / or or dynamic input signals a Kommunikationsbeginn- or communication end signal are generated can.
Ein Medienmodell, beispielsweise ein Sprachmodell, beschreibt die Reihenfolge, in der Eingaben wie zum Beispiel Wörter und/oder Sensorsignale von einem Medienerkenner wie zum Beispiel einem Spracherkenner erwartet werden.One Media model, such as a language model, describes the order in the inputs, such as words and / or sensor signals expected by a media connoisseur such as a speech recognizer become.
Eine besonders bevorzugte Ausführungsform des Verfahrens sieht dementsprechend vor, den ersten, aus den ersten Eingabesignalen erstellten Datensatz zu speichern, sowie wenigstens ein zweites Eingabesignal mittels einer zweiten Eingabeeinrichtung zu registrieren und daraus einen zweiten Datensatz zu erzeugen. Durch Auswerten des zweiten Datensatzes in Abhängigkeit vorgegebener fester Regeln wird ein Kommunikationsbereitschafts-Zustand eines Benutzers der Telekommunikationsendeinrichtung ermittelt. In Abhängigkeit dieses Kommunikationsbereitschafts-Zustands und/oder einer Änderung dieses Kommunikationsbereitschafts-Zustands werden die variablen Regeln zur Auswertung des ersten Datensatzes auf Grundlage des gespeicherten ersten Datensatzes automatisch angepasst.A particularly preferred embodiment of the method accordingly, the first, from the first To save input signals created record, as well as at least a second input signal by means of a second input device to register and generate a second record from it. By evaluating the second data set as a function of predetermined fixed rules becomes a communication ready state of a user of Telecommunications terminal determined. Dependent on this communication readiness state and / or a change This communication readiness state becomes the variable Rules for evaluating the first record based on the stored first record automatically adjusted.
Das durch die variablen Regeln definierte Verhaltensmodell kann vor einem Trainings- bzw. Adaptionsprozess durch Werte vorbelegt werden, die für bestimmte Eingabesignale bereits eine Kommunikationsbereitschaft erkennen.The Behavioral model defined by the variable rules can be used a training or adaptation process are pre-assigned by values, the for certain input signals already a willingness to communicate detect.
Wird ein Endgerät typischerweise immer von dem gleichen Benutzer bedient, werden durch wiederholtes automatisches Anpassen der variablen Regeln für diesen spezifischen Benutzer vorteilhaft im Wesentlichen benutzerspezifische Regeln zur Auswertung des ersten Datensatzes erzeugt.Becomes a terminal typically always serviced by the same user repeated automatic adaptation of the variable rules for this specific user advantageously substantially user-specific Rules for evaluating the first record are generated.
Andererseits kann es auch besonders vorteilhaft sein, im Wesentlichen benutzerunspezifische Regeln zu erzeugen, beispielsweise um diese als Voreinstellung in einem Endgerät für einen neuen Benutzer bereitzustellen. Zu diesem Zweck erfolgt vorteilhaft ein wiederholtes automatisches Anpassen der variablen Regeln für eine Vielzahl unterschiedlicher Benutzer.on the other hand it may also be particularly advantageous, essentially user-unspecific rules to generate, for example, this by default in one terminal for one to provide new users. For this purpose, it is advantageous a repeated automatic adaptation of the variable rules for a plurality different user.
Nach Abschluss einzelner Trainingsprozesse für eine größere Anzahl von Nutzern eines Kommunikationsnetzes, die über einen Zugriff auf Endgeräte verfügen, welche zur Ausführung des beschriebenen Verfahrens ausgebildet sind, werden die trainierten Modelle der einzelnen Nutzer dementsprechend vorteilhaft dazu genutzt, um aus diesen ein nutzerunabhängiges Verhaltensmodell abzuleiten, welches als Anfangseinstellung oder Vorbelegung zum weiteren Training für neue Nutzer dient. Nach einem längeren Anwendungszeitraum mit einer großen Nutzerzahl kann damit für die meisten neuen Nutzer das Training des Verhaltensmodells zur Generierung des "Kommunikationswunsch"-Signals entfallen.To Complete individual training processes for a larger number of users Communication network over an access to terminals feature, which for execution are formed of the described method, the trained Accordingly, models of individual users are advantageously used to become a user-independent one Derived behavioral model, which as an initial setting or Pre-assignment for further training for new users. After one longer Application period with a large number of users can thus for most new users the training of the behavioral model for generating the "communication request" signal omitted.
Wie bereits oben beschrieben wird das wenigstens eine erste Eingabesignal vorzugsweise mittels berührungslos wirkender Eingabeeinrichtungen generiert, um eine berührungslose Steuerung durch den Benutzer zu ermöglichen.As already described above, the at least one first input signal preferably by means of non-contact acting input devices generated to a non-contact To allow control by the user.
Das Training oder Anpassen der variablen Regeln erfolgt in einer bevorzugten Ausführungsform des Verfahrens dadurch, dass bei Feststellen einer Änderung des Kommunikationsbereitschafts-Zustands des Nutzers auf Grundlage des ausgewerteten zweiten Datensatzes die variablen Regeln derart angepasst werden, dass in Abhängigkeit der angepassten Regeln durch Auswerten des ersten Datensatzes der gleiche Kommunikationsbereitschafts-Zustand ermittelt wird wie durch Auswerten des zweiten Datensatzes. Zu diesem Zweck kann es auch vorteilhaft sein, den ersten Datensatz aus Eingabesignalen zu erstellen, die kurz vor oder kurz nach Registrieren des zweiten Eingabesignals registriert wurden.The Training or adjusting the variable rules is done in a preferred way Embodiment of the A method in that upon detection of a change in the communication readiness state the user based on the evaluated second record the variable rules are adjusted in such a way that depending on the adjusted rules by evaluating the first record of the same communication standby state is detected as through Evaluation of the second data set. It can do that too be advantageous to create the first record from input signals, the shortly before or shortly after registering the second input signal were registered.
Dementsprechend sieht das Verfahren vorteilhaft vor, dass der erste und zweite Datensatz aus Eingabesignalen erstellt werden, die über einen ersten beziehungsweise zweiten Zeitraum registriert werden, wobei der erste Zeitraum vor oder nach dem zweiten Zeitraum liegt oder der erste und zweite Zeitraum wenigstens teilweise übereinstimmen.Accordingly the method advantageously provides that the first and second data set be created from input signals that have a first or second period, with the first period before or after the second period or the first and second periods at least partially agree.
Zweckmäßigerweise beinhaltet das automatische Ermitteln eines Kommunikationsbereitschafts-Zustands das Ermitteln eines Wahrscheinlichkeitswertes oder eines ähnlichen Parameters, welcher die Zuverlässigkeit des ermittelten Zustandes widerspiegelt, für das Vorliegen einer Kommunikationsbereitschaft und das Vergleichen des ermittelten Wahrscheinlichkeitswertes oder Parameters mit einem vorgegebenen Grenzwert.Conveniently, includes automatically determining a communication ready state determining a probability value or the like Parameters, which the reliability reflects the condition determined for the existence of a willingness to communicate and comparing the determined probability value or Parameters with a given limit.
Für das Training oder das Anpassen der variablen Regeln ist es von Vorteil, wenn aus dem zweiten Datensatz der Kommunikationsbereitschafts-Zustand mit hoher Sicherheit ermittelt werden kann. Zu diesem Zweck kann für das zweite Eingabesignal beispielsweise eine eng definierte, erfassbare Aktion wie das Drücken einer vorgegebenen Taste vorgesehen sein. Dementsprechend umfasst das Registrieren des wenigstens einen zweiten Eingabesignals vorteilhaft eine manuelle Benutzereingabe.For the training or adjusting the variable rules it is beneficial if from the second record the communication readiness state can be determined with high security. For this purpose can for the second input signal, for example, a narrowly defined, detectable Action like pressing be provided a predetermined key. Accordingly includes registering the at least one second input signal advantageous a manual user input.
In den Fällen, in denen gemeinsam mit einem Eingabeergebnis zusätzlich ein hoher Zuverlässigkeits- oder Konfidenzwert geliefert wird, wie dies z.B. bei bestimmten Spracheingaben möglich sein kann, und dieser Wert eine hohe Sicherheit des erkannten Ergebnisses widerspiegelt, kann das Registrieren des wenigstens einen zweiten Eingabesignals vorteilhaft auch einen anderen als sicher bewerteten Eingabemodus umfassen.In cases where a high reliability or confidence value is additionally provided together with an input result, as may be possible for certain speech inputs, for example, and this value reflects a high certainty of the recognized result, registering the at least one second input signal may be advantageous also rated another as safe Include input mode.
Um einen Kommunikationsbereitschafts-Zustand für unterschiedliche Situationen oder Bedingungen sicher zu ermitteln, wird der erste Datensatz vorteilhaft aus mehreren Eingabesignalen erstellt, die mittels unterschiedlicher Eingabeeinrichtungen registriert werden. Der erste Datensatz umfasst somit vorteilhaft unterschiedliche Eingabesignale in digitalisierter Form und weist damit eine Vielzahl auswertbarer Merkmale auf.Around a communication ready state for different situations or to determine conditions safely, the first record becomes advantageous created from multiple input signals by means of different Input devices are registered. The first record includes thus advantageously different input signals in digitized Shape and thus has a variety of analyzable features.
Das Auswerten des ersten und/oder zweiten Datensatzes umfasst vorteilhaft das Auswerten einer Maus-/Griffel- oder Tastatureingabe und/oder das Ermitteln einer Laufzeitdifferenz akustischer, von einem Mikrofon-Array generierter Signale und/oder eine Spracherkennung akustischer Signale und/oder eine Sprechererkennung akustischer Signale und/oder eine Auswertung prosodischer Merkmale von Spracheingaben und/oder eine Bilderkennung eines von einer Kamera aufgenommenen Bildes und/oder eine Gesichtserkennung eines von einer Kamera aufgenommenen Bildes und/oder das Auswerten von Signalen eines Näherungs- oder Neigungssensors. Das beschriebene Verfahren ist jedoch nicht auf die angeführten Auswertungsmethoden beschränkt, sondern kann je nach Einsatzzweck weitere, auch zukünftige, Auswertemethoden umfassen.The Evaluation of the first and / or second data set advantageously comprises the evaluation of a mouse / stylus or keyboard input and / or the determination a transit time difference acoustic, generated by a microphone array Signals and / or speech recognition of acoustic signals and / or a speaker recognition of acoustic signals and / or an evaluation prosodic features of speech inputs and / or image recognition a picture taken by a camera and / or a face recognition an image taken by a camera and / or the evaluation of signals from a proximity or tilt sensor. However, the described method is not based on the mentioned evaluation methods limited, but can depending on the purpose further, including future, evaluation methods include.
Das Auswerten des ersten und/oder zweiten Datensatzes kann je nach Ausführung der Telekommunikationsendeinrichtung durch diese selbst oder durch eine separate Verarbeitungseinheit erfolgen. Beispielsweise bei mobilen Endgeräten kann die Rechenleistung unzureichend für das komplexe Auswerten des ersten und/oder zweiten Datensatzes sein, so dass die Auswertung vorteilhaft mittels eines entfernten Servers erfolgt, der über ein Kommunikationsnetz mit dem Endgerät verbindbar ist. Zu diesem Zweck wird der erste und/oder zweite Datensatz zu der vom Endgerät separaten Verarbeitungseinheit übertragen, die den ersten und/oder zweiten Datensatz auswertet, den durch Auswertung ermittelten Kommunikationsbereitschafts-Zustand überwacht und bei Ermitteln einer Änderung des Kommunikationsbereitschafts-Zustands des Benutzers zum Ausführen der vorgegebenen Funktion ein Steuersignal zum Endgerät überträgt.The Evaluating the first and / or second data set may depend on the execution of the Telecommunications terminal equipment by itself or by a separate processing unit done. For example, in mobile terminals can the computing power insufficient for the complex evaluation of the first and / or second record, so that the evaluation Advantageously done by means of a remote server, via a Communication network is connected to the terminal. To this end the first and / or second record is separate from that of the terminal Transfer processing unit, which evaluates the first and / or second data set by evaluation monitored communication readiness state monitors and in determining a change the communication ready state of the user to execute the predetermined function transmits a control signal to the terminal.
Eine erfindungsgemäße Telekommunikationsvorrichtung umfasst eine Telekommunikationsendeinrichtung, wenigstens eine erste Eingabeeinrichtung zum Registrieren von ersten Eingabesignalen, eine Vorverarbeitungseinheit zum Umwandeln registrierter Eingabesignale in digitalisierte Daten, eine Auswerteeinheit zum Auswerten der digitalisierten Daten, eine Steuereinheit zum Steuern der Telekommunikationsendeinrichtung, und einen Speicher zum Speichern variabler Regeln, wobei die Auswerteeinheit dazu ausgebildet ist, durch Auswerten aus ersten Eingabesignalen gewonnenen digitalisierten Daten in Abhängigkeit von den im Speicher abgelegten variablen Regeln automatisch einen Kommunikationsbereitschafts-Zustand eines Benutzers der Telekommunikationsendeinrichtung zu ermitteln, den Kommunikationsbereitschafts-Zustand des Benutzers zu überwachen und bei Feststellug einer Änderung des Kommunikationsbereitschafts-Zustands des Benutzers ein Steuersignal zu der Steuereinheit zu übertragen, wobei die Steuereinheit dazu ausgebildet ist, in Antwort auf den Empfang des Steuersignals eine vorgegebene Funktion der Telekommunikationsendeinrichtung auszuführen.A inventive telecommunication device comprises a telecommunications terminal, at least a first Input device for registering first input signals, a preprocessing unit for converting registered input signals in digitized data, an evaluation unit for evaluating the digitized data, a control unit for controlling the telecommunications terminal, and a memory for storing variable rules, wherein the evaluation unit is designed to, by evaluating from first input signals obtained digitized data depending on the in the memory filed variable rules automatically a communication standby state a user of the telecommunications terminal to determine to monitor the communication readiness state of the user and upon detection of a change the communication ready state of the user a control signal to transfer to the control unit, wherein the control unit is adapted to respond in response to the Receiving the control signal a predetermined function of the telecommunication terminal perform.
Zum Anpassen der in dem Speicher abgelegten variablen Regeln weist die Vorrichtung vorteilhaft eine zweite Eingabeeinrichtung zum Registrieren von zweiten Eingabesignalen auf. In dieser Ausführungsform ist die Auswerteeinheit ferner dazu ausgebildet, erste, aus ersten Eingabesignalen gewonnene digitalisierte Daten in dem Speicher abzulegen, durch Auswerten von zweiten, aus zweiten Eingabesignalen gewonnenen digitalisierten Daten in Abhängigkeit von in dem Speicher abgelegten festen Regeln automatisch einen Kommunikationsbereitschafts-Zustand eines Benutzers der Telekommunikationsendeinrichtung zu ermitteln und zu überwachen, und in Abhängigkeit der aus den ausgewerteten zweiten digitaliserten Daten erkannten Kommunikationsbereitschafts-Zustands und/oder einer Änderung des Kommunikationsbereitschafts-Zustands und der gespeicherten ersten digitalisierten Daten automatisch die variablen Regeln anzupassen und die angepassten Regeln in dem Speicher abzulegen.To the Matching the variable rules stored in the memory has the Device advantageously a second input device for registering from second input signals. In this embodiment, the evaluation unit further adapted to first obtained from first input signals to store digitized data in the memory by evaluating second digitized data obtained from second input signals Data in dependence of stored in the memory fixed rules automatically a communication ready state to determine a user of the telecommunications terminal and to monitor and depending which recognized from the evaluated second digitized data Communication ready state and / or a change the communication ready state and the stored first digitized data automatically adjust the variable rules and store the adjusted rules in memory.
Um beispielsweise akustische Signale auswerten zu können, ist die Vorverarbeitungseinheit vorteilhaft dazu ausgebildet, die ersten und/oder zweiten digitalisierten Daten aus Eingabesignalen zu erstellen, die über einen vorgegebenen Zeitraum registriert werden.Around For example, to be able to evaluate acoustic signals, the preprocessing unit is advantageous adapted to the first and / or second digitized data to create input signals over a given period of time be registered.
Die zweite Eingabeeinrichtung dient vorzugsweise der Bestätigung einer Zuwendung oder Abwendung eines Benutzers zum Endgerät, um ein Anpassen der variablen Regeln zu ermöglichen und damit das Ermitteln eines Kommunikationsbereitschafts-Zustands auf Grundlage von Eingabesignalen der wenigstens einen ersten Eingabeeinrichtung zu verbessern. Zu diesem Zweck erfolgt das Anpassen der variablen Regeln vorteilhaft in Abhängigkeit von ersten Eingabesignalen, die mittels der ersten Eingabeeinrichtung kurz vor, kurz nach oder während einer Bestätigung durch den Benutzer mittels der zweiten Eingabeeinrichtung registriert werden.The second input device is preferably used to confirm a Attention or avert a user to the terminal to customize to allow the variable rules and thus determining a communication ready state based on input signals of the at least one first input device improve. This is done by adjusting the variable rules advantageous depending on first input signals by means of the first input device just before, shortly after or during one confirmation registered by the user by means of the second input device become.
Dementsprechend ist die Vorverarbeitungseinheit vorteilhaft dazu ausgebildet, die ersten und zweiten digitalisierten Daten aus ersten beziehungsweise zweiten Eingabesignalen zu erstellen, die über einen ersten beziehungsweise zweiten Zeitraum registriert werden, wobei der erste Zeitraum vor oder nach dem zweiten Zeitraum liegt oder der erste und zweite Zeitraum wenigstens teilweise übereinstimmen.Accordingly, the preprocessing unit is advantageously designed to receive the first and second digitized data from first reference Ways to create second input signals that are registered over a first or second period, the first period is before or after the second period or the first and second periods at least partially agree.
Die Bestätigung einer Änderung eines Kommunikationsbereitschafts-Zustands mittels der zweiten Eingabeeinrichtung durch den Benutzer kann vorzugsweise optional erfolgen, beispielsweise wenn ausgehend von den ersten Eingabesignalen ein Wahrscheinlichkeitswert für das Vorliegen einer Kommunikationsbereitschaft ermittelt wird, der nah bei einem vorgegebenen Grenzwert liegt. In diesem Fall löst die Bestätigung mittels der zweiten Eingabeeinrichtung vorzugsweise das Anpassen der variablen Regeln aus. Dementsprechend bewirkt das Feststellen einer Änderung des durch Auswerten der zweiten digitalisierten Daten durch die Auswerteeinheit ermittelten Kommunikationsbereitschafts-Zustands des Benutzers vorteilhaft das Anpassen der variablen Regeln.The confirmation a change a communication ready state by means of the second input device by the user may preferably be optional, for example if starting from the first input signals a probability value for the Presence of a willingness to communicate, which is close to is a predetermined limit. In this case the confirmation is triggered by the second input device preferably adjusting the variable Rules out. Accordingly, the detection causes a change by evaluating the second digitized data by the Evaluation unit determined communication readiness state the user advantageously adjusting the variable rules.
Vorzugsweise wird ein Kommunikationsbereitschafts-Zustand auf der Grundlage mehrerer mittels unterschiedlicher Eingabeeinrichtungen registrierter Eingabesignale ermittelt. Dementsprechend umfasst die wenigstens eine erste Eingabeeinrichtung vorteilhaft wenigstens zwei erste Eingabeeinrichtungen, die jeweils zum Registrieren unterschiedlicher Arten von Eingabesignalen ausgebildet sind, wobei diese mit Vorteil zumindest eine berührungslos wirkende Eingabeeinrichtung wie zum Beispiel ein Mikrofon, ein Mikrofon-Array, eine Kamera oder einen Bewegungs- oder Neigungssensor umfassen.Preferably becomes a communication ready state based on several by means of different input devices registered input signals determined. Accordingly, the at least one first input device comprises Advantageously, at least two first input devices, each designed to register different types of input signals These are with advantage at least one non-contact input device such as a microphone, a microphone array, a camera or include a motion or tilt sensor.
Die zur Bestätigung einer Änderung des Kommunikationsbereitschafts-Zustands vorgesehene zweite Eingabeeinrichtung ist vorteilhaft als manuell durch den Benutzer zu bedienende Eingabeeinrichtung ausgebildet, beispielsweise als Griffel, Maus, Taste oder Touchscreen, um eine sichere Auswertung der entsprechenden zweiten Eingabesignale zu gewährleisten. Auch kann die zweite Eingabeeinrichtung vorteilhaft als Mikrofon ausgebildet sein, um ein akustisches Signal wie beispielsweise ein "Hot Word", zu registrieren. Ferner kann die erste Eingabeeinrichtung gleichzeitig als zweite Eingabeeinrichtung verwendet werden.The for confirmation a change the communication ready state provided second input device is advantageous as manually by the user to be operated input device formed, for example as a stylus, mouse, key or touch screen, for a safe evaluation of the corresponding second input signals guarantee. Also, the second input device advantageously as a microphone be configured to register an acoustic signal such as a "hot word". Furthermore, the first input device can simultaneously as the second Input device can be used.
Die Auswerteeinheit ist vorteilhaft zur Auswertung einer Maus-/Griffel- oder Tastatureingabe und/oder zum Ermitteln einer Laufzeitdifferenz akustischer, von einem Mikrofon-Array generierter Signale und/oder zur Spracherkennung akustischer Signale und/oder zur Auswertung prosodischer Merkmale von Spracheingaben und/oder zur Sprechererkennung akustischer Signale in Abhängigkeit hinterlegter Sprecherprofile und/oder zur Bilderkennung eines von einer Kamera aufgenommenen Bildes und/oder zur Gesichtserkennung eines von einer Kamera aufgenommenen Bildes in Abhängigkeit hinterlegter Gesichtsprofile und/oder zum Auswerten von Signalen mindestens eines Näherungs- oder Neigungssensors ausgebildet.The Evaluation unit is advantageous for evaluating a mouse / stylus or keyboard input and / or to determine a transit time difference acoustic, from a microphone array generated signals and / or speech recognition of acoustic signals and / or for the evaluation of prosodic features of speech inputs and / or speaker recognition of acoustic signals in dependence deposited speaker profiles and / or for image recognition one of a camera recorded image and / or face recognition a picture taken by a camera depending on deposited facial profiles and / or for evaluating signals at least an approximation or inclination sensor is formed.
Wie bereits oben beschrieben beinhaltet das Ermitteln eines Kommunikationsbereitschafts-Zustands vorteilhaft das Ermitteln eines Wahrscheinlichkeitswertes oder eines ähnlichen Parameters, welcher die Zuverlässigkeit des ermittelten Zustandes widerspiegelt. Zu diesem Zweck ist bevorzugt im Speicher ein Grenzwert für diesen Parameter hinterlegt, wobei die Auswerteeinheit zum Ermitteln eines Wahrscheinlichkeitswertes oder eines ähnlichen Parameters für das Vorliegen einer Kommunikationsbereitschaft und zum Vergleichen des ermittelten Wertes mit dem hinterlegten Grenzwert ausgebildet ist.As already described above includes determining a communication ready state Advantageously, determining a probability value or the like Parameters, which the reliability reflects the determined condition. For this purpose is preferred in memory a limit for stored this parameter, wherein the evaluation unit for determining a probability value or a similar parameter for the presence a willingness to communicate and to compare the determined Value is formed with the stored limit value.
Je nach konkreter Ausgestaltung und Einsatzzweck des Endgerätes kann die Auswerteeinheit vorteilhaft in das Endgerät integriert sein. Alternativ ist die Auswerteeinheit in einer separaten Verarbeitungseinheit angeordnet, die mittels einer Kommunikationsverbindung mit dem Endgerät verbindbar ist.ever according to specific design and purpose of the terminal can the evaluation unit advantageously be integrated in the terminal. Alternatively it is the evaluation unit is arranged in a separate processing unit, the connectable by means of a communication connection with the terminal is.
Ferner sind in einer vorteilhaften Ausführungsform die erste und/oder zweite Eingabeeinrichtung als von der Telekommunikationsendeinrichtung separate Eingabeeinheiten ausgebildet, wobei die Eingabeeinheiten vorzugsweise dazu ausgebildet sind, mit der Telekommunikationsendeinrichtung drahtlos zu kommunizieren, beispielsweise mittels Bluetooth.Further are in an advantageous embodiment the first and / or second input device as separate from the telecommunication terminal Input units formed, wherein the input units preferably are designed to wirelessly with the telecommunication terminal to communicate, for example by means of Bluetooth.
Eine bevorzugte Ausführungsform einer Telekommunikationsvorrichtung umfasst ein öffentliches Telefon als Endgerät, welches vorteilhaft mit berührungslos zu bedienenden Eingabeeinrichtungen und entsprechenden Ausgabeeinrichtungen ausgerüstet ist. Um eine Kommunikation zu ermöglichen, die von Umstehenden nicht mitgehört werden kann, umfasst die Vorrichtung in dieser Ausführungsform bevorzugt eine Ausgabeeinrichtung zur Ausgabe von gerichteten akustischen Signalen, beispielsweise ausgebildet als Ultraschall-Lautsprechersystem, mittels dessen durch ein moduliertes Ultraschallsignal ein akustischen Strahl auf einen vorgegebenen Raumbereich gerichtet werden kann.A preferred embodiment a telecommunications device comprises a public telephone as a terminal, which advantageous with non-contact to be operated input devices and corresponding output devices equipped is. To enable communication by bystanders not heard In this embodiment, the device preferably comprises an output device for outputting directional acoustic Signals, for example formed as an ultrasonic speaker system, by means of which by a modulated ultrasonic signal an acoustic Beam can be directed to a given space area.
Die Erfindung wird nachfolgend beispielhaft anhand bevorzugter Ausführungsformen und unter Bezugnahme auf die beigefügten Zeichnungen genauer beschrieben. Dabei bezeichnen gleiche Bezugszeichen in den Zeichnungen gleiche oder ähnliche Teile.The Invention will be described below by way of example with reference to preferred embodiments and with reference to the accompanying drawings. The same reference numerals in the drawings designate the same or similar Parts.
Es zeigen:It demonstrate:
Mittels
wenigstens einer ersten Eingabeeinrichtung wird wenigstens ein erstes
Eingabesignal registriert. Als einsetzbare Eingabeeinrichtungen
sind in
Der
Datensatz
Zur
Auswertung des ersten Datensatzes sind in der dargestellten Ausführungsform
verschiedene Auswerte-Module
Die
variablen Regeln
Zu
diesem Zweck wird ein erster Datensatz
Wird
mittels der Auswerteeinheit anhand des zweiten Datensatzes in Abhängigkeit
der vorgegebenen festen Regeln
Ferner
umfasst das Endgerät
Die
Auswerteeinheit
In
Als
Ausgabeeinrichtungen dienen ein Bildschirm
Optional
kann das öffentliche
Telefon eine Taste
Im Folgenden sind einige Beispiele aus Sensor- und Sprachsignalen ableitbarer variabler Regeln aufgeführt.in the Below are some examples of sensor and speech signals derivable variable rules listed.
Ist zum Beispiel die Laufzeitdifferenz von Sprachsignalen zu räumlich auf dem Endgerät unterschiedlich angeordneten Mikrofonen innerhalb einer festgelegten Toleranz gleich oder nahe Null, so kann bereits in diesem einfachen Fall davon ausgegangen werden, dass der Nutzer mit einer lokalen und/oder netzbasierten Applikation und/oder einer anderen Person über das Endgerät kommunizieren möchte, so dass ein entsprechendes Aktivierungssignal generiert wird. Es können als Kriterium auch Entfernungsmessungen hinzugezogen werden, welche auf den Messungen der Winkel zum Nutzer über ein Kamera-Array basieren.is For example, the transit time difference of speech signals too spatially the terminal differently arranged microphones within a fixed Tolerance equal to or near zero, so already in this simple Case to be assumed that the user with a local and / or web based application and / or another person via the terminal would like to communicate, so that a corresponding activation signal is generated. It can as Criterion also distance measurements are consulted, which based on the measurements of the angle to the user via a camera array.
Die Auswertung der Laufzeiten kann mit einer Auswertung eines Bildsignals derart gekoppelt werden, dass durch Auswertung dieses Signals auf dem Endgerät oder einem entfernten Serversystem festgestellt werden kann, ob das Gesicht des Nutzers in einem oder einem von mehreren möglichen vordefinierten Winkeln zur Kamera erscheint, so dass in diesem Fall ein entsprechendes Aktivierungssignal generiert wird. Über einen Neigungssensor kann im Rahmen voreingestellter Toleranzen festgestellt werden, ob das Endgerät mit der Vorderseite nach unten oder soweit angewinkelt ist, dass von einer Abwendung des Nutzers vom Endgerät ausgegangen werden kann, was einen Kommunikationswunsch wenig wahrscheinlich erscheinen lässt. Der Bewegungssensor dient dabei der dynamischen Erfassung der Bewegungen. Erscheint zum Beispiel das Gesicht des Nutzers nach einer bestimmten Bewegung im Kamerabild, so kann unter Umständen mit einer relativ hohen Wahrscheinlichkeit oder Wichtung auf einen Kommunikationswunsch geschlossen werden.The Evaluation of the transit times can be done with an evaluation of an image signal be coupled in such a way that by evaluating this signal on the terminal or a remote server system can determine if the face of the user in one or one of several possible predefined angles to the camera appears, so in this case a corresponding activation signal is generated. About one Tilt sensor can be detected within pre-set tolerances be, whether the terminal with the front side down or as far as being angled, that can be assumed by a user's turn away from the terminal, which makes a communication request seem less likely. Of the Motion sensor serves the dynamic detection of the movements. For example, the user's face appears after a certain one Movement in the camera image, so may with a relatively high Probability or weighting on a communication request getting closed.
Wenn dann zusätzlich zu den mit hoher Wahrscheinlichkeit auf einen Kommunikationswunsch hindeutenden Sensorsignalen ein "Hot Word" mit ebenfalls hoher Wahrscheinlichkeit erkannt wird, so wird das Aktivierungssignal generiert.If then in addition to those with high probability on a communication desire suggestive sensor signals a "hot word" with equally high Probability is detected, then the activation signal generated.
Bei einer seitlich vertikalen Ausrichtung des Endgerätes mit Kamerabild ohne ein Gesicht kann zum Beispiel mit einer bestimmten Wahrscheinlichkeit davon ausgegangen werden, dass kein Kommunikationswunsch oder kein Kommunikationswunsch mehr besteht. Dementsprechend wird ein gegebenenfalls bestehender Aktivierungszustand deaktiviert oder ein Deaktivierungssignal übertragen.In a laterally vertical orientation of the terminal with camera image without a face, it can be assumed, for example, with a certain probability that no Kommu Nikationswunsch or no communication request longer exists. Accordingly, an optionally existing activation state is deactivated or a deactivation signal is transmitted.
Auf diese Art kann unter Berücksichtigung von Sensorsignalen und Spracherkennung ein Satz von Regeln, die auch als Verhaltensgrammatik bezeichnet werden können, definiert werden, welcher als Voreinstellung im Endgerät und/oder auf einem an das Kommunikationsnetz angeschlossenen Server endgeräte- und/oder nutzerbezogen gespeichert ist. Zusätzlich zu den im Endgerät installierten Sensoren und/oder Mikrofonen können sich diese auch in intelligenter Kleidung befinden und mit dem Endgerät drahtlos, z.B. über Bluetooth-Verbindungen kommunizieren, wodurch ermöglicht wird, die relative Lage des Nutzers zum Endgerät zu erfassen, zum Beispiel stehend, angelehnt, sitzend oder seitlich liegend. So kann zum Beispiel als Regel definiert werden, dass nur bei einem seitlich liegenden Nutzer und einer seitlichen Position des Endgerätes und/oder weiteren Bedingungen ein Kommunikationswunschsignal generiert wird. Steht der Nutzer, und wird das Endgerät in seitlicher Position gehalten, so wird die Wahrscheinlichkeit für einen Kommunikationswunsch als gering bewertet.On this species may be considering Sensor signals and speech recognition a set of rules, too can be defined as behavioral grammar, which can be defined as Presetting in the terminal and / or on a server connected to the communication network terminal and / or is stored user-related. In addition to those installed in the terminal Sensors and / or microphones can These are also in smart clothes and wirelessly with the terminal, e.g. above Communicate with Bluetooth connections, allowing you to detecting the relative position of the user to the terminal, for example standing, ajar, sitting or lying on the side. For example, as Usually be defined that only with a user lying to the side and a lateral position of the terminal and / or other conditions a communication request signal is generated. Is the user and will the terminal in held lateral position, so the probability of a Communication request rated as low.
Die Signale der im und/oder am Endgerät und/oder in intelligenter Kleidung installierten Eingabeeinrichtungen können auch zeitlich getaktet zur Bildung von Merkmalsvektoren dienen, welche wiederum als Grundlage zum Training von Wahrscheinlichkeitsmodellen wie zu Beispiel einem Hidden Markov Modell dienen, die in diesem Fall auch als Medienmodelle oder Verhaltensmodelle bezeichnet werden können.The Signals in and / or at the terminal and / or in intelligent Clothing installed input devices can also be timed serve to form feature vectors, which in turn as a basis to train probabilistic models such as one Hidden Markov model serve, in this case also as media models or behavioral models.
Mit diesem trainierten, nutzerabhängigen Verhaltensmodell wird bei eingeschaltetem Endgerät ständig das über die Eingabeeinrichtungen erfasste aktuelle Nutzerverhalten verglichen und ab einem bestimmten errechneten Zuverlässigkeitswert bzw. Wahrscheinlichkeit wird das Kommunikationswunschsignal oder Deaktivierungssignal generiert.With this trained, user-dependent behavioral model is the device always on via the Input devices detected compared current user behavior and from a certain calculated reliability value or probability the communication request signal or deactivation signal is generated.
Das Training des Verhaltensmodells kann sowohl durch eine Software auf dem Endgerät, als auch auf einem über ein Kommunikationsnetz erreichbaren Server erfolgen. Dazu kann zum Beispiel der Nutzer in der Anfangsphase veranlasst werden, bei jedem Kommunikationswunsch eine Taste zu betätigen und/oder eine andere vorgeschriebene und eng definierte, erfassbare Aktion durchzuführen. Ähnliches gilt analog für den Abschluss der Kommunikation. Die vorher und gegebenenfalls kurz nachher innerhalb eines gewissen Zeitraums über die Eingabeeinrichtungen in mehreren Trainingsprozessen erfassten Merkmalsvektoren dienen dann der Bildung eines Referenz-Verhaltensmodells eines Nutzers.The Training the behavioral model can be done both by software the terminal, as well as on one over a communication network reachable server. This can for Example of users being initiated in the initial phase, at each Communication request to press a button and / or another prescribed and narrowly defined, recordable action. something similar applies analogously for the completion of communication. The before and if necessary briefly subsequently within a certain period of time via the input devices used in several training processes feature vectors serve then the formation of a reference behavioral model of a user.
Über ein Kommunikationsnetz können die über die Eingabeeinrichtungen während der Trainingsphasen erfassten Sensordaten bzw. Merkmalsvektoren einer großen Anzahl von Nutzern auch der Bildung eines gemittelten, nutzerunabhängigen Verhaltensmodells dienen. Zu diesem Zweck werden die Nutzer in der Anfangsphase beispielsweise wiederum veranlasst, bei jedem Kommunikationswunsch eine Taste zu betätigen und/oder eine andere vorgeschriebene und eng definierte, erfassbare Aktion durchzuführen. Die vorher und gegebenenfalls kurz nachher innerhalb eines gewissen Zeitraums über die Eingabeeinrichtungen in mehreren Trainingsprozessen erfassten Merkmalsvektoren bzw. Daten werden dann an mindestens ein am Kommunikationsnetz angeschlossenes Serversystem übermittelt. Ist eine hinreichende z.B. als Grenzwert definierte Anzahl von erfassten Daten einer großen Anzahl verschiedener Nutzer vorhanden, können diese zur Bildung eines nutzerunabhängigen Verhaltensmodells für einen Kommunikationswunsch genutzt werden.About one Communication network can the above the input devices during The training phases recorded sensor data or feature vectors a big one Number of users also the formation of an averaged, user-independent behavioral model serve. For this purpose, the users in the initial phase, for example in turn, causes a key to be pressed for each communication request actuate and / or another prescribed and narrowly defined, recordable Perform action. The before and if necessary shortly after within a certain Over the period Input devices in several training processes detected feature vectors or data is then connected to at least one connected to the communication network Server system transmitted. If a sufficient e.g. limit defined as number of detected Data of a big one Number of different users, these can be used to form a user-independent Behavioral model for a communication request can be used.
Es können auch vorteilhaft verschiedene Verhaltensmodelle für einen Kommunikationswunsch vorgesehen sein, die unterschiedlichen Applikationen zugeordnet sind, wobei diese dementsprechend applikationsabhängig gespeichert werden.It can Also beneficial are various behavioral models for one Communication desire to be provided, the different applications are assigned, which stored accordingly depending on the application become.
Zur Verbesserung der berührungslosen Bedienung stationärer und/oder quasistationärer, zum Beispiel in Fahrzeugen eingebauter, Endgeräte und dabei speziell öffentlicher Telefone ist neben der berührungslosen Aktivierung und/oder Deaktivierung der Signale, die einen Kommunikationswunsch zum Ausdruck bringen, noch ein Ausgabemodus, gegebenenfalls mit Freisprechfunktionalität mit gerichtetem Schall erforderlich, der verhindert, dass Umstehende die Ausgaben mindestens eines Endgerätelautsprechers mithören. Hierzu kann ein aus dem Stand der Technik bekanntes Ultraschallverfahren Anwendung finden.to Improvement of non-contact Operation stationary and / or quasi-stationary, for example, in vehicles built-in terminals and especially public Phones is next to the non-contact Activation and / or deactivation of the signals that require a communication express one more output mode, if necessary with Hands-free functionality with directional sound required, which prevents bystanders the Spend at least one terminal loudspeaker listen in. For this purpose, a known from the prior art ultrasonic method Find application.
Ferner können in öffentlichen Telefonen vorteilhaft beweglich eingebaute und/oder über die Gerätehöhe verteilte Sensoren, wie Näherungssensoren, Kamerasysteme und Mikrofon-Arrays, sowohl der Ortung des Nutzers und der genauen Nachführung in Richtung des Nutzers, als auch der Steuerung eines ebenfalls beweglichen und/oder über die Gerätehöhe verteilten Lautsprechersystems dienen, um z.B. Anpassungen an die Nutzergröße durchzuführen (behindertengerechte Ausführung). Ebenfalls verteilt über die Gerätehöhe und/oder -fläche können Einrichtungen zur magnetischen Ankopplung von Hörgeräten verteilt werden, welche entsprechend der Nutzerlokalisierung angesteuert werden.Further can in public Phones advantageous movably built and / or over the Device height distributed Sensors, such as proximity sensors, Camera systems and microphone arrays, both the location of the user and the exact tracking in the direction of the user, as well as the control of one too movable and / or over distributed the device height Speaker system are used, for. Adjustments to the size of the users (handicapped accessible Execution). Also distributed over the device height and / or -area can facilities be distributed for the magnetic coupling of hearing aids, which be driven according to the user localization.
Ein Vorteil des beschriebenen Verfahrens besteht darin, dass nicht nur allein Sprachdaten oder allein andere Eingabemodi, sondern auch andere Daten der jeweils vorhandenen Eingabeeinrichtungen einer gemeinsamen Auswertung unterworfen werden, wodurch die Sicherheit zur Generierung bzw. Deaktivierung von Kommunikationswunschsignalen und damit die Nutzerakzeptanz wesentlich erhöht wird. Nutzer können sich, bei Bedarf nach Abschluss von Trainingsphasen, ohne zusätzliche Tastenbetätigungen über ein Endgerät einer Anwendung und/oder anderen Person als Kommunikationspartner "zuwenden". Ermöglicht werden auf diese Art öffentliche Telefone ohne über Kabel angeschlossene Hörer, die mit eingebautem Lautsprechersystem und Mikrofonarray und/oder Kamera und/oder Näherungssensoren ausgestattet sind, bei denen das Signal zur Kommunikation nicht mehr durch Abnehmen und Auflegen des Hörers aktiviert bzw. deaktiviert wird, sondern eine Aktivierung und Deaktivierung durch Überwachung der berührungslosen und/oder unimodalen und/oder multimodalen Eingabemöglichkeiten erfolgt. Die Geräte werden dadurch kompakter und weniger anfällig gegen Vandalismus. Auch ist eine separate Taste zum Beispiel zur Aktivierung und/oder Abbruch der Kommunikation, deren Betätigung ggf. scherzhaft vorgenommen oder vergessen werden kann, nicht unbedingt erforderlich.An advantage of the described method is that not only alone voice data or only other input modes, but also other data of the respective input devices are subjected to a joint evaluation, whereby the security for generating or deactivating communication request signals and thus the user acceptance is significantly increased. Users can, if necessary after completion of training phases, without additional keystrokes via a terminal of an application and / or other person as a communication partner "turn". In this way, public telephones are made possible without cable-connected handsets equipped with a built-in loudspeaker system and microphone array and / or camera and / or proximity sensors, in which the signal for communication is no longer activated or deactivated by removing and hanging up the receiver, but an activation and deactivation by monitoring the non-contact and / or unimodal and / or multimodal input options is done. This makes the devices more compact and less susceptible to vandalism. Also, a separate key, for example, to activate and / or cancel the communication, the operation of which may jokingly be made or forgotten, not necessarily required.
Claims (29)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006058758.8A DE102006058758B4 (en) | 2006-12-12 | 2006-12-12 | Method and device for controlling a telecommunication terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006058758.8A DE102006058758B4 (en) | 2006-12-12 | 2006-12-12 | Method and device for controlling a telecommunication terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102006058758A1 true DE102006058758A1 (en) | 2008-06-19 |
DE102006058758B4 DE102006058758B4 (en) | 2018-02-22 |
Family
ID=39399547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102006058758.8A Expired - Fee Related DE102006058758B4 (en) | 2006-12-12 | 2006-12-12 | Method and device for controlling a telecommunication terminal |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102006058758B4 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011117289A1 (en) * | 2011-10-31 | 2013-05-02 | Volkswagen Ag | A method of operating a mobile device in a vehicle |
DE102016118007A1 (en) | 2016-09-23 | 2018-03-29 | Gira Giersiepen Gmbh & Co. Kg | Method for operating at least one building intercom and a corresponding building intercom system |
DE102009058146B4 (en) | 2009-12-12 | 2024-07-11 | Volkswagen Ag | Method and device for multimodal context-sensitive operation |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0141289A2 (en) * | 1983-10-22 | 1985-05-15 | Alcatel N.V. | Device for a telephone set |
US5255341A (en) * | 1989-08-14 | 1993-10-19 | Kabushiki Kaisha Toshiba | Command input device for voice controllable elevator system |
EP0930761A2 (en) * | 1998-01-20 | 1999-07-21 | Lucent Technologies Inc. | Telephone with adaptive speed dial method |
US6263216B1 (en) * | 1997-04-04 | 2001-07-17 | Parrot | Radiotelephone voice control device, in particular for use in a motor vehicle |
EP1117076A2 (en) * | 2000-01-13 | 2001-07-18 | Ncr International Inc. | Self-service terminal |
DE10130852A1 (en) * | 2000-06-29 | 2002-05-29 | Werner Maier | Voice-controled remote control system for electrical equipment has voice recognition stage in mobile telephone with adaptable association of voice recognition to coded control signals |
DE10117654A1 (en) * | 2001-04-09 | 2002-10-17 | T Mobile Deutschland Gmbh | Control procedure for mobile-phone terminals, involves storing and carrying out macro-commands |
US20020167392A1 (en) * | 2001-05-08 | 2002-11-14 | Gene Williams | Motion activated communication device |
DE10251112A1 (en) * | 2002-11-02 | 2004-05-19 | Philips Intellectual Property & Standards Gmbh | Voice recognition involves generating alternative recognition results during analysis with next highest probability of match to detected voice signal for use to correct output recognition result |
DE102004029873B3 (en) * | 2004-06-16 | 2005-12-29 | Deutsche Telekom Ag | Method for intelligent input correction for automatic voice dialog system, involves subjecting user answer to confirmation dialog to recognition process |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2002251001A1 (en) * | 2001-02-28 | 2002-09-12 | Jurgen Beckmann | Input device, especially for a mobile telephone |
US6498970B2 (en) * | 2001-04-17 | 2002-12-24 | Koninklijke Phillips Electronics N.V. | Automatic access to an automobile via biometrics |
DE10156954B9 (en) * | 2001-11-20 | 2005-07-14 | Daimlerchrysler Ag | Image-based adaptive acoustics |
JP4311190B2 (en) * | 2003-12-17 | 2009-08-12 | 株式会社デンソー | In-vehicle device interface |
-
2006
- 2006-12-12 DE DE102006058758.8A patent/DE102006058758B4/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0141289A2 (en) * | 1983-10-22 | 1985-05-15 | Alcatel N.V. | Device for a telephone set |
US5255341A (en) * | 1989-08-14 | 1993-10-19 | Kabushiki Kaisha Toshiba | Command input device for voice controllable elevator system |
US6263216B1 (en) * | 1997-04-04 | 2001-07-17 | Parrot | Radiotelephone voice control device, in particular for use in a motor vehicle |
EP0930761A2 (en) * | 1998-01-20 | 1999-07-21 | Lucent Technologies Inc. | Telephone with adaptive speed dial method |
EP1117076A2 (en) * | 2000-01-13 | 2001-07-18 | Ncr International Inc. | Self-service terminal |
DE10130852A1 (en) * | 2000-06-29 | 2002-05-29 | Werner Maier | Voice-controled remote control system for electrical equipment has voice recognition stage in mobile telephone with adaptable association of voice recognition to coded control signals |
DE10117654A1 (en) * | 2001-04-09 | 2002-10-17 | T Mobile Deutschland Gmbh | Control procedure for mobile-phone terminals, involves storing and carrying out macro-commands |
US20020167392A1 (en) * | 2001-05-08 | 2002-11-14 | Gene Williams | Motion activated communication device |
DE10251112A1 (en) * | 2002-11-02 | 2004-05-19 | Philips Intellectual Property & Standards Gmbh | Voice recognition involves generating alternative recognition results during analysis with next highest probability of match to detected voice signal for use to correct output recognition result |
DE102004029873B3 (en) * | 2004-06-16 | 2005-12-29 | Deutsche Telekom Ag | Method for intelligent input correction for automatic voice dialog system, involves subjecting user answer to confirmation dialog to recognition process |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009058146B4 (en) | 2009-12-12 | 2024-07-11 | Volkswagen Ag | Method and device for multimodal context-sensitive operation |
DE102011117289A1 (en) * | 2011-10-31 | 2013-05-02 | Volkswagen Ag | A method of operating a mobile device in a vehicle |
DE102011117289B4 (en) * | 2011-10-31 | 2017-08-24 | Volkswagen Ag | Method for operating a mobile device in a vehicle, coupling device, vehicle and system |
DE102016118007A1 (en) | 2016-09-23 | 2018-03-29 | Gira Giersiepen Gmbh & Co. Kg | Method for operating at least one building intercom and a corresponding building intercom system |
Also Published As
Publication number | Publication date |
---|---|
DE102006058758B4 (en) | 2018-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60036931T2 (en) | USER LANGUAGE INTERFACE FOR VOICE-CONTROLLED SYSTEMS | |
EP0852051B1 (en) | Process for automatic control of one or more devices by voice commands or by real-time voice dialog and apparatus for carrying out this process | |
DE102016103160B4 (en) | Method and device for a voice control user interface with a discrete operating mode | |
DE10163213A1 (en) | Method for operating a speech recognition system | |
DE102019206743A1 (en) | Hearing aid system and method for processing audio signals | |
DE10251113A1 (en) | Voice recognition method, involves changing over to noise-insensitive mode and/or outputting warning signal if reception quality value falls below threshold or noise value exceeds threshold | |
DE102007044792A1 (en) | Method, control unit and system for control or operation | |
EP2306756A1 (en) | Method for fine tuning a hearing aid and hearing aid | |
EP3661797B1 (en) | Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle | |
WO2011069668A1 (en) | Conference system and associated signalling method | |
EP3386215B1 (en) | Hearing aid and method for operating a hearing aid | |
EP3836139B1 (en) | Hearing aid and method for coupling two hearing aids together | |
EP3873108A1 (en) | Hearing system with at least one hearing instrument worn in or on the ear of the user and method for operating such a hearing system | |
EP3337187A1 (en) | Method for operating a hearing aid | |
EP3396978B1 (en) | Hearing aid and method for operating a hearing aid | |
CN110232924A (en) | Vehicle-mounted voice management method, device, vehicle and storage medium | |
DE102016217026A1 (en) | Voice control of a motor vehicle | |
DE112021005108T5 (en) | MONITORING CIRCUITS | |
DE102017213249A1 (en) | Method and system for generating an auditory message in an interior of a vehicle | |
US8335332B2 (en) | Fully learning classification system and method for hearing aids | |
DE102019203786A1 (en) | Hearing aid system | |
DE102006058758B4 (en) | Method and device for controlling a telecommunication terminal | |
DE102017213252A1 (en) | A method, apparatus and computer program for varying an audio content to be output in a vehicle | |
DE112019003773T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
DE102015212609A1 (en) | Method for operating a hearing aid system and hearing aid system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
R012 | Request for examination validly filed |
Effective date: 20131115 |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |