DE102016217026A1 - Voice control of a motor vehicle - Google Patents

Voice control of a motor vehicle Download PDF

Info

Publication number
DE102016217026A1
DE102016217026A1 DE102016217026.0A DE102016217026A DE102016217026A1 DE 102016217026 A1 DE102016217026 A1 DE 102016217026A1 DE 102016217026 A DE102016217026 A DE 102016217026A DE 102016217026 A1 DE102016217026 A1 DE 102016217026A1
Authority
DE
Germany
Prior art keywords
speaker
voice
motor vehicle
property
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016217026.0A
Other languages
German (de)
Inventor
Albrecht Neff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102016217026.0A priority Critical patent/DE102016217026A1/en
Publication of DE102016217026A1 publication Critical patent/DE102016217026A1/en
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Vorgestellt werden ein Verfahren und ein Sprachsteuerungssystem zur Sprachsteuerung eines Kraftfahrzeugs, mit denen die Sprachsteuerung in Kraftfahrzeugen verbessert und insbesondere eine natürlichere Nutzung einer derartigen Sprachsteuerung ermöglicht wird. Das Verfahren umfasst dazu die Schritte – Erfassen einer Spracheingabe eines Insassen des Kraftfahrzeugs, – Bestimmen einer Eigenschaft des Sprechers, – Verarbeiten der Spracheingabe in Abhängigkeit der Eigenschaft des Sprechers.Disclosed are a method and a voice control system for voice control of a motor vehicle, with which the voice control in motor vehicles improved and in particular a more natural use of such a voice control is enabled. The method comprises for this the steps - detecting a voice input of an occupant of the motor vehicle, - determining a property of the speaker, - processing the voice input depending on the property of the speaker.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Sprachsteuerung eines Kraftfahrzeugs sowie ein Kraftfahrzeug mit einem Sprachsteuerungssystem. The present invention relates to a method for voice control of a motor vehicle and a motor vehicle with a voice control system.

Moderne Kraftfahrzeuge verfügen bereits heute über weitreichende Möglichkeiten zur Sprachsteuerung. Über im Kraftfahrzeug integrierte Mikrofone können Spracheingaben eines Insassen, insbesondere des Fahrers, erfasst und anschließend verarbeitet werden. Auf diese Weise ist es bereits heute möglich, zahlreiche Funktionen per Sprache zu bedienen, z.B. Navigationsziele einzugeben, Radiosender einzustellen, Telefonanrufe zu tätigen, etc. Modern motor vehicles already have far-reaching possibilities for voice control. By way of microphones integrated in the motor vehicle, voice inputs of an occupant, in particular of the driver, can be detected and subsequently processed. In this way, it is already possible today to service many functions by voice, e.g. Enter navigation destinations, tune in to radio stations, make phone calls, etc.

Moderne Sprachsteuerungssysteme können benutzt werden, ohne dass sie zuvor auf die Stimme des Benutzers trainiert wurden. Dennoch unterliegt ihre Benutzung gewissen Einschränkungen. Beispielsweise erwarten Sprachsteuerungssysteme in der Regel eine Eingabe in einer bestimmten Sprache. Spricht der Benutzer eine abweichende Sprache, so kann die Spracheingabe in der Regel nicht richtig erkannt und verarbeitet werden. Modern voice control systems can be used without having previously been trained on the user's voice. Nevertheless, their use is subject to certain restrictions. For example, voice control systems typically expect input in a particular language. If the user speaks a different language, the voice input can usually not be recognized and processed correctly.

Durch die intensivere Nutzung persönlicher Assistenzsysteme, z.B. sogenannter Smartphones, gewöhnen sich Nutzer an einen zunehmend „natürlichen“, d.h. dem menschlichen Umgang entsprechenden, Umgang mit elektronischen Assistenzsystemen. Die daraus erwachsende Erwartungshaltung betrifft auch Kraftfahrzeuge, an deren Assistenzsysteme und insbesondere an deren Fähigkeiten zur Mensch-Maschine-Kommunikation wachsende Anforderungen gestellt werden. Dies gilt umso mehr vor dem Hintergrund der Einführung teil-, hoch- und vollautomatisiert betreibbarer Kraftfahrzeuge. Through the more intensive use of personal assistance systems, e.g. So-called smartphones, users get used to an increasingly "natural", i. handling of electronic assistance systems in accordance with human interaction. The resulting expectation also applies to motor vehicles on whose assistance systems and in particular their capabilities for man-machine communication growing demands are made. This applies all the more against the background of the introduction of partially, highly and fully automated operable motor vehicles.

Vor dem geschilderten Hintergrund besteht die Aufgabe, die Sprachsteuerung in Kraftfahrzeugen zu verbessern und insbesondere eine natürlichere Nutzung einer derartigen Sprachsteuerung zu ermöglichen. Against the described background, the object is to improve the voice control in motor vehicles and in particular to enable a more natural use of such a voice control.

Die Aufgabe wird gelöst bei einem Verfahren und einem Kraftfahrzeug mit den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstände der abhängigen Ansprüche. The object is achieved in a method and a motor vehicle having the features of the independent claims. Advantageous developments of the invention are subject matter of the dependent claims.

Bei dem erfindungsgemäßen Verfahren zur Sprachsteuerung eines Kraftfahrzeugs wird zunächst eine Spracheingabe eines Insassen des Kraftfahrzeugs erfasst. Bei dem Insassen kann es sich insbesondere um einen Fahrer des Kraftfahrzeugs handeln. Es kann sich jedoch auch um jeden anderen Insassen handeln, beispielsweise um einen Beifahrer oder um einen Passagier auf einem Rücksitz. Anschließend wird zumindest eine Eigenschaft des Sprechers bestimmt. Der Sprecher ist derjenige Insasse, der die zuvor erfasste Spracheingabe geäußert hat. In the method according to the invention for voice control of a motor vehicle, first of all a voice input of an occupant of the motor vehicle is detected. The occupant may in particular be a driver of the motor vehicle. However, it may also be any other occupant, such as a passenger or a passenger in a back seat. Subsequently, at least one property of the speaker is determined. The speaker is the one inmate who has uttered the previously recorded voice input.

Erfindungsgemäß wird dann die Spracheingabe in Abhängigkeit der Eigenschaft des Sprechers verarbeitet. Mit anderen Worten sieht die Erfindung also vor, dass die Spracheingabe nicht mehr nur – wie im Stand der Technik üblich – als solche verarbeitet wird, sondern es wird bei der Verarbeitung die Eigenschaft des Sprechers berücksichtigt. Der Kern der Erfindung lässt sich somit auch dadurch umschreiben, dass die Spracheingabe zum Zwecke ihrer Verarbeitung dem Sprecher zugeordnet wird. Diese Zuordnung ermöglicht es auf mannigfaltige Weise, die Spracheingabe intelligenter und vielfältiger nutzbar zu machen und vergrößert so wesentlich die Möglichkeiten der Sprachsteuerung in Kraftfahrzeugen. According to the speech input is then processed depending on the property of the speaker. In other words, the invention thus provides that the speech input is not only processed as such, as is customary in the prior art, but that the speaker's characteristic is taken into account during the processing. The core of the invention can therefore also be described by the fact that the speech input is assigned to the speaker for the purpose of their processing. This assignment makes it possible in a variety of ways to make speech input more intelligent and more versatile, thereby significantly increasing the possibilities of voice control in motor vehicles.

Eine vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Eigenschaft des Sprechers eine Sitzposition des Sprechers in dem Kraftfahrzeug umfasst. Mit anderen Worten wird dann also die Sitzposition des Sprechers bestimmt und anschließend die Spracheingabe in Abhängigkeit der Sitzposition verarbeitet. Auf diese Weise wird ermöglicht, Spracheingaben zu verarbeiten, deren Semantik sich erst durch den Bezug zur Randinformation der Sitzposition erschließen lässt. Beispielsweise kann die Spracheingabe „Öffne mein Fenster“ ohne Kenntnis der Sitzposition schwerlich verarbeitet werden, da die Bedeutung des Possessivpronomens „mein“ nicht aufzulösen wäre. Indem jedoch die Verarbeitung der Spracheingabe in Abhängigkeit der Sitzposition des Sprechers erfolgt, kann ermittelt werden, welches Fenster geöffnet werden soll. An advantageous embodiment of the invention provides that the property of the speaker comprises a sitting position of the speaker in the motor vehicle. In other words, then the sitting position of the speaker is determined and then processed the voice input depending on the seating position. In this way it is possible to process voice inputs whose semantics can only be deduced by reference to the edge information of the sitting position. For example, the voice input "open my window" without knowledge of the sitting position can be difficult to process because the meaning of the possessive pronoun "mine" would not be resolved. However, by the processing of the speech input depending on the sitting position of the speaker, it can be determined which window should be opened.

Der Schritt des Bestimmens der Sitzposition des Sprechers kann mit besonderem Vorteil eine Lokalisierung der Schallquelle der Spracheingabe umfassen. Mit anderen Worten kann die Sitzposition des Sprechers dadurch bestimmt werden, dass der örtliche Ursprung des akustischen Signals errechnet wird. Hierzu müssen im Fahrzeug mindestens zwei Mikrofone angeordnet sein, bevorzugt jedoch mehr als zwei. Besonders bevorzugt ist es, dass in örtlicher Nähe zu jedem Sitzplatz (z.B. im Fahrzeugdach über jedem Sitzplatz) je ein Mikrofon angeordnet ist. Hierdurch wird beispielsweise die Ortung der Schallquelle mittels Pegelmessung, Triangulation und / oder weiterer an sich bekannter Methoden ermöglicht. The step of determining the sitting position of the speaker may particularly advantageously include locating the sound source of the voice input. In other words, the sitting position of the speaker can be determined by calculating the local origin of the acoustic signal. For this purpose, at least two microphones must be arranged in the vehicle, but preferably more than two. It is particularly preferred that a microphone is arranged in each case in close proximity to each seat (for example in the vehicle roof above each seat). As a result, for example, the location of the sound source by means of level measurement, triangulation and / or other methods known per se allows.

Besonders bevorzugt können in diesem Zusammenhang an sich aus der Signalverarbeitung bekannte Methoden der Quellentrennung (engl. „Source separation“) angewendet werden, beispielsweise „independent component analysis“ (ICA) oder „principal component analysis“ (PCA). Diese bieten neben der Möglichkeit der Ortung der Schallquelle auch den Vorteil, dass mehrere gleichzeitig geäußerte Spracheingaben getrennt werden können. Es kann hierdurch eine parallele Verarbeitung jeder der gleichzeitig geäußerten, aber mittels Quellentrennung getrennten Spracheingaben erfolgen, indem das erfindungsgemäße Verfahren nach der erfolgten Quellentrennung mehrfach (nämlich jeweils für jede der Spracheingaben) parallel ausgeführt wird. Particularly preferred in this connection, known methods of source separation ("source separation") from signal processing can be used, for example "independent component analysis" (ICA) or "principal component analysis" (PCA). These offer besides the possibility of locating the sound source also the Advantage that several voice messages spoken simultaneously can be separated. This makes it possible to carry out parallel processing of each of the voice inputs which are spoken simultaneously but separated by source separation, in that the method according to the invention is executed in parallel several times (namely for each of the voice inputs) after the source separation has taken place.

Alternativ oder zusätzlich kann die Bestimmung der Sitzposition des Sprechers erfolgen, indem die Sprachtätigkeit des Insassen erkannt wird. Dies geschieht bevorzugt dadurch, dass die von einer Innenraumkamera des Fahrzeugs erfassten Bilder derart ausgewertet werden, dass eine Sprechtätigkeit erkannt wird. Eine Sprechtätigkeit kann insbesondere erkannt werden, indem eine für das Sprechen typische Bewegung des Mundes des Insassen erkannt wird. Alternatively or additionally, the determination of the sitting position of the speaker can be made by the speech activity of the occupant is detected. This is preferably done by evaluating the images captured by an interior camera of the vehicle in such a way that a speaking activity is detected. Speech activity can be detected, in particular, by recognizing a movement of the mouth of the occupant which is typical for speech.

Alternativ oder zusätzlich kann die Bestimmung der Sitzposition des Sprechers erfolgen, indem der Sprecher ein dafür eingerichtetes Bedienelement betätigt. Bereits heute ist bekannt, in Kraftfahrzeugen einen Knopf am Lenkrad anzuordnen, den der Fahrer zur Eingabe eines Sprachbefehls drücken muss. Mit besonderem Vorteil kann nun vorgesehen werden, dass mehrere, bevorzugt alle, Sitzplätze des Kraftfahrzeugs ein solches Bedienelement erhalten. Es kann dann jeder Insasse sein Bedienelement betätigen, um anzuzeigen, dass die (anschließend an die Betätigung des Bedienelements erfolgende) Spracheingabe von ihm stammt. Es kann zudem vorgesehen sein, dass Spracheingaben nur dann berücksichtigt (also verarbeitet) werden, wenn zuvor eines der Bedienelemente gedrückt wurde. Es kann aber auch vorgesehen sein, dass jede Spracheingabe unabhängig von einer Betätigung eines der Bedienelemente verarbeitet wird. Im letztgenannten Fall hat das Bedienelement lediglich die Funktion, das Sprachsteuerungssystem des Kraftfahrzeugs bei dem Bestimmen der Sitzposition des Sprechers zu unterstützen. Alternatively or additionally, the determination of the seating position of the speaker can be made by the speaker operates a control element set up for it. Already today it is known to arrange a button on the steering wheel in motor vehicles, which the driver must press to enter a voice command. With particular advantage, it can now be provided that several, preferably all, seats of the motor vehicle receive such an operating element. Each occupant can then actuate his control to indicate that the voice input (subsequent to the operation of the control) is from him. It can also be provided that voice inputs are only considered (ie processed) if one of the operating elements was previously pressed. However, it can also be provided that each voice input is processed independently of an operation of one of the controls. In the latter case, the operating element only has the function of assisting the voice control system of the motor vehicle in determining the sitting position of the speaker.

In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die Eigenschaft des Sprechers eine Identität des Sprechers. Mit anderen Worten wird dann also eine Identität des Sprechers bestimmt. Der Begriff der Identität ist in diesem Zusammenhang breit zu verstehen. Er soll alle Merkmale umfassen, die zur Unterscheidung der Person des Sprechers von weiteren Person geeignet sein können (Identitätsmerkmal). Beispielsweise kann die Identität

  • – den Namen und / oder
  • – eine Identifikationsnummer und / oder
  • – ein biometrisches Merkmal, insbesondere Gesichtszüge, eine Körperhaltung, Körpermaße, ein Gewicht, einen Fingerabdruck, ein Aussehen einer Iris, eine Stimmeigenschaft,
des Sprechers umfassen. In a further embodiment of the method according to the invention, the property of the speaker comprises an identity of the speaker. In other words, then an identity of the speaker is determined. The concept of identity is broad in this context. It should include all features that may be suitable for distinguishing the person of the speaker from another person (identity feature). For example, the identity
  • - the name and / or
  • - an identification number and / or
  • A biometric feature, in particular facial features, a posture, body measurements, a weight, a fingerprint, an iris appearance, a voice characteristic,
of the speaker.

Indem die Identität des Sprechers bestimmt wird, kann die Verarbeitung der Spracheingabe besonders vielfältig ausgestaltet werden, weil dann zur Verarbeitung jede den individuellen Sprecher betreffende Information genutzt werden kann. By determining the identity of the speaker, the processing of the voice input can be made particularly varied because then any information concerning the individual speaker can be used for processing.

Die Identität des Sprechers wird mit besonderem Vorteil bestimmt, indem zumindest ein Identitätsmerkmal des Sprechers erfasst wird. Die Identität des Sprechers wird dann bestimmt, indem das zumindest eine erfasste Identitätsmerkmal mit in einer Datenbank gespeicherten Identitätsmerkmalen verglichen wird. Eine derartige Datenbank kann durch einen im Kraftfahrzeug angeordneten Datenspeicher gebildet werden, in dem Identitätsmerkmale für die Fahrt im Fahrzeug zuvor registrierter Personen abgespeichert werden. Ebenso kann eine derartige Datenbank aber auch außerhalb des Fahrzeugs angeordnet sein. In diesem Fall kann der Zugriff beispielsweise mittels einer mobilen Datenkommunikationseinrichtung des Kraftfahrzeugs erfolgen. The identity of the speaker is determined with particular advantage by detecting at least one identity feature of the speaker. The identity of the speaker is then determined by comparing the at least one detected identity feature to identity features stored in a database. Such a database can be formed by a data memory arranged in the motor vehicle, in which identity features for the journey in the vehicle of previously registered persons are stored. Likewise, however, such a database can also be arranged outside the vehicle. In this case, the access can take place, for example, by means of a mobile data communication device of the motor vehicle.

Vorzugsweise kann also das die erfasste Spracheingabe repräsentierende akustische Signal im Hinblick auf die Stimme des Sprechers betreffende Identitätsmerkmale analysiert werden. Durch Abgleich mit der Datenbank kann dann bestimmt werden, dass die Stimme des Sprechers beispielsweise die Stimme von Herrn X oder Frau Y ist, dass also der Sprecher Herr X oder die Sprecherin Frau Y ist. Preferably, therefore, the acoustic signal representing the detected speech input may be analyzed with respect to identity features pertaining to the voice of the speaker. By comparison with the database, it can then be determined that the speaker's voice is, for example, the voice of Mr. X or Mrs. Y, that is, the speaker is Mr. X or the speaker is Mrs. Y.

Weiter vorzugsweise können visuelle biometrische Daten (z.B. Gesichtszüge, Iris, Körperhaltung, etc.) des Sprechers mittels einer Innenraumkamera erfasst und wiederum durch Abgleich mit der Datenbank einer Person (Herr X, Frau Y, etc.) zugeordnet werden. Further preferably, visual biometric data (e.g., facial features, iris, posture, etc.) of the speaker may be captured by means of an indoor camera and in turn associated with a subject's database (Mr. X, Ms. Y, etc.).

Weiter vorzugsweise können andere biometrische Daten des Sprechers mittels einer jeweils geeigneten Erfassungsvorrichtung erfasst und wiederum durch Abgleich mit der Datenbank einer Person (Herr X, Frau Y, etc.) zugeordnet werden. Beispielsweise kann ein Gewicht des Sprechers mittels einer im Sitz angeordneten Gewichtserfassungsvorrichtung oder ein Fingerabdruck mittels einer (z.B. am Lenkrad und / oder an anderen Bedienelementen) Fingerabdruckerkennungsvorrichtung erfasst werden. Further preferably, other biometric data of the speaker can be detected by means of a respectively suitable detection device and in turn be assigned by matching with the database of a person (Mr. X, Mrs. Y, etc.). For example, a weight of the speaker may be detected by means of a weight sensing device or fingerprint disposed in the seat by means of a fingerprint recognition device (e.g., on the steering wheel and / or other controls).

Weiter vorzugsweise kann ein Identitätsmerkmal des Sprechers durch eine Selbstidentifikation des Sprechers erfasst werden. Mit anderen Worten kann der Sprecher dem Sprachsteuerungssystem explizit seine Identität mitteilen. Dies ist auf vielfältige Weise möglich. Beispielsweise kann dazu ein Fingerabdruckleser genutzt werden, den jeder Insasse beim Einsteigen einmalig nutzt und so dem Kraftfahrzeug seine Identität preisgibt. Further preferably, an identity feature of the speaker can be detected by a self-identification of the speaker. In other words, the speaker can explicitly communicate his identity to the voice control system. This is possible in many ways. For example, a fingerprint reader can be used by everyone Occupant once when boarding uses and so the motor vehicle reveals his identity.

Ferner können von den Insassen mitgeführte Mobilgeräte genutzt werden, die einen Rückschluss auf die Identität des jeweiligen Besitzers zulassen. Beispiele solcher Mobilgeräte umfassen Smartphone, Smartwatch und persönlich zugeordnete elektronische Fahrzeugschlüssel. Furthermore, mobile devices carried by the inmates can be used, which allow a conclusion on the identity of the respective owner. Examples of such mobile devices include smartphones, smartwatches, and personally assigned electronic vehicle keys.

Derartige Mobilgeräte verfügen in der Regel über eindeutige Kennungen und können zugleich einem Nutzer zugeordnet werden, sodass sie die Feststellung der Identität des Nutzers ermöglichen. Wird beispielsweise die Anwesenheit der Mobilgeräte SMARTPHONE_ABC von Herrn X und SMARTWATCH_XYZ von Frau Y im Fahrzeug festgestellt, so sind vermutlich auch deren Nutzer Insassen. Such mobile devices usually have unique identifiers and can be assigned to a user at the same time, so that they allow the determination of the identity of the user. For example, if Ms Y and SMARTWATCH_XYZ detect the presence of mobile devices SMARTPHONE_ABC in the vehicle, their users are likely to be inmates as well.

Besonders bevorzugt wird mittels derart zugeordneter Mobilgeräte deren Position und somit die Sitzposition des jeweiligen Nutzers des Mobilgeräts im Kraftfahrzeug bestimmt, z.B. mittels

  • – eines mit dem Mobilgerät verbundenen Ladeanschlusses oder einer Dockingstation und / oder
  • – einer Signalstärke eines Mobilfunksignals (z.B. WLAN, Bluetooth, NFC, RFID, LTE, etc.), wobei auch eine Triangulierung über mehrere unterschiedliche Signaltypen (z.B. Bluetooth und WLAN) erfolgen kann. Insbesondere können hierbei Änderungen der Signalstärke gewinnbringend ausgewertet werden. Beispielsweise kann zu einem Zeitpunkt eines Einsteigens des Nutzers in das Kraftfahrzeug festgestellt werden, durch welche Tür bzw. von welcher Fahrzeugseite das Mobilgerät ins Fahrzeug gelangt ist.
Particularly preferably, by means of such associated mobile devices whose position and thus the seating position of the respective user of the mobile device in the motor vehicle determined, for example by means
  • - A charging port or a docking station connected to the mobile device and / or
  • - A signal strength of a mobile radio signal (eg WLAN, Bluetooth, NFC, RFID, LTE, etc.), whereby a triangulation of several different types of signals (eg Bluetooth and WLAN) can be done. In particular, changes in the signal strength can be profitably evaluated here. For example, it can be determined at a time when the user enters the motor vehicle through which door or from which side of the vehicle the mobile device has entered the vehicle.

Ferner kann eine Selbstidentifikation mittels Spracheingabe erfolgen („Ich bin Herr X“). Mit besonderem Vorteil kann hierzu vorgesehen sein, dass als zusätzliche Verfahrensschritte ein Bedarf für eine Bestimmung der Identität des Sprechers ermittelt wird, eine entsprechende Aufforderung, insbesondere akustische Aufforderung, an den Sprecher ergeht („Bitte nennen Sie Ihren Namen“) und anschließend eine entsprechende Spracheingabe des Sprechers erfasst und ausgewertet wird. Furthermore, a self-identification can be done by voice input ("I am Mr. X"). With particular advantage, it can be provided for this purpose that a need for a determination of the identity of the speaker is determined as additional method steps, a corresponding request, in particular acoustic request, goes to the speaker ("Please name your name") and then a corresponding voice input of the speaker is recorded and evaluated.

Weiter vorzugsweise kann ein Identitätsmerkmal des Sprechers durch eine statistische Auswertung erfasst werden. Ist beispielsweise durch zahlreiche in der Vergangenheit vorgenommene Selbstidentifikationen des Fahrers mittels des erwähnten Fingerabdrucklesers bekannt, dass das Kraftfahrzeug mit einer sehr großen relativen Häufigkeit (z.B. über 95 Prozent) von Herrn X gefahren wird, so kann auch dann, wenn der der Fahrer der Sprecher ist und der Sprecher sich nicht mittels des Fingerabdrucklesers identifiziert, als Identitätsmerkmal des Sprechers der Name „Herr X“ bestimmt werden. Further preferably, an identity feature of the speaker can be detected by a statistical evaluation. If, for example, numerous driver past identifications made in the past by the mentioned fingerprint reader indicate that the vehicle is being driven by Mr. X with a very high relative frequency (eg over 95 percent), then the driver may be the speaker and the speaker does not identify himself by means of the fingerprint reader, as the identity feature of the speaker the name "Mr. X" is determined.

In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die Eigenschaft des Sprechers eine einen Fahrbetrieb des Kraftfahrzeugs betreffende Rolle des Sprechers und / oder eine persönliche Eigenschaft des Sprechers. In a further embodiment of the method according to the invention, the property of the speaker comprises a role of the speaker concerning a driving operation of the motor vehicle and / or a personal characteristic of the speaker.

Unter einer einen Fahrbetrieb des Kraftfahrzeugs betreffenden Rolle des Sprechers ist eine Eigenschaft des Sprechers zu verstehen, die er in Bezug auf den Fahrbetrieb einnimmt. Under a driving operation of the motor vehicle relating to the role of the speaker is a property of the speaker to understand that he occupies with respect to the driving.

Eine solche Rolle ist insbesondere die Rolle des Fahrers des Kraftfahrzeugs. Der Fahrer des Kraftfahrzeugs kann insbesondere derjenige Insasse sein, der auf dem Fahrersitz des Kraftfahrzeugs sitzt. Es sei jedoch darauf hingewiesen, dass dies nicht zwingend der Fall ist. Bei Fahrzeugen, die über einen vollautomatisierten Fahrbetrieb verfügen, kann der verantwortliche Fahrer des Fahrzeugs auch auf einem beliebigen anderen Platz sitzen. Seine Rolle als Fahrer definiert sich darüber, dass er zu den Fahrbetrieb des Fahrzeugs betreffenden Entscheidungen und Befehlen befugt ist. Auch bei nicht-vollautomatisiert betriebenen Fahrzeugen kann es vorkommen, dass der Fahrer nicht auf dem Fahrersitz sitzt. Dies ist beispielsweise bei Fahrschulfahrzeugen der Fall, wo der verantwortliche Fahrer (nämlich der Fahrlehrer) in der Regel auf dem Beifahrersitz sitzt. Such a role is in particular the role of the driver of the motor vehicle. The driver of the motor vehicle may in particular be the one occupant who is seated on the driver's seat of the motor vehicle. It should be noted, however, that this is not necessarily the case. For vehicles that have fully automated driving, the responsible driver of the vehicle can also sit in any other place. His role as a driver is defined by his authority to make decisions and orders relating to the operation of the vehicle. Even in vehicles that are not fully automated, it may happen that the driver does not sit in the driver's seat. This is the case, for example, in driving school vehicles, where the responsible driver (namely the driving instructor) usually sits in the passenger seat.

Eine weitere Rolle ist die Rolle des Beifahrers. Dieser sitzt in der Regel vorne im Kraftfahrzeug neben dem Fahrer (d.h. auf dem Beifahrersitz). Auch hierzu sind jedoch Ausnahmen denkbar. Eine weitere Rolle ist die Rolle des Passagiers, worunter insbesondere Insassen auf der Rückbank eines Personenkraftwagens oder auch Insassen auf Passagiersitzen eines Omnibus u.ä. verstanden werden können. Another role is the role of the passenger. This usually sits in the front of the vehicle next to the driver (i.e., in the front passenger seat). Again, exceptions are conceivable. Another role is the role of the passenger, including in particular occupants in the back of a passenger car or inmates on passenger seats of a bus, and the like. can be understood.

Unter einer persönlichen Eigenschaft des Sprechers ist eine Eigenschaft des Sprechers zu verstehen, die dieser als Person unabhängig vom Fahrbetrieb des Fahrzeugs innehat. Beispiele für persönliche Eigenschaften umfassen „Erwachsener“, „Kind“, „Mann“, „Frau“ und Sprachkenntnisse (z.B. deutschsprachig, des Lesens chinesischer Schriftzeichen mächtig, usw.). A personal property of the speaker is to be understood as a property of the speaker, who, as a person, is independent of the driving operation of the vehicle. Examples of personal characteristics include "adult," "child," "man," "woman," and language skills (e.g., German-speaking, Chinese character reading, etc.).

Der Vorteil der Kenntnis der Rolle und / oder der persönlichen Eigenschaft des Sprechers besteht darin, dass die Spracheingabe mit dieser Randinformation wesentlich besser verarbeitet werden kann. Beispielsweise kann eine Spracheingabe abhängig von der Rolle und der Eigenschaft des Sprechers eine grundlegend unterschiedliche Bedeutung haben. Zur Veranschaulichung soll folgendes Beispiel dienen. In einem hochautomatisiert betriebenen Kraftfahrzeug fahren der erwachsene Fahrer (auf dem Fahrersitz) sowie ein Kind auf dem Rücksitz. Das Kind spielt ein Autorennen als Videospiel. Die Spracheingabe „Biege links ab“ hat offensichtlich je nach Sprecher eine völlig andere Bedeutung. Spricht der Fahrer (Rolle: Fahrer, persönliche Eigenschaft: Erwachsener), kann bei der Verarbeitung der Spracheingabe bestimmt werden, dass ein Steuerungsbefehl für das Kraftfahrzeug vorliegt. Spricht hingegen das Kind (Rolle: Passagier, persönliche Eigenschaft: Kind), kann bei der Verarbeitung der Spracheingabe bestimmt werden, dass ein Steuerungsbefehl für das Videospiel gemeint war. The advantage of knowing the role and / or personality of the speaker is that the speech input can be processed much better with this edge information. For example, a voice input may have a fundamentally different meaning, depending on the role and the capacity of the speaker. To illustrate the following example serve. In a highly automated motor vehicle drive the adult driver (on the driver's seat) and a child in the back seat. The kid plays a car race as a video game. The speech input "Biege links ab" obviously has after Sprecher a completely different meaning. If the driver speaks (role: driver, personal property: adult), it can be determined during the processing of the voice input that a control command for the motor vehicle is present. If, on the other hand, the child speaks (role: passenger, personal property: child), it can be determined during the processing of the speech input that a control command for the video game was meant.

Bevorzugt kann vorgesehen sein, dass die Rolle und / oder persönliche Eigenschaft des Sprechers erkannt wird. Dies kann automatisiert anhand zuvor erfasster biometrischer Merkmale erfolgen. Beispielsweise kann eine Stimmbilderkennung erfolgen. Dabei können Merkmale der Stimme erfasst und ausgewertet werden, die auf eine Kinderstimme oder eine Erwachsenenstimme hindeuten (Stimmhöhe, -klarheit). Weitere biometrische Größen, die insbesondere eine Unterscheidung von Erwachsenen und Kindern erlauben, umfassen eine Körpergröße, ein Gewicht und viele weitere. Preferably it can be provided that the role and / or personal property of the speaker is recognized. This can be done automatically based on previously acquired biometric features. For example, voice recognition may be performed. It can be recorded and evaluated features of the voice that indicate a child's voice or an adult's voice (voice height, clarity). Other biometric variables that allow for particular distinction between adults and children include height, weight, and many more.

Ferner ist eine Bestimmung der Rolle und / oder der persönlichen Eigenschaft des Sprechers im Wege der Selbstidentifikation denkbar. Wie bereits ausgeführt können hierzu ein Fingerabdruckleser, ein Authentifizierungsgerät (Smartphone, Smartwatch, Fahrzeugschlüssel, etc.) oder auch eine Spracheingabe („Ich bin der Fahrer“, „Ich bin volljährig“) genutzt werden. Es kann vorgesehen sein, dass das Sprachsteuerungssystem des Kraftfahrzeugs feststellt, dass die Rolle und / oder persönliche Eigenschaft des Sprechers bestimmt werden soll und den Sprecher daraufhin (insbesondere per Sprachausgabe) auffordert, die entsprechende Information (per Spracheingabe oder auf anderem Wege) mitzuteilen. Der folgende beispielhafte Dialog diene zur Veranschaulichung: Fahrer: „Navigiere zu Adresse A“ – Sprachsteuerungssystem: „Sind Sie der Fahrer?“ oder „Sind Sie volljährig?“ oder „Bitte weisen Sie sich mittels des Fingerabdrucklesers als Fahrer aus.“). Furthermore, a determination of the role and / or the personal quality of the speaker by way of self-identification is conceivable. As already stated, a fingerprint reader, an authentication device (smartphone, smartwatch, vehicle key, etc.) or a voice input ("I am the driver", "I am of legal age") can be used. It can be provided that the voice control system of the motor vehicle determines that the role and / or personal capacity of the speaker is to be determined and then requests the speaker (in particular by voice) to notify the corresponding information (by voice or other means). The following exemplary dialog serves as an illustration: Driver: "Navigate to address A" - Voice control system: "Are you the driver?" Or "Are you of legal age?" Or "Please identify yourself as a driver using the fingerprint reader.").

Ferner ist eine Bestimmung der Rolle und / oder der persönlichen Eigenschaft des Sprechers durch die Auswertung statistischer Informationen möglich. Wie vorstehend bereits beschrieben, kann beispielsweise aufgrund früherer Nutzungen des Kraftfahrzeugs mit einer gewissen Wahrscheinlichkeit bestimmt werden, dass auf dem Fahrerplatz der Fahrer des Kraftfahrzeugs sitzt. Furthermore, a determination of the role and / or the personal capacity of the speaker by the evaluation of statistical information is possible. As already described above, it can be determined, for example due to past uses of the motor vehicle with a certain probability, that the driver of the motor vehicle is seated on the driver's seat.

Es kann mit besonderem Vorteil vorgesehen sein, dass bei Vorliegen mehrerer Spracheingaben diese aufgrund der Eigenschaften der Sprecher, insbesondere deren Rollen, priorisiert werden. So kann beispielsweise eine Spracheingabe des Fahrers verarbeitet werden und eine gleichzeitige Spracheingabe eines Kindes unberücksichtigt bleiben. It may be provided with particular advantage that in the presence of multiple voice inputs these are prioritized based on the characteristics of the speakers, in particular their roles. Thus, for example, a voice input by the driver can be processed and a simultaneous voice input of a child can be disregarded.

Bei einer weiteren Ausführungsform der Erfindung ist vorgesehen, durch an sich bekannte Methoden der Signalverarbeitung das Audiosignal des Sprechers herauszufiltern und Sprachsignale anderer Insassen zu unterdrücken. Auf diese Weise kann die Spracheingabe besser erfasst werden. Insbesondere bei einer mehrstufigen Spracheingabe („Dialog“) ist dies von Vorteil. Zum Herausfiltern des Audiosignals des Sprechers kann beispielsweise die Kenntnis über dessen Sitzplatz genutzt werden, um ein örtlich von diesem Sitzplatz stammendes Audiosignal herauszufiltern. Ferner kann ein bekanntes Stimmprofil genutzt werden, um ein adaptives Filter darauf anzupassen. In a further embodiment of the invention, it is provided to filter out the audio signal of the speaker by means of known methods of signal processing and to suppress voice signals of other occupants. In this way, the speech input can be better detected. This is an advantage, especially with multi-level speech input ("dialogue"). To filter out the audio signal of the speaker, for example, the knowledge of its seat can be used to filter out a locally derived from this seat audio signal. Furthermore, a known voice profile can be used to adapt an adaptive filter to it.

In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens können folgende Schritte ausgeführt werden:

  • – Erfassen zumindest einer nonverbalen Äußerung des Sprechers, insbesondere einer Blickrichtung und / oder einer Geste des Sprechers,
  • – Verarbeiten der Spracheingabe in Abhängigkeit der nonverbalen Äußerung des Sprechers.
In a further embodiment of the method according to the invention, the following steps can be carried out:
  • Detecting at least one non-verbal utterance of the speaker, in particular a line of sight and / or a gesture of the speaker,
  • - processing the speech input depending on the non-verbal utterance of the speaker.

Der Vorteil dieser Ausführungsform besteht darin, dass zur Verarbeitung der Spracheingabe noch mehr Randinformationen genutzt werden können. Dies ermöglicht es, die Bedeutung der Spracheingabe vor dem Hintergrund der erfassten nonverbalen Äußerung des Sprechers zu interpretieren. The advantage of this embodiment is that even more edge information can be used to process the speech input. This makes it possible to interpret the meaning of the speech input against the background of the recorded non-verbal utterance of the speaker.

Besonders vorteilhaft ist es, wenn der Ablauf des Verfahrens die folgenden Schritte umfasst:

  • – Erfassen einer Spracheingabe eines Insassen des Kraftfahrzeugs,
  • – Bestimmen einer Eigenschaft des Sprechers, insbesondere der Sitzposition des Sprechers,
  • – Erfassen zumindest einer nonverbalen Äußerung des Sprechers, insbesondere einer Blickrichtung und / oder einer Geste des Sprechers, in Abhängigkeit der Eigenschaft des Sprechers, insbesondere der Sitzposition des Sprechers, und
  • – Verarbeiten der Spracheingabe in Abhängigkeit der nonverbalen Äußerung des Sprechers.
It is particularly advantageous if the sequence of the method comprises the following steps:
  • Detecting a voice input of an occupant of the motor vehicle,
  • Determining a property of the speaker, in particular the sitting position of the speaker,
  • Detecting at least one non-verbal utterance of the speaker, in particular a line of sight and / or a gesture of the speaker, depending on the characteristic of the speaker, in particular the sitting position of the speaker, and
  • - processing the speech input depending on the non-verbal utterance of the speaker.

Mit anderen Worten kann also beispielsweise die Kenntnis der Sitzposition genutzt werden, um eine auf diese Sitzposition gerichtete Innenraumkamera auszuwerten und so die nonverbale Äußerung des Sprechers zu erfassen. Gleichzeitige nonverbale Äußerungen anderer Insassen als des Sprechers könnten aufgrund der Kenntnis der Sitzposition des Sprechers außer Betracht bleiben. In other words, therefore, for example, the knowledge of the seating position can be used to evaluate an interior camera directed to this seating position and thus to detect the nonverbal utterance of the speaker. Concurrent non-verbal utterances of inmates other than the speaker may be disregarded due to knowledge of the speaker's seating position.

Das Erfassen der zumindest einen nonverbalen Äußerung des Sprechers ermöglicht eine vorteilhafte Nutzung der Erfindung in den nachfolgend kurz umrissenen beispielhaften Situationen:

  • – Ein Insasse zeigt mit einem Finger auf ein Bedienelement des Fahrzeugs und sagt „Funktion aktivieren“ oder „Bedienelement betätigen“;
  • – Ein Insasse zeigt mit einem Finger auf eine bestimmte Lampe der Innenbeleuchtung und sagt „Dieses Licht an“ oder zeigt mit dem Finger auf eine bestimmte Scheibe und sagt „Diese Scheibe herunterfahren“; – Ein Insasse zeigt auf ein Objekt außerhalb des Fahrzeugs (z.B. ein Restaurant, das durch die Scheibe in der Ferne erkennbar ist) und fragt „Wie lange hat dieses Restaurant heute noch offen?“;
  • – Ein Insasse, der der Fahrer ist, zeigt auf ein vorausfahrendes Fahrzeug und sagt: „Bitte diesem Fahrzeug folgen“.
The capturing of the at least one non-verbal utterance of the speaker allows an advantageous use of the invention in the exemplary situations briefly outlined below:
  • - An occupant points a finger at an operating element of the vehicle and says "Activate function" or "Operate control element";
  • - An inmate points a finger at a particular lamp in the interior light and says "This light on" or points a finger at a certain window and says "Shut down that window"; - An occupant points to an object outside the vehicle (eg a restaurant that is visible through the pane in the distance) and asks "How long does this restaurant still open today?";
  • - An inmate who is the driver points to a vehicle ahead and says, "Please follow this vehicle".

Die beiden letztgenannten Beispiele beziehen sich auf Objekte außerhalb des Fahrzeugs. Es sei erwähnt, dass die Offenbarung ausdrücklich auch den Fall einschließen soll, dass solche Objekte virtuell sind, also beispielsweise mittels eines kontaktanalogen Head-up-Displays auf die Fahrzeugscheibe projiziert werden. The latter two examples relate to objects outside the vehicle. It should be noted that the disclosure is expressly intended to include the case that such objects are virtual, so are projected for example by means of a contact-analogue head-up display on the vehicle window.

In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens können folgende Schritte ausgeführt werden:

  • – Abrufen von dem Sprecher zugeordneten Daten,
  • – Verarbeiten der Spracheingabe in Abhängigkeit dem Sprecher zugeordneten Daten.
In a further embodiment of the method according to the invention, the following steps can be carried out:
  • Retrieve data associated with the speaker,
  • - Processing the speech input in dependence on the speaker associated data.

Dem Sprecher zugeordnete Daten können jegliche Daten sein, die ihm (auch nichtausschließlich) zugeordnet sein. Insbesondere schließt dies Daten ein, die auf einem dem Sprecher zugeordneten Mobilgerät (z.B. Smartphone, Smartwatch) gespeichert sind, zu dem das Kraftfahrzeug beispielsweise mittels Bluetooth oder WLAN eine Datenverbindung herstellen kann. Ferner schließt dies Daten auf einem fahrzeugexternen Server, z.B. einem Internet-Server, ein, auf die das Fahrzeug beispielsweise mittels einer WLAN- oder einer Mobilfunkverbindung zugreifen kann. Ferner schließt dies im Kraftfahrzeug gespeicherte Daten ein. Data associated with the speaker may be any data associated with it (including, but not limited to). In particular, this includes data stored on a mobile device (e.g. smartphone, smartwatch) associated with the speaker to which the motor vehicle can connect for example via Bluetooth or WLAN. Further, this includes data on an off-board server, e.g. an Internet server, on which the vehicle can access, for example, by means of a Wi-Fi or a mobile connection. Furthermore, this includes data stored in the motor vehicle.

Durch diese Weiterbildung wird mit besonderem Vorteil dem Sprecher ermöglicht, in seiner Spracheingabe auf die Daten Bezug zu nehmen. Lautet beispielsweise die Spracheingabe „Fahre mich nach Hause“, so kann dem Smartphone des Sprechers dessen Wohnadresse entnommen werden, womit die Spracheingabe erfolgreich verarbeitet werden kann. Auf die gleiche Weise kann die Spracheingabe „Rufe meine Frau an“ verarbeitet werden. Ferner ist der Fall denkbar, dass mehrere Insassen in ihren jeweiligen Mobilgeräten die Kontaktdaten unterschiedlicher Personen gleichen Namens (beispielhaft „Herr Müller“) gespeichert haben. Die Erfindung ermöglicht es, die Spracheingabe „Anruf bei Herrn Müller“ erfolgreich zu verarbeiten, indem die Telefonnummer desjenigen Herrn Müller gewählt wird, dessen Kontaktdaten in dem Mobilgerät des Sprechers hinterlegt sind. By means of this development, the speaker is particularly advantageously enabled to refer to the data in his voice input. If, for example, the voice input "Drive me home" can be taken from the smartphone of the speaker whose residential address, whereby the voice input can be successfully processed. In the same way, the voice input "Call my wife" can be processed. Furthermore, the case is conceivable that several inmates have stored in their respective mobile devices the contact information of different persons of the same name (for example, "Mr. Müller"). The invention makes it possible to successfully process the voice input "call Mr. Müller" by dialing the telephone number of the person Mr. Müller, whose contact data are stored in the mobile device of the speaker.

In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens können folgende Schritte ausgeführt werden:

  • – Bestimmen einer Zugriffsberechtigung des Sprechers, insbesondere einer Zugriffsberechtigung auf eine Fahrfunktion des Kraftfahrzeugs,
  • – Verarbeiten der Spracheingabe in Abhängigkeit der Zugriffsberechtigung des Sprechers.
In a further embodiment of the method according to the invention, the following steps can be carried out:
  • Determining an access authorization of the speaker, in particular an access authorization to a driving function of the motor vehicle,
  • - processing the speech input depending on the access rights of the speaker.

Mit anderen Worten wird dann die Spracheingabe unter Berücksichtigung einer Zugriffsberechtigung verarbeitet, wodurch insbesondere ein Sprachbefehl entweder vollständig oder eingeschränkt oder gar nicht ausgeführt wird. Die Bestimmung der Zugriffsberechtigung kann mit besonderem Vorteil ein Bestimmen der Zugriffsberechtigung in Abhängigkeit der Identität, der Rolle und / oder der persönlichen Eigenschaft des Sprechers umfassen. In other words, the voice input is then processed in consideration of an access authorization, whereby in particular a voice command is executed either completely or restricted or not at all. The determination of the access authorization may, with particular advantage, comprise determining the access authorization in dependence on the identity, the role and / or the personal property of the speaker.

Es können beispielsweise einem Fahrer mehr und / oder andere Zugriffsrechte eingeräumt werden als einem Passagier. Ebenso können beispielsweise einem Erwachsenen mehr und / oder andere Zugriffsrechte eingeräumt werden als einem Kind. Beispielsweise können die Zugriffsrechte derart gestaltet werden, dass ein Kind per Spracheingabe keine Fahrzeugfunktionen steuern darf, wohl aber bestimmte Teil-Funktionen eines Rear-Seat-Entertainment-Systems. For example, a driver may be given more and / or different access rights than a passenger. Likewise, for example, an adult may be granted more and / or different access rights than a child. For example, the access rights can be configured such that a child is not allowed to control vehicle functions by voice input, but certain sub-functions of a rear-seat entertainment system are allowed.

Eine vereinfachte Handhabe, insbesondere eine automatisierte Zuordnung, von Zugriffsrechten ist denkbar. Beispielsweise können dem Insassen auf dem Fahrersitz automatisch die Zugriffsrechte auf eine Fahrzeugsteuerung eingeräumt werden, während Passagiere auf der Rückbank per Spracheingabe nur Zugriffsrechte auf bestimmte Entertainment-Funktionen erhalten. Eine derartige auf der Sitzposition des Sprechers basierende automatisierte Rechtevergabe kann mit einer Identitäts-basierten Rechtevergabe kombiniert werden. Beispielweise kann vorgesehen sein, dass Herr X immer aller Sprachbefehle ausführen darf, egal auf welcher Sitzposition er sitzt. Hingegen dürfen unbekannte Insassen (also solche Insassen, deren Identität nicht festgestellt werden kann oder unbekannt ist) nur Entertainment-Funktionalitäten steuern, egal auf welcher Sitzposition sie sitzen, selbst wenn es der Fahrersitz ist. A simplified handling, in particular an automated assignment, of access rights is conceivable. For example, the occupants in the driver's seat can automatically be granted the access rights to a vehicle control, while passengers in the backseat receive voice access only to certain entertainment functions. Such an automated rights allocation based on the sitting position of the speaker can be combined with an identity-based assignment of rights. For example, it can be provided that Mr. X is always allowed to execute all voice commands, regardless of which seat position he sits on. On the other hand, unknown inmates (ie those inmates whose identities can not be identified or are unknown) are only allowed to control entertainment functionalities, regardless of their sitting position, even if it is the driver's seat.

Besonders vorteilhaft ist es, die Bestimmung der Zugriffsberechtigung in Abhängigkeit der zuvor bestimmten Eigenschaft des Sprechers und / oder der gewählten Methode zur Bestimmung der Eigenschaft zu treffen. Mit anderen Worten können also dem Sprecher weiter reichende Zugriffsberechtigungen eingeräumt werden, wenn seine Identität bekannt ist, als wenn lediglich seine Sitzposition und / oder Rolle bestimmt wurde. Zum Beispiel erhält Herr X (Identität) eine weiter reichende Zugriffsberechtigung als der Fahrer (Sitzposition / Rolle). Alternativ oder zusätzlich können dem Sprecher umso weiter reichende Zugriffsberechtigungen eingeräumt werden, je stärker die Authentifizierungsmethode zur Bestimmung seiner Eigenschaft (z.B. Identität) ist. Beispielsweise werden dem Sprecher weiter reichende Zugriffsberechtigungen eingeräumt, wenn seine Identität mittels Fingerabdruckleser festgestellt wurde, als wenn sie mittels Spracheingabe („Ich bin Herr X“) festgestellt wurde. It is particularly advantageous to determine the access authorization in dependence on the previously determined property of the speaker and / or the chosen method for determining the property. In other words, the spokesperson can be granted more extensive access rights if his identity is known as if only his sitting position and / or role was determined. For example, Mr. X (Identity) receives a more extensive access authorization than the driver (sitting position / role). Alternatively or additionally, the spokesman can be granted the more extensive access authorizations, the stronger the authentication method for determining his property (eg identity). For example, the spokesperson will be granted more extensive access if their identity has been detected by a fingerprint reader than if they were detected by voice input ("I am Mr. X").

In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens können folgende Schritte ausgeführt werden:

  • – Bestimmen einer Eigenschaft eines weiteren Insassen,
  • – Verarbeiten der Spracheingabe in Abhängigkeit der Eigenschaft des weiteren Insassen.
In a further embodiment of the method according to the invention, the following steps can be carried out:
  • Determining a property of another occupant,
  • - processing the voice input depending on the property of the other occupant.

Mit anderen Worten wird dann also die Spracheingabe nicht nur in Abhängigkeit der zuvor bestimmten Eigenschaft des Sprechers verarbeitet, sondern zusätzlich in Abhängigkeit der ebenfalls zuvor bestimmten Eigenschaft des weiteren Insassen. Auf diese Weise wird mit besonderem Vorteil ermöglicht, bei der Spracheingabe auf andere Personen Bezug zu nehmen. Indem beispielsweise die Identitäten, Rollen und / oder persönlichen Eigenschaften aller Insassen des Fahrzeugs bestimmt werden, können folgende beispielhaft zu verstehende Sprachbefehle verarbeitet werden. Dabei ist jeweils in Klammern angegeben, welche Eigenschaften des weiteren Insassen zur Verarbeitung benötigt und daher bestimmt werden.

  • – „Schließe Frau Ys Fenster“ (Identität und Sitzplatz von Frau Y);
  • – „Starte Kinderfilm auf den Bildschirmen von A und B“ (Identitäten und Sitzplätze von A und B);
  • – „Beende die Videospiele der Kinder“ (persönliche Eigenschaften (Kinder) und Sitzplätze der Kinder im Fahrzeug);
  • – „Stelle die Sitzheizung von Frau Y auf Stufe 2“ (Identität und Sitzplatz von Frau Y);
  • – „Fahre Z nach Hause“ (Identität von Z); Zs Adresse kann z.B. aus dessen Mobilgerät oder aus ihm zugeordneten Daten auf einem Server bezogen werden;
  • – „Ich möchte auf meinem Display auch den Film sehen, den A auf seinem Bildschirm hat“ (Identität und Sitzplatz von A).
In other words, then the voice input is processed not only in dependence on the previously determined property of the speaker, but in addition depending on the also previously determined property of the other inmates. In this way, it is particularly advantageously possible to refer to other persons in the voice input. For example, by determining the identities, roles, and / or personal characteristics of all occupants of the vehicle, the following example voice commands may be processed. It is indicated in each case in brackets, which properties of the other inmates needed for processing and are therefore determined.
  • - "Close Ms. Y's Window" (identity and seat of Ms. Y);
  • - "Launch children's film on the screens of A and B" (identities and seats of A and B);
  • - "End the children's video games" (personal characteristics (children) and seats of the children in the vehicle);
  • - "Set the seat heating of Ms. Y at level 2" (identity and seat of Ms. Y);
  • - "Drive Z home" (identity of Z); For example, Z's address may be obtained from its mobile device or data associated therewith on a server;
  • - "I want to see on my display also the film A has on his screen" (identity and seat of A).

Eine besonders vorteilhafte Weiterbildung der Erfindung gelingt dadurch, dass eine Mitteilung, insbesondere eine Sprachmitteilung, in Abhängigkeit der Eigenschaft des Sprechers und / oder einer Eigenschaft eines weiteren Insassen erzeugt und ausgegeben wird. Mit anderen Worten wird also das Verfahren zur Sprachsteuerung zu einem Verfahren zum Sprachdialog weitergebildet. Das Fahrzeug wird befähigt, unter Zuhilfenahme der erfindungsgemäß erfassten Information zu „antworten“. A particularly advantageous development of the invention succeeds in that a message, in particular a voice message, is generated and output in dependence on the property of the speaker and / or a property of another occupant. In other words, the method for voice control is thus developed into a method for voice dialogue. The vehicle is enabled to "respond" with the aid of the information acquired according to the invention.

Auf diese Weise können auch bestimmte Insassen auf Basis von deren Eigenschaft, insbesondere deren Rolle, gezielt angesprochen werden. Hierzu könnte beispielsweise dann, wenn für den Fahrbetrieb wichtige Entscheidungen zu treffen sind (z.B., ob ein Stau umfahren werden soll oder wie auf ein festgestelltes technisches Problem reagiert werden soll, z.B. anhalten oder langsam weiterfahren), gezielt ein Insasse mit geeigneter Rolle und / oder persönlicher Eigenschaft (z.B. „Fahrer“, „Besitzer“, „Eigentümer“, Erwachsener) angesprochen werden. Mit besonderem Vorteil kann die Ansprache den Namen des Insassen enthalten. Weiter bevorzugt wird als Rückmeldung, also als Spracheingabe infolge der ausgegebenen Sprachmitteilung nur eine Spracheingabe der angesprochenen Person akzeptiert, d.h. berücksichtigt. Denkbar ist eine Erweiterung derart, dass der angesprochene Nutzer nicht im Fahrzeug anwesend sein muss, sondern per Telefon oder ein Computergerät hinzugezogen wird. In this way, certain inmates can be specifically addressed on the basis of their property, in particular their role. For this purpose, for example, if important decisions have to be made for the driving operation (eg whether a traffic jam should be bypassed or how to respond to a detected technical problem, eg stopping or driving slowly), an occupant with a suitable role and / or personal property (eg "driver", "owner", "owner", adult). With particular advantage, the speech may include the name of the occupant. More preferably, only one voice input of the addressed person is accepted as feedback, ie as voice input as a result of the output voice message, i. considered. An extension is conceivable such that the addressed user does not have to be present in the vehicle, but is consulted by telephone or a computer device.

Der vorstehend beschriebe Aspekt soll anhand zweier Beispiele verdeutlicht werden:

  • – Der Kraftstoffvorrat des (vollautomatisiert betriebenen) Fahrzeugs geht zur Neige; Es wird gezielt der Insasse mit der Rolle „Fahrer“ gefragt, ob die nächste Tankstelle angefahren werden soll;
  • – Das (vollautomatisiert betriebene) Fahrzeug holt Kinder von Kindergarten ab; auf dem Weg liegt ein langer Stau; das Fahrzeug fragt die Eltern (Rolle: Eltern oder Fahrzeugbesitzer) per Telefonanruf, ob es den Stau umfahren soll.
The above described aspect will be clarified by means of two examples:
  • - The fuel supply of the (fully automated) vehicle is running low; The occupant with the role "driver" is specifically asked whether the next gas station should be approached;
  • - The (fully automated) vehicle picks up children from kindergarten; there is a long traffic jam on the way; The vehicle asks the parents (role: parents or vehicle owners) by phone call if they should avoid the traffic jam.

Es kann vorgesehen sein, dass die Ausgabe der Sprachmitteilung über ein Audio-Wiedergabegerät erfolgt, wenn der anzusprechende Insasse dieses Gerät gerade verwendet. Hat beispielsweise ein Insasse einen mit seinem Mobilgerät verbundenen Kopfhörer im Ohr, so ist es zweckmäßig, die Sprachmitteilung über das Mobilgerät und somit über den Kopfhörer auszugeben, da der angesprochene Insasse eine Ausgabe über die Lautsprecher des Fahrzeugs überhören könnte. It can be provided that the output of the voice message is made via an audio playback device when the occupant to be addressed uses this device. If, for example, an occupant has a headset connected to his mobile device in his ear, it is expedient to output the voice message via the mobile device and thus via the headphone, since the addressed occupant could over-hear an output via the loudspeaker of the vehicle.

Weiter vorteilhaft kann vorgesehen sein, die Ausgabe der Sprachmitteilung auf den Sitzplatz des angesprochenen Insassen zu fokussieren. Hierzu kann beispielsweise die Ausgabe über eine Mehrzahl von Fahrzeuglautsprechern derart erfolgen, dass die Ausgabe an dem Sitzplatz des angesprochenen Insassen eine maximale Lautstärke aufweist. Insbesondere dann, wenn mehrere Sprachmitteilungen wenigstens teilweise gleichzeitig ausgegeben werden, ist diese Ausgestaltung sehr vorteilhaft, weil sich die ausgegebenen Sprachmitteilungen dann möglichst wenig überlagern und somit jeder Insasse die an ihn gerichtete Sprachmitteilung bestmöglich hören kann. Further advantageous may be provided to focus the output of the voice message to the seat of the addressed occupant. For this purpose, for example, the output can take place via a plurality of vehicle loudspeakers such that the output at the seat of the addressed occupant has a maximum volume. In particular, when several voice messages are output at least partially simultaneously, this embodiment is very advantageous because the output voice messages then superimpose as little as possible and thus each inmate can hear the voice message addressed to him as best as possible.

Mit weiterem Vorteil kann die Mitteilung eine visuelle Rückmeldung sein oder umfassen. Mit besonderem Vorteil kann die Mitteilung sowohl eine Sprachmitteilung als auch eine visuelle Rückmeldung umfassen. With further advantage, the message may be or include visual feedback. With particular advantage, the message may include both a voice message and a visual feedback.

Bei Sprachsteuerungssystemen bekannter Kraftfahrzeuge wird bereits heute oftmals parallel zu einer akustischen Rückmeldung auf den Sprachbefehl auch ein sogenanntes „begleitendes visuelles Feedback“ z.B. auf einem Fahrzugdisplay ausgegeben. Beispielsweise wird auf den Befehl „Telefonbuch“ hin auf einem Display des Fahrzeugs das Telefonbuch angezeigt; bei Anfrage des Wetters wird eine Übersicht des Wetters der nächsten Tage dargestellt. Mit der genannten Ausführungsform der Erfindung kann dieser Stand der Technik wie folgt verbessert werden. Durch das Wissen, welcher Insasse die Spracheingabe gesprochen hat, kann das für diesen Insassen geeignete Display (im Fall mehrerer im Fahrzeug vorhandener Displays) für die visuelle Mitteilung an den jeweiligen Insassen ausgewählt werden. Hat beispielsweise eine Person auf der Rückbank die Spracheingabe ausgesprochen, kann z.B. der Wetterbericht nur auf demjenigen Display ausgegeben werden, das dem Sprecher zugeordnet ist. Dieses „geeignete Display“ kann dabei ein Display des Fahrzeugs sein, aber ebenso ein Display eines Mobilgeräts des anzusprechenden Insassen (z.B. ein Display eines Smartphones, das der Insasse in Händen hält). In voice control systems of known motor vehicles, a so-called "accompanying visual feedback", for example, is often already used in parallel with an acoustic response to the voice command. issued on a train display. For example, the telephone book is displayed on the "Phonebook" command on a display of the vehicle; When the weather is requested, an overview of the weather for the next few days is displayed. With the aforementioned embodiment of the invention, this prior art can be improved as follows. By knowing which occupant has spoken the voice input, the display suitable for that occupant (in the case of multiple displays in the vehicle) can be selected for visual communication to the respective occupant. For example, if a person in the backseat has spoken the voice input, e.g. the weather report is output only on the display assigned to the speaker. In this case, this "suitable display" may be a display of the vehicle, but also a display of a mobile device of the occupant to be addressed (for example a display of a smartphone which the occupant holds in his hands).

In weiterer vorteilhafter Ausgestaltung der Erfindung werden folgende Schritte ausgeführt:

  • – Abrufen zumindest einer zurückliegenden Spracheingabe des Sprechers und / oder eines der weiteren Insassen,
  • – Verarbeiten der Spracheingabe in Abhängigkeit der zurückliegenden Spracheingabe.
In a further advantageous embodiment of the invention, the following steps are carried out:
  • Retrieving at least one voice input from the speaker and / or one of the further occupants,
  • - processing the voice input depending on the past speech input.

Es wird dann also mit anderen Worten die Spracheingabe in Abhängigkeit der Eigenschaft des Sprechers sowie in Abhängigkeit einer oder mehrerer zurückliegender Spracheingaben verarbeitet. Hierdurch werden die Möglichkeiten der Sprachsteuerung nochmals vergrößert. In other words, the speech input is then processed depending on the property of the speaker as well as on one or more previous voice inputs. As a result, the possibilities of voice control are increased again.

In Bezug auf unmittelbar zurückliegende Spracheingaben wird somit ermöglichst, eine Art Dialog zu führen und dabei verkürzt im Kontext zurückliegender Spracheingaben zu sprechen (z.B.: „Rufe bei Herrn Müller an“ – „Sie haben drei Personen mit dem Nachnamen Müller in Ihrem Telefonbuch“ – „Max“). With regard to immediately preceding speech inputs, it is thus possible to conduct a kind of dialogue and to speak shortened in the context of past speech inputs (eg: "Call Mr. Müller" - "You have three people with the last name Müller in your telephone book" - " Max").

Mit besonderem Vorteil kann vorgesehen sein, dass unmittelbar zurückliegende Spracheingaben nur innerhalb einer vorbestimmten maximalen Zeitdauer berücksichtigt werden. Ist seit einer Spracheingabe mehr als diese vorbestimmte Zeitdauer verstrichen, so wird die Spracheingabe dann bei der Verarbeitung der späteren Spracheingabe nicht mehr berücksichtigt. With particular advantage, it can be provided that immediately past speech inputs are taken into account only within a predetermined maximum period of time. If more than this predetermined period of time has elapsed since a voice input, the voice input is then no longer taken into account in the processing of the later voice input.

Mit besonderem Vorteil können auf diese Weise die Spracheingaben unterschiedlicher Insassen miteinander in Bezug gesetzt. Dazu werden die vorangegangenen Spracheingaben auch anderer Insassen jeweils bei der Verarbeitung der (aktuellen, d.h. zuletzt geäußerten) Spracheingabe berücksichtigt. Auf diese Weise können die Insassen auf Spracheingaben Bezug nehmen und reagieren. Zur Veranschaulichung sei folgende Situation beispielhaft:

  • – Insasse 1: „Wen habe ich gestern angerufen?“; Antwort des Sprachsteuerungssystems: „Max Müller“;
  • – Insasse 2: „Navigiere zu Adresse von diesem Max Müller“;
  • – Insasse 3: „Gibt’s auf dem Weg zu Max Müller ein Fast-Food Restaurant?“.
  • Bei einem anderen Beispiel ergibt sich folgender Ablauf:
  • – Kind A: „Mach meine Scheibe runter“;
  • – Beifahrerin Y (Elternteil): „Mach die Scheibe wieder hoch und sperre dann die Scheibenöffnerfunktion“.
With particular advantage, the voice inputs of different occupants can be related to each other in this way. For this purpose, the previous speech inputs of other inmates are also taken into account when processing the (current, ie last uttered) speech input. In this way, inmates can reference and respond to voice input. To illustrate, the following situation is exemplary:
  • - Inmate 1: "Who did I call yesterday?"; Response of the voice control system: "Max Müller";
  • - Inmate 2: "Navigate to address of this Max Mueller";
  • - Inmate 3: "Are there any fast food restaurants on the way to Max Müller?".
  • In another example, the following procedure results:
  • - Child A: "Turn down my disk";
  • - Passenger Y (parent): "Raise the disc again and then lock the disc opener function".

Die Speicherung, Auswertung und Berücksichtigung zurückliegender Spracheingaben eröffnet eine Reihe vorteilhafter Möglichkeiten. So ist eine Adaption der Spracherkennung an die unterschiedlichen Nutzer zur Verbesserung der Qualität der Spracherkennung (z.B. Erkennungsrate) denkbar, z.B. hinsichtlich Stimme, Wortwahl, typischer genutzter Sprachbefehle, typischer akustischer Austeuerung (Sitzposition, Körpergröße, Abstand zum Mikrofron, etc.). Auch auf diese Weise bekannt gewordene persönliche Präferenzen können zur Verbesserung der Spracherkennung genutzt werden (z.B.: Ein Kind will auf dem Rear-Seat Entertainment immer einen bestimmten Film ansehen; ein Fahrer nutzt die Spracheinabe zumeist für Navigation, aber so gut wie nie für Telefonie). The storage, evaluation and consideration of past speech inputs opens up a number of advantageous possibilities. Thus, adaptation of speech recognition to the different users is conceivable for improving the quality of speech recognition (e.g., recognition rate), e.g. in terms of voice, word choice, typical voice commands, typical acoustic control (sitting position, height, distance to the microphone, etc.). Even personal preferences that have become known in this way can be used to improve speech recognition (eg: A child always wants to watch a particular movie on the rear-seat entertainment, a driver mostly uses the voice input for navigation, but hardly ever for telephony). ,

Ferner kann der Kenntnisstand jedes Nutzers ausgewertet und berücksichtigt werden. Mit anderen Worten kann sich das Sprachsteuerungssystem interaktiv unterschiedlich verhalten, je nachdem ob mit einem versierten oder weniger versierten Nutzer zu tun hat. Beispielsweise könnte ein Kind anders angesprochen werden als ein Erwachsener. Ebenso könnte ein neuer Fahrzeugnutzer, der die Funktionen des Fahrzeugs und die Interaktionsmöglichkeiten noch nicht so gut kennt, anders angesprochen werden als ein geübter Nutzer. Weiter beispielhaft könnten ältere Nutzer anders angesprochen werden (z.B. etwas langsamer, deutlicher und lauter) als jüngere Nutzer. Bei Nutzern mit Sehproblemen könnte eine zusätzliche visuelle Ausgabe erfolgen. Furthermore, the level of knowledge of each user can be evaluated and taken into account. In other words, the voice control system may behave interactively differently, depending on whether it is dealing with a savvy or less experienced user. For example, a child could be addressed differently than an adult. Likewise, a new vehicle user who does not yet know the functions of the vehicle and the interaction options so well could be addressed differently than a skilled user. By way of further example, older users could be addressed differently (e.g., a little slower, clearer and louder) than younger users. For users with vision problems, an additional visual output could be made.

Ferner könnte das Sprachsteuerungssystem in der Kommunikation mit unterschiedlichen Nutzern unterschiedliche Stimmen einsetzen, z.B. eine lustige, kindgerechte Stimme für die Kommunikation mit einem Kind auf der Rückbank und eine „seriöse“ Stimme für die Kommunikation mit Fahrer. Auch hierdurch lassen sich ggf. zeitlich überlappende Sprachmitteilungen besser auseinanderhalten. Ferner kann das Sprachsteuerungssystem die Sprache (z.B. Deutsch, Englisch, etc.) an den jeweiligen Nutzer anpassen. Hierzu kann beispielsweise die Sprache verwendet werden, in der der Sprecher seine Spracheingabe getätigt hat, oder eine bekannte Präferenzsprache des Sprechers. Diese Präferenzsprache kann durch die Auswertung zurückliegender Spracheingaben bekannt sein oder auf anderem Wege ermittelt werden, beispielsweise über die Einstellungen im Mobilgerät des Nutzers. Further, the voice control system could use different voices in communication with different users, e.g. a funny, child-friendly voice for communicating with a child in the back seat and a "serious" voice for communication with drivers. This also makes it possible to differentiate temporally overlapping voice messages better. Further, the voice control system can adapt the language (e.g., German, English, etc.) to the respective user. For this purpose, for example, the language in which the speaker has made his speech input or a known preference language of the speaker can be used. This preference language can be known by the evaluation of past speech inputs or determined by other means, for example via the settings in the user's mobile device.

Es bietet sich durch die Nutzung zurückliegender Spracheingaben auch die Möglichkeit, parallel ablaufende „Konversationen“ unterschiedlicher Insassen zu unterscheiden. Während beispielsweise der Fahrer auf dem Fahrersitz per Spracheingabe das Navigationsziel vorgibt, wählt das Kind auf der Rückbank zeitlich überlappend per Spracheingabe einen Film im Rear-Seat-Entertainment aus. By using past speech inputs, it is also possible to differentiate parallel "conversations" of different inmates. For example, while the driver prescribes the navigation destination on the driver's seat by voice input, the child chooses a film in the rear seat entertainment overlapping the time by voice input.

Es versteht sich, dass ein Abspeichern der Spracheingabe vorgesehen sein kann. Mit besonderem Vorteil wird jede Spracheingabe (oder zumindest einige aus der Spracheingabe gewonnene Informationen) gespeichert, da dann die Verarbeitung einer späteren Spracheingabe auf eine möglichst große Menge von (durch die zurückliegenden Spracheingaben gebildeten) Randinformationen zurückgreifen kann. It is understood that a storing of the voice input can be provided. With particular advantage, each speech input (or at least some information obtained from the speech input) is stored, since then the processing of a later speech input on a maximum amount of (formed by the past speech inputs) edge information can fall back.

Es kann vorgesehen sein, dass die Spracheingabe nicht nur nach Sprecher getrennt abgespeichert werden, sondern zusätzlich auch noch weitere Attribute erhalten. So können beispielsweise der Zeitpunkt der Spracheingabe, deren Sprache u.v.m. gespeichert werden. Ferner können auch inhaltliche Attribute gespeichert werden. Im obigen Beispiel kann etwa dem gesprochenen Navigationsziel des Fahrers das Attribut „Navigation“ zugeordnet werden, wohingegen der vom Kind genannte Filmtitel mit dem Attribut „Filmauswahl im Infotainmentsystem“ versehen wird. It can be provided that the voice input is not stored separately only by speaker, but additionally also receive other attributes. For example, the time of voice input, whose language u.v.m. get saved. Furthermore, content-related attributes can also be stored. For example, in the above example, the driver's spoken navigation target may be assigned the "navigation" attribute, whereas the child-named movie title may be assigned the "movie selection in the infotainment system" attribute.

Bei der Ausgabe von mehreren Mitteilungen, insbesondere Sprachmitteilungen, kann mit Vorteil vorgesehen sein, diese zeitlich zu entzerren, also möglichst wenig überlappend oder sogar komplett getrennt voneinander auszugeben. Ergänzend kann das Sprachsteuerungssystem die unterschiedlichen Nutzer mit Name oder einem anderen Identifikationsmerkmal ansprechen, damit klar ist, wer angesprochen wird. When issuing several messages, in particular voice messages, it may be advantageous to equalize them in terms of time, ie to output them as little as possible overlapping or even completely separated from one another. In addition, the voice control system can address the different users with name or another identification feature, so that it is clear who is addressed.

Das Abspeichern der zurückliegenden Spracheingaben kann in einem Datenspeicher des Fahrzeugs, aber auch in fahrzeugexternen Datenspeichern, erfolgen. Es können auch einzelnen Nutzern zugeordnete Datenspeicher zum Abspeichern von deren jeweiligen Spracheingaben genutzt werden, z.B. Mobilgeräte, persönliche zugeordnete Fahrzeugschlüssel, etc. Hierdurch wird mit Vorteil ermöglicht, die zurückliegenden Spracheingaben in unterschiedlichen Fahrzeugen zu nutzen, was z.B. beim Car-Sharing von großem Vorteil ist. The storage of the past voice inputs can be done in a data memory of the vehicle, but also in external vehicle data storage. It is also possible to use data memories assigned to individual users for storing their respective voice inputs, e.g. This advantageously makes it possible to use the past voice inputs in different vehicles, which is e.g. Car sharing is a big advantage.

Indem Spracheingabe und ganze „Gesprächsverläufe“ für jeden Nutzer abgespeichert werden, können detaillierte Informationen erhoben werden (z.B. welcher Nutzer hat welche Sprachbefehle ausgeführt und welches Ergebnis erhalten, als er auf welcher Sitzposition saß und welches Ziel angesteuert hat zu welchem Zeitpunkt?). By storing voice input and entire "call histories" for each user, detailed information can be collected (e.g., which user received which voice commands and what result was obtained when sitting in which seating position and which destination was targeted at what time?).

Die Nutzung auch länger zurückliegender Spracheingaben ermöglicht mit Vorteil eine natürlichere und inhaltlich komplexere Kommunikation mit dem Fahrzeug (z.B.: „Schalte meine Sitzmassagefunktion wieder wie gestern, als ich (mit einem anderen Carsharing-Fahrzeug) nach Nürnberg gefahren bin“; „Bestelle nochmal zwei Kinotickets neben den beiden Plätzen von gestern“). The use of longer language entries also allows a more natural and more complex communication with the vehicle (eg: "Turn off my seat massage function as yesterday, when I went to Nuremberg (with another car-sharing vehicle);" "Order two more cinema tickets next to the two places of yesterday ").

Claims (11)

Verfahren zur Sprachsteuerung eines Kraftfahrzeugs mit den Schritten – Erfassen einer Spracheingabe eines Insassen des Kraftfahrzeugs, – Bestimmen einer Eigenschaft des Sprechers, – Verarbeiten der Spracheingabe in Abhängigkeit der Eigenschaft des Sprechers.  Method for voice control of a motor vehicle with the steps Detecting a voice input of an occupant of the motor vehicle, Determining a property of the speaker, - processing the speech input depending on the property of the speaker. Verfahren nach Anspruch 1, wobei die Eigenschaft des Sprechers eine Sitzposition des Sprechers in dem Kraftfahrzeug umfasst.  The method of claim 1, wherein the speaker's characteristic comprises a sitting position of the speaker in the motor vehicle. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eigenschaft des Sprechers eine Identität des Sprechers umfasst.  The method of any one of the preceding claims, wherein the speaker's characteristic comprises an identity of the speaker. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eigenschaft des Sprechers eine einen Fahrbetrieb des Kraftfahrzeugs betreffende Rolle des Sprechers und / oder eine persönliche Eigenschaft des Sprechers umfasst.  Method according to one of the preceding claims, wherein the property of the speaker comprises a spokesman's role concerning a driving operation of the motor vehicle and / or a personal property of the speaker. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Erfassen zumindest einer nonverbalen Äußerung des Sprechers, insbesondere einer Blickrichtung und / oder einer Geste des Sprechers, – Verarbeiten der Spracheingabe in Abhängigkeit der nonverbalen Äußerung des Sprechers. Method according to one of the preceding claims with the steps - Detecting at least one non-verbal utterance of the speaker, in particular a line of sight and / or a gesture of the speaker, - Processing the speech input in dependence on the non-verbal utterance of the speaker. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Abrufen von dem Sprecher zugeordneten Daten, – Verarbeiten der Spracheingabe in Abhängigkeit dem Sprecher zugeordneten Daten.  Method according to one of the preceding claims with the steps Retrieve data associated with the speaker, - Processing the speech input in dependence on the speaker associated data. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Bestimmen einer Zugriffsberechtigung des Sprechers, insbesondere einer Zugriffsberechtigung auf eine Fahrfunktion des Kraftfahrzeugs, – Verarbeiten der Spracheingabe in Abhängigkeit der Zugriffsberechtigung des Sprechers.  Method according to one of the preceding claims with the steps Determining an access authorization of the speaker, in particular an access authorization to a driving function of the motor vehicle, - processing the speech input depending on the access rights of the speaker. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Bestimmen einer Eigenschaft eines weiteren Insassen, – Verarbeiten der Spracheingabe in Abhängigkeit der Eigenschaft des weiteren Insassen.  Method according to one of the preceding claims with the steps Determining a property of another occupant, - processing the voice input depending on the property of the other occupant. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Erzeugen einer Mitteilung, insbesondere einer Sprachmitteilung, in Abhängigkeit der Eigenschaft des Sprechers und / oder einer Eigenschaft eines weiteren Insassen, – Ausgeben der Mitteilung.  Method according to one of the preceding claims with the steps Generating a message, in particular a voice message, depending on the property of the speaker and / or a characteristic of another occupant, - Output the message. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Abrufen zumindest einer zurückliegenden Spracheingabe des Sprechers und / oder eines der weiteren Insassen, – Verarbeiten der Spracheingabe in Abhängigkeit der zurückliegenden Spracheingabe.  Method according to one of the preceding claims with the steps Retrieving at least one voice input from the speaker and / or one of the further occupants, - processing the voice input depending on the past speech input. Kraftfahrzeug mit einem Sprachsteuerungssystem, das zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.  Motor vehicle with a voice control system, which is set up for carrying out the method according to one of the preceding claims.
DE102016217026.0A 2016-09-07 2016-09-07 Voice control of a motor vehicle Pending DE102016217026A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016217026.0A DE102016217026A1 (en) 2016-09-07 2016-09-07 Voice control of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016217026.0A DE102016217026A1 (en) 2016-09-07 2016-09-07 Voice control of a motor vehicle

Publications (1)

Publication Number Publication Date
DE102016217026A1 true DE102016217026A1 (en) 2018-03-08

Family

ID=61197676

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016217026.0A Pending DE102016217026A1 (en) 2016-09-07 2016-09-07 Voice control of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102016217026A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020207143A1 (en) 2020-06-08 2021-12-09 Volkswagen Aktiengesellschaft Motor vehicle with a speech dialogue system and speech dialogue system
DE102020003922A1 (en) 2020-06-30 2021-12-30 Daimler Ag Voice control system and motor vehicle
DE102020005351A1 (en) 2020-08-31 2022-03-03 Daimler Ag voice control system and motor vehicle
EP4047499A1 (en) * 2021-02-17 2022-08-24 Continental Automotive Technologies GmbH Voice control method, voice control system and vehicle with voice control system
DE102022117855A1 (en) 2022-07-18 2024-01-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and voice recognition system with passenger recognition for a vehicle, vehicle comprising the voice recognition system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009051508A1 (en) 2009-10-30 2011-05-05 Continental Automotive Gmbh Apparatus, system and method for voice dialogue activation and / or management
DE102012205336A1 (en) 2011-04-07 2012-10-11 Gm Global Technology Operations, Llc System and method for the real-time detection of an emergency situation occurring in a vehicle
US20140074480A1 (en) 2012-09-11 2014-03-13 GM Global Technology Operations LLC Voice stamp-driven in-vehicle functions
DE102013003059A1 (en) 2013-02-22 2014-08-28 Audi Ag Method for controlling functional unit of motor vehicle, involves automatically detecting whether view of vehicle occupant to given area is directed by view detection unit
DE102015121955A1 (en) 2015-01-29 2016-08-04 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method and apparatus for monitoring a rear passenger seat area of a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009051508A1 (en) 2009-10-30 2011-05-05 Continental Automotive Gmbh Apparatus, system and method for voice dialogue activation and / or management
DE102012205336A1 (en) 2011-04-07 2012-10-11 Gm Global Technology Operations, Llc System and method for the real-time detection of an emergency situation occurring in a vehicle
US20140074480A1 (en) 2012-09-11 2014-03-13 GM Global Technology Operations LLC Voice stamp-driven in-vehicle functions
DE102013003059A1 (en) 2013-02-22 2014-08-28 Audi Ag Method for controlling functional unit of motor vehicle, involves automatically detecting whether view of vehicle occupant to given area is directed by view detection unit
DE102015121955A1 (en) 2015-01-29 2016-08-04 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method and apparatus for monitoring a rear passenger seat area of a vehicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020207143A1 (en) 2020-06-08 2021-12-09 Volkswagen Aktiengesellschaft Motor vehicle with a speech dialogue system and speech dialogue system
DE102020003922A1 (en) 2020-06-30 2021-12-30 Daimler Ag Voice control system and motor vehicle
DE102020005351A1 (en) 2020-08-31 2022-03-03 Daimler Ag voice control system and motor vehicle
EP4047499A1 (en) * 2021-02-17 2022-08-24 Continental Automotive Technologies GmbH Voice control method, voice control system and vehicle with voice control system
DE102022117855A1 (en) 2022-07-18 2024-01-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and voice recognition system with passenger recognition for a vehicle, vehicle comprising the voice recognition system

Similar Documents

Publication Publication Date Title
DE102009051508B4 (en) Device, system and method for voice dialog activation and guidance
DE102016217026A1 (en) Voice control of a motor vehicle
DE102014109121B4 (en) Systems and methods for arbitration of a speech dialog service
DE102019105269B4 (en) METHOD OF SPEECH RECOGNITION USING SPEECH RECOGNITION ARBITRATION LOGIC
DE102016212647B4 (en) Method for operating a voice control system in an indoor space and voice control system
DE102018125966A1 (en) SYSTEM AND METHOD FOR RECORDING KEYWORDS IN A ENTERTAINMENT
DE102019111529A1 (en) AUTOMATED LANGUAGE IDENTIFICATION USING A DYNAMICALLY ADJUSTABLE TIME-OUT
DE102015118553A1 (en) Systems and methods for selecting audio filter methods
DE102015210430A1 (en) A method for recognizing a speech context for a voice control, a method for determining a voice control signal for a voice control and apparatus for carrying out the methods
DE102020125524A1 (en) MULTIMODAL KEYLESS MULTI-SEAT VEHICLE PERSONALIZATION
EP3661797B1 (en) Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle
DE102017121054A1 (en) REMOTE LANGUAGE RECOGNITION IN A VEHICLE
DE102018103188A1 (en) Improved task completion in speech recognition
DE102015117380B4 (en) Selective noise cancellation during automatic speech recognition
DE102014118450A1 (en) Audio-based system and method for classifying in-vehicle context
DE102018125564A1 (en) RESPONSE RAPID ACTIVATION OF A VEHICLE FEATURE
DE102019102090A1 (en) VEHICLE INTERNAL MEDIA TUNING SUPPRESSION
DE102018215293A1 (en) Multimodal communication with a vehicle
DE102017206876A1 (en) Method and device for outputting a status message in a motor vehicle with voice control system
DE102017213252A1 (en) A method, apparatus and computer program for varying an audio content to be output in a vehicle
DE19942869A1 (en) Operating method for speech-controlled device for motor vehicle involves ad hoc generation and allocation of new speech patterns using adaptive transcription
CN115107674A (en) Volume adjusting method and device and automobile
DE102006058758B4 (en) Method and device for controlling a telecommunication terminal
DE102022213306A1 (en) VOICE RECOGNITION SYSTEM AND METHOD OF PROVIDING A VOICE RECOGNITION SERVICE
DE102017207038A1 (en) Speech input in a motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication