WO2019202056A1 - Benutzerkommunikation an bord eines kraftfahrzeugs - Google Patents
Benutzerkommunikation an bord eines kraftfahrzeugs Download PDFInfo
- Publication number
- WO2019202056A1 WO2019202056A1 PCT/EP2019/060034 EP2019060034W WO2019202056A1 WO 2019202056 A1 WO2019202056 A1 WO 2019202056A1 EP 2019060034 W EP2019060034 W EP 2019060034W WO 2019202056 A1 WO2019202056 A1 WO 2019202056A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- utterance
- analysis
- motor vehicle
- analysis service
- Prior art date
Links
- 238000004891 communication Methods 0.000 title description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 119
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/148—Instrument input by voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/741—Instruments adapted for user detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
Definitions
- the invention relates to the support of a user on board a
- the invention relates to the determination of a user intention based on an utterance of the user.
- a user on board a motor vehicle can express his intention in a classical manner by the operation of a dedicated scanning device.
- the intention may include a function of the motor vehicle and concern, for example, a driving function, an automatic route guidance or an entertainment function.
- the scanning device may include a button, switch or lever or a touch screen or a touchpad.
- an advanced operating concept may be provided, for example a voice or gesture control.
- the user can be scanned acoustically or optically on board the motor vehicle and a
- Sampling result can be performed by a predetermined analysis service.
- a predetermined analysis service For example, there are various digital assistants known as Siri, Alexa or Cortana for acoustic analysis.
- DE 10 2016 004 287 A1 relates to a method for speech recognition in a motor vehicle.
- the processing device is set up to select the analysis service as a function of an identification of the user from a plurality of predetermined analysis services and to forward the scanned utterance to an analysis service, wherein the selected
- Analysis service is arranged to determine a user intention based on the scanned utterance.
- Analysis service can be added with little effort.
- a chain use of analysis services is possible by a
- Analysis result of a first analysis service serves as input for a second analysis service.
- the improved analysis may also allow to control a function that could hitherto not be controlled aboard the motor vehicle in the manner described, due to a high level of user attention required for communication.
- One type of utterance may include a gesture, an articulated sound, an inarticulate sound, a facial expression, a look, and / or a physical activity, the processing means being adapted to
- Analysis services can be employed with the analysis of each type.
- the selection of the analysis service can be done depending on a driving situation of the motor vehicle.
- the driving situation can be determined in particular by the processing device.
- the driving situation can be
- Processing device can be connected to determine the driving situation by means of an interface with another device on board the motor vehicle, such as a navigation system or a longitudinal or lateral control, for example, to determine a driving condition.
- another device on board the motor vehicle such as a navigation system or a longitudinal or lateral control, for example, to determine a driving condition.
- the driving situation can also take into account a situation in the motor vehicle, for example whether a conversation is taking place, if the user is involved in the conversation, if an entertainment system is active, etc. On the basis of the driving situation it can be decided in particular whether a scanned utterance of the user with a User intent is linked or the user has given the utterance rather unintentionally. For example, a predetermined hand movement for controlling a volume of an audio system may be provided. If the motor vehicle passes through a fast cornering combination in which the user, as the driver, has to grasp both hands in rapid succession on a steering wheel, the recognized one is
- the analysis service can be selected, for example, as a function of a user setting assigned to the identification. For example, the user may make a selection depending on his or her own experience or on costs associated with using the analysis service.
- Several analysis services can also be named by the user, which can be used for different types of utterances, for example. Further, the user can perform a predetermined order of
- the utterance may have a predetermined property, the analysis service depending on its processing capability for an utterance can be selected with a predetermined property.
- the property may include, for example, ambient noise, such as rain or higher
- the processing device can be set up to determine the property of the utterance.
- the processing device to signals of one or more sensors on board the motor vehicle
- the property may also be associated with a situation on board the motor vehicle, in particular a driving situation.
- the property may also be assigned to the user. For example, it may be known that a particular user occasionally speaks dialect, so that not only an analysis result of a verbal utterance of the user must wait to determine this.
- the processing device may be further configured to
- a success-based learning may be implemented that determines under what circumstances which analysis service will provide the best results. For example, success can be achieved through a
- the user may agree to a particular one
- a certain confidence can be used to determine the quality.
- the confidence can be determined by the analysis service
- the analysis service determined in this way can preferably be commissioned for the following user expressions.
- the utterance is forwarded in parallel to a plurality of analysis services, and one of a plurality of user intentions determined by the analysis services is selected. In particular, if there is still little experience with one or more available analysis services, their analytical capabilities can be rapidly evaluated in this way.
- the result that arrives first may also be used. This can be useful, for example, in triggering a security-relevant or otherwise urgent or time-critical function.
- the processing device is set up to determine an analysis service to be selected in the future preferably on the basis of the selection made. So can a once selected
- Analysis service will be given the possibility of customization to the user, a situation or another recurring circumstance.
- the system may further include another sensing device on board the
- the further scanning device is adapted to determine an identification of the user.
- the further scanning device can be operated manually, for example by the user.
- the scanner may be a personal item such as an electronically encoded key or a corresponding one
- the user can also be identified by means of his mobile phone, for example by means of near field communication (NFC). An identification of the user by the mobile phone can be accepted.
- NFC near field communication
- the user may be identified by a biometric feature, such as a camera or a fingerprint reader. Also an identification based on an entered code is possible. Further, the user may be identified based on a personalized setting, such as the adjustment of a seat, exterior or interior mirror.
- a biometric feature such as a camera or a fingerprint reader.
- an identification based on an entered code is possible.
- the user may be identified based on a personalized setting, such as the adjustment of a seat, exterior or interior mirror.
- the processing device is preferably set up to control a predetermined function depending on the specific user intention.
- the function preferably affects the user and may have a function aboard the Motor vehicle include, for example, the opening or closing of a window or the activation of a navigation destination. Alternatively, the function can also be effected only on board the motor vehicle, for example reading aloud an e-mail or establishing a telephone connection.
- the execution of the function by an execution service can be initiated by the processing device.
- one of several predetermined services offering the function can also be selected. For example, in a first step, the utterance of the
- the service performing the function may be identical to or different from the analyzing service. Thus, different services can be better combined, for example, one for the
- a motor vehicle comprises a scanning device on board the motor vehicle, for scanning a user's utterance, and a processing device.
- the processing device is to
- Analysis service is arranged to determine a user intention based on the scanned utterance.
- the processing device is located on board the motor vehicle, as indicated above at various points.
- the processing device is outside the motor vehicle and is for example by means of a wireless
- Processing device may be part of another service that
- a communication network such as the mobile network or the Internet can be reached.
- a method of assisting a user on board a motor vehicle includes steps of scanning a user's statement on board the motor vehicle; of selecting one Analysis service of a plurality of predetermined analysis services in response to an identification of the user; and forwarding the scanned utterance to the selected analysis service, the selected one
- Analysis service is arranged to determine a user intention based on the scanned utterance.
- the method can be present in whole or in part in the form of a computer program product with program code means.
- Processing device can in particular a programmable
- Microcomputers include and be adapted to perform the method or a part thereof.
- the processing device may be mounted on board the motor vehicle.
- Features or advantages of the method can be related to the system or the motor vehicle and vice versa.
- Figure 1 shows a system with a motor vehicle
- Figure 2 illustrates a flowchart of a method.
- FIG. 1 shows a system 100 with a motor vehicle 105, on whose shelf a user 110 is located.
- a device 115 on board the motor vehicle 105 which comprises at least one scanning device 120, which is adapted to scan an utterance of the user 1 10, furthermore a processing device 125, and preferably a communication device 130, which is set up for wireless communication.
- a further scanning device 135 is provided, which is configured to provide an identification of the user 1 10.
- the scanner 135 may be part of a security system of the motor vehicle 105 or a digital assistant of the user 110.
- the identity of the user 110 may also be determined by hints, such as a picture of the user, settings he makes on the motor vehicle 105, or his driving style if he is driving the motor vehicle 105 himself.
- the scanning device 120 may include, for example, a camera (in the visible or invisible wavelength range), a microphone, an ultrasonic sensor, a touchpad or a touchscreen.
- Sampling device 120 is to sample an utterance of user 110, which utterance may particularly include a component which person 110 may also use in social interaction with another person, such as a gesture, a look, speech, touch, facial expression , Tonality, a non-verbal sound, etc. It is also possible for several such signals, which may be in a sense relationship with one another, to be scanned simultaneously by the person 110.
- the utterance is more preferably an expression of the user 110 for a predetermined intention.
- the utterance may be from a predetermined repertoire, for example, intended to control intentions in the given context of the motor vehicle 105.
- a look at an exterior mirror can select an exterior mirror adjustment and another look can adjust the exterior mirror in a corresponding direction.
- the repertoire is not limited in this way, but includes elements that can also be used for interpersonal communication.
- the exterior mirror adjustment of the example could be activated by the person 110 moving to the left
- Outside the motor vehicle 105 is preferably another wireless
- Communication device 140 is provided which is adapted to
- the communication device 140 is preferably with one or more
- Analysis services 145 including a network 150 may be provided, which may be wired, wireless or mixed and may include a private or public section.
- one or more execution services 155 may be communicatively connected to the communication device 150.
- the services 145, 155 can each be realized as a server, as a locally abstracted service, in particular in a cloud, or in another way.
- a plurality of analysis services 145 may be provided, each having a user intent based on a scan of a user verbal utterance of the user 110.
- the analysis services 145 differ in certain characteristics, such as a rate of determination, resistance to noise, knowledge of different languages or dialects, a destination accuracy, etc.
- Properties of analysis services 145 may be stored in a data store 160 that may be connected to the processing device 125 ,
- a control service 155 is preferably configured to perform a predetermined control on the basis of a corresponding input, ie to achieve an effect intended by the user 110.
- This effect can be of a physical nature, such as a
- control service 155 may also implement, for example, a booking, a payment transaction, or an order, or provide information such as a weather, a local time, a sports score, or a stock price.
- the processing device 125 is aboard the motor vehicle 105; In another embodiment, the processing device 125 may also be outside the motor vehicle 105
- a further processing device for signal processing and / or communication on board the motor vehicle 105 may be provided.
- a further processing device for signal processing and / or communication on board the motor vehicle 105 may be provided.
- only one processing device 125 is assumed, which is arranged on board the motor vehicle 105 purely by way of example.
- An utterance of the user 110 may be by means of at least one
- Sampling device 120 is scanned and passed by the processing means 125 to one of the analysis services 145.
- the analysis service 145 is configured to determine a user intention based on the scanned utterance, and preferably to return it to the processing device 125.
- an analysis service 145 may perform a voice-to-text conversion (or vice versa), a translation from one language or dialect to another language or dialect, and so forth.
- Control task to be executed, as described in more detail below.
- Analysis Services 145 selects one to determine its underlying user intent based on a present sample of an utterance of the user 110. Preferably, the selection is based on additional information that takes into account a current situation of the user 110, a property or capability of an analysis service 145, and / or other factors. For this purpose, in particular information stored in the data memory 160 and situational information, which likewise can be determined by means of a scanning device 120, can be correlated with one another.
- the selection of the analysis service 145 can be adapted, in particular on the basis of a history in order to repeat a once successful selection as possible, a current availability of analysis services, a price incurred for the analysis or another parameter, the may also change quickly, so that the selection of analysis service 145 can be very dynamic.
- Each analysis service 145 may be sent an aspect of the utterance for processing, one aspect may also be processed by multiple analysis services 145.
- results of the analysis services 145 can be combined with each other; in a competitive parallelization, the result whose quality, for example with regard to a processing speed, a specific confidence or a degree of detail, was determined to be the best can be used.
- multiple analysis services 145 may be functionally concatenated with each other so that a result of one or more analysis services 145 represents an input of one or more other analysis services 145.
- a speech-to-text conversion, a natural language understanding (NLU), a dialog management, a natural language generation (NLG), and a text-to-speech may be successively performed Speech conversion (text to speech, TTS).
- NLU natural language understanding
- NLU natural language understanding
- NLG natural language generation
- text-to-speech may be successively performed Speech conversion (text to speech, TTS).
- a similar concatenation could also be carried out, for example, for face recognition and viewing direction recognition.
- An order of processing can also be varied.
- Analysis services 145 can be used as a basis for a later selection of the analysis services 145.
- the flexible selection of analysis services 145 may allow one analytic service 145 or a combination of parallel and / or serially concatenated analysis services 145 against another
- Analysis Service 145 or another combination of analysis services 145 - to replace.
- An analysis service 145 may also be inserted into an existing chain of analysis services 145. For example, a sequence of a
- Speech recognition and a downstream generation of natural language can be changed by performing a semantic analysis in between. Recursive nesting of analysis services 145 may also be possible.
- a chain of analysis services 145 for speech analysis may be flexibly augmented by introducing appropriate analysis services 145 for other modularities, such as gesture recognition, face recognition, touch recognition, etc., into Natural Interaction Processing (NIP).
- NIP Natural Interaction Processing
- An example of this would be a speech recognition with a recognition of natural language, which is parallel to a viewing direction detection, a graphical user guidance and possibly another combination of Analysis Services 145 works.
- the further combination can be one
- one or more other services may be included in such a chain, so that virtually any meshes parallel and / or serially interconnected services 145, 15 are generated and modified as needed can.
- FIG. 2 shows a flow chart of a method 200 that can be carried out in particular on the system 100 of FIG.
- the method 200 may be executed in whole or in part on the processing device 125.
- an identification of the user 1 10 on board the motor vehicle 105 can be determined. For this purpose, it can also be determined whether the user 110 controls the motor vehicle 105 himself or is only a passenger.
- an utterance of the user 110 is scanned by means of at least one scanning device 120, as described in more detail above.
- an analysis service 145 is selected, wherein the selection is made preferably on the basis of a situation of the user 1 10, predetermined properties of various analysis services 145 and optionally further information.
- the scan or a portion of the scan, and optionally other information such as a particular
- Driving situation of the user 1 10 and the motor vehicle 105 are then preferably transmitted to the selected analysis service 145.
- the selected analysis service 145 determines a user intention that may be the basis of the scanned utterance. In certain cases, it may also be determined that the scanned utterance is unlikely to be motivated by a recognizable intention of the user.
- the result of the analysis can be evaluated, for example, based on a confidence value also provided or on the basis of a compatibility of the specific user intention with the previously determined situation. This step may also be performed at a later time and feedback from the user may include how well he senses his intention through the analysis.
- a function may be determined that is associated with the intent or that may be inferred from the particular intent.
- the function can be controlled directly in a step 235, in particular by the aboard the motor vehicle 105 brought off
- Processing device 125 or in a step 240, a
- Control service 155 which performs the function by transmitting a corresponding request and any required information to the selected control service 155.
- Function control by means of the control service 155 may be useful, in particular, if the function does not directly affect the motor vehicle 105 or is influenced by the fact that the user 110 is on board the motor vehicle.
- the control service 155 can also be used to advantage when processing an output of the analysis service 145 directly. For example, the
- Analysis service 145 includes a speech-to-text (STT) conversion and the control service 155 may send or store text at a predetermined location.
- STT speech-to-text
- the method 200 may also be varied, particularly in the order or frequency of execution of the described steps, or by any of the other embodiments, variants, options, or capabilities described herein. reference numeral
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Ein System zur Unterstützung eines Benutzers an Bord eines Kraftfahrzeugs umfasst eine Abtasteinrichtung an Bord des Kraftfahrzeugs, die zur Abtastung einer Äußerung des Benutzers eingerichtet ist, und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, den Analysedienst in Abhängigkeit einer Identifikation des Benutzers aus mehreren vorbestimmten Analysediensten auszuwählen und die abgetastete Äußerung an einen Analysedienst weiterzuleiten, wobei der ausgewählte Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
Description
Benutzerkommunikation an Bord eines Kraftfahrzeugs
Die Erfindung betrifft die Unterstützung eines Benutzers an Bord eines
Kraftfahrzeugs. Insbesondere betrifft die Erfindung die Bestimmung einer Benutzerabsicht auf der Basis einer Äußerung des Benutzers.
Um eine vorbestimmte Funktion zu steuern kann ein Benutzer an Bord eines Kraftfahrzeugs seine Absicht auf klassische Weise durch die Betätigung einer dafür vorgesehenen Abtasteinrichtung ausdrücken. Die Absicht kann eine Funktion des Kraftfahrzeugs umfassen und beispielsweise eine Fahrfunktion, eine automatische Zielführung oder eine Unterhaltungsfunktion betreffen. Die Abtasteinrichtung kann einen Taster, Schalter oder Hebel oder auch einen Touchscreen oder ein Touchpad umfassen.
Um den Benutzer, insbesondere einen Fahrer des Kraftfahrzeugs, verbessert zu unterstützen kann ein fortgeschrittenes Bedienkonzept vorgesehen sein, beispielsweise eine Sprach- oder Gestensteuerung. Der Benutzer kann an Bord des Kraftfahrzeugs akustisch oder optisch abgetastet werden und ein
Abtastergebnis kann von einem vorbestimmten Analysedienst durchgeführt werden. Beispielsweise gibt es zur akustischen Analyse verschiedene digitale Assistenten, die unter den Namen Siri, Alexa oder Cortana bekannt sind.
DE 10 2016 004 287 A1 betrifft ein Verfahren zur Spracherkennung in einem Kraftfahrzeug.
DE 10 2008 028 477 A1 schlägt vor, einem Benutzer mittels eines
Sprachbediensystems Hilfe anzubieten.
Es hat sich gezeigt, dass nicht alle Analysetechniken unter allen in einem Kraftfahrzeug anzutreffenden Umständen gleich gute Ergebnisse erzielen. Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht daher darin, eine verbesserte T echnik zur Analyse einer Äußerung eines Benutzers bereitzustellen. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte
Ausführungsformen wieder.
Nach einem ersten Aspekt umfasst ein System zur Unterstützung eines
Benutzers an Bord eines Kraftfahrzeugs eine Abtasteinrichtung an Bord des Kraftfahrzeugs, die zur Abtastung einer Äußerung des Benutzers eingerichtet ist, und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, den Analysedienst in Abhängigkeit einer Identifikation des Benutzers aus mehreren vorbestimmten Analysediensten auszuwählen und die abgetastete Äußerung an einen Analysedienst weiterzuleiten, wobei der ausgewählte
Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
Dadurch kann stets derjenige Analysedienst verwendet werden, der in einer gegebenen Situation optimal ist. Die Qualität des Analyseergebnisses kann so verbessert werden. Ein Analysedienst kann abgeschaltet oder ausgetauscht werden, ohne die Funktion des Systems zu gefährden. Ein zusätzlicher
Analysedienst kann mit geringem Aufwand hinzugefügt werden. Optional ist auch eine verkette Verwendung von Analysediensten möglich, indem ein
Analyseergebnis eines ersten Analysediensts als Eingabe für einen zweiten Analysedienst dient. Die verbesserte Analyse kann es erlauben, auch eine Funktion zu steuern, die bislang aufgrund einer hohen zur Kommunikation erforderlichen Aufmerksamkeit des Benutzers nicht an Bord des Kraftfahrzeugs auf die geschilderte Weise gesteuert werden konnte.
Eine Art der Äußerung kann eine Geste, einen artikulierten Laut, einen unartikulierten Laut, eine Mimik, einen Blick, und/oder eine physische Betätigung umfassen, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, den
Analysedienst in Abhängigkeit der Art der Äußerung auszuwählen. So können innovative Kommunikationskonzepte genutzt werden, um die Kommunikation mit dem Benutzer zu verbessern. Der Benutzer kann auch mehrere Äußerungen unterschiedlicher Arten von sich geben, wobei einer oder auch mehrere
Analysedienste mit der Analyse der jeweiligen Art beschäftigt werden kann.
Die Auswahl des Analysediensts kann in Abhängigkeit einer Fahrsituation des Kraftfahrzeugs erfolgen. Dazu kann die Fahrsituation insbesondere durch die Verarbeitungseinrichtung bestimmt werden. Die Fahrsituation kann
beispielsweise eine Fahrgeschwindigkeit, eine Verkehrsdichte, eine Fahrt in der Stadt, über Land oder auf einer Autobahn, unter unterschiedlichen
Wettereinflüssen, Tageszeiten und Sonnenständen umfassen. Die
Verarbeitungseinrichtung kann zur Bestimmung der Fahrsituation mittels einer Schnittstelle mit einer weiteren Vorrichtung an Bord des Kraftfahrzeugs verbunden sein, etwa einem Navigationssystem oder einer Längs- oder Quersteuerung, um beispielsweise einen Fahrzustand zu bestimmen.
Die Fahrsituation kann auch eine Situation im Kraftfahrzeug berücksichtigen, beispielsweise ob gerade ein Gespräch stattfindet, ob der Benutzer an dem Gespräch beteiligt ist, ob ein Unterhaltungssystem aktiv ist etc. Auf Basis der Fahrsituation kann insbesondere entschieden werden, ob eine abgetastete Äußerung des Benutzers mit einer Benutzerabsicht verknüpft ist oder der Benutzer die Äußerung eher unbeabsichtigt gegeben hat. Beispielsweise kann eine vorbestimmte Handbewegung zur Steuerung einer Lautstärke eines Audiosystems vorgesehen sein. Durchfährt das Kraftfahrzeug eine schnelle Kurvenkombination, bei welcher der Benutzer als Fahrer an einem Lenkrad in rascher Folge mit beiden Händen umgreifen muss, so ist die erkannte
Handbewegung wahrscheinlich eher zufällig. In weiteren Ausführungsformen können der gleichen Äußerung in unterschiedlichen Fahrsituationen
verschiedene Benutzerabsichten zugeordnet sein.
Zur Auswahl des Analysediensts kommen unterschiedliche Vorgehensweisen in Betracht, von denen eine oder auch mehrere in Kombination miteinander durchgeführt werden können.
Der Analysedienst kann beispielsweise in Abhängigkeit einer der Identifikation zugeordneten Benutzereinstellung ausgewählt werden. Der Benutzer kann beispielsweise in Abhängigkeit seiner eigenen Erfahrung oder von mit der Nutzung des Analysedienstes verbundenen Kosten eine Auswahl treffen. Es können auch mehrere Analysedienste vom Benutzer benannt werden, die beispielsweise für unterschiedliche Arten von Äußerungen verwendet werden können. Weiter kann der Benutzer eine vorbestimmte Reihenfolge von
Analysediensten angeben, von denen der höchstplatzierte Analysedienst ausgewählt werden kann, der in einem gegebenen Moment verfügbar ist.
Die Äußerung kann eine vorbestimmte Eigenschaft aufweisen, wobei der Analysedienst in Abhängigkeit seiner Verarbeitungsfähigkeit für eine Äußerung
mit einer vorbestimmten Eigenschaft ausgewählt werden kann. Die Eigenschaft kann beispielsweise Nebengeräusche, etwa bei Regen oder höherer
Geschwindigkeit, ein Dialekt in einer artikulierten Äußerung des Benutzers oder das Tragen einer Brille des Benutzers bei der Äußerung mittels eines
Gesichtsausdrucks oder eines Blicks umfassen. Für eine Vielzahl
unterschiedlicher solcher Umstände können jeweils einer oder mehrere vorbestimmte Analysedienste vorgesehen sein.
Dabei kann die Verarbeitungseinrichtung dazu eingerichtet sein, die Eigenschaft der Äußerung zu bestimmen. Dazu kann die Verarbeitungseinrichtung auf Signale eines oder mehrerer Sensoren an Bord des Kraftfahrzeugs
zurückgreifen, die beispielsweise einen Innenraum und insbesondere den Benutzer abtasten können. Die Eigenschaft kann auch einer Situation an Bord des Kraftfahrzeugs, insbesondere einer Fahrsituation zugeordnet sein. In einer weiteren Ausführungsform kann die Eigenschaft auch dem Benutzer zugeordnet sein. Beispielsweise kann bekannt sein, dass ein bestimmter Benutzer gelegentlich Dialekt spricht, sodass nicht erst ein Analyseergebnis einer sprachlichen Äußerung des Benutzers abgewartet werden muss, um dies zu bestimmen.
Die Verarbeitungseinrichtung kann weiter dazu eingerichtet sein, den
Analysedienst in Abhängigkeit eines Erfolgs einer vorausgehenden Analyse auszuwählen. Insbesondere kann ein erfolgsbasiertes Lernen implementiert sein, bei dem bestimmt wird, unter welchen Umständen welcher Analysedienst die besten Ergebnisse liefert. Der Erfolg kann beispielsweise durch eine
Benutzereingabe oder ein Benutzerverhalten bestimmt werden. Führt der Benutzer als Reaktion auf eine bestimmte Benutzerabsicht eine sehr ähnliche Äußerung erneut durch, so war die Analyse wahrscheinlich unzutreffend.
Alternativ kann der Benutzer seine Zustimmung zu einer bestimmten
Benutzerabsicht auch beispielsweise durch einen Tastendruck oder das
Sprechen eines Schlüsselwortes ausdrücken. In noch einer weiteren
Ausführungsform kann eine bestimmte Konfidenz zur Bestimmung der Qualität herangezogen werden. Die Konfidenz kann durch den Analysedienst
bereitgestellt werden und ausdrücken, mit welcher Wahrscheinlichkeit das Analyseergebnis zutreffend ist. Der auf diese Weise bestimmte Analysedienst kann für folgende Benutzeräußerungen bevorzugt beauftragt werden.
In wieder einer weiteren Ausführungsform wird die Äußerung parallel an mehrere Analysedienste weitergeleitet und aus mehreren Benutzerabsichten, die durch die Analysedienste bestimmt wurden, wird eine ausgewählt. Insbesondere wenn noch wenige Erfahrungen mit einem oder mehreren verfügbaren Analysediensten vorliegen, können deren Analysequalitäten auf diese Weise rasch evaluiert werden. In einer Ausführungsform kann auch dasjenige Ergebnis verwendet werden, das als erstes eintrifft. Dies kann beispielsweise bei der Auslösung einer sicherheitsrelevanten oder anderweitig dringlichen oder zeitkritischen Funktion sinnvoll sein.
In einer Weiterbildung ist die Verarbeitungseinrichtung dazu eingerichtet, auf der Basis der getroffenen Auswahl einen zukünftig bevorzugt auszuwählenden Analysedienst zu bestimmen. So kann einem einmal ausgewählten
Analysedienst die Möglichkeit der Anpassung an den Benutzer, eine Situation oder einen anderen wiederkehrenden Umstand gegeben werden.
Das System kann ferner eine weitere Abtasteinrichtung an Bord des
Kraftfahrzeugs umfassen, wobei die weitere Abtastungseinrichtung dazu eingerichtet ist, eine Identifikation des Benutzers zu bestimmen. Die weitere Abtasteinrichtung kann beispielsweise durch den Benutzer manuell bedient werden. Alternativ kann die Abtasteinrichtung einen persönlichen Gegenstand wie einen elektronisch codierten Schlüssel oder einen entsprechenden
Gegenstand umfassen. Der Benutzer kann auch anhand seines Mobiltelefons identifiziert werden, beispielsweise mittels Nahfeldkommunikation (NFC). Eine Identifikation des Benutzers durch das Mobiltelefon kann übernommen werden.
In noch einer weiteren Ausführungsform kann der Benutzer anhand eines biometrischen Merkmals identifiziert werden, etwa mittels einer Kamera oder eines Fingerabdruck-Lesegeräts. Auch eine Identifikation anhand eines eingegebenen Codes ist möglich. Ferner kann der Benutzer auf der Basis einer personalisierten Einstellung identifiziert werden, beispielsweise der Einstellung eines Sitzes, eines Außen- oder Innenspiegels.
Die Verarbeitungseinrichtung ist bevorzugt dazu eingerichtet, in Abhängigkeit der bestimmten Benutzerabsicht eine vorbestimmte Funktion zu steuern. Die Funktion betrifft bevorzugt den Benutzer und kann eine Funktion an Bord des
Kraftfahrzeugs umfassen, beispielsweise das Öffnen oder Schließen eines Fensters oder das Aktivieren eines Navigationsziels. Alternativ kann die Funktion auch lediglich an Bord des Kraftfahrzeugs bewirkt werden, beispielsweise ein Vorlesen eines E-Mails oder das Herstellen einer Telefonverbindung.
Die Ausführung der Funktion durch einen Ausführungsdienst kann durch die Verarbeitungseinrichtung veranlasst werden. Hierfür kann ebenfalls einer von mehreren vorbestimmten Diensten ausgewählt werden, welche die Funktion anbieten. Beispielsweise kann in einem ersten Schritt die Äußerung des
Benutzers eine Sprachanweisung umfassen, die das Vorlesen eines E-Mails betrifft. Der die Funktion ausführende Dienst kann mit dem analysierenden Dienst identisch oder von ihm verschieden sein. So können verbessert unterschiedliche Dienste miteinander kombiniert werden, beispielsweise um einen für den
Benutzer nutzbaren Funktionsumfang zu vergrößern.
Nach einem zweiten Aspekt umfasst ein Kraftfahrzeug eine Abtasteinrichtung an Bord des Kraftfahrzeugs, zur Abtastung einer Äußerung des Benutzers, und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu
eingerichtet, den Analysedienst in Abhängigkeit einer Identifikation des Benutzers aus mehreren vorbestimmten Analysediensten auszuwählen und die abgetastete Äußerung an einen Analysedienst weiterzuleiten, wobei der ausgewählte
Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
In einer ersten Variante befindet sich die Verarbeitungseinrichtung an Bord des Kraftfahrzeugs, wie oben an verschiedenen Stellen angedeutet wurde. In einer zweiten Variante befindet sich die Verarbeitungseinrichtung außerhalb des Kraftfahrzeugs und ist beispielsweise mittels einer drahtlosen
Kommunikationseinrichtung mit dem Kraftfahrzeug verbunden. Die
Verarbeitungseinrichtung kann Teil eines weiteren Dienstes sein, der
insbesondere über ein Kommunikationsnetzwerk wie das Mobilfunknetz oder das Internet erreichbar sein kann.
Nach einem dritten Aspekt umfasst ein Verfahren zur Unterstützung eines Benutzers an Bord eines Kraftfahrzeugs Schritte des Abtastens einer Äußerung des Benutzers an Bord des Kraftfahrzeugs; des Auswählens eines
Analysediensts aus mehreren vorbestimmten Analysediensten in Abhängigkeit einer Identifikation des Benutzers; und des Weiterleitens der abgetasteten Äußerung an den ausgewählten Analysedienst, wobei der ausgewählte
Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
Das Verfahren kann ganz oder in Teilen in Form eines Computerprogramm- produkts mit Programmcodemitteln vorliegen. Die hierin erwähnte
Verarbeitungseinrichtung kann insbesondere einen programmierbaren
Mikrocomputer umfassen und dazu eingerichtet sein, das Verfahren oder einen Teil davon durchzuführen. Die Verarbeitungseinrichtung kann an Bord des Kraftfahrzeugs angebracht sein. Merkmale oder Vorteile des Verfahrens können auf das System oder das Kraftfahrzeug bezogen werden und umgekehrt.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:
Figur 1 ein System mit einem Kraftfahrzeug; und
Figur 2 ein Ablaufdiagramm eines Verfahrens illustriert.
Figur 1 zeigt ein System 100 mit einem Kraftfahrzeug 105, an dessen Bord sich ein Benutzer 110 befindet. Außerdem befindet sich eine Vorrichtung 115 an Bord des Kraftfahrzeugs 105, die wenigstens eine Abtasteinrichtung 120 umfasst, die dazu eingerichtet ist, eine Äußerung des Benutzers 1 10 abzutasten, ferner eine Verarbeitungseinrichtung 125, sowie bevorzugt eine Kommunikationseinrichtung 130, die zur drahtlosen Kommunikation eingerichtet ist. Optional ist eine weitere Abtasteinrichtung 135 vorgesehen, die dazu eingerichtet ist, eine Identifikation des Benutzers 1 10 bereitzustellen. Die Abtasteinrichtung 135 kann Teil eines Sicherungssystems des Kraftfahrzeugs 105 oder eines digitalen Assistenten des Benutzers 110 sein. Die Identität des Benutzers 110 kann auch durch Hinweise bestimmt werden, beispielsweise ein Bild des Benutzers, Einstellungen, die er am Kraftfahrzeug 105 trifft, oder seinen Fahrstil, falls er das Kraftfahrzeug 105 selbst fährt.
Die Abtastungseinrichtung 120 kann beispielsweise eine Kamera (im sichtbaren oder unsichtbaren Wellenlängenbereich), ein Mikrofon, einen Ultraschallsensor, ein Touchpad oder einen Touchscreen umfassen. Eine Aufgabe der
Abtastungseinrichtung 120 besteht darin, eine Äußerung des Benutzers 110 abzutasten, wobei die Äußerung insbesondere eine Komponente umfassen kann, welche die Person 110 auch bei der sozialen Interaktion mit einer anderen Person verwenden kann, beispielsweise eine Geste, einen Blick, Sprache, eine Berührung, Mimik, Tonalität, ein nonverbales Geräusch etc. Es können auch mehrere derartige Signale, die miteinander in einer Sinnbeziehung stehen können, gleichzeitig von der Person 110 abgetastet werden.
Die Äußerung ist weiter bevorzugt ein Ausdruck des Benutzers 110 für eine vorbestimmte Absicht. Die Äußerung kann einem vorbestimmten Repertoire entstammen, das beispielsweise zur Steuerung von Absichten im gegebenen Kontext des Kraftfahrzeugs 105 vorbestimmt ist. Beispielsweise kann ein Blick auf einen Außenspiegel eine Außenspiegelverstellung auswählen und ein weiterer Blick den Außenspiegel in einer korrespondierenden Richtung verstellen. Bevorzugt ist das Repertoire jedoch nicht in dieser Weise beschränkt, sondern umfasst Elemente, wie sie auch für die zwischenmenschliche Kommunikation verwendet werden können. Die Außenspiegelverstellung des Beispiels könnte beispielsweise aktiviert werden, indem die Person 110 auf den linken
Außenspiegel blickt und„weiter hoch“,„nach oben“,„höher“ oder eine
sinnverwandte Aussage sprachlich formuliert.
Außerhalb des Kraftfahrzeugs 105 ist bevorzugt eine weitere drahtlose
Kommunikationseinrichtung 140 vorgesehen, die dazu eingerichtet ist,
Informationen mit der Kommunikationseinrichtung 130 auszutauschen. Die Kommunikationseinrichtung 140 ist bevorzugt mit einer oder mehreren
Analysediensten 145 verbunden, wozu ein Netzwerk 150 vorgesehen sein kann, das drahtgebunden, drahtlos oder gemischt aufgebaut sein kann und einen privaten oder öffentlichen Abschnitt umfassen kann. Außerdem können eine oder mehrere Ausführungsdienste 155 mit der Kommunikationseinrichtung 150 kommunikativ verbunden sein. Die Dienste 145, 155 können jeweils als Server, als ortsabstrahierter Dienst, insbesondere in einer Cloud, oder auf andere Weise realisiert sein. Beispielsweise können mehrere Analysedienste 145 vorgesehen sein, die jeweils eine Benutzerabsicht auf der Basis einer Abtastung einer
verbalen Äußerung des Benutzers 110 bestimmen können. Üblicherweise unterscheiden sich die Analysedienste 145 in bestimmten Eigenschaften, beispielsweise einer Bestimmungsgeschwindigkeit, einer Resistenz gegen Störgeräusche, eine Kenntnis unterschiedlicher Sprachen oder Dialekte, eine Bestimmungsgenauigkeit etc. Eigenschaften von Analysediensten 145 können in einem Datenspeicher 160 abgelegt sein, die mit der Verarbeitungsvorrichtung 125 verbunden sein kann. Ein Steuerungsdienst 155 ist bevorzugt dazu eingerichtet, auf der Basis einer entsprechenden Eingabe eine vorbestimmte Steuerung durchzuführen, also einen vom Benutzer 110 beabsichtigten Effekt zu erzielen. Dieser Effekt kann physikalischer Art sein, etwa indem eine
mechanische Vorrichtung an Bord oder außerhalb des Kraftfahrzeugs 105 gesteuert wird, oder beispielsweise informationstechnischer Natur, indem beispielsweise eine Telefonverbindung hergestellt, ein E-Mail vorgelesen oder ein Kalendereintrag erstellt wird. Der Steuerungsdienst 155 kann auch beispielsweise eine Buchung, einen Bezahlvorgang oder eine Bestellung implementieren oder eine Auskunft erteilen, etwa über ein Wetter, eine Lokalzeit, ein Sportergebnis oder einen Aktienkurs.
In der dargestellten Ausführungsform befindet sich die Verarbeitungseinrichtung 125 an Bord des Kraftfahrzeugs 105; in einer anderen Ausführungsform kann die Verarbeitungseinrichtung 125 auch außerhalb des Kraftfahrzeugs 105
vorgesehen sein; in diesem Fall kann auch eine weitere Verarbeitungseinrichtung zur Signalverarbeitung und/oder Kommunikation an Bord des Kraftfahrzeugs 105 vorgesehen sein. Im Folgenden wird von nur einer Verarbeitungseinrichtung 125 ausgegangen, die rein beispielhaft an Bord des Kraftfahrzeugs 105 angeordnet ist.
Eine Äußerung des Benutzers 110 kann mittels wenigstens einer
Abtasteinrichtung 120 abgetastet und mittels der Verarbeitungseinrichtung 125 an einen der Analysedienste 145 geleitet werden. Der Analysedienst 145 ist dazu eingerichtet, eine Benutzerabsicht auf der Basis der abgetasteten Äußerung zu bestimmen und bevorzugt an die Verarbeitungseinrichtung 125 zurück zu liefern. Beispielsweise kann ein Analysedienst 145 eine Sprache-zu-Text-Umwandlung (oder umgekehrt) durchführen, eine Übersetzung von einer Sprache oder einem Dialekt in eine andere Sprache oder einen anderen Dialekt und so weiter. Auf der
io
Basis der bestimmten Benutzerabsicht kann dann eine vorbestimmte
Steueraufgabe ausgeführt werden, wie unten noch genauer beschrieben wird.
Es wird vorgeschlagen, dass die Verarbeitungseinrichtung 125 von den
Analysedienste 145 einen auswählt, um auf der Basis einer vorliegenden Abtastung einer Äußerung des Benutzers 1 10 dessen zu Grunde liegende Benutzerabsicht zu bestimmen. Dabei erfolgt die Auswahl bevorzugt auf der Basis von zusätzlichen Informationen, die eine aktuelle Situation des Benutzers 110, eine Eigenschaft oder Fähigkeit eines Analysedienstes 145 und/oder andere Faktoren berücksichtigt. Dazu können insbesondere im Datenspeicher 160 abgelegte Informationen und situative Informationen, die ebenfalls mittels einer Abtasteinrichtung 120 bestimmt sein können, miteinander korreliert werden.
Ferner ist bevorzugt, dass die Auswahl des Analysediensts 145 angepasst werden kann, insbesondere auf der Basis einer Historie, um eine einmal getroffene erfolgreiche Auswahl möglichst zu wiederholen, einer aktuellen Verfügbarkeit von Analysediensten, eines für die Analyse anfallenden Preises oder eines anderen Parameters, der sich unter Umständen auch schnell ändern kann, sodass die Auswahl des Analysedienstes 145 sehr dynamisch sein kann.
Es können auch mehrere Analysedienste 145 für die Verarbeitung
unterschiedlicher Aspekte einer Äußerung des Benutzers 110 ausgewählt werden, wobei auch die Qualität einer Paarung von Analysediensten 145 in eine zukünftige Auswahl einfließen kann. Jedem Analysedienst 145 kann ein Aspekt der Äußerung zur Verarbeitung übersandet werden, ein Aspekt kann auch durch mehrere Analysedienste 145 verarbeitet werden. Bei einer kooperativen
Parallelisierung können Ergebnisse der Analysedienste 145 miteinander kombiniert werden, bei einer kompetitiven Parallelisierung kann dasjenige Ergebnis weiterverwendet werden, dessen Qualität, beispielsweise bezüglich einer Verarbeitungsgeschwindigkeit, einer bestimmten Konfidenz oder einem Detailliertheitsgrad, als am besten bestimmt wurde. Ferner können mehrere Analysedienste 145 funktional miteinander verkettet werden, sodass ein Ergebnis eines oder mehrerer Analysedienste 145 eine Eingabe eines oder mehrerer anderer Analysedienste 145 darstellt.
In einem Beispiel für Verkettung von Analysediensten 145 können beispielsweise nacheinander eine Sprache-zu-Text-Umwandlung, eine Analyse gesprochener Sprache (natural language understanding, NLU), ein Dialogmanagement, eine Erzeugung natürlicher Sprache (natural language generation NLG) und eine Text-zu-Sprache-Umwandlung (text to speech, TTS) durchgeführt werden. Eine ähnliche Verkettung könnte beispielsweise auch für eine Gesichtserkennung und eine Blickrichtungserkennung durchgeführt werden. Eine Reihenfolge der Verarbeitung kann ebenfalls variiert werden.
Auch bei der Verkettung kann die Qualität einer Paarung verschiedener
Analysedienste 145 als Basis für eine spätere Auswahl der Analysedienste 145 verwendet werden kann. Die flexible Auswahl der Analysedienste 145 kann es beispielsweise erlauben, einen Analysedienst 145 oder eine Kombination parallel und/oder seriell verketteter Analysedienste 145 gegen einen anderen
Analysedienst 145 - oder eine andere Kombination von Analysediensten 145 - auszutauschen.
Ein Analysedienst 145 kann auch in eine bestehende Kette von Analysediensten 145 eingeschoben werden. Beispielsweise kann eine Abfolge einer
Spracherkennung und einer nachgeschalteten Erzeugung natürlicher Sprache verändert werden, indem dazwischen eine semantische Analyse durchgeführt wird. Auch eine rekursive Verschachtelung von Analysediensten 145 kann möglich sein.
In einem weiteren Beispiel kann eine Verkettung von Analysediensten 145 für die Sprachanalyse durch Einbringen entsprechender Analysedienste 145 für andere Modularitäten, beispielsweise eine Gestenerkennung, eine Gesichtserkennung, eine Berührungserkennung etc., zu einer Natürlichen Interaktionsverarbeitung (Natural Interaction Processing, NIP) flexibel ausgebaut werden. Hierbei können je nach Aufgabe oder auch Verfügbarkeit von Modalitäten und hierfür
notwendiger Hardware (z.B. Kameras, Touchscreens etc.) flexibel NIP - Systeme zusammenkonfiguriert werden.
Ein Beispiel hierfür wäre eine Spracherkennung mit einer Erkennung natürlicher Sprache, die parallel zu einer Blickrichtungserkennung, einer graphischen Benutzerführung und gegebenenfalls einer weiteren Kombination von
Analysediensten 145 arbeitet. Die weitere Kombination kann eine
Berührungserfassung, gefolgt von einer oder mehreren
hintereinandergeschalteten Analysediensten 145 und einer natürlichen
Spracherzeugung mit Umwandlung in gesprochene Sprache umfassen.
Es ist zu beachten, dass in einer Ausführungsform auch einer oder mehrere andere Dienste, insbesondere Steuerungsdienste 155, in eine solche Verkettung einbezogen werden können, sodass praktisch beliebige Geflechte parallel und/oder seriell miteinander verschaltete Dienste 145, 1 15 erzeugt und nach Bedarf verändert werden können.
Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das insbesondere am System 100 von Figur 1 durchgeführt werden kann. Das Verfahren 200 kann insbesondere, ganz oder teilweise, auf der Verarbeitungseinrichtung 125 ausgeführt werden.
In einem ersten Schritt 205 kann eine Identifikation des Benutzers 1 10 an Bord des Kraftfahrzeugs 105 bestimmt werden. Dazu kann auch bestimmt werden, ob der Benutzer 110 das Kraftfahrzeug 105 selbst steuert oder nur Fahrgast ist. In einem Schritt 210 wird eine Äußerung des Benutzers 110 mittels wenigstens einer Abtasteinrichtung 120 abgetastet, wie oben genauer beschrieben ist.
In einem Schritt 215 wird ein Analysedienst 145 ausgewählt, wobei die Auswahl bevorzugt auf der Basis einer Situation des Benutzers 1 10, vorbestimmter Eigenschaften verschiedener Analysedienste 145 und gegebenenfalls noch weiterer Informationen getroffen wird. Die Abtastung oder ein Teil der Abtastung sowie gegebenenfalls noch weitere Informationen wie eine bestimmte
Fahrsituation des Benutzers 1 10 bzw. des Kraftfahrzeugs 105 werden dann bevorzugt an den ausgewählten Analysedienst 145 übermittelt.
In einem Schritt 220 wird auf der Basis der übermittelten Informationen durch den ausgewählten Analysedienst 145 eine Benutzerabsicht bestimmt, die der abgetasteten Äußerung zu Grunde liegen kann. In bestimmten Fällen kann auch bestimmt werden, dass die abgetastete Äußerung wahrscheinlich nicht durch eine erkennbare Absicht des Benutzers 1 10 motiviert ist.
In einem Schritt 225 kann das Ergebnis der Analyse bewertet werden, beispielsweise anhand eines ebenfalls bereitgestellten Konfidenzwerts oder auf der Basis einer Kompatibilität der bestimmten Benutzerabsicht mit der zuvor bestimmten Situation. Dieser Schritt kann auch zu einem späteren Zeitpunkt durchgeführt werden und eine Rückmeldung des Benutzers 1 10 umfassen, wie gut er seine Absicht durch die Analyse erkannt fühlt.
In einem Schritt 230 kann eine Funktion bestimmt werden, die der Absicht zugeordnet ist oder auf die von der bestimmten Absicht geschlossen werden kann. Die Funktion kann in einem Schritt 235 direkt gesteuert werden, insbesondere durch die an Bord des Kraftfahrzeugs 105 abgebrachte
Verarbeitungseinrichtung 125, oder in einem Schritt 240 kann ein
Steuerungsdienst 155 ausgewählt werden, der die Funktion durchführt, indem eine entsprechende Anforderung und gegebenenfalls erforderliche Informationen an den ausgewählten Steuerungsdienst 155 übermittelt werden. Die
Funktionssteuerung mittels des Steuerungsdiensts 155 kann insbesondere dann sinnvoll sein, wenn die Funktion das Kraftfahrzeug 105 nicht direkt betrifft oder davon beeinflusst ist, dass sich der Benutzer 110 an Bord des Kraftfahrzeugs aufhält. Der Steuerungsdienst 155 kann auch vorteilhaft genutzt werden, wenn er eine Ausgabe des Analysediensts 145 direkt verarbeitet. Beispielsweise kann der
Analysedienst 145 eine Sprache-zu-T ext-Umwandlung (STT: speech to text) umfassen und der Steuerungsdienst 155 kann einen Text versenden oder an einer vorbestimmten Stelle abspeichern. Das Verfahren 200 kann auch variiert werden, insbesondere in der Reihenfolge oder Häufigkeit der Ausführung der beschriebenen Schritte oder durch eine der anderen hierin beschriebenen Ausführungsformen, Varianten, Optionen oder Möglichkeiten.
Bezugszeichen
100 System
105 Kraftfahrzeug
1 10 Benutzer
115 Vorrichtung
120 Abtasteinrichtung
125 Verarbeitungseinrichtung
130 Kommunikationseinrichtung
135 Abtasteinrichtung
140 Kommunikationseinrichtung
145 Analysedienst
150 Netzwerk
155 Ausführungsdienst
160 Speichervorrichtung
200 Verfahren
205 Bestimmen Identifikation Benutzer
210 Abtasten Äußerung des Benutzers
215 Auswahlen Analysedienst; Übermitteln / Weiterleiten
220 Analysieren
225 Ergebnis bewerten
230 Bestimmen Funktion
235 Steuern Funktion
240 Auswahlen Steuerungsdienst; Übermitteln / Weiterleiten
Claims
Ansprüche
1. System (100) zur Unterstützung eines Benutzers (110) an Bord eines Kraftfahrzeugs (105), folgende Elemente umfassend:
eine Abtasteinrichtung (120) an Bord des Kraftfahrzeugs (105), zur Abtastung einer Äußerung des Benutzers (110);
eine Verarbeitungseinrichtung (125), die dazu eingerichtet ist, die abgetastete Äußerung an einen Analysedienst (145) weiterzuleiten; wobei der Analysedienst (145) dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen;
dadurch gekennzeichnet, dass
die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den
Analysedienst (145) in Abhängigkeit einer Identifikation des Benutzers (110) aus mehreren vorbestimmten Analysediensten (145)
auszuwählen.
2. System (100) nach Anspruch 1 , wobei eine Art der Äußerung eine Geste, einen artikulierten Laut, einen unartikulierten Laut, eine Mimik, einen Blick, und/oder eine physische Betätigung umfasst und die
Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit der Art der Äußerung auszuwählen.
3. System (100) nach Anspruch 1 oder 2, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, eine Fahrsituation des Kraftfahrzeugs (105) zu bestimmen und den Analysedienst (145) in Abhängigkeit der Fahrsituation auszuwählen.
4. System (100) nach einem der vorangehenden Ansprüche, wobei die
Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit einer der Identifikation zugeordneten
Benutzereinstellung (1 10) auszuwählen.
5. System (100) nach einem der vorangehenden Ansprüche, wobei die Äußerung eine vorbestimmte Eigenschaft aufweist und die
Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst
(145) in Abhängigkeit seiner Verarbeitungsfähigkeit für eine Äußerung mit einer vorbestimmten Eigenschaft auszuwählen.
6. System (100) nach Anspruch 5, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, die Eigenschaft der Äußerung zu bestimmen.
7. System (100) nach einem der vorangehenden Ansprüche, wobei die
Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit eines Erfolgs einer vorausgehenden Analyse auszuwählen.
8. System (100) nach einem der vorangehenden Ansprüche, wobei die
Verarbeitungseinrichtung (125) dazu eingerichtet ist, die Äußerung an mehrere Analysedienste (145) weiterzu leiten und aus mehreren bestimmten Benutzerabsichten eine auszuwählen.
9. System (100) nach Anspruch 8, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, auf der Basis der getroffenen Auswahl einen zukünftig bevorzugt auszuwählenden Analysedienst (145) zu bestimmen.
10. System (100) nach einem der vorangehenden Ansprüche, ferner umfassend eine weitere Abtasteinrichtung (135) an Bord des Kraftfahrzeugs (105), wobei die weitere Abtastungseinrichtung dazu eingerichtet ist, eine
Identifikation des Benutzers (1 10) zu bestimmen.
1 1. System (100) nach einem der vorangehenden Ansprüche, wobei die
Verarbeitungseinrichtung (125) dazu eingerichtet ist, in Abhängigkeit der bestimmten Benutzerabsicht eine vorbestimmte Funktion zu steuern.
12. System (100) nach Anspruch 1 1 , wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, die Ausführung der vorbestimmten Funktion durch einen Ausführungsdienst (155) zu veranlassen.
13. Kraftfahrzeug (105), umfassend:
eine Abtasteinrichtung (120), zur Abtastung einer Äußerung eines Benutzers (110) an Bord des Kraftfahrzeugs (105);
eine Verarbeitungseinrichtung (125), die dazu eingerichtet ist, die abgetastete Äußerung an einen Analysedienst (145) weiterzuleiten; wobei der Analysedienst (145) dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen;
dadurch gekennzeichnet, dass
die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den
Analysedienst (145) in Abhängigkeit einer Identifikation des Benutzers (110) aus mehreren vorbestimmten Analysediensten (145)
auszuwählen.
14. Verfahren (200) zur Unterstützung eines Benutzers (110) an Bord eines Kraftfahrzeugs (105), folgende Schritte umfassend:
Abtasten (210) einer Äußerung des Benutzers (110) an Bord des Kraftfahrzeugs (105);
Auswählen (215) eines Analysediensts (145) aus mehreren
vorbestimmten Analysediensten (145) in Abhängigkeit einer
Identifikation des Benutzers (1 10);
Weiterleiten (215) der abgetasteten Äußerung an den ausgewählten Analysedienst (145);
wobei der ausgewählte Analysedienst (145) dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
15. Verfahren (200) nach Anspruch 14, wobei die Äußerung sprachlich mit
einem Dialekt ist und die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit von dessen Verarbeitungs- fähigkeit von Sprache mit dem Dialekt auszuwählen (215).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018206015.0 | 2018-04-19 | ||
DE102018206015.0A DE102018206015A1 (de) | 2018-04-19 | 2018-04-19 | Benutzerkommunikation an Bord eines Kraftfahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019202056A1 true WO2019202056A1 (de) | 2019-10-24 |
Family
ID=66334426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2019/060034 WO2019202056A1 (de) | 2018-04-19 | 2019-04-18 | Benutzerkommunikation an bord eines kraftfahrzeugs |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102018206015A1 (de) |
WO (1) | WO2019202056A1 (de) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008028477A1 (de) | 2008-06-13 | 2009-12-17 | Volkswagen Ag | Verfahren zur Hilfestellung eines Nutzers bei der Benutzung eines Sprachbediensystems und Sprachbediensystem |
DE102013219649A1 (de) * | 2013-09-27 | 2015-04-02 | Continental Automotive Gmbh | Verfahren und System zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells in einem mit einem Endgerät verbindbaren lokalen Datenspeicher |
US20150221305A1 (en) * | 2014-02-05 | 2015-08-06 | Google Inc. | Multiple speech locale-specific hotword classifiers for selection of a speech locale |
DE102016004287A1 (de) | 2016-04-07 | 2017-02-09 | Daimler Ag | Verfahren zur Spracherkennung in einem Kraftfahrzeug |
EP3188185A1 (de) * | 2015-12-30 | 2017-07-05 | Thunder Power New Energy Vehicle Development Company Limited | Sprachsteuerungssystem mit dialekterkennung |
DE112014006614B4 (de) * | 2014-04-22 | 2018-04-12 | Mitsubishi Electric Corporation | Benutzerschnittstellensystem, Benutzerschnittstellensteuereinrichtung, Benutzerschnittstellensteuerverfahren und Benutzerschnittstellensteuerprogramm |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6996525B2 (en) * | 2001-06-15 | 2006-02-07 | Intel Corporation | Selecting one of multiple speech recognizers in a system based on performance predections resulting from experience |
US9658695B2 (en) * | 2012-11-08 | 2017-05-23 | Cuesta Technology Holdings, Llc | Systems and methods for alternative control of touch-based devices |
US9747900B2 (en) * | 2013-05-24 | 2017-08-29 | Google Technology Holdings LLC | Method and apparatus for using image data to aid voice recognition |
WO2017151778A1 (en) * | 2016-03-01 | 2017-09-08 | ARIS MD, Inc. | Systems and methods for rendering immersive environments |
-
2018
- 2018-04-19 DE DE102018206015.0A patent/DE102018206015A1/de active Pending
-
2019
- 2019-04-18 WO PCT/EP2019/060034 patent/WO2019202056A1/de active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008028477A1 (de) | 2008-06-13 | 2009-12-17 | Volkswagen Ag | Verfahren zur Hilfestellung eines Nutzers bei der Benutzung eines Sprachbediensystems und Sprachbediensystem |
DE102013219649A1 (de) * | 2013-09-27 | 2015-04-02 | Continental Automotive Gmbh | Verfahren und System zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells in einem mit einem Endgerät verbindbaren lokalen Datenspeicher |
US20150221305A1 (en) * | 2014-02-05 | 2015-08-06 | Google Inc. | Multiple speech locale-specific hotword classifiers for selection of a speech locale |
DE112014006614B4 (de) * | 2014-04-22 | 2018-04-12 | Mitsubishi Electric Corporation | Benutzerschnittstellensystem, Benutzerschnittstellensteuereinrichtung, Benutzerschnittstellensteuerverfahren und Benutzerschnittstellensteuerprogramm |
EP3188185A1 (de) * | 2015-12-30 | 2017-07-05 | Thunder Power New Energy Vehicle Development Company Limited | Sprachsteuerungssystem mit dialekterkennung |
DE102016004287A1 (de) | 2016-04-07 | 2017-02-09 | Daimler Ag | Verfahren zur Spracherkennung in einem Kraftfahrzeug |
Also Published As
Publication number | Publication date |
---|---|
DE102018206015A1 (de) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60005326T2 (de) | Erkennungseinheiten mit komplementären sprachmodellen | |
DE112018002857T5 (de) | Sprecheridentifikation mit ultrakurzen Sprachsegmenten für Fern- und Nahfeld-Sprachunterstützungsanwendungen | |
DE102013007502A1 (de) | Computer-implementiertes Verfahren zum automatischen Trainieren eins Dialogsystems und Dialogsystem zur Erzeugung von semantischen Annotationen | |
DE102014017384B4 (de) | Kraftfahrzeug-Bedienvorrichtung mit Korrekturstrategie für Spracherkennung | |
DE60124559T2 (de) | Einrichtung und verfahren zur spracherkennung | |
DE112020002531T5 (de) | Emotionsdetektion unter verwendung der sprechergrundlinie | |
DE112021001064T5 (de) | Vorrichtungsgerichtete Äußerungserkennung | |
WO2014060054A1 (de) | Spracherkennung in einem kraftfahrzeug | |
EP3430615B1 (de) | Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe | |
DE10246029B4 (de) | Spracherkennungssystem, Computerprogramm, Navigationssystem und Kollationsverfahren | |
CN110232924A (zh) | 车载语音管理方法、装置、车辆及存储介质 | |
DE112020002288T5 (de) | Verfahren, System und Vorrichtung zum Verstehen und Generieren menschlicher Konversations-Cues | |
DE102016217026A1 (de) | Sprachsteuerung eines Kraftfahrzeugs | |
WO2019202056A1 (de) | Benutzerkommunikation an bord eines kraftfahrzeugs | |
EP3115886B1 (de) | Verfahren zum betreiben eines sprachsteuerungssystems und sprachsteuerungssystem | |
EP2907048B1 (de) | Kraftwagen mit einem sprachübersetzungssystem | |
DE102018200746A1 (de) | Aktivierung eines Sprachdialogsystems in einem Kraftfahrzeug | |
EP3735688B1 (de) | Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zum verarbeiten einer spracheingabe, kraftfahrzeug und nutzerendgerät mit einer sprachverarbeitung | |
DE112018006597B4 (de) | Sprachverarbeitungsvorrichtung und Sprachverarbeitungsverfahren | |
DE102019133133A1 (de) | Assistenzsystem, durch welches in einem Raum die Ausgabe von zumindest einem Medieninhalt gesteuert wird, Kraftfahrzeug und Betriebsverfahren für das Assistenzsystem | |
WO2020119995A1 (de) | Verfahren zum betreiben eines interaktiven informationssystems für ein fahrzeug, sowie ein fahrzeug | |
DE102022133571A1 (de) | Vorrichtung zur verarbeitung natürlicher sprache und verfahren zur verarbeitung natürlicher sprache | |
DE102021003074B3 (de) | Verfahren und Vorrichtung zur Erzeugung von Sprachausgaben in einem Fahrzeug | |
DE102017213260A1 (de) | Verfahren, Vorrichtung, mobiles Anwendergerät, Computerprogramm zur Steuerung eines Audiosystems eines Fahrzeugs | |
DE102012219852A1 (de) | Verfahren und Vorrichtung zum Beeinflussen einer Text-zu-Sprache-Ausgabe |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19720500 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19720500 Country of ref document: EP Kind code of ref document: A1 |