EP3583498A1 - Method and device for supporting the driver of a motor vehicle - Google Patents

Method and device for supporting the driver of a motor vehicle

Info

Publication number
EP3583498A1
EP3583498A1 EP18710337.9A EP18710337A EP3583498A1 EP 3583498 A1 EP3583498 A1 EP 3583498A1 EP 18710337 A EP18710337 A EP 18710337A EP 3583498 A1 EP3583498 A1 EP 3583498A1
Authority
EP
European Patent Office
Prior art keywords
data
smartphone
driver
speech
sector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP18710337.9A
Other languages
German (de)
French (fr)
Inventor
Holger G. WEISS
Patrick Weissert
Rémi BIGOT
Dariusz SIEDLECKI
Felix PIELA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
German Auto Labs Gal GmbH
Original Assignee
German Auto Labs Gal GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102017103409.9A external-priority patent/DE102017103409A1/en
Priority claimed from DE102017104068.4A external-priority patent/DE102017104068A1/en
Priority claimed from DE102017104661.5A external-priority patent/DE102017104661A1/en
Application filed by German Auto Labs Gal GmbH filed Critical German Auto Labs Gal GmbH
Publication of EP3583498A1 publication Critical patent/EP3583498A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3661—Guidance output on an external device, e.g. car radio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3688—Systems comprising multiple parts or multiple output devices (not client-server), e.g. detachable faceplates, key fobs or multiple output screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Definitions

  • the invention relates to a method and a device for assisting the driver of a motor vehicle and is applicable for use in motor vehicles, either permanently installed in the motor vehicle or in the form of an integrated device or a retrofittable accessory, which can be arranged in the field of vision of the driver.
  • Motor vehicles for the purposes of this invention are passenger cars and motor homes, motorcycles, buses, trucks, construction equipment such as excavators and cranes, agricultural and forestry tractors and agricultural machinery such as tractors and combine harvesters, special fire and road cleaning vehicles.
  • the object of the present invention is to provide a method and a device which allow effective processing of a wide variety of input and received data and realize situation-dependent information of the driver, the device being simple and inexpensive to manufacture and easy to operate for the driver and distraction should.
  • an intelligent digital virtual passenger is realized, which supplies the driver with navigation data, music, news, emails or traffic information depending on different situations, the driver the operation of the device or the additional device can perform blind, without visual contact with the device or accessory, and without touching the
  • the device or the additional device can also be connected to the Internet in order, for example, to provide weather information.
  • connection between the attachment and the smartphone is preferably via Bluetooth. It is a particular advantage of the device or the attachment that blinds the driver via the device or the accessory features of the smartphone
  • Smartphone use in the vehicle is a big and ever increasing problem in road traffic.
  • Interaction with the smartphone or a modern touch infotainment system requires that the driver has visual contact with the device during use because the user interface can not be operated blind.
  • the driver can not focus on the road, which makes any interaction with the smartphone or a touch infotainment system an accident risk.
  • the device enables the blind and non-touch use of smartphone and car functions via voice and / or gesture interaction, thus reducing the potential for distraction and increasing traffic safety by focusing attention on the traffic can stay.
  • a particular advantage of the invention is that the processing and execution of essential functions of the assistant such as voice processing and dialogue control and the processing of receiving and smartphone data on the smartphone takes place and thus independent of the vehicle and the device a powerful and up-to-date Software and hardware platform for the execution of these functions can be ensured cost-effectively.
  • this method makes it possible to use data from his smartphone or the co-drivers' smartphones in assisting the driver by connecting a device that can be arranged or installed in the motor vehicle to the driver's or passenger's smartphone and processing data from the smartphone and other receiving data and the driver prepared according to predetermined criteria in an acoustic and / or visual form.
  • These smartphone data may include phone numbers and / or contact information and / or
  • Smartphone data are read out via interfaces provided by the smartphone via individual modules or agents. This way, the telephony agent can be used to connect to the smartphone's phone functions, to the address book agent via the address book agent, and so on.
  • Data that is not provided directly via smartphone interfaces, such as navigation map data or third-party audio playlists, is either connected through (a) third-party cloud interfaces, or (b) through software development kits (SDKs) respective provider.
  • SDKs software development kits
  • reception data are preferably map and / or navigation data and / or traffic information and / or radio or TV broadcasts and / or digital
  • a further advantage of the invention lies in the optimized selection of the data to be processed and the data to be transmitted, which depend on the driving situation and / or the traffic situation and / or the time of day and / or the weather and / or the preferences of the user and / or the user historical usage of the data by the user and / or preferences of other users and / or historical use of the data by other users.
  • the system can adapt to situations in which the driver is subject to high cognitive load or which are very risky, as well as to situations in which the driver is cognitively under-burdened and may need to be stimulated to prevent fatigue or falling asleep ,
  • the overall system is designed to be adaptive so that the frequency, the nature of the data to be processed and the data to be transmitted allow conclusions to be drawn for the future
  • Data processing and data output are drawn.
  • the selection of the data to be processed and the data to be transmitted is carried out according to the following
  • Vehicle and traffic situation data such as speed, navigation data, traffic density, road geometry, road width, number of lanes, accident frequency, speed limits, general traffic reports and special situations such as construction sites,
  • Correlation of the acquired data with predetermined program sequence patterns output or temporary or permanent suppression of such prioritized data for use by the driver or passenger.
  • the device includes an internal standard power supply, microphone, digital processor, display, gesture sensor (s), a speaker and wireless communication units.
  • the gesture sensors are preferably designed as LED-based IR sensors.
  • the device for assisting the driver is simple and inexpensive to produce, the device having a display and a voice input unit.
  • the device can be coupled with additional input devices, such as the input devices in one
  • the device preferably further comprises an electronic circuit arranged on a printed circuit board with a
  • Bluetooth components are arranged.
  • the device is designed as an attachment with a display arranged in a housing and with a voice input unit and a voice output unit.
  • the device In the operating state, the device can be connected to the audio system of the motor vehicle or elements of the on-board electronics wireless or wired.
  • the connection is made via FM transmitter / receiver.
  • the attachment preferably has a circular cross-section and comprises the components disc, ring, printed circuit board, battery, speakers, housing magnets,
  • the housing has a fastening device for attachment to the dashboard or on the windscreen of the motor vehicle.
  • the fastening device and the housing can be detachably connected to each other by means of magnets.
  • An advantage of the invention is that the device on the bracket is easily and quickly attachable and easy and quick to remove and allows different mounting positions by both the device and the bracket mounting areas are arranged, the mounting portion of the back of the device at least a holding magnet and two mirror-image arranged mounting sectors, which are provided with mirror-image arranged electrical contacts and the mounting portion on the holder at least one holding magnet and a fastening sector with electrical contacts, wherein in the assembled state, the holding magnets and the electrical contacts of the mounting sector with the electrical contacts the two different attachment sectors are in contact such that, depending on the contact with the respective attachment sector, a 180 ° rotated positioning of the device is realized.
  • a further advantage of the invention in addition to the ease of handling, is the high stability of the connection, which results from the attachment sectors on the device being semicircular recesses and the attachment sectors to the support being semicircular rails, the recesses and the rails corresponding to one another in the assembled state.
  • An additional advantage of the invention is the secure mechanical connection in that the holding magnets ensure mechanical fastening both to the appliance and to the holder.
  • the electrical contact between the device and the holder realize the electrical contacts
  • the bracket may be provided with a squeegee and have one or more USB ports.
  • the device has a three-part structure in principle of the overall housing with a central ring as a basis.
  • the back of the ring is followed by a rear housing part and forward of the circular display is arranged.
  • a printed circuit board is inside the ring behind the display and in front of the rear housing part einmontiert.
  • the display is now mounted with a circular cross-section in the ring, and just below the display, a gap is incorporated in the front area of the ring, which runs around the display.
  • invisible openings for the user or driver are incorporated into this joint, which channels the sound back towards the microphones.
  • the microphones are preferably arranged vis-a-vis the openings on the printed circuit board arranged behind the ring. The openings form sound channels through which the sound reaches the microphones.
  • FIG. 1 is an overview of the system components
  • Figure 2 is an exploded view of the device components of an additional device
  • Figure 3 is a sectional view with device components of an additional device
  • FIG. 4 is an illustration of the communication links
  • FIG. 5 is an overview of the overall system
  • Figure 6 shows the back of the device according to the invention with mounting area in
  • Figure 7 shows the mounting portion of the bracket in plan view us lateral top view
  • FIG. 8 shows the device mounted on the holder
  • Figure 9 is a sectional view of the basic structure of the device
  • Figure 10 is a detail view of the arrangement of the openings and microphones
  • Figure 1 1 is a front view of the device with the openings in the ring device components
  • the device 1 is electronically connected to a smartphone 1 a of the driver or a passenger and in the present
  • Embodiment with a car radio 1 b which may be formed with or without navigation system.
  • the device 1 can continue with the audio system of
  • Embodiment a Bluetooth connection 1 c.
  • the car radio 1 b can be connected via a cable 1 d, a Bluetooth connection or an FM transmitter 10 with the device.
  • Smartphone 1 a and device 1 are connected to a USB power supply unit 15, which has two USB ports in the present embodiment.
  • the device 1 has, inside the housing 2, a printed circuit board 5 with an electronic circuit 5a with a data storage unit 6 and a data processing unit 7.
  • the electronic circuit 5a is furthermore connected to an amplifier 12 connected to a voice output unit 4b embodied as a loudspeaker, a graphics driver 13, an FM receiver 17, a gesture sensor 8, an energy management group 14, the Bluetooth components connected to a power supply unit 11 16 and one with a trained as a microphone
  • Speech input unit 4a connected shutdown 18, which consists of
  • Figures 2 and 3 show the detailed structure of the device 1 and the housing 2 of the device designed as an accessory 1.
  • Essential components are disc 9a, ring 9c, circuit board 5, formed as a battery power supply unit 1 1, speaker 4b, housing magnets 9d, rear housing part 9e , Main magnet 9g, and an alternative 9h which can be arranged on the rear housing part 9e.
  • the textile coating 9h has in addition to the aesthetic enhancement of the device 1 has the advantage that the impact of strong
  • the disc 9a is made of glass, the ring 9c made of metal, preferably aluminum, and the rear part 9e made of plastic.
  • the display 3, the circuit board 5 and the housing 2 are mounted on the rear housing part 9e, that is, the assembly of the circuit board 5, the housing 2 and the display 3 via the ring 9c. Due to the small dimensions of the device 1 and the part-spherical shape of the structure of the housing 2 is substantially different than in rectangular devices.
  • a substantially three-part construction is realized with the central ring 9c as a base and the housing 2 and the display 3.
  • the circuit board 5 is mounted in the ring 9c.
  • connection between smartphone 1 a, device 1 and car radio 1 b with speaker 4 b are shown in Fig. 4.
  • the connection between the smartphone 1 a and device 1 takes place in the present embodiment via Bluetooth 16.
  • the connection between the device 1 and the car radio 1 b is made in the present embodiment via Bluetooth 16 or via a jack connection 1 d or VHF, ie FM transmitter and FM Receiver.
  • the device 1 is designed as an additional device, it is secured by means of a holder in the field of vision of the driver, preferably on the dashboard or on the windscreen.
  • the device 1 relationship meadow the attachment connects automatically and wirelessly with the smartphone 1 a of the driver or the smartphone 1 a of a passenger (see Figure 1, 1 c) and the audio system of the motor vehicle ( Figure 1, 1 d).
  • the connection to the audio system of the motor vehicle can be wireless via Bluetooth 1 c or via a built-in FM transmitter, or wired via the
  • Bluetooth 1 c Bluetooth low energy
  • Hands-free Profile (a) for transmitting voice data from the device 1 to the smartphone 1 a and from the smartphone 1 a to the device 1, and (b) for making calls in handsfree mode via the built-in speaker or the connected vehicle speakers ,
  • A2DP Advanced Audio Distribution Profile
  • PBAP Phonebook Access Profile
  • AVRCP Audio / Video Remote Control Profile
  • Bluetooth Low Energy transmits non-auditory data, such as the graphical user interface, gesture control and other control signals, data transferred from the device 1 to the smartphone 1a (working status, statuses of various applications).
  • the smartphone 1 a On the smartphone 1 a is an associated smartphone application that communicates via the Bluetooth interface 1 c with the device 1 or additional device (Figure 5).
  • the control of the communication between the device 1 and the smartphone application is made via the Chris Driver module ( Figure 5, 32) in the smartphone application.
  • This module allows the smartphone application to communicate with various devices or additional devices.
  • many essential processes take place, especially (a) the speech processing of
  • the language processing chain consists of the following components:
  • Dialog control Dialog Control (Dialog Management, DM)
  • the speech-based activation of the speech recognition takes place locally on the device 1 or the additional device.
  • the communication in the vehicle is continuously analyzed until the password for activating the speech recognition is recognized, whereupon the voice data transmission from the microphone of the device 1 or additional device into the speech recognition system in the smartphone application is started.
  • Speech recognition takes place via a hybrid system that can perform speech recognition both on the smartphone 1 a in the smartphone application, that is also online via the cloud interface via an online speech recognition service.
  • the entire process chain from speech recognition to interpretation, dialog control and speech synthesis and output can be performed locally on the smartphone 1 a in the smartphone application.
  • the local speech recognition is used in the smartphone application, since the detection can be faster and more robust, and also under
  • the microphone signal is transmitted via the Bluetooth connection by means of the Bluetooth Handsfree Profile (HFP) to the smartphone 1 a.
  • HFP Bluetooth Handsfree Profile
  • special microphones are used for speech recognition, which are independent of the microphone used for hands-free telephony, and transmit the beamforming and echo cancellation a clear voice signal from the driver to the smartphone 1 a and there the associated smartphone application.
  • Speech signal is transmitted in an optimized for the speech recognition system bit rate from the device 1 or additional device to the smartphone 1 a.
  • User data such as the user's address book, former targets in the navigation system, or metadata of audio files are used as grammars (grammars) that make the system better recognize, for example, names that the user has in his smartphone's address book, and (b) through continuously improved speech recognition models that can be imported into the smartphone application via the cloud interface.
  • grammars grammars
  • the interpretation of speech input is done in the NLU module of the smartphone application (FIGS. 5, 39), whereby the speech input is divided into intention and further information (for example name, title, etc.) and then sent to the dialog control module (DM module, FIG. 34) is handed over. There, in response to these inputs, the next step in system interaction is determined, and via speech generation and Speech synthesis output.
  • the voice output is again via the device 1 or additional device, or via the audio system of the motor vehicle, if it is connected to the device 1 or additional device.
  • the dialog control succeeds through the dialog control module (DM modules, Figure 5, 34) in the smartphone application.
  • An essential feature of this module is that the actual dialog, ie the input / response rules, are created in a script file that can be regularly updated via the cloud interface, without the smartphone application itself must be updated. Thus, the user can be made possible a continuously optimized dialogue.
  • the voice inputs if approved by the user, are stored and transmitted via the cloud interface to a server-based logging and analysis system, where it is partially automated tagged and then used for further analysis with the aim of optimizing the speech recognition performance.
  • the device 1 or additional device also has a gesture sensor (Figure 1, 17).
  • the gesture sensor recognizes the following gestures:
  • Menu item to previous menu item ("right” gesture, context sensitive) c) cancel actions (“down" gesture, context sensitive)
  • g increase volume, for example in a telephone call or music playback ("far" gesture, context-dependent)
  • the device via a Bluetooth connection 1 c to the car, or infotainment system or car radio 1 b of the car, standardized
  • Bluetooth AVRCP is a profile for remote control of audio or video devices. It supports commands such as next song ("forward"), previous song (“backward”), pause & play, louder and quieter. These are used in wizard Chris as follows: a) Scroll from one list entry to the next list entry, such as in a list of contacts, songs or messages, or from one menu item to the next menu entry ("fast forward” and "forward” AVRCP command).
  • AVRCP commands are processed by identifying device 1's Bluetooth connection 1c or optional device with the vehicle as the audio source that supports AVRCP commands. In the device 1 or additional device, the AVRCP commands are received and then converted and further transmitted as pure data models to the associated smartphone app, where they are then processed context-dependent upward Scheme. That way you can
  • Input options for the vehicle are not only used for audio playback, but also for the control in menus and dialogs.
  • Voice input, gesture control and control via input devices of the vehicle multimodal can be made complementary. For example, in a list of entries (such as contacts, songs, or messages), the following can be served:
  • Vehicle input mechanism ("skip next") selects the next list entry
  • Another advantage of the invention is a secure data output, which takes place in the form of the acoustic data output as a voice output and in the form of the visual data output as a display representation.
  • information can be context-dependent, either only as a speech output (for example, during a demand in the dialog processing), only as a display representation (for example, display of a music album during the
  • Music playback or as a combined display presentation and voice output (for example, displaying a contact and reading the name) take place.
  • the device 1 has on its rear side 22 a fastening region 20, which is subdivided into two mirror-symmetrically arranged fastening sectors 23 and 24.
  • the attachment sectors 23, 24 are arranged in a recess.
  • the attachment sectors 23, 24 are arranged in mirror image and with mirror image positioned electrical contacts 25 provided. In the present embodiment, five electrical contacts 25 are arranged in each of the two attachment sectors 23, 24. Of course, it is also possible to arrange a larger or smaller number of electrical contacts.
  • a magnet 9g is arranged.
  • Side of the mounting portion 20 are openings 30 for speakers.
  • FIG. 7 now shows the embodiment of the attachment region 21 on the mount 19.
  • the attachment region 21 has only one attachment sector 26.
  • the fastening sector 26 is designed as a rail in a semicircular design.
  • a total of five electrical contacts 27 are arranged in the present embodiment, which with the
  • a magnet 9g is arranged.
  • a suction cup 28 for fixing the holder 19 on a smooth surface.
  • FIG. 8 shows the completely assembled unit of device 1 and holder 19.
  • Elevations are formed, have intervened in the mounted state in the recessed mounting sectors 23, 24 and made via the electrical contacts 25 and 27, which were brought into contact, the electrical connection. Since the attachment sectors 23, 24 are formed symmetrically identical to the device 1, the device 1 can be rotated by 180 ° and then contacted via the electrical contacts 25 and 27, the device 1 in inverted mounting position.
  • the mechanical connection is realized by the interaction of the magnets 9d and 9g.
  • USB port 29 is arranged in the present embodiment.
  • the housing 2 has a rear housing part 9e, a ring 9c and a display 3 arranged in the ring 9c, as well as a printed circuit board 5.
  • the ring 9c forms a central component of the overall housing construction. The ring 9c realizes the connection to the rear housing part 9e and takes in his
  • FIG. 10 shows the enlarged detail view of the opening 40 and of a microphone 4a, which lies opposite the opening 40, connected by the sound channel 41.
  • a gap 42 is arranged, in which, almost invisible to the viewer, the openings 40 are located.
  • the sound passes through the openings 40 in the joint 42 via the sound channel 41 to the present in the present
  • Embodiment designed as a directional microphone microphone 4a Embodiment designed as a directional microphone microphone 4a.
  • FIG 11 now shows a front view of the display 3 and the ring 9c.
  • the ring 9c has in its front region 40a, the gap 42, in which the openings 40 are arranged.
  • a total of four openings 40 are arranged, which are positioned opposite the microphones 4a.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

The invention relates to a method and a device for supporting the driver of a motor vehicle. A device which can be arranged in the motor vehicle or is fitted in the motor vehicle is connected to the smartphone of the driver or passenger, and data from the smartphone and additional received data is processed and transmitted to the driver acoustically and/or visually in a prepared manner according to specified criteria. The device according to the invention has a display (3), a speech input unit (4a), and a gesture sensor (8).

Description

Verfahren und Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges  Method and device for assisting the driver of a motor vehicle
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges und ist anwendbar zur Nutzung in Kraftfahrzeugen, entweder fest verbaut im Kraftfahrzeug oder in Form eines integrierten Gerätes oder eines nachrüstbaren Zusatzgerätes, welches im Sichtbereich des Fahrers anordenbar ist. The invention relates to a method and a device for assisting the driver of a motor vehicle and is applicable for use in motor vehicles, either permanently installed in the motor vehicle or in the form of an integrated device or a retrofittable accessory, which can be arranged in the field of vision of the driver.
Kraftfahrzeuge im Sinne dieser Erfindung sind Personenkraftwagen und Wohnmobile, Motorräder, Omnibusse, Lastkraftwagen, Baumaschinen wie Bagger und Kräne, Land- und forstwirtschaftliche Zugmaschinen und Landmaschinen wie Traktoren und Mähdrescher, Sondernutzfahrzeuge der Feuerwehr und Straßenreinigung. Motor vehicles for the purposes of this invention are passenger cars and motor homes, motorcycles, buses, trucks, construction equipment such as excavators and cranes, agricultural and forestry tractors and agricultural machinery such as tractors and combine harvesters, special fire and road cleaning vehicles.
Fahrerassistenzsysteme sind bereits bekannt und finden bei der Neuentwicklung von Kraftfahrzeugen vielseitige Anwendungen. Driver assistance systems are already known and find versatile applications in the new development of motor vehicles.
Aus der US 2016/0025973 A1 ist ein kompaktes Heads-up-Display System bekannt, mit welchem unterschiedliche Kommunikationsdaten verarbeitet und dem Fahrer ausgegeben werden. From US 2016/0025973 A1 a compact heads-up display system is known, with which different communication data are processed and output to the driver.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Vorrichtung zu schaffen, welche eine effektive Verarbeitung verschiedenster Eingabe- und Empfangsdaten ermöglichen und eine situationsabhängige Information des Fahrers realisieren, wobei die Vorrichtung einfach und preiswert herstellbar und für den Fahrer leicht und ablenkungsarm zu bedienen sein soll. The object of the present invention is to provide a method and a device which allow effective processing of a wide variety of input and received data and realize situation-dependent information of the driver, the device being simple and inexpensive to manufacture and easy to operate for the driver and distraction should.
Diese Aufgabe wird gelöst durch die Merkmale in den Ansprüchen 1 und 8. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen enthalten. Durch die This object is achieved by the features in claims 1 and 8. Advantageous embodiments of the invention are contained in the subclaims. By the
Anwendung der Erfindung, also die Benutzung des Gerätes oder des Zusatzgerätes mit der Produktbezeichnung CHRIS® wird ein intelligenter digitaler virtueller Beifahrer realisiert, welcher in Abhängigkeit von unterschiedlichen Situationen den Fahrer mit Navigationsdaten, Musik, Nachrichten, E-Mails oder Verkehrsinformationen versorgt, wobei der Fahrer die Bedienung des Gerätes beziehungsweise des Zusatzgerätes blind ausführen kann, ohne Sichtkontakt mit dem Gerät beziehungsweise Zusatzgerät, und ohne Berührung des Application of the invention, ie the use of the device or the additional device with the product name CHRIS® an intelligent digital virtual passenger is realized, which supplies the driver with navigation data, music, news, emails or traffic information depending on different situations, the driver the operation of the device or the additional device can perform blind, without visual contact with the device or accessory, and without touching the
Smartphones. Smartphones.
Über die Verbindung mit dem Smartphone ist das Gerät beziehungsweise das Zusatzgerät auch mit dem Internet verbindbar, um beispielsweise Wetterinformationen, Via the connection with the smartphone, the device or the additional device can also be connected to the Internet in order, for example, to provide weather information.
Navigationsinformationen etc. zu verarbeiten. Die Verbindung zwischen dem Zusatzgerät und dem Smartphone erfolgt vorzugsweise über Bluetooth. Es ist ein besonderer Vorteil des Gerätes oder des Zusatzgerätes, dass der Fahrer über das Gerät beziehungsweise das Zusatzgerät Funktionen des Smartphones blind und To process navigation information, etc. The connection between the attachment and the smartphone is preferably via Bluetooth. It is a particular advantage of the device or the attachment that blinds the driver via the device or the accessory features of the smartphone
berührungsfrei benutzen kann, das heißt ohne mit dem Gerät oder Zusatzgerät im can use without contact, ie without the device or auxiliary device in the
Sichtkontakt zu sein. Smartphone Nutzung im Fahrzeug ist ein großes und weiter zunehmendes Problem im Straßenverkehr. Die Interaktion mit dem Smartphone oder einem modernen Touch-Infotainment System erfordert, dass der Fahrer während der Nutzung Sichtkontakt mit dem Gerät hat, da die Benutzeroberfläche nicht blind bedient werden kann. Während dieses Sichtkontaktes kann der Fahrer den Blick nicht auf die Straße richten, was jede Interaktion mit dem Smartphone oder einem Touch-Infotainment-System zu einem Unfallrisiko macht. Das Gerät ermöglicht die blinde und berührungsfreie („no touch") Benutzung von Smartphone- und Auto-Funktionen über Sprach- und/oder Gesten-Interaktion und reduziert somit das Ablenkungspotential und erhöht die Verkehrssicherheit, indem der Blick und die Aufmerksamkeit auf das Verkehrsgeschehen gerichtet bleiben kann. To be visual contact. Smartphone use in the vehicle is a big and ever increasing problem in road traffic. Interaction with the smartphone or a modern touch infotainment system requires that the driver has visual contact with the device during use because the user interface can not be operated blind. During this visual contact, the driver can not focus on the road, which makes any interaction with the smartphone or a touch infotainment system an accident risk. The device enables the blind and non-touch use of smartphone and car functions via voice and / or gesture interaction, thus reducing the potential for distraction and increasing traffic safety by focusing attention on the traffic can stay.
Ein besonderer Vorteil der Erfindung besteht darin dass die Verarbeitung und Ausführung von wesentlicher Funktionen des Assistenten wie zum Beispiel die Sprachverarbeitung und Dialogsteuerung sowie die Verarbeitung von Empfangs- und Smartphone-Daten auf dem Smartphone stattfindet und damit unabhängig vom Fahrzeug und dem Gerät eine leistungsfähige und aktuelle Software- und Hardware- Plattform für die Ausführung dieser Funktionen kostengünstig gewährleistet werden kann. Dieses Verfahren ermöglicht darüber hinaus dass bei der Unterstützung des Fahrers Daten aus seinem Smartphone oder den Smartphones von Beifahrern Verwendung finden, indem ein in dem Kraftfahrzeug anordenbares oder verbautes Gerät mit dem Smartphone des Fahrers oder Beifahrers verbunden wird und Daten aus dem Smartphone sowie weitere Empfangsdaten verarbeitet und dem Fahrer nach vorgegebenen Kriterien aufbereitet in akustischer und/oder visueller Form übermittelt werden. A particular advantage of the invention is that the processing and execution of essential functions of the assistant such as voice processing and dialogue control and the processing of receiving and smartphone data on the smartphone takes place and thus independent of the vehicle and the device a powerful and up-to-date Software and hardware platform for the execution of these functions can be ensured cost-effectively. In addition, this method makes it possible to use data from his smartphone or the co-drivers' smartphones in assisting the driver by connecting a device that can be arranged or installed in the motor vehicle to the driver's or passenger's smartphone and processing data from the smartphone and other receiving data and the driver prepared according to predetermined criteria in an acoustic and / or visual form.
Diese Smartphonedaten können Telefonnummern und/oder Kontaktdaten und/oder These smartphone data may include phone numbers and / or contact information and / or
Adressdaten und/oder eingehende E-Mails oder Nachrichten und/oder Internetdaten und/oder SMS Nachrichten und/oder MMS Nachrichten und/oder Audiodateien und/oder MP3 Audiodateien und/oder Audio Playlisten und/oder Kartendaten und/oder Address data and / or incoming e-mails or messages and / or Internet data and / or SMS messages and / or MMS messages and / or audio files and / or MP3 audio files and / or audio playlists and / or map data and / or
Navigationsangaben und/oder persönliche Daten des Fahrers oder Beifahrers sein. Navigation information and / or personal data of the driver or passenger.
Smartphonedaten werden über vom Smartphone bereitgestellte Schnittstellen über individuelle Module beziehungsweise Agenten ausgelesen. So wird über den Telefonie- Agenten die Verbindung zu Telefon-Funktionen des Smartphones ermöglicht, über den Addressbuch-Agenten die Verbindung zum Addressbuch des Smartphones, und so weiter. Daten die nicht direkt über Smartphone-Schnittstellen zur Verfügung gestellt werden, wie zum Beispiel Navigationskartendaten, oder Audio-Playlisten von Drittanbietern, werden entweder über (a) Cloud-Schnittstellen der Drittanbieter angebunden, oder (b) über Software Development Kits (SDKs) der jeweiligen Anbieter. Smartphone data are read out via interfaces provided by the smartphone via individual modules or agents. This way, the telephony agent can be used to connect to the smartphone's phone functions, to the address book agent via the address book agent, and so on. Data that is not provided directly via smartphone interfaces, such as navigation map data or third-party audio playlists, is either connected through (a) third-party cloud interfaces, or (b) through software development kits (SDKs) respective provider.
Als Empfangsdaten werden vorzugsweise Karten- und/oder Navigationsdaten und/oder Verkehrsinformationen und/oder Radio- oder TV-Übertragungen und/oder digitale As a reception data are preferably map and / or navigation data and / or traffic information and / or radio or TV broadcasts and / or digital
Audiostreams und/oder Staumeldungen und/oder WhatsApp Nachrichten und/oder Audiostreams and / or traffic jams and / or WhatsApp messages and / or
Facebook Messanger Nachrichten und/oder Wetterdaten verarbeitet. Facebook messanger messages and / or weather data processed.
Ein weiterer Vorteil der Erfindung liegt in der optimierten Auswahl der zu verarbeitenden und der zu übermittelnden Daten, welche in Abhängigkeit der Fahrsituation und/oder der Verkehrssituation und/oder der Tageszeit und/oder des Wetters und/oder der Präferenzen des Nutzers und/oder der historischen Nutzung der Daten durch den Nutzer und/oder Präferenzen anderer Nutzer und/oder der historischen Nutzung der Daten durch andere Nutzer erfolgt. A further advantage of the invention lies in the optimized selection of the data to be processed and the data to be transmitted, which depend on the driving situation and / or the traffic situation and / or the time of day and / or the weather and / or the preferences of the user and / or the user historical usage of the data by the user and / or preferences of other users and / or historical use of the data by other users.
Dabei kann das System sich sowohl an Situationen anpassen, in denen der Fahrer einer hohen kognitiven Belastung unterliegt, oder die sehr riskant sind, als auch an Situationen, in denen der Fahrer kognitiv unterbelastet ist und gegebenenfalls stimuliert werden muss, um Müdigkeit oder Einschlafen zu verhindern. In doing so, the system can adapt to situations in which the driver is subject to high cognitive load or which are very risky, as well as to situations in which the driver is cognitively under-burdened and may need to be stimulated to prevent fatigue or falling asleep ,
Das Gesamtsystem ist lernfähig ausgelegt, so dass aus Häufigkeit sowie Art und Weise der zu verarbeitenden und der zu übermittelnden Daten Rückschlüsse für die zukünftige The overall system is designed to be adaptive so that the frequency, the nature of the data to be processed and the data to be transmitted allow conclusions to be drawn for the future
Datenverarbeitung und Datenausgabe gezogen werden. Die Auswahl der zu verarbeitenden und der zu übermittelnden Daten erfolgt gemäß den nachfolgend aufgeführten Data processing and data output are drawn. The selection of the data to be processed and the data to be transmitted is carried out according to the following
Verfahrensschritten: Steps:
Erfassen der Fahrzeug- und Verkehrssituationsdaten wie Geschwindigkeit, Navigationsdaten, Verkehrsdichte, Straßengeometrie, Straßenbreite, Anzahl Spuren, Unfallhäufigkeit, Geschwindigkeitsbegrenzungen, allgemeine Verkehrsmeldungen und Sondersituationen wie Baustellen, Recording vehicle and traffic situation data such as speed, navigation data, traffic density, road geometry, road width, number of lanes, accident frequency, speed limits, general traffic reports and special situations such as construction sites,
Erfassen weiterer Kontextdaten wie aktuelles Wetter, Sicht, Temperatur, Tageszeit, Lichtverhältnisse,  Capturing further context data such as current weather, visibility, temperature, time of day, light conditions,
Abrufen von Nutzerpräferenzen und historischen Nutzungsverhalten des Nutzers, Ermittlung der Komplexität der Verkehrssituation nach einem Komplexitätsindex aus Verkehrs- und Kontextdaten,  Retrieval of user preferences and historical usage behavior of the user, determination of the complexity of the traffic situation according to a complexity index of traffic and context data,
Ermittlung der Priorität der Übermittlung und Bereitstellung von Daten aus Präferenzen des Nutzers, dem historischem Nutzungsverhalten des Nutzers, den Präferenzen anderer Nutzer und des historischen Nutzungsverhaltens anderer Nutzer, Determining the priority of transmission and provision of data from user preferences, the user's historical usage behavior, the Preferences of other users and the historical usage behavior of other users,
Korrelation der erfassten Daten mit vorgegebenen Programmablaufmustern, Ausgabe oder temporäre oder dauerhafte Unterdrückung von derart priorisierten Daten für die Nutzung durch den Fahrer oder Beifahrer.  Correlation of the acquired data with predetermined program sequence patterns, output or temporary or permanent suppression of such prioritized data for use by the driver or passenger.
In der Ausführung als Gerät beziehungsweise Zusatzgerät enthält die Vorrichtung standardgemäß eine interne Stromversorgung, Mikrofon, digitalen Prozessor, Display, Gestensensor(en), einen Lautsprecher und Drahtlos- Kommunikationseinheiten. Die Gestensensoren sind vorzugsweise als LED-basierte IR Sensoren ausgebildet. In the embodiment as a device or accessory, the device includes an internal standard power supply, microphone, digital processor, display, gesture sensor (s), a speaker and wireless communication units. The gesture sensors are preferably designed as LED-based IR sensors.
Das Gerät zur Unterstützung des Fahrers ist einfach und preiswert herstellbar, wobei das Gerät ein Display und eine Spracheingabeeinheit aufweist. Das Gerät kann mit zusätzlichen Eingabeeinheiten gekoppelt werden wie zum Beispiel den Eingabegeräten in einem The device for assisting the driver is simple and inexpensive to produce, the device having a display and a voice input unit. The device can be coupled with additional input devices, such as the input devices in one
Multifunktionslenkrad oder Gestensensoren. Das Gerät weist vorzugsweise weiterhin einen auf einer Leiterplatte angeordneten elektronischen Schaltkreis mit einer Multifunction steering wheel or gesture sensors. The device preferably further comprises an electronic circuit arranged on a printed circuit board with a
Datenspeichereinrichtung sowie einer Datenverarbeitungseinrichtung auf. Zur internen Datenübertragung sind Bluetooth-Bauelemente angeordnet. Data storage device and a data processing device. For internal data transmission Bluetooth components are arranged.
In einer speziellen Ausführungsform ist das Gerät als ein Zusatzgerät mit in einem Gehäuse angeordnetem Display und mit einer Spracheingabeeinheit und einer Sprachausgabeeinheit ausgebildet. In a specific embodiment, the device is designed as an attachment with a display arranged in a housing and with a voice input unit and a voice output unit.
Im Betriebszustand kann das Gerät mit dem Audiosystem des Kraftfahrzeuges oder Elementen der Bordelektronik drahtlos oder auch drahtgebunden verbunden sein. In the operating state, the device can be connected to the audio system of the motor vehicle or elements of the on-board electronics wireless or wired.
In Kraftfahrzeugen, die nicht über die Bluetooth Funktion verfügen, erfolgt die Verbindung über FM Sender/Empfänger. In vehicles that do not have the Bluetooth function, the connection is made via FM transmitter / receiver.
Das Zusatzgerät weist vorzugsweise einen kreisförmigen Querschnitt auf und umfasst die Bestandteile Scheibe, Ring, Leiterplatte, Batterie, Lautsprecher, Gehäusemagnete, The attachment preferably has a circular cross-section and comprises the components disc, ring, printed circuit board, battery, speakers, housing magnets,
Rückgehäuseteil und Hauptmagnet. Bei der Ausbildung als Zusatzgerät weist das Gehäuse eine Befestigungsvorrichtung zur Befestigung am Armaturenbrett oder an der Frontscheibe des Kraftfahrzeuges auf. Die Befestigungsvorrichtung und das Gehäuse können mittels Magneten abnehmbar miteinander verbunden sein. Rear housing part and main magnet. In the training as an accessory, the housing has a fastening device for attachment to the dashboard or on the windscreen of the motor vehicle. The fastening device and the housing can be detachably connected to each other by means of magnets.
Ein Vorteil der Erfindung besteht darin, dass das Gerät an der Halterung leicht und schnell anbringbar und leicht und schnell abnehmbar ist und unterschiedliche Einbaulagen ermöglicht, indem sowohl an dem Gerät als auch an der Halterung Befestigungsbereiche angeordnet sind, wobei der Befestigungsbereich der Rückseite von dem Gerät mindestens einen Halterungsmagneten und zwei spiegelbildlich angeordnete Befestigungssektoren aufweist, welche mit spiegelbildlich angeordneten elektrischen Kontakten versehen sind und der Befestigungsbereich an der Halterung mindestens einen Halterungsmagneten und einen Befestigungssektor mit elektrischen Kontakten aufweist, wobei in montiertem Zustand die Halterungsmagnete sowie die elektrischen Kontakte des Befestigungssektors mit den elektrischen Kontakten der beiden unterschiedlichen Befestigungssektoren in Kontakt stehen derart, dass in Abhängigkeit von der Kontaktierung mit dem jeweiligen Befestigungssektor eine um 180° gedrehte Positionierung des Gerätes realisiert wird. An advantage of the invention is that the device on the bracket is easily and quickly attachable and easy and quick to remove and allows different mounting positions by both the device and the bracket mounting areas are arranged, the mounting portion of the back of the device at least a holding magnet and two mirror-image arranged mounting sectors, which are provided with mirror-image arranged electrical contacts and the mounting portion on the holder at least one holding magnet and a fastening sector with electrical contacts, wherein in the assembled state, the holding magnets and the electrical contacts of the mounting sector with the electrical contacts the two different attachment sectors are in contact such that, depending on the contact with the respective attachment sector, a 180 ° rotated positioning of the device is realized.
Ein weiterer Vorteil der Erfindung ist neben der einfachen Handhabung die hohe Stabilität der Verbindung, welche daraus resultiert, dass die Befestigungssektoren an dem Gerät halbkreisförmige Aussparungen und die Befestigungssektoren an der Halterung halbkreisförmige Schienen sind, wobei die Aussparungen und die Schienen im zusammengebauten Zustand miteinander korrespondieren. A further advantage of the invention, in addition to the ease of handling, is the high stability of the connection, which results from the attachment sectors on the device being semicircular recesses and the attachment sectors to the support being semicircular rails, the recesses and the rails corresponding to one another in the assembled state.
Ein zusätzlicher Vorteil der Erfindung besteht in der sicheren mechanischen Verbindung, indem die Halterungsmagnete sowohl an dem Gerät als auch an der Halterung die mechanische Befestigung gewährleisten. Die elektrische Kontaktierung zwischen dem Gerät und der Halterung realisieren die elektrischen Kontakte An additional advantage of the invention is the secure mechanical connection in that the holding magnets ensure mechanical fastening both to the appliance and to the holder. The electrical contact between the device and the holder realize the electrical contacts
Über die elektrische Kontaktierung zwischen den elektrischen Kontakten an dem Gerät und den elektrischen Kontakten an der Halterung wird die Elektroenergieversorgung, ein About the electrical contact between the electrical contacts on the device and the electrical contacts on the holder, the electric power supply, a
Datenaustausch und die Übertragung von Radiosignalen und ggf. weiteren Data exchange and the transmission of radio signals and possibly further
Empfangssignalen realisiert. Receiving signals realized.
Als zweckmäßig hat sich erwiesen, in den Befestigungssektoren jeweils mindestens einen Halterungsmagneten und mindestens zwei, vorzugsweise jedoch fünf elektrische Kontakte anzuordnen. Für eine sichere Befestigung an einer glatten Oberfläche kann die Halterung mit einem Saugfuß versehen sein und einen oder mehrere USB-Anschlüsse aufweisen. It has proved to be useful to arrange at least one holding magnet and at least two, but preferably five, electrical contacts in the fastening sectors. For secure attachment to a smooth surface, the bracket may be provided with a squeegee and have one or more USB ports.
Eine Optimierung der Spracherkennung wird dadurch erreicht, indem das Gerät ein An optimization of the speech recognition is achieved by the device
Rückgehäuseteil und einen damit verbundenen Ring mit Öffnungen in seinem Frontbereich aufweist, wobei innerhalb des Ringes das Display und eine Leiterplatte mit Mikrofonen angeordnet ist. Has back housing part and an associated ring with openings in its front region, wherein within the ring, the display and a circuit board is arranged with microphones.
Gemäß dieser Realisierungsvariante hat das Gerät einen im Prinzip dreiteiligen Aufbau des Gesamtgehäuses mit einem zentralen Ring als Basis. An den Ring schließt sich nach hinten ein Rückgehäuseteil an und nach vorne ist das kreisförmige Display angeordnet. Eine Leiterplatte ist innerhalb des Ringes hinter dem Display und vor dem Rückgehäuseteil einmontiert. So wird mit dem im Prinzip dreiteiligen Aufbau des Gesamtgehäuses ein sehr stabiles, formschönes und kosten effektiv herzustellendes Gehäuse erzielt. According to this implementation variant, the device has a three-part structure in principle of the overall housing with a central ring as a basis. The back of the ring is followed by a rear housing part and forward of the circular display is arranged. A printed circuit board is inside the ring behind the display and in front of the rear housing part einmontiert. Thus, a very stable, shapely and cost effectively manufactured housing is achieved with the principle of three-part construction of the overall housing.
Bei Geräten mit einem kreisförmigen Querschnitt und mit einem ebenfalls kreisförmigen Display ist der Platz zur Anbringung von Mikrofonen, die zum Sprecher beziehungsweise Fahrer ausgerichtet sind, beschränkt. For devices with a circular cross-section and with a likewise circular display, the space for attaching microphones, which are aligned to the speaker or driver, is limited.
Gemäß dieser Realisierungsvariante wird nun das Display mit kreisförmigem Querschnitt in den Ring montiert, und knapp neben dem Display wird in den Frontbereich des Ringes eine Fuge eingearbeitet, die um das Display herum verläuft. In diese Fuge wiederum werden, für den Nutzer beziehungsweise Fahrer unsichtbar, Öffnungen eingearbeitet, die den Schall nach hinten zu den Mikrofonen hin leiten. Die Mikrofone sind auf der hinter dem Ring angeordneten Leiterplatte vorzugsweise vis ä vis von den Öffnungen angeordnet. Die Öffnungen bilden Tonkanäle, durch welche der Schall zu den Mikrofonen gelangt. According to this implementation variant, the display is now mounted with a circular cross-section in the ring, and just below the display, a gap is incorporated in the front area of the ring, which runs around the display. In turn, invisible openings for the user or driver are incorporated into this joint, which channels the sound back towards the microphones. The microphones are preferably arranged vis-a-vis the openings on the printed circuit board arranged behind the ring. The openings form sound channels through which the sound reaches the microphones.
Die Erfindung soll nachstehend an Hand von zumindest teilweise in den Figuren The invention will be described below with reference to at least partially in the figures
dargestellten Ausführungsbeispielen näher erläutert werden. illustrated embodiments will be explained in more detail.
Es zeigen: Show it:
Figur 1 eine Überblicksdarstellung der Systemkomponenten Figure 1 is an overview of the system components
Figur 2 eine Explosivdarstellung der Gerätekomponenten eines Zusatzgerätes Figure 2 is an exploded view of the device components of an additional device
Figur 3 eine Schnittdarstellung mit Gerätekomponenten eines ZusatzgerätesFigure 3 is a sectional view with device components of an additional device
Figur 4 eine Darstellung der Kommunikationsverbindungen Figure 4 is an illustration of the communication links
Figur 5 eine Übersichtsdarstellung über das Gesamtsystem  Figure 5 is an overview of the overall system
Figur 6 die Rückseite des erfindungsgemäßen Gerätes mit Befestigungsbereich in  Figure 6 shows the back of the device according to the invention with mounting area in
Draufsicht und seitlicher Draufsicht  Top view and side top view
Figur 7 den Befestigungsbereich der Halterung in Draufsicht uns seitlicher Draufsicht Figure 7 shows the mounting portion of the bracket in plan view us lateral top view
Figur 8 das an der Halterung montierte Gerät FIG. 8 shows the device mounted on the holder
Figur 9 eine Schnittdarstellung des prinzipiellen Aufbaus des Gerätes  Figure 9 is a sectional view of the basic structure of the device
Figur 10 eine Detailansicht der Anordnung der Öffnungen und Mikrofone  Figure 10 is a detail view of the arrangement of the openings and microphones
Figur 1 1 eine Vorderansicht auf das Gerät mit den Öffnungen im Ring Geräteaufbau Figure 1 1 is a front view of the device with the openings in the ring device components
Wie in Figur 1 dargestellt, ist das erfindungsgemäße Gerät 1 elektronisch verbunden mit einem Smartphone 1 a des Fahrers oder eines Beifahrers sowie im vorliegenden  As shown in Figure 1, the device 1 according to the invention is electronically connected to a smartphone 1 a of the driver or a passenger and in the present
Ausführungsbeispiel mit einem Autoradio 1 b, welches mit oder ohne Navigationssystem ausgebildet sein kann. Das Gerät 1 kann weiterhin mit dem Audiosystem des Embodiment with a car radio 1 b, which may be formed with or without navigation system. The device 1 can continue with the audio system of
Kraftfahrzeuges sowie mit Elementen der Bordelektronik verbunden werden. Die Motor vehicle and be connected to elements of the on-board electronics. The
elektronische Verbindung zwischen Smartphone 1 a und Gerät 1 ist im vorliegenden electronic connection between smartphone 1 a and device 1 is in the present
Ausführungsbeispiel eine Bluetooth-Verbindung 1 c. Embodiment, a Bluetooth connection 1 c.
Das Autoradio 1 b kann über ein Kabel 1 d, eine Bluetooth Verbindung oder über einen FM Transmitter 10 mit dem Gerät verbunden werden. The car radio 1 b can be connected via a cable 1 d, a Bluetooth connection or an FM transmitter 10 with the device.
Smartphone 1 a und Gerät 1 sind mit einer USB-Stromversorgungseinheit 15 verbindbar, welche im vorliegenden Ausführungsbeispiel zwei USB-Anschlüsse aufweist. Smartphone 1 a and device 1 are connected to a USB power supply unit 15, which has two USB ports in the present embodiment.
Das Gerät 1 weist im Inneren des Gehäuses 2 eine Leiterplatte 5 mit einem elektronischen Schaltkreis 5a mit Datenspeichereinheit 6 und Datenverarbeitungseinheit 7 auf. Der elektronische Schaltkreis 5a ist im vorliegenden Ausführungsbeispiel weiterhin verbunden mit einem mit einer als Lautsprecher ausgebildeten Sprachausgabeeinheit 4b verbundenen Verstärker 12, einem Grafiktreiber 13, einem FM Receiver 17, einem Gestensensor 8, einer mit einer Stromversorgungseinheit 1 1 verbundenen Energiemanagement Gruppe 14, den Bluetooth Bauelementen 16 und einer mit einer als Mikrofon ausgebildeten The device 1 has, inside the housing 2, a printed circuit board 5 with an electronic circuit 5a with a data storage unit 6 and a data processing unit 7. In the present exemplary embodiment, the electronic circuit 5a is furthermore connected to an amplifier 12 connected to a voice output unit 4b embodied as a loudspeaker, a graphics driver 13, an FM receiver 17, a gesture sensor 8, an energy management group 14, the Bluetooth components connected to a power supply unit 11 16 and one with a trained as a microphone
Spracheingabeeinheit 4a verbundenen Abschalteinrichtung 18, welche aus Speech input unit 4a connected shutdown 18, which consists of
Energiespargründen von einen Wach- in einen Schlafzustand umschaltet. Switches from a wake to a sleep state for energy saving reasons.
Mit Inbetriebnahme des Gerätes erfolgt zwischen dem Smartphone 1 a und dem Gerät 1 über die Bluetooth-Verbindung 1 c ein Datentransfer, mit welchem intern alle wesentlichen Daten übertragen werden. With the commissioning of the device takes place between the smartphone 1 a and the device 1 via the Bluetooth connection 1 c a data transfer, with which internally all essential data is transmitted.
Die Figuren 2 und 3 zeigen den detaillierten Aufbau des Gerätes 1 sowie des Gehäuses 2 des als Zusatzgerät ausgebildeten Gerätes 1. Wesentliche Bestandteile sind Scheibe 9a, Ring 9c, Leiterplatte 5, als Batterie ausgebildete Stromversorgungseinheit 1 1 , Lautsprecher 4b, Gehäusemagnete 9d, Rückgehäuseteil 9e, Hauptmagnet 9g, und ein alternativ auf dem Rückgehäuseteil 9e anordenbarer Textilüberzug 9h. Der Textilüberzug 9h hat neben der ästhetischen Aufwertung des Gerätes 1 den Vorteil, dass die Auswirkung starker Figures 2 and 3 show the detailed structure of the device 1 and the housing 2 of the device designed as an accessory 1. Essential components are disc 9a, ring 9c, circuit board 5, formed as a battery power supply unit 1 1, speaker 4b, housing magnets 9d, rear housing part 9e , Main magnet 9g, and an alternative 9h which can be arranged on the rear housing part 9e. The textile coating 9h has in addition to the aesthetic enhancement of the device 1 has the advantage that the impact of strong
Sonneneinstrahlung auf das Gerät 1 reduziert wird. Solar radiation is reduced to the device 1.
Die Scheibe 9a besteht aus Glas, der Ring 9c aus Metall, vorzugsweise Aluminium, und das Rückteil 9e aus Plastik. In dem Ring 9c ist das Display 3, die Leiterplatte 5 sowie das Gehäuse 2 über das Rückgehäuseteil 9e montiert, das heißt, die Montage der Leiterplatte 5, des Gehäuses 2 und des Displays 3 erfolgt über den Ring 9c. Durch die kleinen Dimensionen des Gerätes 1 und die teilkugelförmige Formgebung ist der Aufbau des Gehäuses 2 wesentlich anders als bei rechteckigen Geräten. The disc 9a is made of glass, the ring 9c made of metal, preferably aluminum, and the rear part 9e made of plastic. In the ring 9c, the display 3, the circuit board 5 and the housing 2 are mounted on the rear housing part 9e, that is, the assembly of the circuit board 5, the housing 2 and the display 3 via the ring 9c. Due to the small dimensions of the device 1 and the part-spherical shape of the structure of the housing 2 is substantially different than in rectangular devices.
Wie aus Fig. 3 zu ersehen ist, wird ein im wesentlichen dreiteiliger Aufbau realisiert mit dem zentralen Ring 9c als Basis und dem Gehäuse 2 sowie dem Display 3. In dem Ring 9c ist die Leiterplatte 5 montiert. As can be seen from Fig. 3, a substantially three-part construction is realized with the central ring 9c as a base and the housing 2 and the display 3. In the ring 9c, the circuit board 5 is mounted.
Die bevorzugten Verbindungsarten zwischen Smartphone 1 a, Gerät 1 und Autoradio 1 b mit Lautsprecher 4b sind in Fig. 4 dargestellt. Die Verbindung zwischen Smartphone 1 a und Gerät 1 erfolgt im vorliegenden Ausführungsbeispiel über Bluetooth 16. Die Verbindung zwischen dem Gerät 1 und dem Autoradio 1 b erfolgt im vorliegenden Ausführungsbeispiel über Bluetooth 16 oder über eine Klinkenverbindung 1 d oder über UKW, also FM Sender und FM Empfänger. The preferred types of connection between smartphone 1 a, device 1 and car radio 1 b with speaker 4 b are shown in Fig. 4. The connection between the smartphone 1 a and device 1 takes place in the present embodiment via Bluetooth 16. The connection between the device 1 and the car radio 1 b is made in the present embodiment via Bluetooth 16 or via a jack connection 1 d or VHF, ie FM transmitter and FM Receiver.
Sofern das Gerät 1 als Zusatzgerät ausgebildet ist, wird es mittels einer Halterung im Sichtbereich des Fahrers, vorzugsweise am Armaturenbrett oder an der Frontscheibe, befestigt. If the device 1 is designed as an additional device, it is secured by means of a holder in the field of vision of the driver, preferably on the dashboard or on the windscreen.
Verbindung zwischen Gerät, Smartphone und Fahrzeug Connection between device, smartphone and vehicle
Das Gerät 1 beziehungswiese das Zusatzgerät verbindet sich automatisch und drahtlos mit dem Smartphone 1 a des Fahrers oder dem Smartphone 1 a eines Beifahrers (siehe Figur 1 , 1 c) sowie dem Audiosystem des Kraftfahrzeugs (Figur 1 , 1 d). Selbstverständlich ist auch eine akustische Datenausgabe mittels Lautsprecher direkt aus dem Zusatzgerät möglich. Die Verbindung zum Audiosystem des Kraftfahrzeuges kann drahtlos über Bluetooth 1 c oder über einen eingebauten UKW Sender erfolgen, oder drahtgebunden über die  The device 1 relationship meadow the attachment connects automatically and wirelessly with the smartphone 1 a of the driver or the smartphone 1 a of a passenger (see Figure 1, 1 c) and the audio system of the motor vehicle (Figure 1, 1 d). Of course, an acoustic data output by means of speakers directly from the attachment is possible. The connection to the audio system of the motor vehicle can be wireless via Bluetooth 1 c or via a built-in FM transmitter, or wired via the
Kraftfahrzeugelektronik oder einen Klinkenanschluß zum Audiosystem des Kraftfahrzeuges. Die Verbindung zum Smartphone 1 a erfolgt über Bluetooth 1 c und Bluetooth Low Energy (BLE). Die folgenden Bluetooth Profile werden genutzt: Automotive electronics or a jack connection to the audio system of the motor vehicle. The connection to the smartphone 1 a via Bluetooth 1 c and Bluetooth low energy (BLE). The following Bluetooth profiles are used:
1 ) Hands-free Profile (HFP) (a) zur Übertragung von Sprachdaten vom Gerät 1 zum Smartphone 1 a und vom Smartphone 1 a zum Gerät 1 , und (b) zur Durchführung von Telefonatem im Freisprechmodus über den eingebauten Lautsprecher oder die verbundenen Fahrzeuglautsprecher. 1) Hands-free Profile (HFP) (a) for transmitting voice data from the device 1 to the smartphone 1 a and from the smartphone 1 a to the device 1, and (b) for making calls in handsfree mode via the built-in speaker or the connected vehicle speakers ,
2) Advanced Audio Distribution Profile (A2DP) zur Übertragung von hochqualitativen Stereo-Audio-Daten vom Smartphone 1 a zum Gerät 1 , und vom Gerät 1 zum  2) Advanced Audio Distribution Profile (A2DP) for transferring high quality stereo audio data from smartphone 1 a to device 1, and from device 1 to device
Audiosystem des Fahrzeugs, falls dieses über Bluetooth 1 c mit dem Gerät  Audio system of the vehicle, if this via Bluetooth 1 c with the device
1 verbunden ist.  1 is connected.
3) Phonebook Access Profile (PBAP), um auf die Anrufliste des Smartphones 1 a  3) Phonebook Access Profile (PBAP) to access the call log of the smartphone 1 a
zugreifen zu können. 4) Audio/Video Remote Control Profile (AVRCP) zur Übertragung von Steuerbefehlen aus dem Kraftfahrzeug an das Gerät 1 . to be able to access. 4) Audio / Video Remote Control Profile (AVRCP) for transmission of control commands from the motor vehicle to the device 1.
Über Bluetooth Low Energy (BLE) werden nicht-auditive Daten übertragen, wie zum Beispiel die graphische Benutzeroberfläche, Gestensteuerungs- und andere Steuerungssignale, Daten die aus dem Gerät 1 an das Smartphone 1 a übertragen werden (Arbeitszustand, Stati verschiedener Anwendungen). Bluetooth Low Energy (BLE) transmits non-auditory data, such as the graphical user interface, gesture control and other control signals, data transferred from the device 1 to the smartphone 1a (working status, statuses of various applications).
Smartphone Applikation Smartphone application
Auf dem Smartphone 1 a befindet sich eine zugehörige Smartphone-Applikation, die über die Bluetooth-Schnittstelle 1 c mit dem Gerät 1 beziehungsweise Zusatzgerät kommuniziert (Figur 5). Die Steuerung der Kommunikation zwischen dem Gerät 1 und der Smartphone- Applikation wird über das Chris Driver Modul (Figur 5, 32) in der Smartphone Applikation vorgenommen. Über dieses Modul kann die Smartphone-Applikation mit verschiedenen Geräten beziehungsweise Zusatzgeräten kommunizieren. In der Smartphone-Applikation finden viele wesentliche Verfahren statt, vor allem (a) die Sprachverarbeitung von  On the smartphone 1 a is an associated smartphone application that communicates via the Bluetooth interface 1 c with the device 1 or additional device (Figure 5). The control of the communication between the device 1 and the smartphone application is made via the Chris Driver module (Figure 5, 32) in the smartphone application. This module allows the smartphone application to communicate with various devices or additional devices. In the smartphone application, many essential processes take place, especially (a) the speech processing of
Sprachsignalen (Figur 5, 33 und 39), das Dialogmanagement (Figur 5, 34) und die Speech signals (Figure 5, 33 and 39), the dialogue management (Figure 5, 34) and the
Sprachausgabe (Figur 5, 35), (b) die Anbindung von Schnittstellen zu Smartphone Speech output (Figure 5, 35), (b) the connection of interfaces to smartphones
Funktionen (Telefonie, Addressbuch, Nachrichten, usw., Figur 5, 36) und zu Software- Modulen (Navigation, Streaming-Musikdienste, usw., Figur 5, 37), (c) die Anbindung and cloud-basierte Dienste (Messaging, Logging & Analytics, usw., Figur 5, 38), (d) Steuerung und Algorithmik für Funktionen wie adaptive Sprachausgabe und Kontextverarbeitung (Figur 5, 39). Functions (telephony, address book, messages, etc., FIGS. 5, 36) and to software modules (navigation, streaming music services, etc., FIGS. 5, 37), (c) the connection to cloud-based services (messaging, Logging & Analytics, etc., Figure 5, 38), (d) control and algorithms for functions such as adaptive speech output and context processing (Figures 5, 39).
Sprachverarbeitung language processing
Die Sprachverarbeitungskette besteht aus den folgenden Bestandteilen:  The language processing chain consists of the following components:
1 ) Sprachbasierte Aktivierung der Spracherkennung (Wake Word Detection) 1) Voice-based activation of speech recognition (Wake Word Detection)
2) Spracherkennung (Automated Speech Recognition, ASR)  2) Speech recognition (Automated Speech Recognition, ASR)
3) Interpretation von Spracheingaben (Natural Language Understanding, NLU)  3) Interpretation of Natural Language Understanding (NLU)
4) Dialogsteuerung (Dialog Management, DM)  4) Dialog control (Dialog Management, DM)
5) Erzeugen von Sprachausgaben (Natural Language Generation, NLG)  5) Generation of Natural Language Generation (NLG)
6) Sprachsynthese (Text to Speech, TTS)  6) Speech Synthesis (Text to Speech, TTS)
Die sprachbasierte Aktivierung der Spracherkennung erfolgt lokal auf dem Gerät 1 beziehungsweise dem Zusatzgerät. Es wird fortlaufend die Kommunikation im Fahrzeug analysiert bis das Kennwort zur Aktivierung der Spracherkennung erkannt wird, woraufhin die Sprachdatenübertragung vom Mikrofon des Geräts 1 beziehungsweise Zusatzgerätes in das Spracherkennungssystem in der Smartphone-Applikation gestartet wird. Die Spracherkennung erfolgt über ein hybrides System, das die Spracherkennung sowohl auf dem Smartphone 1 a in der Smartphone-Applikation vornehmen kann, also auch über die Cloud-Schnittstelle online über einen Online-Spracherkennungsdienst. Mithin kann die gesamte Prozesskette von der Spracherkennung über die Interpretation, die Dialogsteuerung und die Sprachsynthese und Ausgabe, lokal auf dem Smartphone 1 a in der Smartphone- Applikation ausgeführt werden. The speech-based activation of the speech recognition takes place locally on the device 1 or the additional device. The communication in the vehicle is continuously analyzed until the password for activating the speech recognition is recognized, whereupon the voice data transmission from the microphone of the device 1 or additional device into the speech recognition system in the smartphone application is started. Speech recognition takes place via a hybrid system that can perform speech recognition both on the smartphone 1 a in the smartphone application, that is also online via the cloud interface via an online speech recognition service. Thus, the entire process chain from speech recognition to interpretation, dialog control and speech synthesis and output can be performed locally on the smartphone 1 a in the smartphone application.
Im Regelfall wird die lokale Spracherkennung in der Smartphone-Applikation verwendet, da hier die Erkennung schneller und robuster erfolgen kann, und auch unter As a rule, the local speech recognition is used in the smartphone application, since the detection can be faster and more robust, and also under
Datenschutzgesichtspunkten geeigneter ist. Rein internet-basierte Spracherkennung ist ungeeignet für Kraftfahrzeuge, da diese immer wieder in Bereichen ohne oder Privacy is more appropriate. Pure Internet-based speech recognition is unsuitable for motor vehicles, as these are always in areas without or
unzureichender Mobilfunk-Datenverbindung sind. Für spezielle Anwendungsfälle wie zum Beispiel Erkennung von Adressen oder Points of Interests (POI) wird die lokale insufficient mobile data connection. For special applications, such as address recognition or Points of Interest (POI), the local
Spracherkennung in der Smartphone Applikation ergänzt um Cloud-basierte Speech recognition in the smartphone application supplemented by cloud-based
Spracherkennung. Voice recognition.
Zum Zwecke der Spracherkennung wird das Mikrofon-Signal über die Bluetooth-Verbindung mittels des Bluetooth Handsfree Profils (HFP) an das Smartphone 1 a übertragen. Zur Steigerung der Erkennungsleistung werden spezielle Mikrofone für die Spracherkennung benutzt, die unabhängig sind vom Mikrofon das für Freisprechtelefonie benutzt wird, und die über Beamforming und Echo Cancellation ein klares Sprachsignal des Fahrers an das Smartphone 1 a und dort die zugehörige Smartphone-Applikation übermitteln. Das For the purpose of speech recognition, the microphone signal is transmitted via the Bluetooth connection by means of the Bluetooth Handsfree Profile (HFP) to the smartphone 1 a. To increase the recognition performance special microphones are used for speech recognition, which are independent of the microphone used for hands-free telephony, and transmit the beamforming and echo cancellation a clear voice signal from the driver to the smartphone 1 a and there the associated smartphone application. The
Sprachsignal wird in einer für das Spracherkennungssystem optimierten Bitrate vom Gerät 1 beziehungsweise Zusatzgerät an das Smartphone 1 a übetragen. Speech signal is transmitted in an optimized for the speech recognition system bit rate from the device 1 or additional device to the smartphone 1 a.
Die Erkennungsleistung der Spracherkennung wird weiterhin gegenüber anderen The recognition performance of speech recognition will continue over others
Sprachverarbeitungssystemen in Kraftfahrzeugen erheblich gesteigert, in dem (a) Speech processing systems in motor vehicles, in which (a)
Nutzerdaten wie das Addressbuch des Nutzers, ehemalige Ziele im Navigationssystem oder Metadaten von Audiodateien als Grammatiken (Grammars) verwendet werden, die das System zum Beispiel Namen besser erkennen lassen, die der Nutzer in seinem Smartphone Addressbuch hat, und (b) durch kontinuierlich verbesserte Spracherkennungsmodelle, die über die Cloudschnittstelle in die Smartphone-Applikation eingespielt werden können. User data such as the user's address book, former targets in the navigation system, or metadata of audio files are used as grammars (grammars) that make the system better recognize, for example, names that the user has in his smartphone's address book, and (b) through continuously improved speech recognition models that can be imported into the smartphone application via the cloud interface.
Interpretation von Spracheingaben und Dialogsteuerung Interpretation of speech input and dialog control
Die Interpretation von Spracheingaben erfolgt im NLU Module der Smartphone Applikation (Figur 5, 39), wobei die Spracheingabe in Intention und weitere Informationen (zum Beispiel Namen, Titel, usw.) zerlegt wird und dann an das Dialogsteuerungsmodule (DM Module, Figur 5, 34) übergeben wird. Dort wird in Abhängigkeit von diesen Eingaben der nächste Schritt in der System-Interkation bestimmt, und über die Sprachgenerierung und Sprachsynthese ausgegeben. Die Sprachausgabe erfolgt wieder über das Gerät 1 oder Zusatzgerät, beziehungsweise über das Audiosystem des Kraftfahrzeugs, wenn dieses an das Gerät 1 oder Zusatzgerät angeschlossen ist. The interpretation of speech input is done in the NLU module of the smartphone application (FIGS. 5, 39), whereby the speech input is divided into intention and further information (for example name, title, etc.) and then sent to the dialog control module (DM module, FIG. 34) is handed over. There, in response to these inputs, the next step in system interaction is determined, and via speech generation and Speech synthesis output. The voice output is again via the device 1 or additional device, or via the audio system of the motor vehicle, if it is connected to the device 1 or additional device.
Die Dialogsteuerung erfolg durch das Dialogsteuerungsmodul (DM Module, Figur 5, 34) in der Smartphone Applikation. Ein wesentliches Merkmal dieses Moduls ist es dass die eigentliche Dialogführung, das heißt die Eingabe/ Antwort-Regeln, in einer Skriptdatei angelegt sind, die regelmässig über die Cloud-Schnittstelle aktualisiert werden kann, ohne dass die Smartphone-Applikation selbst aktualisiert werden muss. Somit kann dem Nutzer eine kontinuierlich optimierte Dialogführung ermöglicht werden. The dialog control succeeds through the dialog control module (DM modules, Figure 5, 34) in the smartphone application. An essential feature of this module is that the actual dialog, ie the input / response rules, are created in a script file that can be regularly updated via the cloud interface, without the smartphone application itself must be updated. Thus, the user can be made possible a continuously optimized dialogue.
Fortlaufende Optimierung der Spracherkennung Continuous optimization of speech recognition
Die Spracheingaben werden, soweit vom Nutzer genehmigt, gespeichert und über die Cloud- Schnittstelle an ein serverbasiertes Logging- und Analysesystem übermittelt, wo es teilautomatisiert verschlagwortet wird und dann zur weiteren Analyse mit dem Ziel der Optimierung der Spracherkennungsleistung genutzt wird.  The voice inputs, if approved by the user, are stored and transmitted via the cloud interface to a server-based logging and analysis system, where it is partially automated tagged and then used for further analysis with the aim of optimizing the speech recognition performance.
Interaktion über Gestensteuerung Interaction via gesture control
Da bestimmte Interaktionen mit dem System über Spracheingabe entweder nicht oder nur umständlich abgedeckt werden können verfügt das Gerät 1 oder Zusatzgerät zusätzlich über einen Gestensensor (Figur 1 , 17). Der Gestensensor erkennt folgende Gesten:  Since certain interactions with the system via voice input either not or only cumbersome can be covered, the device 1 or additional device also has a gesture sensor (Figure 1, 17). The gesture sensor recognizes the following gestures:
1 ) Wischgeste von rechts nach links (Jeff) 1) Swipe gesture from right to left (Jeff)
2) Wischgeste von links nach rechts („right")  2) Swipe gesture from left to right ("right")
3) Wischgeste von unten nach oben („up")  3) swipe gesture from bottom to top ("up")
4) Wischgeste von oben nach unten („down")  4) Swipe gesture from top to bottom ("down")
5) Gehaltene Hand („High 5")  5) Held hand ("High 5")
6) Entfernung der Hand vom Gerät weg ("near")  6) Removal of the hand away from the device ("near")
7) Annährung der Hand zum Gerät hin („far")  7) approach of the hand to the device ("far")
Über dieses Gestenset können unter anderem folgende Funktionen abgebildet werden: a) Blättern von einem Listeneintrag zum nächsten Listeneintrag wie zum Beispiel in einer Liste von Kontakten, Liedern oder Nachrichten oder von einem Menüeintrag zum nächsten Menüeintrag („left" Geste, kontextabhängig) The following functions can be mapped via this gesture set: a) Scroll from one list entry to the next list entry, such as in a list of contacts, songs or messages or from one menu item to the next menu item ("left" gesture, context-dependent)
b) Blättern von einem Listeneintrag zum vorherigen Listeneintrag oder von einem  b) scrolling from a list entry to the previous list entry or from a list entry
Menüeintrag zum vorherigen Menüeintrag („right" Geste, kontextabhängig) c) Abbrechen von Aktionen („down" Geste, kontextabhängig)  Menu item to previous menu item ("right" gesture, context sensitive) c) cancel actions ("down" gesture, context sensitive)
d) Zurück zum vorherigen Schritt („down" Geste, kontextabhängig) e) Menü- oder Listeneintrag auswählen („up" Geste oder„High 5" Geste, kontextabhängig) d) Back to the previous step ("down" gesture, context dependent) e) select menu or list entry ("up" gesture or "high 5" gesture, context dependent)
f) Zurück zum übergeordneten Menü („down" Geste, kontextabhängig)  f) Return to the parent menu ("down" gesture, context sensitive)
g) Lautstärke erhöhen zum Beispiel in einem Telefonat oder der Musikwiedergabe („far" Geste, kontextabhängig)  g) increase volume, for example in a telephone call or music playback ("far" gesture, context-dependent)
h) Lautstärke reduzieren („near" Geste, kontextabhängig)  h) Reduce volume ("near" gesture, context-dependent)
i) Musikwiedergabe pausieren, starten oder wieder aufnehmen nach einer Pause („High 5" Geste, kontextabhängig)  i) Pausing, starting or resuming music playback after a break ("High 5" gesture, context-dependent)
j) Stummschalten („Mute") während eines Telefongesprächs („High 5",  j) Mute during a telephone conversation ("High 5",
kontextabhängig)  context-dependent)
Interaktion über Eingabegeräte des Fahrzeugs Interaction via input devices of the vehicle
Als dritter Eingabemechanismus kann das Gerät über eine Bluetooth-Verbindung 1 c zum Auto, bzw. zum Infotainment-System bzw. Autoradio 1 b des Autos, standardisierte  As a third input mechanism, the device via a Bluetooth connection 1 c to the car, or infotainment system or car radio 1 b of the car, standardized
Kommandos über das Bluetooth AVRCP Profil erkennen und verwenden. Zum Beispiel können damit, soweit vom Fahrzeug unterstützt, die Steuertasten eines Detect and use commands via the Bluetooth AVRCP profile. For example, as far as supported by the vehicle, the control keys of a
Multifunktionslenkrades als Eingabemechanismus verwendet werden. Bluetooth AVRCP ist ein Profil zur Fernsteuerung von Audio- oder Videogeräten. Es unterstützt Befehle wie nächstes Lied („forward"), vorheriges Lied („backward"), Pause & Abspielen, lauter und leiser. Diese werden in folgender Weise im Assistenten Chris verwendet: a) Blättern von einem Listeneintrag zum nächsten Listeneintrag wie zum Beispiel in einer Liste von Kontakten, Liedern oder Nachrichten oder von einem Menüeintrag zum nächsten Menüeintrag („fast forward" und„forward" AVRCP Befehl) Multifunction steering wheel can be used as an input mechanism. Bluetooth AVRCP is a profile for remote control of audio or video devices. It supports commands such as next song ("forward"), previous song ("backward"), pause & play, louder and quieter. These are used in wizard Chris as follows: a) Scroll from one list entry to the next list entry, such as in a list of contacts, songs or messages, or from one menu item to the next menu entry ("fast forward" and "forward" AVRCP command).
b) Blättern von einem Listeneintrag zum vorherigen Listeneintrag oder von einem  b) scrolling from a list entry to the previous list entry or from a list entry
Menüeintrag zum vorherigen Menüeintrag („backward" AVRCP Befehl)  Menu entry to the previous menu entry ("backward" AVRCP command)
c) Abbrechen von Aktionen („exit" AVRCP Befehl)  c) Cancel actions ("exit" AVRCP command)
d) Zurück zum vorherigen Schritt („exit" AVRCP Befehl)  d) Return to the previous step ("exit" AVRCP command)
e) Menü- oder Listeneintrag auswählen („select" AVRCP Befehl, kontextabhängig) f) Zurück zum übergeordneten Menü („exit" AVRCP Befehl, kontextabhängig) g) Lautstärke erhöhen zum Beispiel in einem Telefonat oder der Musikwiedergabe  e) Select menu or list entry ("select" AVRCP command, context-sensitive) f) Return to the higher-level menu ("exit" AVRCP command, context-dependent) g) Increase volume, for example in a telephone call or music playback
(„volume up" AVRCP Befehl)  ("Volume up" AVRCP command)
h) Lautstärke reduzieren („volume down" AVRCP Befehl, kontextabhängig)  h) Volume down ("volume down" AVRCP command, context dependent)
i) Musikwiedergabe pausieren, starten oder wieder aufnehmen nach einer Pause  i) pause, start or resume music playback after a pause
(„play",„pause" und„stop" AVRCP Befehl, kontextabhängig)  ("Play", "pause" and "stop" AVRCP command, context dependent)
j) Stummschalten („Mute") während eines Telefongesprächs („mute" AVRCP Befehl, kontextabhängig) AVRCP Befehle werden verarbeitet, in dem die Bluetooth Verbindung 1 c des Geräts 1 oder Zusatzgeräts mit dem Fahrzeug das Gerät 1 beziehungsweise Zusatzgerät als Audioquelle identifiziert wird, die AVRCP Befehle unterstützt. Im Gerät 1 beziehungsweise Zusatzgerät werden die AVRCP Befehle empfangen und dann umgewandelt und als reine Datenmodelle weiter an die zugehörige Smartphone App weiter übermittelt, wo sie dann kontextabhängig nach oben stehendem Schema verarbeitet werden. Auf diese Weise können j) Mute during a telephone conversation (mute AVRCP command, context dependent) AVRCP commands are processed by identifying device 1's Bluetooth connection 1c or optional device with the vehicle as the audio source that supports AVRCP commands. In the device 1 or additional device, the AVRCP commands are received and then converted and further transmitted as pure data models to the associated smartphone app, where they are then processed context-dependent upward Scheme. That way you can
Eingabemöglichkeiten das Fahrzeugs nicht nur für Audiowiedergabe genutzt werden, sondern auch für die Steuerung in Menüs und Dialogen. Input options for the vehicle are not only used for audio playback, but also for the control in menus and dialogs.
Redundante und komplementäre multimodale Interaktion Redundant and complementary multimodal interaction
Ein weiteres wesentliches Merkmal des Assistenten„Chris" ist, dass die drei  Another key feature of the wizard "Chris" is that the three
Eingabemechanismen Spracheingabe, Gestensteuerung und Steuerung über Eingabegeräte des Fahrzeugs multimodal sich ergänzend vorgenommen werden können. So kann zum Beispiel in einer Liste von Einträgen (wie zum Beispiel Kontakten, Liedern oder Nachrichten) folgendermassen bedient werden: Input mechanisms Voice input, gesture control and control via input devices of the vehicle multimodal can be made complementary. For example, in a list of entries (such as contacts, songs, or messages), the following can be served:
• Sprachbefehl (zum Beispiel„weiter") oder Geste (Jeff, kontextabhängig) oder • Voice command (for example "next") or gesture (Jeff, context-dependent) or
Fahrzeugeingabemechanismus („skip next") wählt den nächsten Listeneintrag aus Vehicle input mechanism ("skip next") selects the next list entry
• Sprachbefehl (zum Beispiel„zurück") oder Geste („right", kontextabhängig) oder Fahrzeugeingabemechanismus („skip back") wählt den vorherigen Listeneintrag aus • Voice command (for example "back") or gesture ("right", context-dependent) or vehicle input mechanism ("skip back") selects the previous list entry
Wo immer zweckmässig werden so viele Interaktionsmechanismen wie möglich, Wherever appropriate, as many interaction mechanisms as possible,
kontextabhängig entweder redundant oder komplementär angeboten, um dem Fahrer die Wahl des für seine Präferenzen und die jeweilige Situation besten Modus anbieten zu können. Depending on the context, either redundant or complementary is offered, in order to offer the driver the choice of the best mode for his preferences and the respective situation.
Sprach- und Displayausgabe Voice and display output
Ein weiterer Vorteil der Erfindung ist eine sichere Datenausgabe, welche in Form der akustischen Datenausgabe als Sprachausgabe und in Form der visuellen Datenausgabe als Displaydarstellung erfolgt. Dabei können Informationen kontextabhängig entweder nur als Sprachausgabe (zum Beispiel während einer Nachfrage in der Dialogverarbeitung), nur als Displaydarstellung (zum Beispiel Anzeige eines Musikalbums während der  Another advantage of the invention is a secure data output, which takes place in the form of the acoustic data output as a voice output and in the form of the visual data output as a display representation. In this case, information can be context-dependent, either only as a speech output (for example, during a demand in the dialog processing), only as a display representation (for example, display of a music album during the
Musikwiedergabe) oder als kombinierte Displaydarstellung und Sprachausgabe (zum Beispiel Anzeige eines Kontaktes und vorlesen des Namens) stattfinden. Music playback) or as a combined display presentation and voice output (for example, displaying a contact and reading the name) take place.
Abnehmbaren Befestigung von Geräten an einer Halterung Removable attachment of devices to a bracket
Wie aus Figur 6 zu ersehen ist, weist das Gerät 1 an seiner Rückseite 22 einen Befestigungsbereich 20 auf, welcher in zwei spiegelbildlich angeordnete Befestigungssektoren 23 und 24 unterteilt ist. Die Befestigungssektoren 23, 24 sind in einer Aussparung angeordnet. Die Befestigungssektoren 23, 24 sind spiegelbildlich angeordnet und mit spiegelbildlich positionierten elektrischen Kontakten 25 versehen. Im vorliegenden Ausführungsbeispiel sind in den beiden Befestigungssektoren 23, 24 jeweils fünf elektrische Kontakte 25 angeordnet. Selbstverständlich ist es auch möglich, eine größere oder kleinere Anzahl von elektrischen Kontakten anzuordnen. Zentral im Befestigungsbereich 20 ist ein Magnet 9g angeordnet. Seitlich neben dem Befestigungsbereich 20 befinden sich Öffnungen 30 für Lautsprecher. As can be seen from FIG. 6, the device 1 has on its rear side 22 a fastening region 20, which is subdivided into two mirror-symmetrically arranged fastening sectors 23 and 24. The attachment sectors 23, 24 are arranged in a recess. The attachment sectors 23, 24 are arranged in mirror image and with mirror image positioned electrical contacts 25 provided. In the present embodiment, five electrical contacts 25 are arranged in each of the two attachment sectors 23, 24. Of course, it is also possible to arrange a larger or smaller number of electrical contacts. Central in the mounting portion 20, a magnet 9g is arranged. Side of the mounting portion 20 are openings 30 for speakers.
Figur 7 nun zeigt die Ausbildung des Befestigungsbereiches 21 an der Halterung 19. Der Befestigungsbereich 21 weist im Gegensatz zu dem Befestigungsbereich 20 an dem Gerät 1 nur einen Befestigungssektor 26 auf. Der Befestigungssektor 26 ist als Schiene in halbkreisförmiger Gestaltung ausgebildet. Im Befestigungssektor 26 sind im vorliegenden Ausführungsbeispiel insgesamt fünf elektrische Kontakte 27 angeordnet, welche mit den FIG. 7 now shows the embodiment of the attachment region 21 on the mount 19. In contrast to the attachment region 20 on the device 1, the attachment region 21 has only one attachment sector 26. The fastening sector 26 is designed as a rail in a semicircular design. In the fastening sector 26 a total of five electrical contacts 27 are arranged in the present embodiment, which with the
elektrischen Kontakten 25 in den Befestigungssektoren 23 und 24 des Gerätes 1 electrical contacts 25 in the mounting sectors 23 and 24 of the device. 1
korrespondieren. Zentral im Befestigungsbereich 21 ist ein Magnet 9g angeordnet. correspond. Centrally in the mounting portion 21, a magnet 9g is arranged.
An der Halterung 19 befindet sich ein Saugfuß 28 zur Befestigung der Halterung 19 an einer glatten Oberfläche. On the holder 19 is a suction cup 28 for fixing the holder 19 on a smooth surface.
Figur 8 zeigt die komplett montierte Einheit von Gerät 1 und Halterung 19. Die halbkreisförmige Schiene des Befestigungssektors 26, sowie die Blindschiene 31 , welche als FIG. 8 shows the completely assembled unit of device 1 and holder 19. The semicircular rail of the fastening sector 26, as well as the blind rail 31, which is referred to as
Erhöhungen ausgebildet sind, haben im montierten Zustand in die als Aussparungen ausgebildeten Befestigungssektoren 23, 24 eingegriffen und über die elektrischen Kontakte 25 und 27, welche in Kontakt gebracht wurden, die elektrische Verbindung hergestellt. Da die Befestigungssektoren 23, 24 an dem Gerät 1 symmetrisch identisch ausgebildet sind, kann das Gerät 1 um 180° gedreht werden und kontaktiert dann über die elektrischen Kontakte 25 und 27 das Gerät 1 in umgedrehter Einbaulage. Elevations are formed, have intervened in the mounted state in the recessed mounting sectors 23, 24 and made via the electrical contacts 25 and 27, which were brought into contact, the electrical connection. Since the attachment sectors 23, 24 are formed symmetrically identical to the device 1, the device 1 can be rotated by 180 ° and then contacted via the electrical contacts 25 and 27, the device 1 in inverted mounting position.
Die mechanische Verbindung wird durch das Zusammenwirken der Magnete 9d und 9g realisiert. The mechanical connection is realized by the interaction of the magnets 9d and 9g.
An der Halterung 19 ist im vorliegenden Ausführungsbeispiel ein USB-Anschluss 29 angeordnet. On the holder 19, a USB port 29 is arranged in the present embodiment.
Wie aus Figur 9 zu ersehen ist, weist das Gehäuse 2 ein Rückgehäuseteil 9e, einen Ring 9c und ein in dem Ring 9c angeordnetes Display 3 sowie eine Leiterplatte 5 auf. Wie zu ersehen ist, bildet der Ring 9c ein zentrales Bauteil der Gesamtgehäusekonstruktion. Der Ring 9c realisiert die Verbindung zu dem Rückgehäuseteil 9e und nimmt in seinem As can be seen from FIG. 9, the housing 2 has a rear housing part 9e, a ring 9c and a display 3 arranged in the ring 9c, as well as a printed circuit board 5. As can be seen, the ring 9c forms a central component of the overall housing construction. The ring 9c realizes the connection to the rear housing part 9e and takes in his
Innenbereich die Leiterplatte 5 und das Display 3 auf. Mikrofon ring Inside the circuit board 5 and the display 3. Microphone ring
Figur 10 zeigt die vergrößerte Detailansicht der Öffnung 40 und eines Mikrofons 4a, welches der Öffnung 40, verbunden durch den Tonkanal 41 , gegenüberliegt.  FIG. 10 shows the enlarged detail view of the opening 40 and of a microphone 4a, which lies opposite the opening 40, connected by the sound channel 41.
Im Frontbereich 40a des Ringes 9c ist eine Fuge 42 angeordnet, in welcher sich, für den Betrachter nahezu unsichtbar, die Öffnungen 40 befinden. Der Schall gelangt über die Öffnungen 40 in der Fuge 42 über den Tonkanal 41 zu dem im vorliegenden In the front region 40a of the ring 9c, a gap 42 is arranged, in which, almost invisible to the viewer, the openings 40 are located. The sound passes through the openings 40 in the joint 42 via the sound channel 41 to the present in the present
Ausführungsbeispiel als Richtmikrofon ausgebildeten Mikrofon 4a. Embodiment designed as a directional microphone microphone 4a.
Figur 1 1 nun zeigt eine Vorderansicht auf das Display 3 sowie den Ring 9c. Der Ring 9c weist in seinem Frontbereich 40a die Fuge 42 auf, in welcher die Öffnungen 40 angeordnet sind. Im vorliegenden Ausführungsbeispiel sind insgesamt vier Öffnungen 40 angeordnet, welche den Mikrofonen 4a gegenüberliegend positioniert sind. Figure 11 now shows a front view of the display 3 and the ring 9c. The ring 9c has in its front region 40a, the gap 42, in which the openings 40 are arranged. In the present embodiment, a total of four openings 40 are arranged, which are positioned opposite the microphones 4a.
Die Erfindung ist nicht beschränkt auf die hier dargestellten Ausführungsbeispiele. Vielmehr ist es möglich, durch Kombination der Mittel und Merkmale weitere Ausführungsvarianten zu realisieren, ohne den Rahmen der Erfindung zu verlassen. The invention is not limited to the embodiments shown here. Rather, it is possible to realize by combining the means and features further embodiments, without departing from the scope of the invention.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 Gerät 1 device
1 a Smartphone  1 a smartphone
1 b Autoradio  1 b car radio
1 c Bluetooth-Verbindung  1 c Bluetooth connection
1 d AUX (Klinken) Verbindung  1 d AUX (jack) connection
2 Gehäuse  2 housings
3 Display  3 display
4a Mikrofon, Spracheingabeeinheit 4a microphone, voice input unit
4b Lautsprecher, Sprachausgabeeinheit4b speaker, voice output unit
5 Leiterplatte 5 circuit board
5a Schaltkreis  5a circuit
6 Datenspeichereinheit  6 data storage unit
7 Datenverarbeitungseinheit  7 data processing unit
8 Gestensensor  8 gesture sensor
9a Scheibe  9a disc
9c Ring  9c ring
9d Magnet, Gehäusemagnet  9d magnet, housing magnet
9e Rückgehäuseteil  9e rear housing part
9g Magnet, Hauptmagnet  9g magnet, main magnet
9h Textil Überzug  9h textile cover
10 FM Transmitter  10 FM transmitters
1 1 Stromversorgungseinheit  1 1 power supply unit
12 Verstärker  12 amplifiers
13 Grafiktreiber  13 video drivers
14 Energiemanagement Gruppe 14 energy management group
15 USB Stromversorgungseinheit15 USB power supply unit
16 Bluetooth Bauelemente 16 Bluetooth components
17 FM Receiver  17 FM receivers
18 Abschalteinrichtung  18 defeat device
19 Halterung  19 bracket
20 Befestigungsbereich  20 mounting area
21 Befestigungsbereich  21 mounting area
22 Rückseite  22 back side
23 Befestigungssektor  23 Fastening sector
24 Befestigungssektor  24 fastening sector
25 elektrischer Kontakt Befestigungssektor 25 electrical contact fixing sector
elektrischer Kontakt electric contact
Saugfuß suction cup
USB-Anschluß USB port
Lautsprecheröffnung Loudspeaker opening
Blindschiene blind rail
Chris Driver Module Chris Driver Module
Sprachverarbeitung (ASR Module) Speech processing (ASR modules)
Sialogmanagement (DM Module) Sialog management (DM modules)
Sprachausgabe (TTS Module) Speech output (TTS modules)
Anbindung von Schnittstellen zu Smartphone Funktionen Connection of interfaces to smartphone functions
Anbindung von Schnittstellen zu Software Modulen Connection of interfaces to software modules
Anbindung von Schnittstellen an cloud basierte Dienste Connection of interfaces to cloud-based services
Steuerung und Algorithmik für Funktionen wie adaptive Sprachausgabe und Kontextverarbeitung (NLU Module) Control and Algorithm for functions such as adaptive speech output and context processing (NLU modules)
Öffnungen openings
Frontbereich front area
Tonkanal sound channel
Fuge Gap

Claims

Patentansprüche claims
1. Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeuges, wobei ein in dem Kraftfahrzeug anordenbares oder verbautes Gerät mit dem Smartphone des Fahrers oder Beifahrers zu einem Assistenten verbunden wird und Daten aus dem Anspruch [en] A method for assisting the driver of a motor vehicle, wherein a device that can be arranged or installed in the motor vehicle is connected to the smartphone of the driver or front passenger to an assistant and data from the
Smartphone sowie weitere Empfangsdaten nach vorgegebenen Programmabläufen elektronisch verarbeitet und dem Fahrer nach vorgegebenen Kriterien systematisch aufbereitet in akustischer und/ oder visueller Form übermittelt werden.  Smartphone and other received data electronically processed according to predetermined program sequences and the driver according to predetermined criteria systematically processed in acoustic and / or visual form.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet dass die Verarbeitung und Ausführung von Funktionen des Assistenten wie die Sprachverarbeitung und 2. The method according to claim 1, characterized in that the processing and execution of functions of the assistant as the language processing and
Dialogsteuerung sowie die Verarbeitung von Empfangs- und Smartphone-Daten auf dem Smartphone stattfindet und damit unabhängig vom Fahrzeug und dem Gerät eine leistungsfähige und aktuelle Software- und Hardware-Plattform für die  Dialogue control and the processing of receiving and smartphone data on the smartphone takes place and thus independent of the vehicle and the device, a powerful and up-to-date software and hardware platform for the
Ausführung dieser Funktionen gewährleistet.  Guaranteed execution of these functions.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet dass die 3. The method according to claim 1 or 2, characterized in that the
Smartphonedaten Telefonnummern und/oder Kontaktdaten und /oder Adressdaten und/oder eingehende E-Mails oder Nachrichten und/oder Internetdaten und/oder SMS Nachrichten und/oder MMS Nachrichten und/oder Audiodateien und/oder MP3 Audiodateien und/oder Audio Playlisten und/oder Kartendaten und/oder  Smartphone data telephone numbers and / or contact data and / or address data and / or incoming e-mails or messages and / or Internet data and / or SMS messages and / or MMS messages and / or audio files and / or MP3 audio files and / or audio playlists and / or Map data and / or
Navigationsangaben und/oder persönliche Daten des Fahrers oder Beifahrers und die Empfangsdaten Navigationsdaten und/oder Verkehrsinformationen und/oder Radiooder TV-übertragungen und/oder digitale Audiostreams und/oder Staumeldungen und/oder WhatsApp Nachrichten und/oder Facebook Messenger Nachrichten und/oder Wetterdaten sind.  Navigation information and / or personal data of the driver or passenger and the received data navigation data and / or traffic information and / or radio or TV broadcasts and / or digital audio streams and / or traffic jams and / or WhatsApp messages and / or Facebook Messenger messages and / or weather data ,
4. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Spracherkennung entweder auf dem Smartphone in der Smartphone- Applikation (lokale Spracherkennung) oder über die Cloud-Schnittstelle online über einen Cloud-basierten Spracherkennungs-Dienst (Online Spracherkennung) erfolgt und/oder 4. The method according to any one of the preceding claims, characterized in that the speech recognition takes place either on the smartphone in the smartphone application (local speech recognition) or via the cloud interface online via a cloud-based speech recognition service (online speech recognition) and / / or
dass die Aufzeichnung von Sprache des Nutzers über Mikrofone auf dem Gerät erfolgt, die dann drahtlos über Bluetooth (HFP) an das Smartphone übertragen wird, wo fortlaufend die Spracherkennung erfolgt und/oder dass Smartphonedaten in der Sprachverarbeitung zur Verbesserung der Erkennungsleistung der  that the recording of speech by the user via microphones on the device, which is then transmitted wirelessly via Bluetooth (HFP) to the smartphone, where the speech recognition is carried out continuously and / or that smartphone data in the speech processing to improve the detection performance of
Sprachverarbeitung verwendet werden und/oder dass die Dialogführung der Sprachverarbeitung lokal auf dem Smartphone erfolgt, aber über eine Cloud- Schnittstelle mithilfe einer Skriptdatei kontinuierlich aktualisiert wird und/oder dass die Sprachverarbeitung fortlaufend durch Analyse der erfolgten Spracheingaben optimiert und in ihrer Erkennungsleistung gesteigert wird. Speech processing be used and / or that the dialogue of the Speech processing is performed locally on the smartphone, but is continuously updated via a cloud interface using a script file and / or that the speech processing is continuously optimized by analyzing the speech that has been made and increasing its recognition performance.
5. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet dass zusätzlich zur Sprachverarbeitung Funktionen des Assistenten auch über Gestensteuerung und/oder über Eingabegeräte des Fahrzeugs bedient werden und Funktionen des Assistenten multimodal, kontextabhängig komplementär oder redundant vorgenommen werden. 5. The method according to any one of the preceding claims, characterized in that in addition to the language processing functions of the assistant via gesture control and / or via input devices of the vehicle are operated and functions of the assistant multimodal, context-dependent complementary or redundant.
6. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet dass die Auswahl der zu verarbeitenden und der zu übermittelnden Daten in Abhängigkeit der Fahrsituation und/oder der Verkehrssituation und/oder der Tageszeit und/oder des Wetters und/oder der Präferenzen des Nutzers und/oder der historischen Nutzung der Daten durch den Nutzer und/oder Präferenzen anderer Nutzer und/oder der historischen Nutzung der Daten durch andere Nutzer erfolgt und die 6. Method according to one of the preceding claims, characterized in that the selection of the data to be processed and the data to be transmitted depends on the driving situation and / or the traffic situation and / or the time of day and / or the weather and / or the preferences of the user and / or or the historical use of the data by the user and / or preferences of other users and / or the historical use of the data by other users and the
Datenverarbeitung als selbstlernendes System ausgebildet ist.  Data processing is designed as a self-learning system.
7. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet dass die Auswahl der zu verarbeitenden und der zu übermittelnden Daten gemäß den nachfolgenden Verfahrensschritten erfolgt: 7. The method according to any one of the preceding claims, characterized in that the selection of the data to be processed and the data to be transmitted according to the following process steps is carried out:
Erfassen der Fahrzeug- und Verkehrssituationsdaten wie Geschwindigkeit, Navigationsdaten, Verkehrsdichte, Straßengeometrie, Straßenbreite, Anzahl Spuren, Unfallhäufigkeit, Geschwindigkeitsbegrenzungen, allgemeine  Capture vehicle and traffic situation data such as speed, navigation data, traffic density, road geometry, road width, number of lanes, accident frequency, speed limits, general
Verkehrsmeldungen und Sondersituationen wie Baustellen,  Traffic reports and special situations such as construction sites,
Erfassen weiterer Kontextdaten wie aktuelles Wetter, Sicht, Temperatur,  Capture further context data such as current weather, visibility, temperature,
Tageszeit, Lichtverhältnisse,  Daytime, lighting conditions,
Abrufen von Nutzerpräferenzen und historischen Nutzungsverhalten des Nutzers, Ermittlung der Komplexität der Verkehrssituation nach einem Komplexitätsindex aus Verkehrs- und Kontextdaten,  Retrieval of user preferences and historical usage behavior of the user, determination of the complexity of the traffic situation according to a complexity index of traffic and context data,
Ermittlung der Priorität der Übermittlung und Bereitstellung von Daten aus Präferenzen des Nutzers, dem historischem Nutzungsverhalten des Nutzers, den Präferenzen anderer Nutzer und des historischen Nutzungsverhaltens anderer Nutzer,  Determining the priority of transmission and provision of data based on user preferences, the user's historical usage behavior, other users' preferences and the historical usage behavior of other users,
Korrelation der erfassten Daten mit vorgegebenen Programmablaufmustern, Ausgabe oder temporäre oder dauerhafte Unterdrückung von derart priorisierten Daten für die Nutzung durch den Fahrer oder Beifahrer. Correlation of the collected data with predetermined program flow patterns, Issue or temporary or permanent suppression of such prioritized data for use by the driver or passenger.
8. Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges durch ein im 8. A device for assisting the driver of a motor vehicle by a in
Kraftfahrzeug anordenbares, mit einem Smartphone (1 a) des Fahrers oder eines Beifahrers zu einem Assistenten verbindbares Gerät (1 ),  Motor vehicle can be arranged, with a smartphone (1 a) of the driver or a passenger to an assistant connectable device (1),
wobei das Gerät (1 ) ein Display (3), eine Spracheingabeeinheit (4a), eine  wherein the device (1) is a display (3), a voice input unit (4a), a
Sprachausgabeeinheit (4b) und einen Gestensensor (8) aufweist.  Voice output unit (4b) and a gesture sensor (8).
9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass das Gerät (1 ) einen auf einer Leiterplatte (5) angeordneten elektronischen Schaltkreis (5a) mit einer 9. Apparatus according to claim 8, characterized in that the device (1) on a printed circuit board (5) arranged electronic circuit (5a) with a
Datenspeichereinrichtung (6) sowie einer Datenverarbeitungseinrichtung (7) sowie Bluetooth-Bauelemente (16) aufweist.  Data storage device (6) and a data processing device (7) and Bluetooth components (16).
10. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Gerät (1 ) ein Zusatzgerät mit in einem Gehäuse (2) angeordnetem Display (3) und mit einer Spracheingabeeinheit (4a) und einer Sprachausgabeeinheit (4b) sowie einer Befestigungsvorrichtung zur Befestigung am Armaturenbrett oder an der 10. Apparatus according to claim 8 or 9, characterized in that the device (1) an attachment with in a housing (2) arranged display (3) and with a voice input unit (4a) and a voice output unit (4b) and a fastening device for fastening on the dashboard or at the
Frontscheibe des Kraftfahrzeuges ist.  Windscreen of the motor vehicle is.
1 1. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass das Gehäuse (2) einen kreisförmigen Querschnitt und folgende weitere Bestandteile aufweist: 1 1. A device according to claim 10, characterized in that the housing (2) has a circular cross-section and the following further components:
Scheibe (9a), Ring (9c), Leiterplatte (5), Lautsprecher (4b), Gehäusemagnete (9d), Rückgehäuseteil (9e), Kontaktpins, ( 9f), Hauptmagnet (9g).  Washer (9a), Ring (9c), Circuit Board (5), Speaker (4b), Housing Magnets (9d), Rear Housing Part (9e), Contact Pins, (9f), Main Magnet (9g).
12. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet dass zur abnehmbaren Befestigung des Gerätes (1 ) an einer Halterung (19), wobei sowohl an dem Gerät (1 ) als auch an der Halterung (19) Befestigungsbereiche (20, 21 ) angeordnet sind und wobei der Befestigungsbereich (20) an der Rückseite (22) von dem Gerät (1 ) mindestens einen Magneten (9d) und zwei spiegelbildlich angeordnete 12. The device according to claim 10, characterized in that for the detachable attachment of the device (1) to a holder (19), wherein both on the device (1) and on the holder (19) mounting portions (20, 21) are arranged and wherein the attachment region (20) on the back (22) of the device (1) at least one magnet (9d) and two mirror-inverted
Befestigungssektoren (23, 24) aufweist, welche mit spiegelbildlich angeordneten elektrischen Kontakten (25) versehen sind und der Befestigungsbereich (21 ) an der Halterung (19) mindestens einen Magneten (9g) und einen Befestigungssektor (26) mit elektrischen Kontakten (27) aufweist, wobei in montiertem Zustand die Magnete (9d) und (9g) sowie die elektrischen Kontakte (27) des Befestigungssektors (26) mit den elektrischen Kontakten (25) des Befestigungssektors (23) oder des Befestigungssektors (24) in Kontakt stehen derart, dass in Abhängigkeit von der Kontaktierung des Befestigungssektors (23) oder des Befestigungssektors (24) mit dem Befestigungssektor (26) eine um 180° gedrehte Positionierung des Gerätes (1 ) realisiert wird. Fastening sectors (23, 24) which are provided with mirror-image arranged electrical contacts (25) and the mounting portion (21) on the holder (19) at least one magnet (9g) and a fastening sector (26) with electrical contacts (27) in which, when mounted, the magnets (9d) and (9g) and the electrical contacts (27) of the mounting sector (26) are in contact with the electrical contacts (25) of the mounting sector (23) or the mounting sector (24) such that depending on the contacting of the Fixing sector (23) or the fastening sector (24) with the attachment sector (26) a 180 ° rotated positioning of the device (1) is realized.
13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass der 13. The apparatus according to claim 12, characterized in that the
Befestigungssektor (23, 24) eine halbkreisförmige Aussparung und der  Fixing sector (23, 24) a semicircular recess and the
Befestigungssektor (26) eine halbkreisförmige Schiene ist, wobei die Aussparungen und die Schiene im zusammengebauten Zustand miteinander korrespondieren und/oder dass über die elektrische Kontaktierung zwischen den elektrischen Kontakten (25) und den elektrischen Kontakten (27) die Elektroenergieversorgung, ein Datenaustausch, die Übertragung von Radiosignalen und gegebenenfalls weitere Empfangsdaten realisiert wird.  Fixing sector (26) is a semicircular rail, wherein the recesses and the rail in the assembled state correspond to each other and / or that on the electrical contact between the electrical contacts (25) and the electrical contacts (27) the electric power supply, data exchange, transmission of radio signals and, where appropriate, further received data is realized.
14. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die Halterung (19) einen Saugfuß (28) zur Befestigung und/oder einen USB-Anschluss (29) aufweist. 14. The apparatus according to claim 12, characterized in that the holder (19) has a suction cup (28) for attachment and / or a USB port (29).
15. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass 15. The apparatus according to claim 10, characterized in that
das Gehäuse (2) ein Rückgehäuseteil (9e) und einen damit verbundenen Ring (9c) mit Öffnungen (40) in seinem Frontbereich (40a) aufweist, wobei innerhalb des Ringes (9c) das Display (3) und eine Leiterplatte (5) mit Mikrofonen (4a) angeordnet ist.  the housing (2) has a rear housing part (9e) and an associated ring (9c) with openings (40) in its front area (40a), wherein inside the ring (9c) the display (3) and a printed circuit board (5) Microphones (4a) is arranged.
EP18710337.9A 2017-02-20 2018-02-20 Method and device for supporting the driver of a motor vehicle Ceased EP3583498A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017103409.9A DE102017103409A1 (en) 2017-02-20 2017-02-20 Method and device for assisting the driver of a motor vehicle
DE102017104068.4A DE102017104068A1 (en) 2017-02-27 2017-02-27 Device for the removable attachment of devices to a holder
DE102017104661.5A DE102017104661A1 (en) 2017-03-06 2017-03-06 Device for optimizing speech recognition in a motor vehicle
PCT/EP2018/054163 WO2018150052A1 (en) 2017-02-20 2018-02-20 Method and device for supporting the driver of a motor vehicle

Publications (1)

Publication Number Publication Date
EP3583498A1 true EP3583498A1 (en) 2019-12-25

Family

ID=61622508

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18710337.9A Ceased EP3583498A1 (en) 2017-02-20 2018-02-20 Method and device for supporting the driver of a motor vehicle

Country Status (4)

Country Link
US (1) US20200231169A1 (en)
EP (1) EP3583498A1 (en)
JP (1) JP2020514171A (en)
WO (1) WO2018150052A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292716A (en) 2020-02-13 2020-06-16 百度在线网络技术（北京）有限公司 Voice chip and electronic equipment
DE202021001939U1 (en) * 2021-06-01 2021-07-15 Tigacall Gmbh Smartphone application for efficient call handling

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103038818B (en) * 2010-06-24 2016-10-12 本田技研工业株式会社 Communication system between the outer speech recognition system of vehicle-mounted voice identification system and car and method
JP2013075545A (en) * 2011-09-29 2013-04-25 Jvc Kenwood Corp Mounting structure of portable electronic device
JP2015004703A (en) * 2013-06-19 2015-01-08 アルパイン株式会社 Electronic device, voice signal transfer method, voice signal transfer program and voice process system
JP3189463U (en) * 2013-12-27 2014-03-13 金柱 翁 Bluetooth swivel holder
EP3172613A4 (en) * 2014-07-22 2018-06-20 Navdy Inc. Compact heads-up display system
DE102015005863A1 (en) * 2015-05-11 2016-11-17 SENIC GmbH Input device for electronic devices

Also Published As

Publication number Publication date
JP2020514171A (en) 2020-05-21
US20200231169A1 (en) 2020-07-23
WO2018150052A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
EP1884743B1 (en) Navigation device with radio transmitter
CN105329187A (en) Intelligent vehicle-mounted system for realizing safe operation through Bluetooth key triggering and control method
EP1052834A2 (en) Communication system for a vehicle
CN104553806A (en) Automobile multimedia steering wheel touch system
CN105730235A (en) Integrated display instrument panel for vehicle
WO2002060168A2 (en) Hands-free device for operating mobile telephones in motor vehicles
DE102011012399B4 (en) Transfer from public to private mode for communications
EP3270575A1 (en) Platform for integration of mobile terminals and peripheral aftermarket equipment in a vehicle
EP3583498A1 (en) Method and device for supporting the driver of a motor vehicle
DE102015106319A1 (en) Updating a vehicle main unit with content from a mobile device
DE10103608A1 (en) Hands-free system for operating cell phones in motor vehicles
DE102013211019A1 (en) Multimedia installation unit for a motor vehicle
AT523308A1 (en) Motorcycle with operable multifunction device
DE102012210986A1 (en) In-vehicle messaging
EP1354420A2 (en) Handsfree talking device for operating mobile telephones in motor vehicles
DE102017109097A1 (en) DISAMBUILDING LANGUAGE IDENTIFICATION COMMANDS FOR A VEHICLE
DE10302924B3 (en) Multimedia system, especially for off-board vehicle navigation, has holders for inserting computer, mobile telephone to initiate special operating mode with computer, phone, position system connected
DE102010033901B4 (en) Motor vehicle with a display for showing variable information for operating functions of the motor vehicle
EP1744124A1 (en) Motor vehicle navigation system
EP3948493A1 (en) Method and apparatus for interaction with an environment object in the surroundings of a vehicle
DE102017103409A1 (en) Method and device for assisting the driver of a motor vehicle
WO2003086819A1 (en) Motor vehicle communications system, assembly with a processor, computer program product and computer-readable storage medium
EP2180672B1 (en) Mobile device system for a motor vehicle
EP1983779A1 (en) Device for communicating over a radio network
EP3388387B1 (en) Integration of multimedia components into the vehicle network of industrial trucks

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190918

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210422

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20221015