DE102020200828A1 - Method for providing an artificial intuition - Google Patents

Abstract

Bei einem Verfahren (V) zum Bereitstellen einer künstlichen Intuition (K) für ein Fahrzeug (1) oder für eine Maschine wird ein Umfeld (2) des Fahrzeugs (1) oder der Maschine mittels Umfeldsensoren (3) des Fahrzeugs (1) erfasst, wodurch Umfelddaten (U) generiert werden. Eine Dynamik des Fahrzeugs (1) oder der Maschine wird mittels Dynamiksensoren (5) des Fahrzeugs (1) erfasst, wodurch Dynamikdaten (D) generiert werden. Ein Innenraum (6) des Fahrzeugs (1) oder der Maschine wird mittels Innenraumsensoren (7) erfasst, wodurch Innenraumdaten (I) generiert werden. Die Umfelddaten (U), die Dynamikdaten (D) und die Innenraumdaten (I) werden ausgewertet und zumindest teilweise fusioniert. Ausgehend von den fusionierten Umfelddaten (U), Dynamikdaten (D) und Innenraumdaten (I) wird eine aktuelle Situation (S) des Fahrzeugs (1) oder der Maschine mittels eines trainierten künstlichen neuronalen Netzes (9) bewertet. Ausgehend von einem Ergebnis der Bewertung wird mittels einer Steuereinrichtung (11) eine Reaktion (R) des Fahrzeugs (1) oder der Maschine eingeleitet.In a method (V) for providing an artificial intuition (K) for a vehicle (1) or for a machine, an environment (2) of the vehicle (1) or the machine is recorded by means of environment sensors (3) of the vehicle (1), whereby environment data (U) are generated. A dynamic of the vehicle (1) or the machine is recorded by means of dynamic sensors (5) of the vehicle (1), whereby dynamic data (D) are generated. An interior (6) of the vehicle (1) or the machine is detected by interior sensors (7), as a result of which interior data (I) are generated. The environment data (U), the dynamic data (D) and the interior data (I) are evaluated and at least partially merged. Based on the merged environment data (U), dynamic data (D) and interior data (I), a current situation (S) of the vehicle (1) or the machine is evaluated by means of a trained artificial neural network (9). Based on a result of the assessment, a control device (11) initiates a reaction (R) of the vehicle (1) or the machine.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen einer künstlichen Intuition für ein Fahrzeug, eine Steuereinrichtung, ein Computerprogrammprodukt, ein Fahrzeug und eine Maschine.The present invention relates to a method for providing an artificial intuition for a vehicle, a control device, a computer program product, a vehicle and a machine.

Intuition beschreibt jene Art der Wahrnehmung, die über die organischen Sinne hinausgeht und wertvolle Informationen liefert. Deren Ausprägung ist jedoch stark vom Individuum abhängig. Durch Intuition stellen sich Personen auf Ereignisse ein, die nur indirekt bzw. unterbewusst wahrgenommen werden können, evtl. noch nicht kennen oder erlebt haben, oder die zum Zeitpunkt des indirekten Wahrnehmens noch nicht eingetreten sind. Dies ist nur durch Kombination einzelner Sinne und Sinneserfahrungen möglich. Die Intuition ermöglicht es Personen eine Entscheidung zu treffen, ohne die zugrundeliegenden Zusammenhänge explizit zu verstehen bzw. die unbewussten Gründe für eine bestimmte Entscheidung zu verwenden. Durch Intuition besitzen Personen die Fähigkeit Eigenschaften und Emotionen in Sekundenbruchteilen unbewusst, oder bewusst instinkthaft zu erfassen und darauf zu reagieren.Intuition describes the type of perception that goes beyond the organic senses and provides valuable information. However, the extent to which they are expressed is highly dependent on the individual. Through intuition, people adjust to events that can only be perceived indirectly or subconsciously, may not yet know or have experienced, or that have not yet occurred at the time of indirect perception. This is only possible through a combination of individual senses and sensory experiences. Intuition enables people to make a decision without explicitly understanding the underlying relationships or using the unconscious reasons for a particular decision. Through intuition, people have the ability to grasp properties and emotions in fractions of a second unconsciously or consciously instinctively and to react to them.

Besonders teil- und vollautonom fahrende Fahrzeuge müssen als Mindestanforderung in der Lage sein, die gleiche Wahrnehmung wie ein menschlicher Fahrer mit seinen Sinnen und darüber hinaus mit seiner Intuition darzustellen. Dies erstreckt sich von der Fahraufgabe bis hin zur Erkennung von technischen Veränderungen und Bewertungen unterschiedlicher Situationen. Zusammengefasst müssen autonom fahrende Fahrzeuge als Mindestanforderung den besten menschlichen Fahrer repräsentieren, der sowohl auf innere, als auch auf äußere Einflüsse stets richtig, rechtzeitig, vorausschauend, und auch intuitiv reagiert.In particular, partially and fully autonomous vehicles must be able to represent the same perception as a human driver with his senses and also with his intuition as a minimum requirement. This extends from the driving task to the detection of technical changes and evaluations of different situations. In summary, autonomously driving vehicles must represent the best human driver as a minimum requirement, who always reacts correctly, promptly, proactively and intuitively to both internal and external influences.

Aus DE 10 2018 128 453 A1 ist ein Fahrzeugcomputer bekannt. Dieser ist dazu programmiert, Anweisungen auszuführen, die im Speicher gespeichert sind. Die Anweisungen beinhalten Empfangen einer Raddrehzahl von einem Raddrehzahlsensor, Empfangen einer Fahrzeuggeschwindigkeit von einem Fahrzeuggeschwindigkeitssensor, Bestimmen einer mittleren Vibrationsstärke gemäß der Raddrehzahl und der Fahrzeuggeschwindigkeit und Erkennen eines vibrierenden Fahrzeugrads auf Grundlage der mittleren Vibrationsstärke.Out DE 10 2018 128 453 A1 a vehicle computer is known. It is programmed to execute instructions that are stored in memory. The instructions include receiving a wheel speed from a wheel speed sensor, receiving a vehicle speed from a vehicle speed sensor, determining an average level of vibration according to the wheel speed and vehicle speed, and detecting a vibrating vehicle wheel based on the average level of vibration.

Aus DE 11 2016 002 232 T5 ist eine Vorrichtung zum Bestimmen eines Radbefestigungsstatus bekannt, durch die sich ein Radbefestigungsstatus während des Fahrens überwachen lässt.Out DE 11 2016 002 232 T5 a device for determining a wheel fastening status is known, by means of which a wheel fastening status can be monitored while driving.

Aus DE 10 2012 209 810 A1 ist ein Verfahren zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs bekannt, wobei das Verfahren einen Schritt des Ermittelns zumindest eines Abbildungsmerkmals in einer Bildinformation aufweist, wobei die Bildinformation ein Abbild zumindest eines Teils des Umfelds repräsentiert und das Abbildungsmerkmal einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt in dem Teil des Umfelds repräsentiert.Out DE 10 2012 209 810 A1 A method for recognizing a weather condition in the surroundings of a vehicle is known, the method comprising a step of determining at least one image feature in image information, the image information representing an image of at least part of the surroundings and the image feature representing a light effect on a reflective or self-illuminating one Object represented in the part of the environment.

Aus DE 10 2018 109 951 A1 ist ein Fahrzeugcomputer bekannt. Dieser beinhaltet einen Speicher und einen Prozessor, die dazu programmiert sind, in dem Speicher gespeicherte Anweisungen auszuführen. Die Anweisungen beinhalten Empfangen einer ersten Reifendruckmessung an einem ersten Zeitpunkt, Empfangen einer zweiten Reifendruckmessung an einem zweiten Zeitpunkt, Vergleichen der ersten Reifendruckmessung mit der zweiten Reifendruckmessung und, auf Grundlage des Unterschieds zwischen der ersten Reifendruckmessung und der zweiten Reifendruckmessung, Bestimmen, dass eine Straße überflutet ist.Out DE 10 2018 109 951 A1 a vehicle computer is known. This includes a memory and a processor which are programmed to execute instructions stored in the memory. The instructions include receiving a first tire pressure measurement at a first time, receiving a second tire pressure measurement at a second time, comparing the first tire pressure measurement with the second tire pressure measurement, and, based on the difference between the first tire pressure measurement and the second tire pressure measurement, determining that a road is flooding is.

DE 10 2019 104 845 A1 ist eine proaktive Fahrzeugwartungsplanung basierend auf einer oder mehreren Digitalzwillingssimulationen bekannt. DE 10 2019 104 845 A1 a proactive vehicle maintenance planning based on one or more digital twin simulations is known.

DE 10 2018 211 122 A1 ist ein Kraftfahrzeug bekannt aufweisend ein Aktorsystem zur Richtungssteuerung sowie zur Geschwindigkeitssteuerung, ein Sensorsystem zur Überwachung des Umfeldes und eine Steuer- und Auswerteeinheit, wobei die Steuer- und Auswerteeinheit eingerichtet ist, Sensordaten des Sensorsystems auszuwerten, um Ausweichmöglichkeiten für Notsituationen zu erkennen, und in einer Notsituation das Aktorsystem anzusteuern, um eine erkannte Ausweichmöglichkeit zu nutzen. DE 10 2018 211 122 A1 a motor vehicle is known having an actuator system for direction control as well as for speed control, a sensor system for monitoring the environment and a control and evaluation unit, wherein the control and evaluation unit is set up to evaluate sensor data of the sensor system in order to identify evasive options for emergency situations, and in a To control the actuator system in an emergency situation in order to use a recognized alternative.

Der vorliegenden Erfindung liegt ausgehend vom Stand der Technik die Aufgabe zu Grunde eine intuitive Reaktion eines Fahrzeugs oder einer Maschine zu ermöglichen und durchzuführenBased on the prior art, the present invention is based on the object of enabling and carrying out an intuitive reaction of a vehicle or a machine

Die vorliegende Erfindung schlägt ausgehend von der vorgenannten Aufgabe ein Verfahren zum Bereitstellen einer künstlichen Intuition für ein Fahrzeug oder für eine Maschine, eine Steuereinrichtung, ein Computerprogrammprodukt, ein Fahrzeug und eine Maschine vor. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen gehen aus den Unteransprüchen hervor.Based on the aforementioned object, the present invention proposes a method for providing an artificial intuition for a vehicle or for a machine, a control device, a computer program product, a vehicle and a machine. Further advantageous refinements and developments emerge from the subclaims.

Bei einem Verfahren zum Bereitstellen einer künstlichen Intuition für ein Fahrzeug oder für eine Maschine wird ein Umfeld des Fahrzeugs oder der Maschine mittels Umfeldsensoren des Fahrzeugs erfasst, wodurch Umfelddaten generiert werden. Eine Dynamik des Fahrzeugs oder der Maschine wird mittels Dynamiksensoren des Fahrzeugs erfasst, wodurch Dynamikdaten generiert werden. Ein Innenraum des Fahrzeugs oder der Maschine wird mittels Innenraumsensoren erfasst, wodurch Innenraumdaten generiert werden. Die Umfelddaten, die Dynamikdaten und die Innenraumdaten werden ausgewertet und zumindest teilweise fusioniert. Ausgehend von den fusionierten Umfelddaten, Dynamikdaten und Innenraumdaten wird eine aktuelle Situation des Fahrzeugs oder der Maschine mittels eines trainierten künstlichen neuronalen Netzes bewertet. Ausgehend von einem Ergebnis der Bewertung wird mittels einer Steuereinrichtung eine Reaktion des Fahrzeugs oder der Maschine eingeleitet.In a method for providing an artificial intuition for a vehicle or for a machine, an environment of the vehicle or of the machine is recorded by means of environment sensors of the vehicle, whereby environment data are generated. A dynamic of the vehicle or the machine is recorded by means of dynamic sensors of the vehicle, whereby dynamic data are generated. A The interior of the vehicle or the machine is recorded using interior sensors, which generates interior data. The environment data, the dynamic data and the interior data are evaluated and at least partially merged. Based on the merged environment data, dynamic data and interior data, a current situation of the vehicle or the machine is evaluated by means of a trained artificial neural network. On the basis of a result of the evaluation, a reaction of the vehicle or the machine is initiated by means of a control device.

Das Fahrzeug kann hierbei Landfahrzeug, ein Luftfahrzeug oder ein Wasserfahrzeug sein. Vorzugsweise ist das Fahrzeug ein PKW oder NKW. Die Maschine kann hierbei eine Werkzeugmaschine, ein Roboter, eine feststehende Fertigungsmaschine, eine Arbeitsmaschine, ein Kran, feststehender Bagger etc. sein. Das Fahrzeug ist dabei derart ausgeformt, dass es automatisierte Funktionen durchführen kann. Beispielsweise können automatisierte Funktionen des Fahrzeugs das autonome oder teilautonome Fahren sein. Das Fahrzeug kann z. B. automatisierte Funktionen ab Level 1 ausführen. Level 1 bezieht sich hierbei auf die Autonomielevel nach SAE J3016. Die Maschine ist dabei derart ausgeformt, dass diese automatisierte Funktionen und Operationen durchführen kann.The vehicle can be a land vehicle, an aircraft or a watercraft. The vehicle is preferably a car or commercial vehicle. The machine can be a machine tool, a robot, a stationary manufacturing machine, a work machine, a crane, a stationary excavator, etc. The vehicle is designed in such a way that it can perform automated functions. For example, automated functions of the vehicle can be autonomous or semi-autonomous driving. The vehicle can e.g. B. execute automated functions from level 1. Level 1 refers to the autonomy level according to SAE J3016. The machine is designed in such a way that it can perform automated functions and operations.

Das Fahrzeug oder die Maschine befindet sich in seinem Umfeld, welches die unmittelbare Umgebung des Fahrzeugs darstellt. Das Fahrzeug oder die Maschine kann dabei Umfeldsensoren aufweisen, um das Umfeld des Fahrzeugs oder der Maschine zu erfassen. Das Fahrzeug oder die Maschine kann dabei wenigstens einen Umfeldsensor aufweisen, selbstverständlich kann das Fahrzeug oder die Maschine aber auch mehr als einen Umfeldsensor aufweisen. Durch die Umfeldsensoren werden Umfelddaten generiert, die sich nach dem jeweiligen Typ der Umfeldsensoren richten. Die Umfeldsensoren können beispielsweise ausgebildet sein als: optische Sensoren, z. B. Kameras, Radarsensoren, Lidarsensoren, Infrarotsensoren; Helligkeitssensoren; akustische Sensoren, z. B. Mikrofone, Ultraschallsensoren; Temperatursensoren; Feuchtesensoren; olfaktorische Sensoren; Magnetfeldsensoren; Elektrofeldsensoren. Das Fahrzeug oder die Maschine kann hierbei eine Kombination der eben genannten Sensoren aufweisen.The vehicle or the machine is located in its environment, which represents the immediate vicinity of the vehicle. The vehicle or the machine can have surroundings sensors in order to detect the surroundings of the vehicle or the machine. The vehicle or the machine can have at least one environment sensor, but of course the vehicle or the machine can also have more than one environment sensor. The environment sensors generate environment data that are based on the respective type of environment sensors. The environment sensors can be designed, for example, as: optical sensors, e.g. B. cameras, radar sensors, lidar sensors, infrared sensors; Brightness sensors; acoustic sensors, e.g. B. microphones, ultrasonic sensors; Temperature sensors; Humidity sensors; olfactory sensors; Magnetic field sensors; Electric field sensors. The vehicle or the machine can have a combination of the sensors just mentioned.

Alternativ dazu kann das Fahrzeug oder die Maschine keinen Umfeldsensor aufweisen. In diesem Fall bezieht das Fahrzeug oder die Maschine die Umfelddaten von einer externen Infrastruktur (z. B. einer Cloud, einer Verkehrsüberwachung, einer Umfeldüberwachung, einer Wetterüberwachung, etc.), von anderen Maschinen oder von anderen Verkehrsteilnehmern. Diese Umfelddaten werden an das Fahrzeug oder die Maschine kommuniziert.Alternatively, the vehicle or the machine may not have an environment sensor. In this case, the vehicle or machine obtains the environment data from an external infrastructure (e.g. a cloud, traffic monitoring, environment monitoring, weather monitoring, etc.), from other machines or from other road users. This environmental data is communicated to the vehicle or the machine.

Das Fahrzeug oder die Maschine kann Dynamiksensoren aufweisen, um die Dynamik des Fahrzeugs zu erfassen. Das Fahrzeug oder die Maschine weist dabei wenigstens einen Dynamiksensor auf, selbstverständlich kann das Fahrzeug oder die Maschine aber auch mehr als einen Dynamiksensor aufweisen. Durch die Dynamiksensoren werden Dynamikdaten generiert, die sich nach dem jeweiligen Typ der Dynamiksensoren richten. Die Dynamiksensoren können beispielsweise ausgebildet sein als: Beschleunigungssensoren; Geschwindigkeitssensoren; Lenkwinkelsensoren; Lagesensoren, wie z. B. Wanksensoren, Gierratensensoren, Gyrosensoren, Neigungssensoren; Vibrationssensoren; Schlupfsensoren; Bremskraftsensoren. Das Fahrzeug oder die Maschine kann hierbei eine Kombination der eben genannten Sensoren aufweisen.The vehicle or the machine can have dynamic sensors in order to detect the dynamic of the vehicle. The vehicle or the machine has at least one dynamic sensor, but of course the vehicle or the machine can also have more than one dynamic sensor. The dynamic sensors generate dynamic data which are based on the respective type of dynamic sensors. The dynamic sensors can be designed, for example, as: acceleration sensors; Speed sensors; Steering angle sensors; Position sensors, such as B. roll sensors, yaw rate sensors, gyro sensors, inclination sensors; Vibration sensors; Slip sensors; Brake force sensors. The vehicle or the machine can have a combination of the sensors just mentioned.

Alternativ dazu kann das Fahrzeug oder die Maschine keinen Dynamiksensor aufweisen. In diesem Fall bezieht das Fahrzeug oder die Maschine die Dynamikdaten von der externen Infrastruktur, von anderen Maschinen oder von anderen Verkehrsteilnehmern. Diese Dynamikdaten werden an das Fahrzeug oder die Maschine kommuniziert.Alternatively, the vehicle or the machine may not have a dynamic sensor. In this case, the vehicle or machine obtains the dynamic data from the external infrastructure, from other machines or from other road users. These dynamic data are communicated to the vehicle or the machine.

Das Fahrzeug oder die Maschine kann Innenraumsensoren aufweisen, um den Innenraum des Fahrzeugs zu erfassen. Der Innenraum kann im Falle des Fahrzeugs als Fahrgastraum ausgebildet sein. Im Falle der Maschine richtet sich der Innenraum nach der Art der Maschine. Ist die Maschine derart gestaltet, dass ein Nutzer sich in einem Innenraum der Maschine aufhalten kann, z. B. bei einem Kran oder einem feststehenden Bagger, kann der Innenraum dieser Raum sein, in welchem sich der Nutzer befinden kann. Alternativ kann als Innenraum der Maschine ein Raum innerhalb der Maschine betrachtet werden, der überwacht werden kann, beispielsweise ein Getrieberaum bei einer Windenergieanlage, ein Antriebsraum bei einer Arbeits- oder Fertigungsmaschine o. ä. Das Fahrzeug oder die Maschine weist dabei wenigstens einen Innenraumsensor auf, selbstverständlich kann das Fahrzeug oder die Maschine aber auch mehr als einen Innenraumsensor aufweisen. Durch die Innenraumsensoren werden Innenraumdaten generiert, die sich nach dem jeweiligen Typ der Innenraumsensoren richten. Die Innenraumsensoren können beispielsweise ausgebildet sein als: optische Sensoren, z. B. Kameras, Infrarotsensoren; Helligkeitssensoren; akustische Sensoren, z. B. Mikrofone, Ultraschallsensoren; Temperatursensoren; Feuchtesensoren; olfaktorische Sensoren; Vibrationssensoren. Die Innenraumsensoren können hierbei fahrzeugeigene oder maschineneigene Sensoren sein und/oder Innenraumsensoren, die an einem zusätzlichen System vorliegen, welches mit dem Fahrzeug oder die Maschine drahtlos oder kabelgebunden gekoppelt werden kann, beispielsweise an einem mobilen Endgerät wie einem Smartphone, einem Wearable, einem Tablet o. ä. Das Fahrzeug oder die Maschine kann hierbei eine Kombination der eben genannten Sensoren aufweisen. The vehicle or the machine can have interior sensors in order to detect the interior of the vehicle. In the case of the vehicle, the interior can be designed as a passenger compartment. In the case of the machine, the interior depends on the type of machine. Is the machine designed in such a way that a user can stay in an interior of the machine, e.g. B. in the case of a crane or a stationary excavator, the interior space can be this room in which the user can be located. Alternatively, a space within the machine that can be monitored can be viewed as the interior of the machine, for example a gear compartment in a wind turbine, a drive compartment in a work or manufacturing machine, or the like. The vehicle or the machine has at least one interior sensor, Of course, the vehicle or the machine can also have more than one interior sensor. The interior sensors generate interior data that are based on the respective type of interior sensors. The interior sensors can be designed, for example, as: optical sensors, e.g. B. cameras, infrared sensors; Brightness sensors; acoustic sensors, e.g. B. microphones, ultrasonic sensors; Temperature sensors; Humidity sensors; olfactory sensors; Vibration sensors. The interior sensors can be the vehicle's own or the machine's own sensors and / or interior sensors that are present on an additional system that is included with the vehicle or the machine can be coupled wirelessly or by cable, for example to a mobile device such as a smartphone, a wearable, a tablet or the like. The vehicle or the machine can have a combination of the sensors just mentioned.

Alternativ dazu kann das Fahrzeug oder die Maschine keinen Innenraumsensor aufweisen. In diesem Fall bezieht das Fahrzeug oder die Maschine die Innenraumdaten von der externen Infrastruktur, von anderen Maschinen oder von anderen Verkehrsteilnehmern. Diese Innenraumdaten werden an das Fahrzeug oder die Maschine kommuniziert.Alternatively, the vehicle or machine may not have an interior sensor. In this case, the vehicle or machine obtains the interior data from the external infrastructure, from other machines or from other road users. These interior data are communicated to the vehicle or the machine.

Die Umfelddaten, Dynamikdaten und Innenraumdaten werden ausgewertet und zumindest teilweise fusioniert. Dies erfolgt mittels einer Steuereinrichtung, die vorzugsweise als eine fahrzeugeigene oder maschineneigene Steuereinrichtung ausgeformt ist. Alternativ dazu kann die Steuereinrichtung als externe Steuereinrichtung ausgeformt sein, beispielsweise als cloudbasierte Steuereinrichtung. Die Auswertung der Umfelddaten, Dynamikdaten und Innenraumdaten erfolgt derart, dass eine Weiterverarbeitung der Daten ermöglicht ist. Die Umfelddaten, Dynamikdaten und Innenraumdaten werden zumindest teilweise fusioniert, also miteinander verknüpft. Es wird demnach eine Sensordatenfusion durchgeführt. Welche Daten fusioniert werden, hängt von dem Zweck der Fusion ab. Im Allgemeinen soll mittels der Fusion ein umfassendes Bild der aktuellen Situation des Fahrzeugs oder der Maschine generiert werden, so dass die aktuellen Situation bewertet werden kann.The environment data, dynamic data and interior data are evaluated and at least partially merged. This is done by means of a control device, which is preferably designed as a control device that is in-vehicle or in the machine. Alternatively, the control device can be designed as an external control device, for example as a cloud-based control device. The evaluation of the environment data, dynamic data and interior data is carried out in such a way that further processing of the data is possible. The environment data, dynamic data and interior data are at least partially merged, i.e. linked to one another. Accordingly, a sensor data fusion is carried out. Which data is merged depends on the purpose of the merger. In general, the merger is intended to generate a comprehensive picture of the current situation of the vehicle or the machine so that the current situation can be assessed.

Die aktuelle Situation bildet dabei diejenige Situation ab, in welcher sich das Fahrzeug oder der Maschine beispielsweise befindet. Diese aktuelle Situation kann im Falle des Fahrzeugs eine Verkehrssituation sein, z. B. ein Befahren einer Straße, auf der weitere Verkehrsteilnehmer unterwegs sind, und in diesem Zusammenhang ein Erkennen eines bevorstehenden oder erfolgten Unfalls, von Vorrangfahrzeugen wie Feuerwehrfahrzeugen, Polizeifahrzeugen oder dergleichen, ein Erkennen einer Baustelle, ein Erkennen von zur Verfügung stehenden Parkplätzen, ein Erkennen von besonders schutzbedürftigen Verkehrsteilnehmer, wie Kinder, Senioren, Personen mit Handicap etc. Zudem kann die aktuelle Situation im Falle des Fahrzeugs ein Parken oder Halten des Fahrzeugs sein. Die aktuelle Situation kann im Falle der Maschine eine Fertigungssituation, eine Wartung, ein laufender Betrieb, ein Stand-By-Modus o. ä. sein.The current situation represents the situation in which the vehicle or the machine is, for example. In the case of the vehicle, this current situation can be a traffic situation, e.g. B. driving on a road on which other road users are on the way, and in this context recognizing an impending or occurred accident, from priority vehicles such as fire engines, police vehicles or the like, recognizing a construction site, recognizing available parking spaces, recognizing of particularly vulnerable road users, such as children, seniors, people with handicaps, etc. In addition, the current situation in the case of the vehicle can be parking or stopping the vehicle. In the case of the machine, the current situation can be a production situation, maintenance, ongoing operation, stand-by mode or the like.

Diese aktuelle Situation kann alternativ oder zusätzlich dazu eine Umgebungssituation sein, die nicht direkt mit dem Fahrzeug oder der Maschine zusammenhängt, aber Auswirkungen auf z. B. die Fahrt des Fahrzeugs oder den Betrieb der Maschine hat, z. B. eine ungünstige Witterung (z. B. Hagel, Schnee, Regen, Wind, Gewitter etc.), ein ungünstiges Naturereignis (z. B. Feuer, Lawine, Felssturz, Wildwechsel, Erdbeben, Flut etc.) oder ein ungünstiges Kriminalereignis (Überfall, Diebstahl, Verfolgungsjagd).As an alternative or in addition to this, this current situation can be an environmental situation that is not directly related to the vehicle or the machine, but has effects on e.g. B. has the drive of the vehicle or the operation of the machine, z. B. unfavorable weather (e.g. hail, snow, rain, wind, thunderstorm, etc.), an unfavorable natural event (e.g. fire, avalanche, rock fall, deer crossing, earthquake, flood, etc.) or an unfavorable criminal event ( Assault, theft, chase).

Diese aktuelle Situation kann alternativ oder zusätzlich dazu eine Nutzersituation sein, die nicht direkt mit dem Fahrzeug oder der Maschine zusammenhängt, aber Auswirkungen auf die Fahrt des Fahrzeugs oder den Betrieb der Maschine hat, z. B. ein sich verändernder Gesundheitszustand oder Gemütszustand des oder der Nutzer, eine vorhandene Beeinträchtigung des oder der Nutzer, ein Komfort des oder der Nutzer.As an alternative or in addition to this, this current situation can be a user situation that is not directly related to the vehicle or the machine, but has effects on the travel of the vehicle or the operation of the machine, e.g. B. a changing state of health or mood of the user (s), an existing impairment of the user (s), comfort of the user (s).

Diese aktuelle Situation kann alternativ oder zusätzlich dazu eine Zustandssituation sein, die nicht direkt mit dem Fahrzeug oder der Maschine zusammenhängt, aber Auswirkungen auf die Fahrt des Fahrzeugs oder den Betrieb der Maschine hat, z. B. ein Verschleiß oder eine Beschädigung wenigstens einer Fahrzeugkomponente oder wenigstens einer Maschinenkomponente.As an alternative or in addition to this, this current situation can be a state situation that is not directly related to the vehicle or the machine, but has effects on the travel of the vehicle or the operation of the machine, e.g. B. wear or damage to at least one vehicle component or at least one machine component.

Ausgehend von den fusionierten Umfelddaten, Dynamikdaten und Innenraumdaten wird die aktuelle Situation des Fahrzeugs oder der Maschine mittels des trainierten künstlichen neuronalen Netzes bewertet. Das trainierte künstliche neuronale Netz ist speziell zur Bewertung von Situationen trainiert. Das Training erfolgt z. B. vor einer ersten Inbetriebnahme des Fahrzeugs anhand von Trainingsdaten. Zudem kann das Training während eines Betriebs weiterhin erfolgen. Zusätzlich kann das künstliche neuronale Netz durch unterschiedliche Situationen, welchen das Fahrzeug oder die Maschine ausgesetzt ist, weiter trainiert werden. Beispielsweise kann das künstliche neuronale Netz anhand von bereits durchlaufenen Situationen anderer Fahrzeuge oder anderer Maschinen weiter trainiert werden. Diese Trainingsdaten können an das Fahrzeug oder die Maschine kommuniziert werden.Based on the merged environment data, dynamic data and interior data, the current situation of the vehicle or machine is evaluated by means of the trained artificial neural network. The trained artificial neural network is specially trained to evaluate situations. The training takes place z. B. before a first start-up of the vehicle on the basis of training data. In addition, the training can continue to take place during operation. In addition, the artificial neural network can be trained further through different situations to which the vehicle or machine is exposed. For example, the artificial neural network can be trained further on the basis of situations that have already been passed through by other vehicles or other machines. This training data can be communicated to the vehicle or the machine.

Mittels der Bewertung wird festgestellt, in welcher Situation sich das Fahrzeug derzeit befindet und zukünftig mit einer hohen Wahrscheinlichkeit befinden wird. Zukünftig bedeutet hierbei in unmittelbarem Anschluss an die aktuelle Situation, also innerhalb weniger Millisekunden, Sekunden oder Minuten oder ggf. innerhalb einiger Tage. Diese Zeiträume hängen von der jeweiligen Anwendung ab. Beispielsweise kann in einer Verkehrssituation eine Reaktion innerhalb von Millisekunden erforderlich sein, in einer Zustandssituation kann eine Reaktion innerhalb von wenigen Tagen ausreichend sein. In anderen Worten wird diese Situation mittels Mustererkennung ausgehend von bekannten Mustern bewertet. Beispielsweise kann mittels der Bewertung festgestellt werden, ob ein Unfall mit dem Fahrzeug oder mit der Maschine kurz bevorsteht, ob eine Gefahr für das Fahrzeug oder für die Maschine ausgehend von Naturereignissen bestehen wird, ob Komforteinbußen für den oder die Nutzer auftreten werden aufgrund von Einwirkungen der Umgebung auf das Fahrzeug oder auf die Maschine, ob der oder die Nutzer medizinische oder sonstige Hilfe benötigen wird, etc.The assessment is used to determine the situation in which the vehicle is currently and with a high degree of probability it will be in the future. In this context, future means immediately following the current situation, i.e. within a few milliseconds, seconds or minutes or, if necessary, within a few days. These periods depend on the particular application. For example, in a traffic situation a reaction within milliseconds can be required, in a state situation a reaction within a few days can be sufficient. In other words, this situation is assessed by means of pattern recognition on the basis of known patterns. For example, the assessment can be used to determine Whether an accident with the vehicle or with the machine is imminent, whether there will be a danger for the vehicle or for the machine due to natural events, whether there will be a loss of comfort for the user or users due to the effects of the environment on the vehicle or on the machine whether the user (s) will need medical or other help, etc.

Ausgehend von dem Ergebnis der Bewertung wird mittels der Steuereinrichtung die Reaktion des Fahrzeugs eingeleitet. Die Steuereinrichtung ist hier z. B. als ECU oder Domain-ECU, HPC, als Quantencomputer, etc. ausgebildet. Die Steuereinrichtung ist mit den Umfeldsensoren, mit den Dynamiksensoren und mit den Innenraumsensoren verbunden. Diese Verbindung ist kabelgebunden oder drahtlos ausgebildet und derart, dass ein Daten- und Signalaustausch erfolgen kann. Zu diesem Zweck weist die Steuereinrichtung für jeden dieser Sensoren wenigstens eine Schnittstelle auf. Diese Schnittstelle kann beispielsweise als eine Einzelschnittstelle oder eine CAN-Schnittstelle ausgeformt sein, über welche die Verbindung ausgebildet werden kann. Entsprechend weisen die jeweiligen Sensoren ebenfalls wenigstens eine Schnittstelle auf, über welche die Verbindung realisiert werden kann. Die Steuereinrichtung kann zudem eine Speichereinrichtung aufweisen, in welcher Daten abgespeichert werden können. Die Speichereinrichtung kann dabei Bestandteil der Steuereinrichtung sein. Alternativ dazu kann die Speichereinrichtung durch eine Cloud, ein externes Speichermedium o. ä. ausgebildet seinOn the basis of the result of the evaluation, the reaction of the vehicle is initiated by means of the control device. The control device is here z. B. designed as an ECU or domain ECU, HPC, as a quantum computer, etc. The control device is connected to the environment sensors, to the dynamic sensors and to the interior sensors. This connection is wired or wireless and is such that data and signals can be exchanged. For this purpose, the control device has at least one interface for each of these sensors. This interface can be designed, for example, as a single interface or a CAN interface, via which the connection can be established. Correspondingly, the respective sensors also have at least one interface via which the connection can be implemented. The control device can also have a memory device in which data can be stored. The storage device can be part of the control device. As an alternative to this, the storage device can be in the form of a cloud, an external storage medium or the like

Die Steuereinrichtung ist zudem mit Fahrzeug- oder Maschinensystemen derart verbunden, dass die Steuereinrichtung diese Fahrzeug- oder Maschinensysteme ansteuern kann. Genauer gesagt ist die Steuereinrichtung mit der jeweiligen Aktuatorik der Fahrzeug- oder Maschinensysteme verbunden. Die Verbindung kann jeweils drahtlos oder kabelgebunden ausgebildet sein und z. B. über eine Cloud erfolgen. Derartige Fahrzeugsysteme sind z. B. ein Lenksystem, ein Bremssystem, eine Ausgabeeinheit, wie z. B. ein Lautsprecher, ein Vibrationserzeuger, ein Display oder ein Infotainmentsystem, ein Antriebssystem, eine Kommunikationsvorrichtung, eine Klimaanlage, eine Belüftung, eine Beleuchtung, eine Sitzverstellung, eine Sitzheizung, eine Scheibenheizung, Fensterheber, ein aktives Fahrwerksystem, Scheibenwischer, etc. Derartige Maschinensysteme sind z. B. ein Steuerungssystem, ein Bearbeitungssystem, ein Bremssystem, eine Ausgabeeinheit, wie z. B. ein Lautsprecher, ein Vibrationserzeuger, ein Display, eine Eingabeeinheit, z. B. ein Touchdisplay, ein Mikrofon, eine Tastatur, ein Antriebssystem, eine Kommunikationsvorrichtung, eine Kühlung, eine Belüftung, eine Beleuchtung, etc.The control device is also connected to vehicle or machine systems in such a way that the control device can control these vehicle or machine systems. More precisely, the control device is connected to the respective actuators of the vehicle or machine systems. The connection can be wireless or wired and z. B. be done via a cloud. Such vehicle systems are z. B. a steering system, a braking system, an output unit such. B. a loudspeaker, a vibration generator, a display or an infotainment system, a drive system, a communication device, air conditioning, ventilation, lighting, seat adjustment, seat heating, window heating, window lifters, an active chassis system, windshield wipers, etc. Such machine systems are z. B. a control system, a processing system, a braking system, an output unit such. B. a loudspeaker, a vibration generator, a display, an input unit, e.g. B. a touch display, a microphone, a keyboard, a drive system, a communication device, cooling, ventilation, lighting, etc.

Die Reaktion des Fahrzeugs richtet sich hierbei nach der Situation. Für jede mit dem künstlichen neuronalen Netz zu erkennende Situation ist eine spezielle Reaktion vorgesehen. Diese Reaktion ist beispielsweise in der Speichereinrichtung des Fahrzeugs oder in einer externen Speichereinrichtung, z. B. im Cloudspeicher, hinterlegt. Sind die Reaktion in der externen Speichereinrichtung hinterlegt, können diese von dem Fahrzeug oder von der Maschine abgefragt und an das Fahrzeug oder an die Maschine kommuniziert werden. Zu diesem Zweck nutzt das Fahrzeug oder die Maschine die Kommunikationsvorrichtung.The reaction of the vehicle depends on the situation. A special reaction is provided for each situation to be recognized with the artificial neural network. This reaction is, for example, in the memory device of the vehicle or in an external memory device, e.g. B. in cloud storage. If the reaction is stored in the external memory device, it can be queried by the vehicle or by the machine and communicated to the vehicle or to the machine. For this purpose, the vehicle or the machine uses the communication device.

Die Reaktion kann beispielsweise sein: das Ausgeben einer Warnung an den oder die Nutzer und/oder an andere Verkehrsteilnehmer, Personen in der Umgebung, weitere Maschinen oder Tiere, ein Eingriff in das Lenksystem, Bremssystem, Fahrwerksystem und/oder Antriebssystem, ein Anpassen der Beleuchtung, der Belüftung, einer Klimatisierung, einer Sitzposition, einer Scheibenposition, ein Einstellen der Sitzheizung oder der Scheibenheizung, ein Auslösen eines Notrufs, etc. oder eine Kombination aus den eben genannten Reaktionen.The reaction can be, for example: the output of a warning to the user (s) and / or other road users, people in the vicinity, other machines or animals, intervention in the steering system, braking system, chassis system and / or drive system, adjustment of the lighting , ventilation, air conditioning, a seat position, a window position, setting the seat heating or window heating, triggering an emergency call, etc. or a combination of the reactions just mentioned.

Vorteilhaft an dem beschriebenen Verfahren ist, dass es somit möglich ist, ausgehend von der Fusion der Sensordaten von bereits im Fahrzeug oder in der Maschine vorhandenen Sensoren festzustellen, in welcher Situation sich das Fahrzeug oder die Maschine befindet und zukünftig befinden wird. In anderen Worten ist es für das Fahrzeug oder für die Maschine möglich zukünftige Ereignisse intuitiv abzuschätzen und intuitiv darauf zu reagieren, sogar bevor die Ereignisse eintreten oder eintreten würden. Das Fahrzeug oder die Maschine kann also proaktiv reagieren. Dadurch wird das Fahrzeug oder die Maschine sicherer für den oder die Nutzer und für weitere Verkehrsteilnehmer, für Personen im Umfeld des Fahrzeug oder der Maschine, und für die Maschinenumgebung oder Fahrzeugumgebung.The advantage of the described method is that it is thus possible, based on the fusion of the sensor data from sensors already present in the vehicle or in the machine, to determine the situation in which the vehicle or the machine is and will be in the future. In other words, it is possible for the vehicle or the machine to intuitively estimate future events and to react to them intuitively, even before the events occur or would occur. The vehicle or machine can therefore react proactively. This makes the vehicle or the machine safer for the user or users and for other road users, for people in the vicinity of the vehicle or the machine, and for the machine environment or vehicle environment.

Nach einer weiterbildenden Ausführungsform wird zusätzlich wenigstens ein Nutzer mittels der Innenraumsensoren überwacht, wodurch Nutzerdaten generiert werden. Die Nutzerdaten werden zusammen mit den Umfelddaten, den Dynamikdaten und den Innenraumdaten ausgewertet und zumindest teilweise fusioniert.According to a further developing embodiment, at least one user is additionally monitored by means of the interior sensors, as a result of which user data are generated. The user data are evaluated together with the environment data, the dynamic data and the interior data and at least partially merged.

Durch die Innenraumsensoren werden Nutzerdaten generiert, die sich nach dem jeweiligen Typ der Innenraumsensoren richten. Beispielsweise können Nutzerdaten sein: eine Körpertemperatur, eine Sauerstoffsättigung des Blutes oder der Atemluft, ein Hautwiderstand, ein Puls, eine Körpergröße, ein Körpergewicht, ein Alter, ein Geschlecht, ein Gemütszustand, eine Kopfhaltung, eine Körperhaltung, ein Aufmerksamkeit, eine Müdigkeit, eine Gesprächslautstärke, eine Sprache, ein Abstand zwischen Atemzügen, eine Intensität der Atemzüge, eine Feuchtigkeit der Haut, etc.The interior sensors generate user data based on the respective type of interior sensors. For example, user data can be: a body temperature, oxygen saturation of the blood or breathing air, a skin resistance, a pulse, a body size, a body weight, an age, a gender, a state of mind, a head posture, a posture, an alertness, a tiredness, a Conversation volume, a language, a distance between breaths, an intensity of the breaths, a moisture of the skin, etc.

Ausgehend von den fusionierten Nutzerdaten, Umfelddaten, Dynamikdaten und Innenraumdaten wird die aktuelle Situation des Fahrzeugs oder der Maschine mittels des trainierten künstlichen neuronalen Netzes bewertet wie bereits beschrieben. Ausgehend von dem Ergebnis der Bewertung wird mittels der Steuereinrichtung die Reaktion des Fahrzeugs oder der Maschine eingeleitet wie bereits beschrieben.Based on the merged user data, environment data, dynamic data and interior data, the current situation of the vehicle or the machine is evaluated by means of the trained artificial neural network, as already described. On the basis of the result of the evaluation, the reaction of the vehicle or the machine is initiated by means of the control device, as already described.

Mittels der zusätzlichen Nutzerdaten ist es möglich, die aktuelle Situation besser zu bewerten, da weitere Sensordaten in diese Bewertung einfließen. Zudem kann die Reaktion gezielt auf den jeweiligen Nutzer abgestimmt werden. Ist beispielsweise das Einleiten einer Notbremsung nötig, kann diese auf die Körperhaltung des Nutzers abgestimmt werden. Beispielsweise kann die Sitzposition des Nutzers aufgrund seiner Körperhaltung verändert werden, so dass die Auswirkungen der Notbremsung auf den Nutzer so gering wie möglich sind.Using the additional user data, it is possible to better evaluate the current situation, since further sensor data are included in this evaluation. In addition, the reaction can be specifically tailored to the respective user. If, for example, it is necessary to initiate emergency braking, this can be tailored to the user's posture. For example, the seated position of the user can be changed based on his / her posture, so that the effects of the emergency braking on the user are as small as possible.

Nach einer weiterbildenden Ausführungsform werden zusätzlich Umfelddaten, Dynamikdaten, Innenraumdaten und Nutzerdaten wenigstens eines weiteren Fahrzeugs und/oder der externen Infrastruktur in die Auswertung und Fusion einbezogen, wobei diese an das Fahrzeug oder die Maschine kommuniziert werden. Diese Kommunikation erfolgt im Falle des Fahrzeugs mittels sogenannter C2X-Kommunikation. Diese Kommunikation erfolgt im Falle der Maschine mittels sogenannter X2X-Kommunikation. Alternativ kann die Kommunikation über eine zwischengeschaltete Zentrale, beispielsweise einen Cloudspeicher, erfolgen.According to a further-developing embodiment, environment data, dynamic data, interior data and user data of at least one further vehicle and / or the external infrastructure are also included in the evaluation and fusion, these being communicated to the vehicle or the machine. In the case of the vehicle, this communication takes place using what is known as C2X communication. In the case of the machine, this communication takes place using what is known as X2X communication. Alternatively, communication can take place via an interconnected control center, for example a cloud storage device.

Das weitere Fahrzeug bewegt sich dabei z. B. in der gleichen Umgebung wie das Fahrzeug. Beispielsweise kann das Fahrzeug sich auf dem gleichen Streckenabschnitt bewegen wie das weitere Fahrzeug. Wiederum beispielsweise kann das weitere Fahrzeug sich im selben Umkreis, in derselben Stadt, in derselben Region, im selben Land etc. bewegen, wie das Fahrzeug. Das weitere Fahrzeug weist Umfeldsensoren, Dynamiksensoren und Innenraumsensoren auf, die jeweils Umfelddaten, Dynamikdaten, Innenraumdaten sowie Nutzerdaten generieren.The other vehicle moves z. B. in the same environment as the vehicle. For example, the vehicle can move on the same route section as the other vehicle. Again, for example, the further vehicle can move in the same area, in the same city, in the same region, in the same country, etc., as the vehicle. The further vehicle has surroundings sensors, dynamic sensors and interior sensors, which each generate environmental data, dynamic data, interior data and user data.

Die externe Infrastruktur kann sich dabei in der gleichen Umgebung wie das Fahrzeug oder die Maschine. Beispielsweise kann die externe Infrastruktur sich auf dem gleichen Streckenabschnitt befinden wie das Fahrzeug. Wiederum beispielsweise kann die externe Infrastruktur sich im selben Umkreis, in derselben Stadt, in derselben Region, im selben Land etc. befinden, wie das Fahrzeug.The external infrastructure can be in the same environment as the vehicle or the machine. For example, the external infrastructure can be on the same route section as the vehicle. Again, for example, the external infrastructure can be located in the same area, in the same city, in the same region, in the same country, etc., as the vehicle.

Die Fusion der Umfelddaten, Dynamikdaten, Innenraumdaten sowie Nutzerdaten des weiteren Fahrzeugs oder der externen Infrastruktur mit den Umfelddaten, Dynamikdaten, Innenraumdaten sowie Nutzerdaten des Fahrzeugs oder der Maschine ist vorteilhaft, da die Umfelddaten, Dynamikdaten, Innenraumdaten sowie Nutzerdaten des Fahrzeugs plausibilierst werden können. Zudem kann die Auswertung der Umfelddaten, Dynamikdaten, Innenraumdaten sowie Nutzerdaten des Fahrzeugs oder der Maschine genauer werden.The fusion of the environment data, dynamic data, interior data and user data of the other vehicle or the external infrastructure with the environment data, dynamic data, interior data and user data of the vehicle or machine is advantageous, since the environment data, dynamic data, interior data and user data of the vehicle can be checked for plausibility. In addition, the evaluation of the environment data, dynamic data, interior data and user data of the vehicle or machine can become more precise.

Nach einer weiterbildenden Ausführungsform erfolgt die Auswertung und die Fusion mittels einer Steuereinrichtung des Fahrzeugs oder der Maschine oder mittels einer externen Steuereinrichtung. Dies wurde bereits beschrieben.According to a further-developing embodiment, the evaluation and the fusion take place by means of a control device of the vehicle or the machine or by means of an external control device. This has already been described.

Nach einer weiterbildenden Ausführungsform wird das trainierte künstliche neuronale Netz anhand der aktuellen Situation und der Reaktion des Fahrzeugs oder der Maschine weiter trainiert. In anderen Worten lernt das Fahrzeug oder die Maschine aufgrund der Situationen, welchen es ausgesetzt ist, für weitere Situationen hinzu. Dadurch wird die künstliche Intuition des Fahrzeugs oder der Maschine verbessert. Dies wurde bereits beschrieben.According to a further development embodiment, the trained artificial neural network is trained further on the basis of the current situation and the reaction of the vehicle or the machine. In other words, the vehicle or the machine learns for further situations based on the situations to which it is exposed. This improves the artificial intuition of the vehicle or machine. This has already been described.

Nach einer weiterbildenden Ausführungsform sind die Umfeldsensoren als optische Sensoren ausgebildet, die Innenraumsensoren als akustische Sensoren und als Vibrationssensoren ausgebildet, und die Dynamiksensoren als Beschleunigungssensoren und als Gyrosensoren ausgebildet. Die generierten Umfelddaten umfassen optische Daten. Die generierten Innenraumdaten umfassen akustische Daten und Vibrationsdaten. Die generierten Dynamikdaten umfassen Beschleunigungsdaten und Lagedaten. Das Ergebnis der Bewertung ist das Feststellen einer lockeren Radbefestigung. Die Reaktion ist als das Ausgeben einer Warnung an den wenigstens einen Nutzer ausgebildet. In anderen Worten wird der wenigstens eine Nutzer mittels einer visuellen und/oder akustischen und/oder haptischen und/oder olfaktorischen Warnung auf eine Beschädigung einer Fahrzeugkomponente, nämlich eine lockere Radbefestigung des Fahrzeugs hingewiesen.According to a further developing embodiment, the environment sensors are designed as optical sensors, the interior sensors are designed as acoustic sensors and vibration sensors, and the dynamic sensors are designed as acceleration sensors and gyro sensors. The generated environment data include optical data. The generated interior data include acoustic data and vibration data. The dynamic data generated include acceleration data and position data. The result of the evaluation is the determination of a loose wheel attachment. The reaction is designed as the output of a warning to the at least one user. In other words, the at least one user is informed of damage to a vehicle component, namely a loose wheel attachment of the vehicle, by means of a visual and / or acoustic and / or haptic and / or olfactory warning.

Um festzustellen, dass die Radbefestigung locker ist, werden die Umfelddaten, die Dynamikdaten und die Innenraumdaten miteinander verknüpft, also fusioniert. Durch eine lockere Radbefestigung ändert sich das Fahrverhalten des Fahrzeugs, nämlich das Beschleunigungs- und Bremsverhalten, sowie die Lage des Fahrzeugs im Raum. In order to determine that the wheel attachment is loose, the environment data, the dynamic data and the interior data are linked to one another, i.e. merged. A loose wheel attachment changes the driving behavior of the vehicle, namely the acceleration and braking behavior, as well as the position of the vehicle in space.

Auch die Geräuschkulisse im Innenraum des Fahrzeugs ändert sich. Zudem werden geänderte Vibrationen in den Innenraum eingetragen. Des Weiteren ist eine lockere Radbefestigung auch visuell zu erkennen. Aus diesem Zusammenspiel der eben genannten Sensordaten kann mittels des künstlichen neuronalen Netzes ein Muster erkannt werden, welches für eine lockere Radbefestigung hinterlegt ist. Durch das Zusammenspiel der Sensordaten kann somit für die aktuelle Situation festgestellt werden, dass die Radbefestigung nicht mehr fest angezogen, sondern gelockert ist. Zudem kann festgestellt werden, dass zukünftig eine weitere Lockerung der Radbefestigung erfolgen wird, wenn keine Abhilfe geschaffen wird.The background noise in the interior of the vehicle also changes. In addition, changed vibrations are introduced into the interior. A loose wheel attachment can also be seen visually. From this interaction of the sensor data just mentioned, a pattern can be recognized by means of the artificial neural network, which is stored for a loose wheel attachment. Through the interaction of the sensor data, it can thus be determined for the current situation that the wheel fastening is no longer firmly tightened, but rather loosened. In addition, it can be determined that the wheel fastening will be loosened further in the future if no remedial action is taken.

Nach einer weiterbildenden Ausführungsform sind die Umfeldsensoren als optische Sensoren, als Temperartursensoren und als Feuchtesensoren ausgebildet, die Innenraumsensoren als optische Sensoren, als Feuchtesensoren und als akustische Sensoren ausgebildet, und die Dynamiksensoren als Beschleunigungssensoren, als Gierratensensoren, als Drehmomentsensoren, als Lenkwinkelsensoren, und als Gyrosensoren ausgebildet. Die Umfelddaten umfassen optische Daten, Feuchtedaten und Temperaturdaten. Die Innenraumdaten umfassen optische Daten, akustische Daten, Temperarturdaten, und Feuchtedaten. Die Dynamikdaten umfassen Beschleunigungsdaten, Girerratendaten, Lenkwinkeldaten und Lagedaten. Das Ergebnis der Bewertung ist das Feststellen eines Nässefilms und einer Nebelwand auf einer Fahrbahn. Die Reaktion ist als das Ausgeben einer Warnung an den wenigstens einen Nutzer und als das Anpassen der Dynamik des Fahrzeugs ausgebildet.According to a further development, the environment sensors are designed as optical sensors, as temperature sensors and as humidity sensors, the interior sensors as optical sensors, as humidity sensors and as acoustic sensors, and the dynamic sensors as acceleration sensors, as yaw rate sensors, as torque sensors, as steering angle sensors and as gyro sensors educated. The environmental data include optical data, humidity data and temperature data. The interior data include optical data, acoustic data, temperature data and humidity data. The dynamic data include acceleration data, girerrat data, steering angle data and position data. The result of the evaluation is the determination of a film of moisture and a wall of smoke on a roadway. The reaction is designed as the output of a warning to the at least one user and as the adaptation of the dynamics of the vehicle.

Das Fahrzeug bewegt sich auf der Fahrbahn mit einer gewissen Geschwindigkeit. Auf der Fahrbahn befindet sich ein Nässefilm und/oder eine Nebelwand. Die optischen Sensoren ermitteln als Umfelddaten die durch die Nebelwand und das aufgewirbelte Wasser von weiteren Fahrzeugen geänderten Sichtverhältnisse. Die Temperatursensoren ermitteln als Umfelddaten eine Temperatur, die typisch für das Auftreten von Nebel ist. Die Feuchtesensoren ermitteln als Umfelddaten eine erhöhte Luftfeuchtigkeit, welche in Form von Nebel ausfällt. Die Innenraumsensoren können bei geöffnetem Fenster/Verdeck/Schiebedach ebenfalls eine Temperatur ermitteln, die typisch für das Auftreten von Nebel ist. Zudem können die Innenraumsensoren bei geöffnetem Fenster/Verdeck/Schiebedach eine erhöhe Luftfeuchtigkeit ermitteln.The vehicle moves on the roadway at a certain speed. There is a film of moisture and / or a smoke screen on the roadway. The optical sensors determine, as environmental data, the visibility conditions changed by the smoke screen and the water thrown up by other vehicles. The temperature sensors determine a temperature as environmental data that is typical for the occurrence of fog. The humidity sensors determine, as environmental data, an increased air humidity, which occurs in the form of fog. When the window / convertible top / sliding roof is open, the interior sensors can also determine a temperature that is typical for the occurrence of fog. In addition, the interior sensors can determine increased humidity when the window / convertible top / sliding roof is open.

Die akustischen Sensoren ermitteln als Innenraumdaten die durch den Nässefilm auf der Fahrbahn geänderten Innenraumgeräusche. Die Temperartursensoren ermitteln als Innenraumdaten die durch den Nässefilm auf der Fahrbahn und den Nebel angepasste Klimatisierung, die eine verstärkte Entfeuchtung durchführen muss. Die Beschleunigungssensoren und Drehmomentsensoren ermitteln als Dynamikdaten ein geändertes Beschleunigungsverhalten durch den Nässefilm. Die Gierratensensoren ermitteln als Dynamikdaten in Verbindung mit einer Rotationsbewegung ein geändertes Gierverhalten durch den Nässefilm. Die Lenkwinkelsensoren ermitteln in Kombination mit einem Lenkmoment als Dynamikdaten ein geändertes Lenkverhalten durch den Nässefilm.As interior data, the acoustic sensors determine the interior noise changed by the film of moisture on the roadway. As interior data, the temperature sensors determine the air conditioning that has been adapted by the film of moisture on the roadway and the fog, which has to carry out increased dehumidification. The acceleration sensors and torque sensors determine as dynamic data a changed acceleration behavior due to the wet film. The yaw rate sensors determine, as dynamic data in connection with a rotational movement, a changed yaw behavior due to the wet film. The steering angle sensors, in combination with a steering torque as dynamic data, determine a changed steering behavior due to the film of moisture.

Um festzustellen, dass ein Nässefilm und eine Nebelwand auf der Fahrbahn vorliegen, werden die Umfelddaten, die Dynamikdaten und die Innenraumdaten miteinander verknüpft, also fusioniert. Durch den Nässefilm ändert sich das Fahrverhalten des Fahrzeugs. Auch die Sichtverhältnisse für den Nutzer sowie die Geräuschkulisse im Innenraum des Fahrzeugs und in der Umgebung ändern sich. Auch die vorherrschende Feuchtigkeit und Temperatur in der Umgebung des Fahrzeugs und ggf. im Innenraum ändern sich. Aus diesem Zusammenspiel der beschriebenen Sensordaten kann mittels des künstlichen neuronalen Netzes ein Muster erkannt werden, welches für eine Nebelwand und einen Nässefilm auf der Fahrbahn charakteristisch ist. Durch das Zusammenspiel der Sensordaten kann somit für die aktuelle Situation festgestellt werden, dass die Fahrbahn nass ist und im Nebel liegt.In order to determine that there is a film of moisture and a wall of smoke on the roadway, the environment data, the dynamic data and the interior data are linked to one another, i.e. merged. The vehicle's driving behavior changes as a result of the film of moisture. The visibility for the user and the background noise in the interior of the vehicle and in the surrounding area also change. The prevailing humidity and temperature in the vicinity of the vehicle and possibly in the interior also change. From this interaction of the described sensor data, a pattern can be recognized by means of the artificial neural network, which is characteristic of a smoke screen and a film of moisture on the roadway. Through the interaction of the sensor data, it can thus be determined for the current situation that the road is wet and in the fog.

Als Reaktion wird der wenigstens eine Nutzer akustisch und/oder visuell und/oder haptisch vor dem Nässefilm und der Nebelwand gewarnt. Zudem wird die Dynamik des Fahrzeugs angepasst an den Nässefilm und die Nebelwand. Beispielsweise wird ein Betrag einer zulässigen Beschleunigung reduziert im Gegensatz zu einer Beschleunigung auf trockener Straße. Zusätzlich kann ein zulässiger Lenkwinkel angepasst werden im Vergleich zu einem Lenkwinkel auf trockener Straße. As a reaction, the at least one user is warned acoustically and / or visually and / or haptically about the film of moisture and the smoke screen. In addition, the dynamics of the vehicle are adapted to the film of moisture and the smoke screen. For example, an amount of allowable acceleration is reduced in contrast to acceleration on a dry road. In addition, a permissible steering angle can be adjusted compared to a steering angle on a dry road.

Zusätzlich kann eine maximale zulässige Geschwindigkeit reduziert werden im Vergleich zu einer Geschwindigkeit auf trockener Straße.In addition, a maximum allowable speed can be reduced compared to a speed on a dry road.

Die Steuereinrichtung für das Fahrzeug oder für die Maschine ist mit wenigstens einem Umfeldsensor und/oder mit wenigstens einem Dynamiksensoren und/oder mit wenigstens einem Innenraumsensor verbindbar. Das heißt, dass die Steuereinrichtung mit wenigstens einem von diesen Sensoren verbunden ist, wenn die Steuereinrichtung in einem Fahrzeug oder in einer Maschine verwendet wird. Die Steuereinrichtung, der wenigstens eine Umfeldsensor, der wenigstens eine Dynamiksensor und der wenigstens eine wurden bereits in der vorherigen Beschreibung beschrieben. Ebenso wurde die Verbindung der Steuereinrichtung mit den eben genannten Sensoren bereits in der vorherigen Beschreibung beschrieben.The control device for the vehicle or for the machine can be connected to at least one environment sensor and / or to at least one dynamic sensor and / or to at least one interior sensor. That is, the control device is connected to at least one of these sensors when the control device is used in a vehicle or in a machine. The control device, the at least one environment sensor, the at least one dynamic sensor and the at least one have already been described in the previous description. Likewise, the connection of the control device with the just mentioned Sensors already described in the previous description.

Die Steuereinrichtung weist Mittel auf, um das Verfahren durchzuführen, das bereits in der vorherigen Beschreibung beschrieben wurde. Diese Mittel können beispielsweise als Computerprogrammprodukt ausgeführt sein, das auf der Steuereinrichtung abläuft. Die Steuereinrichtung leitet ausgehend von der Bewertung der aktuellen Situation eine Reaktion ein. Dieses Einleiten erfolgt intuitiv auf Basis der Bewertung und auf Basis der fusionierten Sensordaten. Dies wurde bereits beschrieben.The control device has means to carry out the method that has already been described in the previous description. These means can be implemented, for example, as a computer program product that runs on the control device. The control device initiates a reaction based on the assessment of the current situation. This initiation takes place intuitively on the basis of the assessment and on the basis of the merged sensor data. This has already been described.

Das Computerprogrammprodukt umfasst Befehle, die bei einer Ausführung des Programms durch die bereits beschriebene Steuereinrichtung, das Verfahren ausführen, das ebenfalls bereits beschrieben worden ist. Das Computerprogrammprodukt kann einen Programmcode umfassen, der diese Befehle enthält. Der Programmcode kann beispielsweise auf einem Datenträger oder als ein herunterladbarer Datenstrom verkörpert sein.The computer program product comprises commands which, when the program is executed by the control device already described, execute the method which has also already been described. The computer program product can comprise a program code that contains these commands. The program code can be embodied, for example, on a data carrier or as a downloadable data stream.

Das Fahrzeug weist die Steuereinrichtung, die bereits in der vorherigen Beschreibung beschrieben wurde, auf. Zudem weist das Fahrzeug den wenigstens einen Umfeldsensor und/oder wenigstens einen Dynamiksensor und/oder wenigstens einen Innenraumsensor auf, die ebenfalls bereits beschrieben wurden. Die Steuereinrichtung ist mit dem wenigstens einen Umfeldsensor, und/oder mit dem wenigstens einen Dynamiksensor und/oder mit dem wenigstens einen Innenraumsensor verbunden. Dies wurde ebenfalls bereits beschrieben. Das Fahrzeug ist dazu eingerichtet, automatisierte Funktionen durchzuführen, beispielsweise autonom zu fahren.The vehicle has the control device that has already been described in the previous description. In addition, the vehicle has the at least one environment sensor and / or at least one dynamic sensor and / or at least one interior sensor, which have also already been described. The control device is connected to the at least one environment sensor and / or to the at least one dynamic sensor and / or to the at least one interior sensor. This has also already been described. The vehicle is set up to carry out automated functions, for example to drive autonomously.

Die Maschine weist die Steuereinrichtung, die bereits in der vorherigen Beschreibung beschrieben wurde, auf. Die Maschine weist wenigstens einen Umfeldsensor und/oder wenigstens einen Dynamiksensor und/oder wenigstens einen Innenraumsensor auf, die ebenfalls bereits beschrieben wurden. Die Steuereinrichtung ist mit dem wenigstens einen Umfeldsensor, und/oder mit dem wenigstens einen Dynamiksensor und/oder mit dem wenigstens einen Innenraumsensor verbunden. Dies wurde ebenfalls bereits beschrieben. Die Maschine ist dazu eingerichtet, automatisierte Funktionen und Operationen durchzuführen.The machine has the control device which has already been described in the previous description. The machine has at least one environment sensor and / or at least one dynamic sensor and / or at least one interior sensor, which have also already been described. The control device is connected to the at least one environment sensor and / or to the at least one dynamic sensor and / or to the at least one interior sensor. This has also already been described. The machine is set up to perform automated functions and operations.

Anhand der im Folgenden erläuterten Figuren werden verschiedene Ausführungsbeispiele und Details der Erfindung näher beschrieben. Es zeigen:

• 1 eine schematische Darstellung eines Fahrzeugs nach einem Ausführungsbeispiel,
• 2 eine schematische Darstellung eines Verfahrens, das von dem Fahrzeug aus 1 ausgeführt wird.

Various exemplary embodiments and details of the invention are described in more detail with the aid of the figures explained below. Show it:

• 1 a schematic representation of a vehicle according to an embodiment,
• 2 a schematic representation of a method from the vehicle 1 is performed.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1 nach einem Ausführungsbeispiel. Das Fahrzeug 1 befindet sich in einem Umfeld 2. Zudem befindet sich im selben Umfeld 2 ein weiteres Fahrzeug 51 und eine externe Infrastruktur 52.. Das Fahrzeug 1 befindet sich in einer aktuellen Situation S. 1 shows a schematic representation of a vehicle 1 according to an embodiment. The vehicle 1 is in an environment 2 . It is also located in the same environment 2 another vehicle 51 and an external infrastructure 52 .. The vehicle 1 is in a current situation S. .

Das Fahrzeug 1 weist einen Umfeldsensor 3 auf. Dieser Umfeldsensor 3 dient dazu das Umfeld 2 des Fahrzeugs 1 zu erfassen. Der Umfeldsensor 3 kann beispielsweise als bildgebender Sensor, als akustischer Sensor, als Vibrationssensor, als olfaktorischer Sensor etc. ausgebildet sein. Der Umfeldsensor 3 generiert aus dem erfassten Umfeld 2 Umfelddaten.The vehicle 1 has an environment sensor 3 on. This environment sensor 3 the environment serves this purpose 2 of the vehicle 1 capture. The environment sensor 3 can for example be designed as an imaging sensor, an acoustic sensor, a vibration sensor, an olfactory sensor, etc. The environment sensor 3 generated from the recorded environment 2 Environment data.

Zudem weist das Fahrzeug 1 einen Dynamiksensor 5 auf. Dieser Dynamiksensor 5 dient dazu eine Dynamik des Fahrzeugs 1 zu erfassen. Dieser Dynamiksensor 5 kann beispielsweise als Beschleunigungssensor, als Geschwindigkeitssensor, als Gyrosensor, als Gierratensensor, als Neigungssensor, als Wanksensor etc. ausgebildet sein. Aus dieser Dynamik werden mittels des Dynamiksensors 5 Dynamikdaten generiert.In addition, the vehicle has 1 a dynamic sensor 5 on. This dynamic sensor 5 a dynamic of the vehicle is used for this 1 capture. This dynamic sensor 5 can for example be designed as an acceleration sensor, a speed sensor, a gyro sensor, a yaw rate sensor, a tilt sensor, a roll sensor, etc. These dynamics are generated using the dynamics sensor 5 Dynamic data generated.

Das Fahrzeug 1 weist zudem einen Innenraumsensor 7 auf. Dieser Innenraumsensor 7 dient dazu einen Innenraum 6 des Fahrzeugs 1 zu erfassen. Zudem dient der Innenraumsensor 7 dazu, einen Nutzer 8, welcher sich im Innenraum des Fahrzeugs aufhält, zu erfassen. Der Innenraumsensor 7 kann beispielsweise als bildgebender Sensor, als akustischer Sensor, als Vibrationssensor, als olfaktorischer Sensor etc. ausgebildet sein. Der Innenraumsensor 7 generiert durch das Erfassen des Innenraums 6 Innenraumdaten. Zudem generiert der Innenraumsensor 7 durch das Erfassen des Nutzers 8 Nutzerdaten.The vehicle 1 also has an interior sensor 7th on. This interior sensor 7th serves an interior 6th of the vehicle 1 capture. The interior sensor is also used 7th about this, a user 8th which is located in the interior of the vehicle. The interior sensor 7th can for example be designed as an imaging sensor, an acoustic sensor, a vibration sensor, an olfactory sensor, etc. The interior sensor 7th generated by capturing the interior 6th Interior data. In addition, the interior sensor generates 7th by capturing the user 8th User data.

Selbstverständlich kann das Fahrzeug 1 mehr als einen Umfeldsensor 3, mehr als einen Dynamiksensor 5, mehr als einen Innenraumsensor 7 aufweisen. Weist das Fahrzeug 1 mehr als einen Umfeldsensor 3 auf, können diese Umfeldsensoren 3 voneinander unterschiedlich oder gleichförmig zueinander ausgebildet sein. Weist das Fahrzeug 1 mehr als einen Innenraumsensor 7 auf, können diese Innenraumsensoren 7 voneinander unterschiedlich oder gleichförmig zueinander ausgebildet sein. Weist das Fahrzeug 1 mehr als einen Dynamiksensor 5 auf, können diese Dynamiksensoren 5 voneinander unterschiedlich oder gleichförmig zueinander ausgebildet sein. Weist das Fahrzeug 1 weniger als die beschriebenen Sensoren 3, 5, 7 auf, können diese durch Cloudinformationen und/oder Infrastrukturdaten der externen Infrastruktur 52 und/oder durch die Daten des weiteren Fahrzeugs 51 ergänzt werden.Of course, the vehicle can 1 more than one environment sensor 3 , more than a dynamic sensor 5 , more than one indoor sensor 7th exhibit. Instructs the vehicle 1 more than one environment sensor 3 on, these environment sensors can 3 be different from one another or formed uniformly to one another. Instructs the vehicle 1 more than one indoor sensor 7th on, can these interior sensors 7th be different from one another or formed uniformly to one another. Instructs the vehicle 1 more than a dynamic sensor 5 on, can these dynamic sensors 5 be different from one another or formed uniformly to one another. Instructs the vehicle 1 less than the sensors described 3 , 5 , 7th this can be done through cloud information and / or infrastructure data from the external infrastructure 52 and / or by the data of the further vehicle 51 can be added.

Das Fahrzeug 1 weist zudem eine Steuereinrichtung 11 auf. Diese Steuereinrichtung 11 weist eine Partition auf, auf welcher ein künstliches neuronales Netz 9 abläuft. Die Steuereinrichtung 11 ist mit dem Umfeldsensor 3, mit dem Dynamiksensor 5, mit dem Innenraumsensor 7 sowie mit einer Kommunikationseinheit 10 und einer Ausgabeeinheit 4 verbunden. Alternativ kann das künstliche neuronale Netz 9 auf der externen Steuereinrichtung 12 laufen. Diese Verbindungen sind jeweils derart ausgebildet, dass ein Daten- und Signalaustausch erfolgen kann. Diese Verbindungen sind entweder drahtlos oder kabelgebunden ausgebildet.The vehicle 1 also has a control device 11 on. This control device 11 has a partition on which an artificial neural network 9 expires. The control device 11 is with the environment sensor 3 , with the dynamic sensor 5 , with the interior sensor 7th as well as with a communication unit 10 and an output unit 4th connected. Alternatively, the artificial neural network 9 on the external control device 12th Running. These connections are each designed in such a way that data and signals can be exchanged. These connections are either wireless or wired.

Die Kommunikationseinheit 10 dient dazu, Daten zwischen dem Fahrzeug 1 und beispielsweise einer externen Steuereinrichtung 12 oder dem weiteren Fahrzeug 51 oder noch weiteren Einrichtung auszutauschen. Mittels der Kommunikationseinheit 10 kann das Fahrzeug 1 zudem Daten und Signale empfangen. Die fahrzeugexterne Steuereinrichtung 12 kann beispielsweise als eine Cloud eingerichtet sein.The communication unit 10 is used to share data between the vehicle 1 and for example an external control device 12th or the other vehicle 51 or to exchange other equipment. By means of the communication unit 10 can the vehicle 1 also receive data and signals. The vehicle-external control device 12th can for example be set up as a cloud.

Die Ausgabeeinheit 4 ist im Innenraum 6 des Fahrzeugs angeordnet und kann auf haptischem, akustischem, olfaktorischem und/oder visuellem Weg Informationen an den Nutzer 8 ausgeben. Zu diesem Zweck wird die Ausgabeeinheit 4 von der Steuereinrichtung 11 angesteuert.The output unit 4th is in the interior 6th of the vehicle and can provide information to the user in a haptic, acoustic, olfactory and / or visual way 8th output. For this purpose the output unit 4th from the control device 11 controlled.

Die Steuereinrichtung 11 dient dazu, die generierten Umfelddaten, die generierten Dynamikdaten, die generierten Innenraumdaten und die generierten Nutzerdaten auszuwerten und teilweise zu fusionieren. Mittels des trainierten künstlichen neuronalen Netzes 9 kann die Steuereinrichtung 11 die aktuelle Situation S bewerten. Alternativ kann dies in der externen Steuereinrichtung 12 erfolgen. Dies ist im Verfahren in 2 näher dargestellt.The control device 11 serves to evaluate and partially merge the generated environment data, the generated dynamic data, the generated interior data and the generated user data. Using the trained artificial neural network 9 can the control device 11 the current situation S. evaluate. Alternatively, this can be done in the external control device 12th respectively. This is in the procedure in 2 shown in more detail.

2 zeigt eine schematische Darstellung eines Verfahrens V das von dem Fahrzeug aus 1 ausgeführt wird. Bei dem Verfahren V handelt es sich um ein Verfahren V zum Bereitstellen einer künstlichen Intuition K für das Fahrzeug oder für eine nicht dargestellte Maschine. 2 shows a schematic representation of a method V that from the vehicle 1 is performed. In the process V it is a process V to provide an artificial intuition K for the vehicle or for a machine, not shown.

In einem ersten Schritt 101 wird mittels des Umfeldsensors ein Umfeld erfasst, wodurch Umfelddaten U generiert werden. In einem zweiten Schritt 102, der gleichzeitig zum ersten Schritt 101 oder zeitlich versetzt zum ersten Schritt 101 ablaufen kann, wird eine Dynamik mittels des Dynamiksensors erfasst, wodurch Dynamikdaten D generiert werden. In einem dritten Schritt 103, welcher gleichzeitig oder zeitlich versetzt zu dem ersten Schritt 101 und/oder dem zweiten Schritt 102 ablaufen kann, wird mittels des Innenraumsensors ein Innenraum erfasst, wodurch Innenraumdaten I generiert werden. In einem vierten Schritt 104, welcher zusätzlich zu dem ersten Schritt 101, zu dem zweiten Schritt 102 und zu dem dritten Schritt 103 ablaufen kann, wird der Nutzer, der sich im Innenraum des Fahrzeugs oder der Maschine aufhält, mittels des Innenraumsensors überwacht, wodurch Nutzerdaten N generiert werden. Dieser vierte Schritt 104 kann gleichzeitig oder zeitlich versetzt zu dem ersten Schritt 101, zu dem zweiten Schritt 102 und/oder zu dem dritten Schritt 103 ablaufen.In a first step 101 an environment is recorded by means of the environment sensor, whereby environment data U to be generated. In a second step 102 that is at the same time as the first step 101 or staggered to the first step 101 can run, a dynamic is detected by means of the dynamic sensor, thereby dynamic data D. to be generated. In a third step 103 which is at the same time or offset in time to the first step 101 and / or the second step 102 can run, an interior is detected by means of the interior sensor, whereby interior data I. to be generated. In a fourth step 104 which is in addition to the first step 101 , to the second step 102 and to the third step 103 can run, the user who is in the interior of the vehicle or the machine is monitored by means of the interior sensor, whereby user data N to be generated. This fourth step 104 can be simultaneous or staggered to the first step 101 , to the second step 102 and / or to the third step 103 expire.

In einem fünften Schritt 105, welcher zeitlich nach dem ersten Schritt 101, nach dem zweiten Schritt 102, nach dem dritten Schritt 103 und nach dem ggf. vierten Schritt 104 abläuft, werden sowohl die Umfelddaten U als auch die Dynamikdaten D als auch die Innenraumdaten I und gegebenenfalls die Nutzerdaten N ausgewertet und teilweise miteinander fusioniert. Diese Auswertung sowie die Sensordatenfusion erfolgt mittels der Steuereinrichtung des Fahrzeugs oder der Maschine oder mittels der externen Steuereinrichtung.In a fifth step 105 which time after the first step 101 , after the second step 102 , after the third step 103 and after the fourth step, if applicable 104 expires, both the environment data U as well as the dynamic data D. as well as the interior data I. and, if applicable, the user data N evaluated and partially merged with each other. This evaluation as well as the sensor data fusion takes place by means of the control device of the vehicle or the machine or by means of the external control device.

In einem sechsten Schritt 106 wird ausgehend von den ausgewerteten und fusionierten Umfelddaten U, Dynamikdaten D, Innenraumdaten I und gegebenenfalls Nutzdaten N die aktuelle Situation S, in welcher sich das Fahrzeug befindet, mittels eines trainierten künstlichen neuronalen Netzes 9 bewertet. Diese Bewertung erfolgt auf der Steuereinrichtung des Fahrzeugs oder der Maschine oder auf der externen Steuereinrichtung.In a sixth step 106 is based on the evaluated and merged environmental data U , Dynamic data D. , Interior data I. and, if applicable, user data N the current situation S. , in which the vehicle is located, by means of a trained artificial neural network 9 rated. This evaluation takes place on the control device of the vehicle or the machine or on the external control device.

In einem siebten Schritt 107 wird ausgehend von dem Ergebnis der Bewertung mittels der Steuereinrichtung eine Reaktion R des Fahrzeugs oder der Maschine eingeleitet. Diese Reaktion R richtet sich nach der Bewertung sowie nach einem Reaktionsvermögen-des Fahrzeugs oder der Maschine. Das Fahrzeug führt sodann die Reaktion R aus.In a seventh step 107 a reaction is based on the result of the evaluation by means of the control device R. of the vehicle or machine. This reaction R. depends on the assessment as well as on the ability of the vehicle or machine to react. The vehicle then conducts the response R. the end.

Der fünfte Schritt 105 und der sechste Schritt 106 werden zusammengefasst als künstliche Intuition K bezeichnet. Mittels der künstlichen Intuition K ist es dem Fahrzeug oder der Maschine möglich, auf Situationen, die ausgehend von der aktuellen Situation S zukünftig mit einer sehr hohen Wahrscheinlichkeit eintreten werden, intuitiv zu reagieren. Es wird damit eine menschliche Intuition nachgebildet.The fifth step 105 and the sixth step 106 are summarized as artificial intuition K designated. Using artificial intuition K It is possible for the vehicle or the machine to respond to situations based on the current situation S. in the future there is a very high probability of reacting intuitively. It is used to simulate a human intuition.

Das abgebildete Verfahren V gibt eine Vielzahl von Anwendungsmöglichkeiten wieder. Es können sämtliche Sensoren, die das Fahrzeug oder die Maschine aufweist, miteinander fusioniert werden. Somit kann auf jegliche mögliche Situation intuitiv reagiert werden.The illustrated procedure V reflects a variety of possible uses. All sensors that the vehicle or the machine has can be fused with one another. This means that you can react intuitively to any possible situation.

Die hier gezeigten Beispiele sind nur beispielhaft gewählt. Beispielsweise können in das Verfahren zusätzliche Informationen aus einer Cloud einfließen, die beispielsweise von der externen Infrastruktur, von weiteren Verkehrsteilnehmern, von weiteren Fahrzeugen o. ä. stammen. Der Umfeldsensor, der Innenraumsensor sowie der Dynamiksensor können als fahrzeugeigene Sensoren ausgebildet sein, wie in 1 gezeigt. Alternativ können einzelne oder sämtliche dieser Sensoren in einer externen Infrastruktur, in einem weiteren Fahrzeug o.ä. vorliegen.The examples shown here are only selected as examples. For example, additional information from a cloud can flow into the method, for example from the external infrastructure, from other road users, from other vehicles or the like. The environment sensor, the interior sensor and the dynamics sensor can be designed as the vehicle's own sensors, as in FIG 1 shown. Alternatively, some or all of these sensors can be present in an external infrastructure, in another vehicle or the like.

BezugszeichenlisteList of reference symbols

11

Fahrzeugvehicle

22

Umfeldenvironment

33

UmfeldsensorEnvironment sensor

44th

AusgabeeinheitOutput unit

55

DynamiksensorDynamic sensor

66th

Innenrauminner space

77th

InnenraumsensorIndoor sensor

88th

NutzerUsers

99

trainiertes künstliches neuronales Netztrained artificial neural network

1010

KommunikationseinheitCommunication unit

1111

SteuereinrichtungControl device

1212th

fahrzeugexterne Steuereinrichtungvehicle-external control device

5151

weiteres Fahrzeuganother vehicle

5252

externe Infrastruktur external infrastructure

101101

erster Schrittfirst step

102102

zweiter Schrittsecond step

103103

dritter SchrittThird step

104104

vierter Schrittfourth step

105105

fünfter Schrittfifth step

106106

sechster Schrittsixth step

107107

siebter Schritt seventh step

DD.

DynamikdatenDynamic data

II.

InnenraumdatenInterior data

KK

künstliche Intuitionartificial intuition

NN

NutzerdatenUser data

RR.

Reaktionreaction

SS.

Situationsituation

UU

UmfelddatenEnvironment data

VV

Verfahrenprocieedings

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

• DE 102018128453 A1 [0004]DE 102018128453 A1 [0004]
• DE 112016002232 T5 [0005]DE 112016002232 T5 [0005]
• DE 102012209810 A1 [0006]DE 102012209810 A1 [0006]
• DE 102018109951 A1 [0007]DE 102018109951 A1 [0007]
• DE 102019104845 A1 [0008]DE 102019104845 A1 [0008]
• DE 102018211122 A1 [0009]DE 102018211122 A1 [0009]

Claims (11)

Verfahren (V) zum Bereitstellen einer künstlichen Intuition (K) für ein Fahrzeug (1) oder für eine Maschine, wobei - ein Umfeld (2) des Fahrzeugs (1) oder der Maschine mittels Umfeldsensoren (3) des Fahrzeugs (1) erfasst wird, wodurch Umfelddaten (U) generiert werden, - eine Dynamik des Fahrzeugs (1) oder der Maschine mittels Dynamiksensoren (5) des Fahrzeugs (1) erfasst wird, wodurch Dynamikdaten (D) generiert werden, - ein Innenraum (6) des Fahrzeugs (1) oder der Maschine mittels Innenraumsensoren (7) erfasst wird, wodurch Innenraumdaten (I) generiert werden, - die Umfelddaten (U), die Dynamikdaten (D) und die Innenraumdaten (I) ausgewertet und zumindest teilweise fusioniert werden, - ausgehend von den fusionierten Umfelddaten (U), Dynamikdaten (D) und Innenraumdaten (I) eine aktuelle Situation (S) des Fahrzeugs (1) oder der Maschine mittels eines trainierten künstlichen neuronalen Netzes (9) bewertet wird, - ausgehend von einem Ergebnis der Bewertung mittels einer Steuereinrichtung (11) eine Reaktion (R) des Fahrzeugs (1) oder der Maschine eingeleitet wird.Method (V) for providing an artificial intuition (K) for a vehicle (1) or for a machine, wherein - an environment (2) of the vehicle (1) or the machine is detected by means of environment sensors (3) of the vehicle (1), whereby environment data (U) are generated, - a dynamic of the vehicle (1) or the machine is recorded by means of dynamic sensors (5) of the vehicle (1), whereby dynamic data (D) are generated, - an interior (6) of the vehicle (1) or the machine is detected by means of interior sensors (7), whereby interior data (I) are generated, - the environment data (U), the dynamic data (D) and the interior data (I) are evaluated and at least partially merged, - Based on the merged environment data (U), dynamic data (D) and interior data (I), a current situation (S) of the vehicle (1) or the machine is evaluated by means of a trained artificial neural network (9), - Based on a result of the evaluation by means of a control device (11), a reaction (R) of the vehicle (1) or the machine is initiated. Verfahren (V) nach Anspruch 1, wobei zusätzlich wenigstens ein Nutzer (8) mittels der Innenraumsensoren (7) überwacht wird, wodurch Nutzerdaten (N) generiert werden, wobei die Nutzerdaten (N) zusammen mit den Umfelddaten (U), den Dynamikdaten (D) und den Innenraumdaten (I) ausgewertet und zumindest teilweise fusioniert werden.Procedure (V) according to Claim 1 , wherein at least one user (8) is additionally monitored by means of the interior sensors (7), whereby user data (N) are generated, the user data (N) together with the environment data (U), the dynamic data (D) and the interior data (I ) are evaluated and at least partially merged. Verfahren (V) nach Anspruch 2, wobei zusätzlich Umfelddaten (U), Dynamikdaten (D), Innenraumdaten (I) und Nutzerdaten (N) wenigstens eines weiteren Fahrzeugs (51) und/oder einer externen Infrastruktur (52) in die Auswertung und Fusion einbezogen werden, wobei diese an das Fahrzeug (1) oder die Maschine kommuniziert werden.Procedure (V) according to Claim 2 , with additional environment data (U), dynamic data (D), interior data (I) and user data (N) of at least one further vehicle (51) and / or an external infrastructure (52) being included in the evaluation and fusion, these being sent to the Vehicle (1) or the machine can be communicated. Verfahren (V) nach einem der vorhergehenden Ansprüche, wobei die Auswertung und die Fusion mittels einer Steuereinrichtung (11) des Fahrzeugs (1) oder der Maschine oder mittels einer externen Steuereinrichtung (12) erfolgt.Method (V) according to one of the preceding claims, wherein the evaluation and the fusion are carried out by means of a control device (11) of the vehicle (1) or the machine or by means of an external control device (12). Verfahren (V) nach einem der vorhergehenden Ansprüche, wobei das trainierte künstliche neuronale Netz (9) anhand der aktuellen Situation (S) und der Reaktion (R) des Fahrzeugs (1) oder der Maschine weiter trainiert wird.Method (V) according to one of the preceding claims, wherein the trained artificial neural network (9) is trained further on the basis of the current situation (S) and the reaction (R) of the vehicle (1) or the machine. Verfahren (V) nach einem der vorhergehenden Ansprüche, wobei die Umfeldsensoren (3) als optische Sensoren ausgebildet sind, wobei die Innenraumsensoren (7) als akustische Sensoren und als Vibrationssensoren ausgebildet sind, wobei die Dynamiksensoren (5) als Beschleunigungssensoren und als Gyrosensoren ausgebildet sind, wobei die Umfelddaten (U) optische Daten umfassen, wobei die Innenraumdaten (I) akustische Daten und Vibrationsdaten umfassen, wobei die Dynamikdaten (D) Beschleunigungsdaten und Lagedaten umfassen, wobei das Ergebnis der Bewertung das Feststellen einer lockeren Radbefestigung des Fahrzeugs (1) ist, wobei die Reaktion (R) als das Ausgeben einer Warnung an den wenigstens einen Nutzer (8) ausgebildet ist.Method (V) according to one of the preceding claims, wherein the environment sensors (3) are designed as optical sensors, wherein the interior sensors (7) are designed as acoustic sensors and as vibration sensors, wherein the dynamic sensors (5) are designed as acceleration sensors and gyrosensors , the environment data (U) comprising optical data, the interior data (I) comprising acoustic data and vibration data, the dynamic data (D) comprising acceleration data and position data, the result of the evaluation being the determination of a loose wheel attachment of the vehicle (1) , wherein the reaction (R) is designed as the output of a warning to the at least one user (8). Verfahren (V) nach einem der Ansprüche 1 bis 5, wobei die Umfeldsensoren (3) als optische Sensoren, als Temperartursensoren und als Feuchtesensoren ausgebildet sind, wobei die Innenraumsensoren (7) als optische Sensoren, als Temperartursensoren, als Feuchtesensoren und als akustische Sensoren ausgebildet sind, wobei die Dynamiksensoren (5) als Beschleunigungssensoren, als Drehmomentsensoren, als Gierratensensoren, und als Lenkwinkelsensoren ausgebildet sind, wobei die Umfelddaten (U) optische Daten, Feuchtedaten und Temperaturdaten umfassen, wobei die Innenraumdaten (I) optische Daten, akustische Daten, Temperarturdaten, und Feuchtedaten umfassen, wobei die Dynamikdaten (D) Beschleunigungsdaten, Girerratendaten, und Lenkwinkeldaten umfassen, wobei das Ergebnis der Bewertung das Feststellen eines Nässefilms und einer Nebelwand auf einer Fahrbahn ist, wobei die Reaktion (R) als das Ausgeben einer Warnung an den wenigstens einen Nutzer (8) und das Anpassen der Dynamik des Fahrzeugs ausgebildet ist.Method (V) according to one of the Claims 1 until 5 , the environment sensors (3) being designed as optical sensors, as temperature sensors and as humidity sensors, wherein the interior sensors (7) are designed as optical sensors, as temperature sensors, as humidity sensors and as acoustic sensors, the dynamic sensors (5) as acceleration sensors, are designed as torque sensors, as yaw rate sensors, and as steering angle sensors, the environment data (U) comprising optical data, humidity data and temperature data, the interior data (I) comprising optical data, acoustic data, temperature data, and humidity data, the dynamic data (D) Acceleration data, girerratdaten, and steering angle data, wherein the result of the evaluation is the detection of a wet film and a wall of fog on a roadway, the reaction (R) as outputting a warning to the at least one user (8) and adjusting the dynamics of the Vehicle is trained. Steuereinrichtung (11) für ein Fahrzeug (1) oder für eine Maschine, wobei die Steuereinrichtung (11) mit wenigstens einem Umfeldsensor (3) und/oder mit wenigstens einem Dynamiksensoren (5) und/oder mit wenigstens einem Innenraumsensor (7) verbindbar ist, wobei die Steuereinrichtung (11) Mittel aufweist, um das Verfahren (V) nach einem der vorherigen Ansprüche durchzuführen.Control device (11) for a vehicle (1) or for a machine, the control device (11) being connectable to at least one environment sensor (3) and / or to at least one dynamic sensor (5) and / or to at least one interior sensor (7) wherein the control device (11) has means to carry out the method (V) according to one of the preceding claims. Computerprogrammprodukt umfassend Befehle, die bei einer Ausführung des Programms durch eine Steuereinrichtung (11) nach Anspruch 8, das Verfahren nach einem der Ansprüche 1 bis 4 ausführen.Computer program product comprising instructions which, when the program is executed by a control device (11) Claim 8 , the procedure according to one of the Claims 1 until 4th To run. Fahrzeug (1) aufweisend eine Steuereinrichtung (11) nach Anspruch 8, wenigstens einen Umfeldsensor (3) und/oder wenigstens einen Dynamiksensor (5) und/oder wenigstens einen Innenraumsensor (7), wobei die Steuereinrichtung (11) mit dem wenigstens einen Umfeldsensor (3), und/oder mit dem wenigstens einen Dynamiksensor (5) und/oder mit dem wenigstens einen Innenraumsensor (7) verbunden ist.Vehicle (1) having a control device (11) according to Claim 8 , at least one Environment sensor (3) and / or at least one dynamics sensor (5) and / or at least one interior sensor (7), wherein the control device (11) with the at least one environment sensor (3) and / or with the at least one dynamics sensor (5) and / or is connected to the at least one interior sensor (7). Maschine aufweisend eine Steuereinrichtung (11) nach Anspruch 8, wenigstens einen Umfeldsensor (3) und/oder wenigstens einen Dynamiksensor (5) und/oder wenigstens einen Innenraumsensor (7), wobei die Steuereinrichtung (11) mit dem wenigstens einen Umfeldsensor (3), und/oder mit dem wenigstens einen Dynamiksensor (5) und/oder mit dem wenigstens einen Innenraumsensor (7) verbunden ist.Machine having a control device (11) according to Claim 8 , at least one environment sensor (3) and / or at least one dynamics sensor (5) and / or at least one interior sensor (7), wherein the control device (11) with the at least one environment sensor (3) and / or with the at least one dynamics sensor ( 5) and / or is connected to the at least one interior sensor (7).

Images