AUTOMATISIERTE ERKENNUNG EINES ANORMALEN VERHALTENS EINES VERKEHRSTEILNEHMERS AUTOMATED DETECTION OF ABNORMAL BEHAVIOR OF A TRAFFIC PARTICIPANT
Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, ein Verfahren zum Ausführen eines so trainierten künstlichen neuronalen Netzes in einem Fahrzeug, ein ebensolches Fahrzeug, ein System mit einem Versuchsfahrzeug zum Trainieren eines künstlichen neuronalen Netzes zur Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, sowie ein Computerprogrammprodukt und ein computerlesbares Medium jeweils zur Ausführung der jeweiligen Verfahren. The invention relates to a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, a method for executing an artificial neural network trained in this way in a vehicle, a similar vehicle, a system with a test vehicle for training an artificial neural network for the detection of abnormal behavior of road traffic participants, as well as a computer program product and a computer-readable medium in each case for the execution of the respective method.
Aufgabe der Erfindung ist es, das automatisierte bzw. autonome Fahren mit einem Fahrzeug im Straßenverkehr zu verbessern. The object of the invention is to improve automated or autonomous driving with a vehicle in road traffic.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. The invention results from the features of the independent claims. Advantageous further developments and refinements are the subject matter of the dependent claims.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, aufweisend die Schritte: A first aspect of the invention relates to a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, comprising the steps:
- Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer durch eine an einem Versuchsfahrzeug angeordnete Versuchsfahrzeugsensoreinheit, - Determination of first data about a first road user by a test vehicle sensor unit arranged on a test vehicle,
- Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer durch eine externe Sensoreinheit, wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, - Determination of second data about the first road user by an external sensor unit, wherein the external sensor unit is arranged stationary in the area of a road or is arranged on an aircraft,
- Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und - Training the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural Network, and
- Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
Die externe Sensoreinheit ist bevorzugt an einem Luftfahrzeug, insbesondere einem unbemannten Luftfahrzeug wie einem Quadrocopter, einem Hexacopter, einem Oktocopter, oder an einer Starrflügel-Drohne angeordnet. Alternativ bevorzugt dazu ist die externe Sensoreinheit in einem Bereich einer Straße, auf der das Versuchsfahrzeug unterwegs ist, stationär angeordnet, das heißt an einer fixen Einrichtung wie einer Straßenlaterne, einer Warnbake, einem Masten eines Verkehrszeichens, einer Ampel, oder anderen Bauten insbesondere an einer Kreuzung angeordnet. - Saving the trained artificial neural network in a memory unit for later execution in the vehicle, the saved trained artificial neural network being designed to be executed with first data currently recorded by a vehicle sensor unit of a vehicle about a second road user as the only input of the artificial neural network to become. The external sensor unit is preferably arranged on an aircraft, in particular an unmanned aircraft such as a quadrocopter, a hexacopter, an octocopter, or on a fixed-wing drone. Alternatively, preferably, the external sensor unit is arranged in a stationary manner in an area of a road on which the test vehicle is traveling, i.e. on a fixed device such as a street lamp, a warning beacon, a mast of a traffic sign, a traffic light, or other structures, in particular on a Intersection arranged.
Durch die externe Sensoreinheit und die Versuchsfahrzeugsensoreinheit ergeben sich zwei Informationsquellen, um Daten über das Verhalten des ersten Verkehrsteilnehmers zu gewinnen. Dies erleichtert vorteilhaft das akkurate Trainieren des künstlichen neuronalen Netzes, da mittels der externen Sensoreinheit, die naturgemäß von oben herab auf die Fahrbahn und insbesondere auf die Kreuzung auf den ersten Verkehrsteilnehmer herab blickt, näherungsweise vollkommen exakte Daten über das Verhalten des ersten Verkehrsteilnehmers vorliegen, die unter Umständen durch die bloße Beobachtung durch die Versuchsfahrzeugsensoreinheit nicht in ausreichendem Maße vorliegen würden, da diese nicht auf die Straße und insbesondere die Kreuzung mit dem ersten Verkehrsteilnehmer herab blickt. So lassen sich vorteilhaft sogenannte "ground-truth" Daten gewinnen, wobei dieser Begriff insbesondere im Bereich des maschinellen Lernens dann verwendet wird, wenn zu Trainingszwecken vollständige und fehlerfreie Datensätze im Eingang verwendet werden, sodass ein Fehler im maschinellen Lernen aufgrund von unvollständigen oder fehlerhaften Datensätzen praktisch ausgeschlossen werden kann und das maschinelle Lernen bestmöglich erfolgt. The external sensor unit and the test vehicle sensor unit result in two sources of information in order to obtain data on the behavior of the first road user. This advantageously facilitates the accurate training of the artificial neural network, since by means of the external sensor unit, which naturally looks down from above at the road and especially at the intersection at the first road user, approximately completely exact data about the behavior of the first road user are available Under certain circumstances, the mere observation by the test vehicle sensor unit would not be present to a sufficient extent, since it does not look down on the road and in particular the intersection with the first road user. So-called "ground truth" data can advantageously be obtained, this term being used in particular in the area of machine learning when complete and error-free data sets are used in the input for training purposes, so that an error in machine learning is due to incomplete or incorrect data sets can be practically ruled out and machine learning takes place in the best possible way.
Ein künstliches neuronales Netz ist im Wesentlichen eine anpassbare Funktion, die mittels Eingangsdaten und Ausgangsdaten und mittels einer Kostenfunktion eine Abbildung zwischen den Eingangsdaten und den Ausgangsdaten erzeugen kann. Im Stand der Technik sind hierbei eine Vielzahl verschiedener Architekturen von neuronalen Netzen bekannt. An artificial neural network is essentially an adaptable function that can generate a mapping between the input data and the output data using input data and output data and using a cost function. A large number of different neural network architectures are known in the prior art.
Solche künstliche neuronale Netze werden gemäß dem ersten Aspekt der Erfindung verwendet, um einen deterministischen Zusammenhang herzustellen zwischen sensorisch erfassten Daten über das Verhalten des ersten Verkehrsteilnehmers und einem Maß oder bereits einer Entscheidung, ob das Verhalten des ersten Verkehrsteilnehmers einem normalen Verhalten oder einem anormalen Verhalten eines Verkehrsteilnehmers entspricht.
Unter dem Verhalten des (ersten) Verkehrsteilnehmers wird insbesondere eine Trajektorienführung verstanden, die bevorzugt eine Ortsinformation, einen Geschwindigkeitsverlauf und einen Beschleunigungsverlauf entlang der Trajektorie und optional weiterhin bevorzugt auch eine Seitenbeschleunigung des ersten Verkehrsteilnehmers umfasst. According to the first aspect of the invention, such artificial neural networks are used to establish a deterministic relationship between sensor-recorded data about the behavior of the first road user and a measure or a decision as to whether the behavior of the first road user is normal behavior or abnormal behavior Road user. The behavior of the (first) road user is understood to mean, in particular, a trajectory guidance that preferably includes location information, a speed profile and an acceleration profile along the trajectory and optionally also preferably a lateral acceleration of the first road user.
Was ein normales Verhalten und was ein anormales Verhalten des ersten Verkehrsteilnehmers ist, ist dabei im Wesentlichen freie Definitionssache und es ist Aufgabe eines Ingenieurs, dies zu definieren. Eine solche Definition ist Teil des Trainieren des künstlichen neuronalen Netzes und ist dem Ausgang des neuronalen Netzes zugeordnet. Das heißt, dass das neuronale Netz zum Zwecke des Trainierens mit den ermittelten ersten Daten und den ermittelten zweiten Daten im Eingangskanal des neuronalen Netzes gespeist wird, sodass das neuronale Netz auf diese Eingänge hin einen Ausgang berechnet, wobei der Ausgang ein Maß für die Normalität oder die Anormalität des Verhaltens des ersten Verkehrsteilnehmers widerspiegelt, und zumindest während des Trainierens des künstlichen neuronalen Netzes der Ausgang einem vorgegebenen Maß oder bereits eine Entscheidung zum normalen oder anomalen Verhalten des ersten Verkehrsteilnehmers durch Vorgabe zugeordnet wird. What is normal behavior and what is abnormal behavior of the first road user is essentially a matter of free definition and it is the task of an engineer to define this. Such a definition is part of the training of the artificial neural network and is assigned to the output of the neural network. This means that the neural network is fed for the purpose of training with the determined first data and the determined second data in the input channel of the neural network, so that the neural network calculates an output for these inputs, the output being a measure of normality or reflects the abnormality of the behavior of the first road user, and at least during the training of the artificial neural network, the output is assigned to a predetermined level or a decision on the normal or abnormal behavior of the first road user is assigned by default.
So sind beim Trainieren des neuronalen Netzes Eingangswerte und Ausgangswerte bekannt, und insbesondere durch Minimieren einer Kostenfunktion, die eine Differenz zwischen den auf Basis der aktuellen Parameter des künstlichen neuronalen Netzes berechneten Ausgangswerten und den vorgegebenen Ausgangswerten umfasst, werden die Parameter so angeglichen, dass das künstliche neuronale Netz den Zusammenhang zwischen den Eingangswerten und Ausgangswerten während der Trainingsphase immer besser trifft, bis letztendlich das neuronale Netz so weit trainiert ist, dass es zuverlässig das Maß bezüglich dem normalen oder anormalen Verhalten des ersten Verkehrsteilnehmers selbst bestimmen kann. Dabei finden übliche Methoden des überwachten bzw. unüberwachten Lernens Einsatz. When training the neural network, input values and output values are known, and in particular by minimizing a cost function that includes a difference between the output values calculated on the basis of the current parameters of the artificial neural network and the specified output values, the parameters are adjusted so that the artificial neural network, the relationship between the input values and output values during the training phase always better meets, until ultimately the neural network is trained to such an extent that it can reliably determine the extent of the normal or abnormal behavior of the first road user itself. The usual methods of supervised and unsupervised learning are used.
Das Maß zum normalen oder anormalen Verhalten kann dabei insbesondere ein numerischer Wert sein, oder ein symbolischer Wert, worauf hin jeweils eine Entscheidung insbesondere durch Abgleich des numerischen Wertes oder des symbolischen Wertes mit einem Grenzwert getroffen werden kann, ob normales oder anormales Verhalten des ersten Verkehrsteilnehmers vorliegt, oder alternativ bevorzugt ist das Maß bereits eine binäre Variable und enthält direkt die Entscheidung, ob normales oder anomales Verhalten des ersten Verkehrsteilnehmers vorliegt, was insbesondere durch eine
Aktivierungsfunktion erfolgt, die den Ausgang des künstlichen neuronalen Netzes auf insbesondere 'O' oder auf ’T abbildet. The measure of normal or abnormal behavior can in particular be a numerical value or a symbolic value, whereupon a decision can be made, in particular by comparing the numerical value or the symbolic value with a limit value, whether normal or abnormal behavior of the first road user is present, or alternatively, the measure is preferably already a binary variable and directly contains the decision as to whether the behavior of the first road user is normal or abnormal, which is in particular due to a Activation function takes place, which maps the output of the artificial neural network to, in particular, 'O' or 'T'.
Bevorzugt wird das Trainieren des künstlichen neuronalen Netzes gemäß dem ersten Aspekt der Erfindung in einer großen Vielzahl an Wiederholungen ausgeführt, um ausreichend viele und ausreichend verschiedenartige erste Daten und zweite Daten von der Versuchsfahrzeugsensoreinheit bzw. der externen Sensoreinheit zu generieren und eine zuverlässige Abbildung durch das künstliche neuronale Netz zu erzeugen. Durch die Wiederholung des ersten Aspekts der Erfindung werden somit erste Daten und zweite Daten insbesondere an einer großen Vielzahl von ersten Verkehrsteilnehmern erzeugt und damit das künstliche neuronale Netz trainiert. The training of the artificial neural network according to the first aspect of the invention is preferably carried out in a large number of repetitions in order to generate a sufficient number and sufficiently different types of first data and second data from the test vehicle sensor unit or the external sensor unit and a reliable mapping by the artificial generate neural network. By repeating the first aspect of the invention, first data and second data are generated, in particular on a large number of first road users, and the artificial neural network is thus trained.
Es ist eine vorteilhafte Wirkung der Erfindung, dass mit praktisch gesehen vollständigen und fehlerfreien Daten (sogenannten "ground truth" Daten) über den ersten Verkehrsteilnehmer das künstliche neuronale Netz trainiert wird, was die Qualität des Trainings des künstlichen neuronalen Netzes erheblich verbessert, wohingegen das trainierte künstliche neuronale Netz im Fahrzeug auf Basis von aktuellen ersten Daten aus der Fahrzeugsensoreinheit zuverlässig betrieben werden kann. Ein weiterer Vorteil der internen Sensoreinheit ist, dass diese durch ihre naturgemäße Anordnung oberhalb einer Straße oder an einem Luftfahrzeug nicht direkt von einem anderen Verkehrsteilnehmer bewertet wird, sodass zur Trainingsphase des künstlichen neuronalen Netzes das Training von dem anderen Verkehrsteilnehmer unbemerkt bleiben kann, wodurch sich unbeeinflusste ermittelte Daten über den jeweiligen erfassten Verkehrsteilnehmer ergeben. It is an advantageous effect of the invention that the artificial neural network is trained with practically complete and error-free data (so-called "ground truth" data) about the first road user, which significantly improves the quality of the training of the artificial neural network, whereas the trained artificial neural network in the vehicle can be operated reliably on the basis of current first data from the vehicle sensor unit. Another advantage of the internal sensor unit is that, due to its natural arrangement above a road or on an aircraft, it is not evaluated directly by another road user, so that the training can go unnoticed by the other road user during the training phase of the artificial neural network determined data about the respective recorded road user result.
Gemäß einer vorteilhaften Ausführungsform dient das Verfahren weiterhin zum Ausführen des künstlichen neuronalen Netzes in dem Fahrzeug und weist weiterhin die Schritte auf:According to an advantageous embodiment, the method is also used to execute the artificial neural network in the vehicle and furthermore has the following steps:
- Ausführen des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von der am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und - Execution of the stored trained artificial neural network in the vehicle while the vehicle is driving with current first data about the second road user determined by the vehicle sensor unit arranged on the vehicle, the currently determined first data of the vehicle sensor unit serving as the only input of the artificial neural network , and
- Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt. - Based on the output of the artificial neural network, decide whether the second road user is behaving abnormally.
Gemäß dieser Ausführungsform wird ein künstliches neuronales Netz, das gemäß dem ersten Aspekt der Erfindung trainiert wurde, in einem weiteren Fahrzeug verwendet, um
damit das Verhalten der Verkehrsteilnehmer zu überwachen. Das weitere Fahrzeug ist nicht notwendigerweise gleich dem Versuchsfahrzeug, kann es jedoch sein. Insofern erklärt sich, dass das Fahrzeug das mittels des Versuchsfahrzeugs trainierte künstliche neuronale Netz verwenden kann, da die Abbildung, welche das künstliche neuronale Netz wiedergibt, prinzipiell vom Trägerfahrzeug unabhängig ist. Vorteilhaft kann daher durch diese Ausführungsform ein künstliches neuronales Netz, welches mittels eines Versuchsfahrzeuges und mit einer externen Sensoreinheit bezüglich eines ersten Verkehrsteilnehmers trainiert wurde, auf einem beliebigen Fahrzeug verwendet werden, um das Verhalten eines zweiten Verkehrsteilnehmers, der vom ersten Verkehrsteilnehmer unabhängig ist, zu überwachen. According to this embodiment, an artificial neural network that has been trained according to the first aspect of the invention is used in another vehicle to to monitor the behavior of road users. The additional vehicle is not necessarily the same as the test vehicle, but it can be. This explains why the vehicle can use the artificial neural network trained by means of the test vehicle, since the mapping which the artificial neural network reproduces is in principle independent of the carrier vehicle. With this embodiment, an artificial neural network, which was trained with a test vehicle and with an external sensor unit with respect to a first road user, can advantageously be used on any vehicle in order to monitor the behavior of a second road user who is independent of the first road user .
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug, aufweisend die Schritte: Another aspect of the invention relates to a method for executing an artificial neural network in a vehicle, comprising the steps:
- Bereitstellen eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten- Provision of an artificial neural network, the artificial neural network with first, one of which is arranged on a test vehicle
Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer externen und stationär im Bereich einer Straße oder an einem Luftfahrzeug angeordneten Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, Test vehicle sensor unit determined, data about a first road user and with second, determined by an external and stationary sensor unit arranged in the area of a road or on an aircraft, data about the first road user has been trained as an input of the artificial neural network, and the artificial neural network Network has been trained with a predetermined level related to the behavior of the first road user for classification into normal or abnormal behavior of the first road user as a predetermined output of the artificial neural network,
- Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer durch eine am Fahrzeug angeordnete Fahrzeugsensoreinheit, - Acquisition of current first data about a second road user by a vehicle sensor unit arranged on the vehicle,
- Ausführen des trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von einer am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und - Execution of the trained artificial neural network in the vehicle while the vehicle is in motion with current first data about the second road user determined by a vehicle sensor unit arranged on the vehicle, the currently determined first data of the vehicle sensor unit serving as the only input of the artificial neural network, and
- Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt. - Based on the output of the artificial neural network, decide whether the second road user is behaving abnormally.
Die zum ersten Aspekt der Erfindung gemachten Erklärungen und die zur bevorzugten Ausführungsform des ersten Aspekts der Erfindung gemachten Erklärungen können uneingeschränkt auf den zweiten obigen Aspekt der Erfindung übertragen werden.
Gemäß einerweiteren vorteilhaften Ausführungsform erfolgt das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik. Bevorzugt ist die Metrik ein Grenzwert, gegen den der Ausgang des künstlichen neuronalen Netzes verglichen wird. Vorteilhaft wird hierdurch eine binäre Aussage ausgehend von einem numerischen Wert des Ausgangs des künstlichen neuronalen Netzes darüber getroffen, ob ein normales oder ein anomales Verhalten des zweiten Verkehrsteilnehmers vorliegt. The explanations made for the first aspect of the invention and the explanations made for the preferred embodiment of the first aspect of the invention can be applied without restriction to the second aspect of the invention above. According to a further advantageous embodiment, the decision as to whether the behavior of the second road user is abnormal is made by comparing the output of the artificial neural network with a predefined metric. The metric is preferably a limit value against which the output of the artificial neural network is compared. In this way, a binary statement is advantageously made based on a numerical value of the output of the artificial neural network about whether the second road user is behaving normally or abnormally.
Gemäß einerweiteren vorteilhaften Ausführungsform weist das Verfahren weiterhin den Schritt auf: According to a further advantageous embodiment, the method furthermore has the step:
- Ausführen einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers positiv ausfällt, wobei die vorgegebene Reaktion zumindest eine aus den folgenden ist: Ausgeben einer Warnung an den Fahrer des Fahrzeugs, Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird, Ändern von Parametern eines automatischen oder autonomen Steueralgorithmus des Fahrzeugs derart, dass die Fahrweise des Fahrzeugs auf Basis des autonomen Steueralgorithmus defensiver wird, Ändern einer geplanten Trajektorie des Fahrzeugs. Execution of a predetermined reaction if the decision about abnormal behavior of the second road user is positive, the predetermined reaction being at least one of the following: issuing a warning to the driver of the vehicle, reducing the degree of autonomy with which the vehicle is currently operated changing parameters of an automatic or autonomous control algorithm of the vehicle in such a way that the driving style of the vehicle becomes more defensive on the basis of the autonomous control algorithm, changing a planned trajectory of the vehicle.
Das Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird kann einerseits in einem Abschalten einiger automatisierenden Komponenten des Fahrzeugs bestehen, weitergehend bis zum Übergeben der vollständigen und alleinigen Kontrollautorität über das Fahrzeug an den Fahrer des Fahrzeugs. The reduction of the degree of autonomy with which the vehicle is currently operated can consist on the one hand of switching off some of the automating components of the vehicle, further up to handing over the complete and sole control authority over the vehicle to the driver of the vehicle.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die ersten Daten kinematische Informationen über den ersten Verkehrsteilnehmer und/oder den zweiten Verkehrsteilnehmer. Kinematische Informationen über den ersten Verkehrsteilnehmer beziehen sich insbesondere auf Informationen, die eine Position oder eine zeitliche Ableitung der Position des ersten Verkehrsteilnehmers wiedergeben. So können kinematische Informationen eine Geschwindigkeit, eine Beschleunigung, eine zeitliche Ableitung der Beschleunigung, insbesondere in Fahrtrichtung, und weiterhin insbesondere auch rechtwinklig zur aktuellen Fahrtrichtung, umfassen. Auch können die kinematischen Informationen relativ zu Beschränkungen und Verkehrsregeln bereitgestellt werden, insbesondere Geschwindigkeiten relativ zu einer Geschwindigkeitsbeschränkung, Lenkbewegungen relativ zu einer Spur, insbesondere zu gestrichelten oder durchgezogenen Markierungen, und generell relativ zu anderen durch allgemeine Regeln oder speziellen Verkehrszeichen oder Leuchtanzeigen gemachten Beschränkungen.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die zweiten Daten jeweils kinematische Informationen über den ersten Verkehrsteilnehmer. According to a further advantageous embodiment, the first data include kinematic information about the first road user and / or the second road user. Kinematic information about the first road user relates in particular to information that reproduces a position or a time derivative of the position of the first road user. Kinematic information can thus include a speed, an acceleration, a time derivative of the acceleration, in particular in the direction of travel, and furthermore in particular also at right angles to the current direction of travel. The kinematic information can also be provided relative to restrictions and traffic rules, in particular speeds relative to a speed limit, steering movements relative to a lane, in particular to dashed or solid markings, and generally relative to other restrictions imposed by general rules or special traffic signs or illuminated displays. According to a further advantageous embodiment, the second data each include kinematic information about the first road user.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die jeweiligen kinematischen Daten zumindest eine Position und/oder eine Trajektorie des jeweiligen Verkehrsteilnehmers. According to a further advantageous embodiment, the respective kinematic data include at least one position and / or a trajectory of the respective road user.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die Daten über den ersten Verkehrsteilnehmer Informationen über eine aktuelle Spur, auf der sich der erste Verkehrsteilnehmer befindet, und/oder Informationen über einen oder mehrere Spurwechsel des ersten Verkehrsteilnehmers. According to a further advantageous embodiment, the data about the first road user include information about a current lane in which the first road user is located and / or information about one or more lane changes by the first road user.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, aufweisend eine Fahrzeugsensoreinheit und eine Recheneinheit, wobei die Recheneinheit dazu ausgeführt ist, ein künstliches neuronalen Netzes bereitzustellen, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer stationär im Bereich einer Straße angeordneten oder an einem Luftfahrzeug angeordneten externen Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, wobei die Fahrzeugsensoreinheit zum Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer ausgeführt ist, und wobei die Recheneinheit zum Ausführen des künstlichen neuronalen Netzes mit den aktuellen ersten Daten als einziger Eingang des künstlichen neuronalen Netzes und zum Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, ausgeführt ist. Another aspect of the invention relates to a vehicle having a vehicle sensor unit and a computing unit, the computing unit being designed to provide an artificial neural network, the artificial neural network having first data determined by a test vehicle sensor unit on a test vehicle via a first Traffic participant and with second, from an external sensor unit arranged stationary in the area of a road or arranged on an aircraft, data about the first traffic participant has been trained in each case as an input of the artificial neural network, and wherein the artificial neural network with a predetermined and based on the Behavior of the first road user related measure for classification into normal or abnormal behavior of the first road user has been trained as a predetermined output of the artificial neural network, the vehicle sensor unit for detection sen is executed from current first data about a second road user, and wherein the computing unit for executing the artificial neural network with the current first data as the only input of the artificial neural network and for deciding on the basis of the output of the artificial neural network whether an abnormal behavior of the second road user is present, is executed.
Gemäß einer vorteilhaften Ausführungsform weist die Fahrzeugsensoreinheit jeweils zumindest eine der folgenden auf: According to an advantageous embodiment, the vehicle sensor unit has at least one of the following:
- Kameraeinheit, insbesondere Stereokameraeinheit, - camera unit, in particular stereo camera unit,
- Ultraschallsensoreinheit, - ultrasonic sensor unit,
- Lidareinheit, - Lidar unit,
- Radareinheit, insbesondere Dopplerradareinheit.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen. - Radar unit, in particular Doppler radar unit. Advantages and preferred developments of the proposed vehicle result from an analogous and analogous transfer of the statements made above in connection with the proposed method.
Ein weiterer Aspekt der Erfindung betrifft ein System mit einem Versuchsfahrzeug, mit einer Kalkulationseinheit, und mit einer externen Sensoreinheit, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, wobei das Versuchsfahrzeug eine Versuchsfahrzeugsensoreinheit aufweist und wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, wobeiAnother aspect of the invention relates to a system with a test vehicle, with a calculation unit, and with an external sensor unit, for training an artificial neural network to detect abnormal behavior of road traffic participants, the test vehicle having a test vehicle sensor unit and the external sensor unit being stationary is arranged in the area of a road or is arranged on an aircraft, wherein
- die Versuchsfahrzeugsensoreinheit zum Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer ausgeführt ist, - the test vehicle sensor unit is designed to determine first data about a first road user,
- die externe Sensoreinheit zum Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer ausgeführt ist, und - The external sensor unit is designed to determine second data about the first road user, and
- die Kalkulationseinheit zum Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und zum Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug ausgeführt ist, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden. - The calculation unit for training the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and for storing the trained artificial neural network in a memory unit for later execution in the vehicle, the stored trained artificial neural network being designed to contain first data about a second road user currently recorded by a vehicle sensor unit of a vehicle to be executed as the only input of the artificial neural network.
Gemäß einerweiteren vorteilhaften Ausführungsform weisen die externe Sensoreinheit und/oder die Versuchsfahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:According to a further advantageous embodiment, the external sensor unit and / or the test vehicle sensor unit each have at least one of the following:
- Kamera, insbesondere Stereokamera, - camera, especially stereo camera,
- Ultraschallsensoreinheit, - ultrasonic sensor unit,
- Lidareinheit, - Lidar unit,
- Radareinheit, insbesondere Dopplerradareinheit, - radar unit, in particular Doppler radar unit,
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren wie oben und im Folgenden beschrieben auszuführen. Advantages and preferred developments of the proposed system result from an analogous and analogous transfer of the statements made above in connection with the proposed method. Another aspect of the invention relates to a computer program product, comprising instructions which, when the program is executed by a computer, cause the computer to execute the method as described above and below.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, das computergesteuerte Anweisungen zum Ausführen des Verfahrens wie oben und im Folgenden beschrieben umfasst. Another aspect of the invention relates to a computer-readable medium which comprises computer-controlled instructions for carrying out the method as described above and below.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Further advantages, features and details emerge from the following description, in which at least one exemplary embodiment is described in detail - possibly with reference to the drawing. Identical, similar and / or functionally identical parts are provided with the same reference symbols.
Es zeigen: Show it:
Fig. 1 ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung, 1 shows a method according to an embodiment of the invention,
Fig. 2 ein Verfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung, 2 shows a method according to a further exemplary embodiment of the invention,
Fig. 3 ein System gemäß einem weiteren Ausführungsbeispiel der Erfindung, und 3 shows a system according to a further exemplary embodiment of the invention, and
Fig. 4 ein Fahrzeug und einen zweiten Verkehrsteilnehmer gemäß einem weiteren Ausführungsbeispiel der Erfindung. 4 shows a vehicle and a second road user according to a further exemplary embodiment of the invention.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich. The representations in the figures are schematic and not to scale.
Fig. 1 zeigt ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs und zum Ausführen des künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte: 1 shows a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants and for executing the artificial neural network in a vehicle 20, comprising the steps:
- Ermitteln S1 von ersten Daten über einen ersten Verkehrsteilnehmer 1 durch eine an einem Versuchsfahrzeug 10 angeordnete Versuchsfahrzeugsensoreinheit 11, - Determination S1 of first data about a first road user 1 by a test vehicle sensor unit 11 arranged on a test vehicle 10,
- Ermitteln S2 von zweiten Daten über den ersten Verkehrsteilnehmer 1 durch eine externe Sensoreinheit 30, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, Determination S2 of second data about the first road user 1 by an external sensor unit 30, the external sensor unit 30 being arranged stationary in the area of a road or being arranged on an aircraft,
- Trainieren S3 des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem
vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und - Training S3 of the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined and related to the behavior of the first road user 1 measure for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and
- Abspeichern S4 des trainierten künstlichen neuronalen Netzes in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden, Storing S4 of the trained artificial neural network in a memory unit 3 for later execution in the vehicle 20, the saved trained artificial neural network being designed to be the only one with first data currently recorded by a vehicle sensor unit 21 of a vehicle 20 about a second road user 2 Input of the artificial neural network to be executed,
- Ausführen S5 des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von der am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen, - Execution S5 of the stored trained artificial neural network in the vehicle 20 while the vehicle 20 is driving with current, first data about the second road user 2 determined by the vehicle sensor unit 21 arranged on the vehicle 20, the currently determined first data from the vehicle sensor unit 21 as serve as the only input of the artificial neural network,
- Entscheiden S6 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt. - On the basis of the output of the artificial neural network, decide S6 whether the second road user 2 is behaving abnormally.
Fig. 2 zeigt ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte: FIG. 2 shows a method for executing an artificial neural network in a vehicle 20, comprising the steps:
- Bereitstellen H1 eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug 10 angeordneten Versuchsfahrzeugsensoreinheit 11 ermittelten, Daten über einen ersten Verkehrsteilnehmer 1 und mit zweiten, von einer externen Sensoreinheit 30 ermittelten, Daten über den ersten Verkehrsteilnehmer 1 jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers 1 als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, Provision H1 of an artificial neural network, the artificial neural network with first data about a first road user 1 determined by a test vehicle sensor unit 11 arranged on a test vehicle 10 and with second data about the first road user 1 determined by an external sensor unit 30 has been trained in each case as an input of the artificial neural network, the external sensor unit 30 being arranged stationary in the area of a road or being arranged on an aircraft, and the artificial neural network with a predetermined level related to the behavior of the first road user 1 for Classification into normal or abnormal behavior of the first road user 1 has been trained as a predetermined output of the artificial neural network,
- Erfassen H2 von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer 2 durch eine am Fahrzeug 20 angeordnete Fahrzeugsensoreinheit 21, - Acquisition H2 of current first data about a second road user 2 by a vehicle sensor unit 21 arranged on the vehicle 20,
- Ausführen H3 des trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von einer am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der
Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen, - Execution H3 of the trained artificial neural network in the vehicle 20 while the vehicle 20 is driving with current first data about the second road user 2 determined by a vehicle sensor unit 21 arranged on the vehicle 20, the currently determined first data of the Vehicle sensor unit 21 serve as the only input of the artificial neural network,
- Entscheiden H4 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, wobei das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik erfolgt, und - Decide H4 on the basis of the output of the artificial neural network whether there is abnormal behavior of the second road user 2, the decision as to whether the second road user 2 is abnormal is made by comparing the output of the artificial neural network with a predetermined metric, and
- Ausführen H5 einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers 2 positiv ausfällt, wobei die vorgegebene Reaktion das Ausgeben einer visuellen und einer akustischen Warnung an den Fahrer des Fahrzeugs 20 ist. Execution H5 of a predefined reaction if the decision about abnormal behavior of the second road user 2 is positive, the predefined reaction being the output of a visual and an acoustic warning to the driver of the vehicle 20.
Die Verfahren der Fig. 1 und Fig. 2 spiegeln sich in dem System der Fig. 3 und der Beschreibung des Fahrzeugs 20 aus der Fig. 4 wieder. Die Beschreibungen der Figuren können daher wechselseitig herangezogen werden. The methods of FIGS. 1 and 2 are reflected in the system of FIG. 3 and the description of the vehicle 20 from FIG. 4. The descriptions of the figures can therefore be used reciprocally.
Fig. 3 zeigt ein System 100 mit einem Versuchsfahrzeug 10, mit einer Kalkulationseinheit 101, und mit einer externen Sensoreinheit 30, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs. Das Versuchsfahrzeug 10 ist mit einer mit Kameras ausgestatteten Versuchsfahrzeugsensoreinheit 11 ausgerüstet. Die externe Sensoreinheit 30, ein unbemanntes Luftfahrzeug, fliegt im Bereich um das Versuchsfahrzeug 10 seitlich oberhalb der Straße, auf dem das Versuchsfahrzeug 10 sich aktuell befindet. Die Kameras der Versuchsfahrzeugsensoreinheit 11 ermitteln hierbei erste Daten über einen einen ersten Verkehrsteilnehmer 1, wobei der erste Verkehrsteilnehmer 1 als pars pro toto für eine Vielzahl von weiteren Verkehrsteilnehmern exemplarisch betrachtet wird. Die externe Sensoreinheit 30 ermittelt gleichzeitig - ebenfalls per Kamera - zweite Daten über den ersten Verkehrsteilnehmer 1. Somit liegen redundante, insbesondere aber auch sich ergänzende erste und zweite Daten über das Verhalten des ersten Verkehrsteilnehmers 1 vor. Beide, die ersten Daten und die zweiten Daten werden an die externe Kalkulationseinheit 101 gesendet, die das Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes übernimmt. Die Kalkulationseinheit 101 speichert nach zahlreichen Wiederholungen dieses Vorgehens an einer Vielzahl von zweiten
Verkehrsteilnehmern 1 das trainierte künstliche neuronale Netz in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20 der Fig. 4 ab. Dabei ist das abgespeicherte trainierte künstliche neuronale Netz so konfiguriert von der Kalkulationseinheit 101, dass es aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt werden kann. Siehe dazu die Beschreibung der Fig. 4. 3 shows a system 100 with a test vehicle 10, with a calculation unit 101, and with an external sensor unit 30, for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants. The test vehicle 10 is equipped with a test vehicle sensor unit 11 equipped with cameras. The external sensor unit 30, an unmanned aircraft, flies in the area around the test vehicle 10 laterally above the road on which the test vehicle 10 is currently located. The cameras of the test vehicle sensor unit 11 determine first data about a first road user 1, the first road user 1 being considered as an example pars per toto for a large number of other road users. The external sensor unit 30 simultaneously determines - also by camera - second data about the first road user 1. Thus, redundant, but in particular also complementary first and second data about the behavior of the first road user 1 are available. Both the first data and the second data are sent to the external calculation unit 101, the training of the artificial neural network with the first data and with the second data each as an input of the artificial neural network and with a predetermined and based on the behavior of the first Road user 1-related measure for classification into normal or abnormal behavior of the road user takes over as a predetermined output of the artificial neural network. After numerous repetitions of this procedure, the calculation unit 101 stores a plurality of second ones Road users 1 from the trained artificial neural network in a memory unit 3 for later execution in the vehicle 20 of FIG. 4. The stored, trained artificial neural network is configured by the calculation unit 101 in such a way that it can execute first data currently recorded by a vehicle sensor unit 21 of a vehicle 20 about a second road user 2 as the only input of the artificial neural network. See the description of FIG. 4 in this regard.
Fig. 4 zeigt ein Fahrzeug 20, aufweisend eine Fahrzeugsensoreinheit 21 und eine Recheneinheit 22, wobei die Recheneinheit 22 das nach Fig. 3 trainierte künstliche neuronale Netz bereitstellt. Die Fahrzeugsensoreinheit 21 erfasst aktuelle erste Daten über einen zweiten Verkehrsteilnehmer 2 mit an der Fahrzeugfront und am Fahrzeugheck angeordneten Kameras. Die Recheneinheit 22 führt dann das bereits abgeschlossen trainierte künstliche neuronale Netz mit den aktuellen ersten Daten der Kameras der Fahrzeugsensoreinheit 21 als dem einzigen Eingang des künstlichen neuronalen Netzes aus. Je nach Ausgang des neuronalen Netzes wird entschieden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt. Wird ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 bestimmt, wird eine Warnung an den Fahrer des Fahrzeugs 20 ausgegeben. FIG. 4 shows a vehicle 20 having a vehicle sensor unit 21 and a computing unit 22, the computing unit 22 providing the artificial neural network trained according to FIG. 3. The vehicle sensor unit 21 records current first data about a second road user 2 with cameras arranged on the front of the vehicle and on the rear of the vehicle. The computing unit 22 then executes the already completed trained artificial neural network with the current first data from the cameras of the vehicle sensor unit 21 as the only input of the artificial neural network. Depending on the output of the neural network, a decision is made as to whether the behavior of the second road user 2 is abnormal. If an abnormal behavior of the second road user 2 is determined, a warning is output to the driver of the vehicle 20.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste Although the invention has been illustrated and explained in more detail by preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by the person skilled in the art without departing from the scope of protection of the invention. It is therefore clear that there is a multitude of possible variations. It is also clear that embodiments cited by way of example really only represent examples that are not to be interpreted in any way as a limitation, for example, of the scope, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to implement the exemplary embodiments in concrete terms, whereby the person skilled in the art, with knowledge of the disclosed inventive concept, can make various changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without leaving the scope of protection which is defined by the claims and their legal equivalents, such as further explanations in the description. List of reference symbols
1 erster Verkehrsteilnehmer 1 first road user
2 zweiter Verkehrsteilnehmer 2 second road user
3 Speichereinheit 3 storage unit
10 Versuchsfahrzeug 10 test vehicle
11 Versuchsfahrzeugsensoreinheit 11 Test vehicle sensor unit
20 Fahrzeug 20 vehicle
21 Fahrzeugsensoreinheit 21 Vehicle sensor unit
22 Recheneinheit 22 arithmetic unit
30 externe Sensoreinheit 30 external sensor unit
100 System 100 system
101 Kalkulationseinheit 101 calculation unit
51 Ermitteln 51 Determine
52 Ermitteln 52 Determine
53 Trainieren 53 Exercise
54 Abspeichern 54 Save
55 Ausführen 55 Execute
56 Entscheiden 56 Decide
H1 Bereitstellen H1 Deploy
H2 Erfassen H2 capture
H3 Ausführen Execute H3
H4 Entscheiden H4 decide
H5 Ausführen
H5 run