DE102020205831A1 - System for deception detection, prevention and protection of ADAS functions - Google Patents
System for deception detection, prevention and protection of ADAS functions Download PDFInfo
- Publication number
- DE102020205831A1 DE102020205831A1 DE102020205831.8A DE102020205831A DE102020205831A1 DE 102020205831 A1 DE102020205831 A1 DE 102020205831A1 DE 102020205831 A DE102020205831 A DE 102020205831A DE 102020205831 A1 DE102020205831 A1 DE 102020205831A1
- Authority
- DE
- Germany
- Prior art keywords
- information
- motor vehicle
- control system
- environment data
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Ein Steuerungssystem (10) ist zum Einsatz in einem Kraftfahrzeug (12) eingerichtet und bestimmt, zumindest eine erste Information bezüglich einer aktuellen Fahrsituation des Kraftfahrzeugs (12) basierend auf einem ersten Teil von bereitgestellten Umfelddaten zu ermitteln. Das Steuerungssystem ist dazu eingerichtet und bestimmt, zumindest eine zweite Information bezüglich der aktuellen Fahrsituation des Kraftfahrzeugs (12) und/oder der zumindest einen ersten Information basierend auf einem zweiten Teil der bereitgestellten Umfelddaten zu ermitteln. Das Steuerungssystem ist dazu eingerichtet und bestimmt, durch die zumindest eine zweite Information zu erkennen, ob es plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht. Das Steuerungssystem ist dazu eingerichtet und bestimmt, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen Fahrsituation entspricht, das Kraftfahrzeug (12) nicht entsprechend zu der zumindest einen ersten Information zu steuern.A control system (10) is set up for use in a motor vehicle (12) and is designed to determine at least first information relating to a current driving situation of the motor vehicle (12) based on a first part of provided environment data. The control system is set up and intended to determine at least one second item of information relating to the current driving situation of the motor vehicle (12) and / or the at least one first item of information based on a second part of the provided environment data. The control system is set up and intended to use the at least one second item of information to recognize whether it is plausible that the at least one first item of information corresponds to the actual current driving situation. The control system is set up and determined to not control the motor vehicle (12) in accordance with the at least one first item of information if it has been recognized that it is not plausible that the at least one first piece of information corresponds to the actual driving situation.
Description
Hintergrund der ErfindungBackground of the invention
Hier werden ein Steuerungssystem und ein Steuerungsverfahren beschrieben, welche Daten einer Umfeldsensorik, auf deren Grundlage ein Kraftfahrzeug gesteuert werden soll, kritisch hinterfragt und so eine falsche Erkennung der Objekte und/oder Situationen im Umfeld des Kraftfahrzeugs verhindern.A control system and a control method are described here which critically question data from an environment sensor system on the basis of which a motor vehicle is to be controlled and thus prevent incorrect detection of the objects and / or situations in the environment of the motor vehicle.
Stand der TechnikState of the art
In heutigen Kraftfahrzeugen bieten Fahrerassistenzsysteme (ADAS - advanced driver assistance systems) eine Vielzahl von Überwachungs- und Hinweisfunktionen, um das Führen der Kraftfahrzeuge sicherer zu machen. Hierbei wird das Umfeld des Kraftfahrzeugs basierend auf aus einem oder aus mehreren an dem Kraftfahrzeug befindlichen Umfeldsensor/en gewonnenen Umfelddaten im Hinblick auf den Fahrtverlauf des Kraftfahrzeugs überwacht.In today's motor vehicles, advanced driver assistance systems (ADAS) offer a large number of monitoring and information functions in order to make driving motor vehicles safer. Here, the environment of the motor vehicle is monitored based on environment data obtained from one or more environment sensor (s) located on the motor vehicle with regard to the course of the journey of the motor vehicle.
Bekannte Fahrerassistenzsysteme ermitteln beispielsweise, ob sich das Kraftfahrzeug innerhalb einer Fahrspur befindet und ob der Fahrer ungewollt zu einer Seite der Fahrspur abdriftet oder im Begriff ist, diese zu verlassen. Diese Fahrerassistenzsysteme generieren aus den gewonnenen Umfelddaten ein „Abbild“ der Straße und insbesondere der Fahrspur. Dabei werden Objekte erkannt und während des Fahrens verfolgt, wie zum Beispiel eine Bordsteinkante, Fahrspurbegrenzungslinien, Fahrspurmarkierungen, Richtungspfeile, etc. Auch bewegliche Objekte wie andere Kraftfahrzeuge werden erkannt und während des Fahrens verfolgt (Tracking).Known driver assistance systems determine, for example, whether the motor vehicle is within a lane and whether the driver is drifting unintentionally to one side of the lane or is about to leave it. These driver assistance systems generate an “image” of the road and, in particular, the lane from the surrounding data obtained. Objects are recognized and tracked while driving, such as curbs, lane delimitation lines, lane markings, direction arrows, etc. Movable objects such as other motor vehicles are also recognized and tracked while driving (tracking).
In durch Personen geführten Kraftfahrzeugen bieten die Fahrerassistenzsysteme meist eine Hinweisfunktion, um den Fahrer vor einer kritischen Situation oder einem entsprechenden Manöver zu warnen oder um den Fahrer ein geeignetes Manöver für das Kraftfahrzeug vorzuschlagen. Gleichermaßen können die Fahrerassistenzsysteme auch in autonom gesteuerten Kraftfahrzeugen eingesetzt werden, um der autonomen Steuerung die entsprechenden Umfelddaten bereitzustellen.In motor vehicles driven by people, the driver assistance systems usually offer an advisory function in order to warn the driver of a critical situation or a corresponding maneuver or to suggest a suitable maneuver for the motor vehicle to the driver. Equally, the driver assistance systems can also be used in autonomously controlled motor vehicles in order to provide the autonomous controller with the corresponding environment data.
Zugrundeliegendes ProblemUnderlying problem
Die Daten der Umfeldsensoren können in vielerlei Hinsicht täuschen. So kann beispielsweise ein Straßenschild von einem Baum verdeckt sein oder mutwillig entfernt oder unkenntlich gemacht worden sein. Eine Straße kann ungewollte Fahrbahnmarkierungen (oder Malereien, die als offizielle Fahrbahnmarkierungen erkannt werden können) aufweisen, wie z.B. Kreidemalereien. Auch kann eine Kamera von IR/UV Licht geblendet werden oder einen anderen Defekt zeigen. Solche Täuschungen sind besonders schwerwiegend, wenn sie von einem Menschen nicht erkannt werden.The data from the environmental sensors can be deceptive in many ways. For example, a street sign can be covered by a tree or deliberately removed or made unrecognizable. A road may have unwanted lane markings (or paintings that can be recognized as official lane markings), such as chalk paintings. A camera can also be blinded by IR / UV light or show another defect. Such delusions are particularly serious when they are not recognized by a person.
Beispielhaft zeigt
Ein herkömmliches ADAS-System, welches auf eine solche Täuschung hereinfällt, zeigt dem Fahrer falsche Daten an und/oder steuert das Kraftfahrzeug entsprechend der Täuschung. Dies kann schnell zu einem Unfall führen.A conventional ADAS system, which falls for such a deception, displays incorrect data to the driver and / or controls the motor vehicle in accordance with the deception. This can quickly lead to an accident.
Daher besteht die Aufgabe, ein sichereres Steuerungssystem und ein sichereres Steuerungsverfahren für ein Kraftfahrzeug bereitzustellen, welches nicht von Täuschungen in den Daten fehlgeleitet wird.The object is therefore to provide a safer control system and a safer control method for a motor vehicle which is not misdirected by deceptions in the data.
Vorgeschlagene LösungSuggested solution
Diese Aufgabe wird gelöst durch ein Steuerungssystem mit den Merkmalen des Anspruchs 1 sowie ein Steuerungsverfahren mit den Merkmalen des Anspruchs 11.This object is achieved by a control system with the features of claim 1 and a control method with the features of claim 11.
Bevorzugte Ausführungsformen werden aus den Unteransprüchen 2 bis 10 sowie der nachstehenden Beschreibung ersichtlich.Preferred embodiments are evident from the subclaims 2 to 10 and the description below.
Ein Aspekt betrifft ein Steuerungssystem, das zum Einsatz in einem Kraftfahrzeug eingerichtet und bestimmt ist, basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en und/oder Signalempfänger/n gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder andere Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug zu erkennen, wobei der mindestens eine Umfeldsensor und/oder Signalempfänger/n dazu eingerichtet ist, dem Steuerungssystem die den Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug wiedergebenden Umfelddaten bereitzustellen. Das Steuerungssystem ist wenigstens dazu eingerichtet und bestimmt, zumindest eine erste Information bezüglich einer aktuellen Fahrsituation des Kraftfahrzeugs basierend auf einem ersten Teil der bereitgestellten Umfelddaten (auch verkürzt: Umfelddaten) zu ermitteln. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, zumindest eine zweite Information bezüglich der aktuellen Fahrsituation des Kraftfahrzeugs und/oder der zumindest einen ersten Information basierend auf einem zweiten Teil der bereitgestellten Umfelddaten zu ermitteln. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, durch die zumindest eine zweite Information zu erkennen, ob es plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen Fahrsituation entspricht, das Kraftfahrzeug nicht entsprechend zu der zumindest einen ersten Information zu steuern.One aspect relates to a control system that is set up and intended for use in a motor vehicle, based on environment data obtained from at least one environment sensor (s) and / or signal receiver assigned to the motor vehicle. systems) and / or other objects in an area in front of, to the side, next to and / or behind the motor vehicle recognize, wherein the at least one environment sensor and / or signal receiver is set up to provide the control system with the environment data reproducing the area in front of, to the side, next to and / or behind the motor vehicle. The control system is at least set up and intended to determine at least one piece of information relating to a current driving situation of the motor vehicle based on a first part of the provided environment data (also abbreviated: environment data). The control system is furthermore set up and intended to determine at least one second item of information relating to the current driving situation of the motor vehicle and / or the at least one first item of information based on a second part of the environment data provided. The control system is also set up and intended to use the at least one second item of information to recognize whether it is plausible that the at least one first item of information corresponds to the actual current driving situation. The control system is also at least set up and intended, if it has been recognized that it is not plausible that the at least one first piece of information corresponds to the actual driving situation, not to control the motor vehicle in accordance with the at least one first piece of information.
Ein solches Steuerungssystem weist ein geringeres Risiko auf, dass es ein Kraftfahrzeug gemäß einer Täuschung falsch steuert.Such a control system has a lower risk of incorrectly controlling a motor vehicle according to a deception.
Der erste Teil der Umfelddaten und der zweite Teil der Umfelddaten können identisch, teilweise gleich oder verschieden sein. Es ist möglich, dass die verschiedenen Teile der Umfelddaten die Daten von verschiedenen (jeweils einen oder mehreren) der Umfeldsensoren und/oder Signalempfängern sind. Dies ist vorteilhaft, weil so die Plausibilität auf Grundlage verschiedener Umfeldsensoren und/oder Signalempfängern geprüft wird. Ferner ist es möglich, dass es mehrere zweite Informationen gibt. In diesem Fall kann die Plausibilität auf Grundlage der mehreren zweiten Informationen bestimmt werden. In diesem Fall ist es, beispielsweise, möglich, dass einige der mehreren zweiten Informationen für die Plausibilität sprechen und andere der mehreren zweiten Informationen gegen die Plausibilität sprechen. In einem solchen Fall kann geprüft werden, ob mehr der mehreren zweiten Informationen für oder gegen die Plausibilität sprechen, und demnach entschieden werden, dass es entsprechend plausibel ist oder nicht, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht (Plausibilität vorliegt). Es kann auch ein Schwellwert vorherbestimmt sein, welcher angibt, mindestens wieviel Prozent der mehreren zweiten Informationen für die Plausibilität sprechen müssen, damit entschieden wird, dass Plausibilität vorliegt.The first part of the environment data and the second part of the environment data can be identical, partially the same or different. It is possible that the different parts of the environment data are the data from different (one or more) of the environment sensors and / or signal receivers. This is advantageous because the plausibility is checked on the basis of various environmental sensors and / or signal receivers. It is also possible that there are several second pieces of information. In this case, the plausibility can be determined on the basis of the plurality of second pieces of information. In this case it is possible, for example, that some of the multiple second items of information speak for plausibility and other of the multiple second items of information speak against plausibility. In such a case, it can be checked whether more of the multiple second pieces of information speak for or against plausibility, and a decision can accordingly be made that it is correspondingly plausible or not that the at least one first piece of information corresponds to the actual current driving situation (plausibility is present). A threshold value can also be predetermined, which indicates at least what percentage of the multiple second items of information must speak for plausibility so that it is decided that plausibility is present.
Durch eine Information, wie die zumindest eine erste und wie die zumindest eine zweite Information, kann das Steuerungssystem eine aktuelle Fahrsituation zumindest teilweise wiederspiegeln und auf Grundlage der Information (eventuell in notwendiger Kombination mit weiteren Informationen) kann das Steuerungssystem das Kraftfahrzeug steuern und/oder dem Nutzer (welcher der Fahrer sein kann) etwas anzeigen, was dem Nutzer über die Fahrsituation informiert. Die aktuelle Fahrsituation kann eine Verkehrssituation, die Situation anderer Kraftfahrzeuge und/oder die Straßenlage (inklusive Verkehrszeichen wie Schilder, Lichtzeichen(anlagen), Fahrbahnmarkierungen) umfassen. Das Steuerungssystem kann aus jedem Teil der Umfelddaten eine oder mehrere Informationen ermitteln. Eine Information kann zum Beispiel ein erkanntes Straßenschild (wie ein Stopp-Schild), der Verlauf einer Fahrbahnmarkierung, das Bestehen einer neuen Fahrbahnmarkierung oder das Bremsen eines vorrausfahrenden Kraftfahrzeugs sein.By means of information such as the at least one first and the at least one second piece of information, the control system can at least partially reflect a current driving situation and on the basis of the information (possibly in necessary combination with further information) the control system can control the motor vehicle and / or the Show user (who can be the driver) something that informs the user about the driving situation. The current driving situation can include a traffic situation, the situation of other motor vehicles and / or the road position (including traffic signs such as signs, light signals (systems), lane markings). The control system can determine one or more pieces of information from each part of the environment data. Information can be, for example, a recognized road sign (such as a stop sign), the course of a lane marking, the existence of a new lane marking or the braking of a motor vehicle driving ahead.
Bei dem Steuerungssystem kann die zumindest eine zweite Information das gleiche Objekt der Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weiteren Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder anderen Objekte in dem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug betreffen wie die zumindest eine erste Information.In the control system, the at least one second piece of information can relate to the same object in the lanes, lane boundaries, lane markings, other motor vehicles, traffic signs, light signals and / or other objects in the area in front of, to the side, next to and / or behind the motor vehicle as the at least a first piece of information.
Dies ist vorteilhaft, weil verschiedene Umfeldsensoren und/oder Signalempfängern das gleiche Objekt betrachten. Dies kann beispielsweise die durch ein Mikrofon aufgenommene Sirene und das durch eine Kamera aufgenommene Blaulicht eines Polizeifahrzeugs sein (dies sind zwei Datensätze von dem gleichen Objekt). Dies kann beispielsweise auch ein Stopp-Schild sein, welches von verschieden ausgerichteten und/oder verschieden funktionierenden Kameras aufgenommen wurde. Eine verschiedene Ausrichtung einer Kamera kann beispielsweise ein mit Baumblättern überwachsenes Stopp-Schild besser erkennen. Somit kann eine Betrachtung des gleichen Objekts mit verschiedenen Umfeldsensoren das Risiko auf ein Hereinfallen auf Täuschungen weiter verringern.This is advantageous because different environmental sensors and / or signal receivers are looking at the same object. This can be, for example, the siren recorded by a microphone and the blue light of a police vehicle recorded by a camera (these are two data sets from the same object). This can also be, for example, a stop sign that was recorded by cameras that are oriented in different directions and / or function differently. A different orientation of a camera can, for example, better recognize a stop sign overgrown with tree leaves. Thus, viewing the same object with different environment sensors can further reduce the risk of falling into deceptions.
Das Steuerungssystem kann ferner durch zumindest einer der folgenden Alternativen erkennen, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht: dadurch dass (Alternative 1:) zumindest eine der zumindest einen zweiten Information angibt, dass die bereitgestellten Umfelddaten eine Täuschung umfassen; und/oder dadurch dass (Alternative 2:) zumindest eine der zumindest einen zweiten Information die tatsächliche aktuelle Fahrsituation korrigierend angibt; und/oder dadurch dass (Alternative 3:) zumindest eine der zumindest einen zweiten Information der zumindest einen ersten Information entgegensteht.The control system can also use at least one of the following alternatives to recognize that it is not plausible that the at least one first piece of information corresponds to the actual current driving situation: in that (alternative 1) at least one of the at least one second piece of information indicates that the environment data provided to include a deception; and / or in that (alternative 2 :) at least one of the at least one second information item corrects the actual current driving situation; and / or in that (alternative 3 :) at least one of the at least one second Information that opposes at least a first piece of information.
Die zumindest eine Information in Alternative 1, die angibt, dass die bereitgestellten Umfelddaten eine Täuschung umfassen, kann beispielsweise von einer Nutzereingabe stammen. Auch kann dies von einer „Misuse-Straßenkarte“ kommen. Die Misuse-Straßenkarte (auch Misuse-Karte) ist eine Straßenkarte, die für Regionen/Straßen angibt, dass eine Täuschung vorliegt und bevorzugt auch angibt, was die Täuschung ist und/oder wie die tatsächliche Fahrsituation ist. Die Misuse-Karte kann auch oder alternativ für Regionen/Straßen angeben, wie hoch eine Wahrscheinlichkeit ist, dass eine Täuschung vorliegt. Auch kann eine Historie einer jeden Täuschung in der Misuse-Karte abgespeichert sein und/oder eine empfohlene Gegenmaßnahme. Die Misuse-Karte kann von einem Kraftfahrzeug individuell verwaltet werden oder von einer Autorität (wie Polizei) zentral verwaltet werden, welche die Misuse-Karte und/oder die Informationen daraus dem Steuerungssystem bereitstellt, beispielsweise durch eine Internetverbindung. Informationen/Daten von der Misuse-Karte (wie von anderen Quellen) können auch zeitlich vor dem Bereitstellen des ersten Teils der bereitgestellten Umfelddaten empfangen werden. Das Steuerungssystem kann die Informationen/Daten der Misuse-Karte dann abspeichern bis das Kraftfahrzeug die entsprechende Region verlassen hat. Die Information, dass eine Täuschung umfasst wird und/oder dass ein bestimmtes Objekt täuscht, ist vorteilhaft, weil meist Sicherheit besteht, dass eine Täuschung vorliegt. Die Plausibilität muss also nicht abgewogen werden. Die Information, dass eine Täuschung besteht, kann auch mit weiteren (zweiten) Informationen kombiniert werden. Diese weiteren Informationen können Informationen umfassen, auf deren Grundlage das Kraftfahrzeug gesteuert wird und/oder dem Nutzer etwas angezeigt wird. Besagt eine zweite Information, dass die erste Information (wahrscheinlich) eine Täuschung ist, also nicht richtig ist, so kann das Steuerungssystem das Kraftfahrzeug explizit nicht entsprechend der ersten Information steuern und/oder dem Nutzer etwas entsprechend anzeigen.The at least one item of information in alternative 1, which indicates that the environment data provided includes a deception, can originate from a user input, for example. This can also come from a “Misuse road map”. The Misuse road map (also Misuse map) is a road map which indicates for regions / streets that a deception is present and preferably also indicates what the deception is and / or what the actual driving situation is. The misuse card can also or alternatively indicate for regions / streets how high a probability is that a deception has occurred. A history of each deception can also be stored in the misuse card and / or a recommended countermeasure. The misuse card can be managed individually by a motor vehicle or centrally managed by an authority (such as the police) which provides the misuse card and / or the information from it to the control system, for example through an Internet connection. Information / data from the misuse card (as well as from other sources) can also be received in time prior to the provision of the first part of the provided environment data. The control system can then store the information / data on the Misuse card until the motor vehicle has left the corresponding region. The information that a deception is included and / or that a specific object is deceptive is advantageous because it is usually certain that a deception has occurred. So the plausibility does not have to be weighed. The information that there is a deception can also be combined with further (second) information. This additional information can include information on the basis of which the motor vehicle is controlled and / or something is displayed to the user. If a second piece of information indicates that the first piece of information is (probably) a deception, i.e. not correct, the control system cannot explicitly control the motor vehicle in accordance with the first piece of information and / or display something to the user accordingly.
Das Wort „korrigierend“ in der Alternative 2 besagt, dass die zumindest eine der zumindest einen zweiten Information mit sehr hoher Wahrscheinlichkeit, eher mit Sicherheit, die aktuelle Fahrsituation tatsächlich wiederspiegelt. Es ist möglich, dass bei einer korrigierenden Angabe auch explizit angegeben wird, dass die erste Information falsch ist. Die Angabe kann aber auch korrigierend sein, ohne auf die erste Information einzugehen oder zu wissen, was die erste Information angibt. Die Alternative 2 hat den Vorteil, dass das Steuerungssystem gleich weiß, was richtig ist. Es ist möglich, wenn die korrigierende Angabe nicht explizit sagt, dass die erste Information falsch ist, und wenn die korrigierende Angabe der ersten Information nicht entgegensteht, dass das Steuerungssystem das Kraftfahrzeug entsprechend zu der ersten Information steuert und/oder dem Nutzer etwas entsprechend der ersten Information anzeigt (ohne Verneinung). Eine korrigierende Angabe kann bevorzugt von einer Misuse-Karte, einer offiziellen Meldung (z.B. von der Polizei), oder einer Nutzereingabe stammen.The word “corrective” in alternative 2 means that the at least one of the at least one second information item actually reflects the current driving situation with a very high degree of probability, more with certainty. It is possible that, in the case of a corrective statement, it is also explicitly stated that the first information is incorrect. However, the information can also be corrective without going into the first information or knowing what the first information indicates. Alternative 2 has the advantage that the control system immediately knows what is correct. It is possible, if the corrective information does not explicitly say that the first information is incorrect, and if the corrective information does not preclude the first information, that the control system controls the motor vehicle according to the first information and / or the user something according to the first Displays information (without a negative). Corrective information can preferably come from a misuse card, an official report (e.g. from the police), or a user input.
Ein Entgegenstehen (bzw. Widerspruch), wie in Alternative 3 beschrieben, kann beispielsweise vorliegen, wenn eine Sirene vernommen wird, aber kein Blaulicht gesehen wird. Dies kann beispielsweise von einer falschen Sirene oder einer Sirene, die nicht in der Nähe des eigenen Kraftfahrzeugs ist, stammen. Es ist also nicht plausibel, dass das Einsatzfahrzeug in der Nähe ist und/oder tatsächlich existiert. In beiden Fällen ist es nicht wünschenswert, dass das eigene Kraftfahrzeug an den Rand fährt und/oder abbremst. Ein weiteres Beispiel von entgegenstehenden Informationen ist eine vermeintliche temporäre Fahrbahnmarkierung (in gelb oder rot) ohne weitere Anzeichen einer Baustelle. In diesem Fall könnte die vermeintliche Fahrbahnmarkierung eine Täuschung sein, z.B. durch ausgelaufene Farbe.A contradiction (or contradiction), as described in alternative 3, can exist, for example, if a siren is heard but no blue light is seen. This can originate, for example, from a wrong siren or a siren that is not in the vicinity of your own motor vehicle. So it is not plausible that the emergency vehicle is nearby and / or actually exists. In both cases it is not desirable for one's own motor vehicle to drive to the edge and / or to brake. Another example of conflicting information is a supposed temporary road marking (in yellow or red) with no further signs of a construction site. In this case, the alleged lane marking could be an illusion, e.g. through leaked paint.
Der zweiten Teil der bereitgestellten Umfelddaten kann aus einer Straßenkarte, die Fahrsituationen und/oder eine lokale Wahrscheinlichkeit für eine Täuschung angibt, einer „infrastructure to vehicle communication“, einer „vehicle to vehicle communication“, einer Eingabe eines Nutzers, dem mindestens einem zugeordneten Umfeldsensor/en, dem mindestens einen zugeordneten Signalempfänger/n und/oder einem Maschinellen-Lern-Klassifizierer stammen.The second part of the provided environment data can be from a road map that indicates driving situations and / or a local probability of deception, an “infrastructure to vehicle communication”, a “vehicle to vehicle communication”, an input of a user, the at least one assigned environment sensor / s, from which at least one assigned signal receiver / s and / or a machine learning classifier originate.
Die Straßenkarte, die Fahrsituationen angibt, kann beispielsweise Geschwindigkeitsbegrenzungen, Straßenführung, und/oder weitere Informationen umfassen. Dies kann auch eine hochauflösenden live-Straßenkarte sein, also eine Straßenkarte, die aktuelle Informationen zu der Fahrsituation örtlich sehr präzise angibt. Die Straßenkarte, die eine lokale Wahrscheinlichkeit für eine Täuschung angibt, kann die Misuse-Karte sein. Die infrastructure to vehicle communication (12V) kann beispielsweise durch ein Signal übermittelt werden (Mobilfunk, WLan, Bluetooth, etc.), welches von einem Straßenschild (bzw. einem daran befestigten Signalsender) ausgeht und welches die Information des Straßenschildes in digitaler Form wiederspiegelt. Die vehicle to vehicle communication (V2V) kann ein Signal von einem sich in der Nähe befindlichen weiteren Kraftfahrzeug sein, welches beispielsweise ein Warnsignal bezüglich einer Täuschung oder ein Signal mit Informationen über das eigene Fahrverhalten versendet. Die Eingabe des Nutzers kann über eine Nutzeroberfläche im Kraftfahrzeug oder ein mit dem Steuerungssystem gekoppelten App auf einem Smartphone oder Tablet sein. Der Nutzer kann korrigierende Angaben über die Fahrsituation angeben.The road map that indicates driving situations can include, for example, speed limits, road layout, and / or further information. This can also be a high-resolution live road map, that is to say a road map that gives very precise local information about the driving situation. The road map indicating a local probability of deception can be the misuse map. The infrastructure to vehicle communication (12V) can be transmitted, for example, by a signal (cellular network, WiFi, Bluetooth, etc.) which originates from a street sign (or a signal transmitter attached to it) and which reflects the information from the street sign in digital form. The vehicle to vehicle communication (V2V) can be a signal from another motor vehicle in the vicinity, which for example sends a warning signal regarding deception or a signal with information about one's own driving behavior. The input of the user can be done via a user interface in the motor vehicle or an app coupled with the control system on a Be a smartphone or tablet. The user can provide corrective information about the driving situation.
Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht, das Kraftfahrzeug entsprechend zu der zumindest einen zweiten Information zu steuern; und/oder eine Anzeige zu steuern, eine Warnung anzuzeigen; und/oder eine Täuschungsmeldung zur Polizei, Feuerwehr und/oder anderen Kraftfahrzeugen zu versenden, wobei die Täuschungsmeldung möglicherweise Ortsinformationen und/oder Bildaufnahmen umfasst; und/oder die Straßenkarte, die die lokale Wahrscheinlichkeit für eine Täuschung angibt, (Misuse-Karte) zu aktualisieren.The control system can furthermore be set up and determined, if it has been recognized that it is not plausible that the at least one first item of information corresponds to the actual current driving situation, to control the motor vehicle in accordance with the at least one second item of information; and / or control a display to display a warning; and / or to send a deception report to the police, fire brigade and / or other motor vehicles, the deception report possibly including location information and / or image recordings; and / or to update the road map indicating the local probability of deception (misuse map).
Das Steuerungssystem steuert das Kraftfahrzeug bevorzugt nur dann entsprechend zu der zumindest einen zweiten Information, wenn mehrere zweite Informationen übereinstimmen und/oder wenn eine der zumindest einen zweiten Information mit sehr hoher Wahrscheinlichkeit, eher mit Sicherheit, die tatsächliche aktuelle Fahrsituation wiederspiegelt. Dabei wird die erste Information ignoriert. Die Anzeige mit der Warnung kann anzeigen, dass eine Täuschung erkannt wurde (also eine geringe bis keine Plausibilität vorliegt) und/oder dass eine andere Information (von der zumindest einen zweiten Information) bezüglich der Fahrsituation für plausibel gehalten wird. Die Anzeige, dass eine Täuschung erkannt wurde kann kombiniert werden mit der Aufforderung an den Nutzer eine korrigierende Eingabe zu machen. Auch kann die Anzeige, dass eine Täuschung erkannt wurde, mit einer Meldung kombiniert werden, dass die Anzeige momentan falsche Informationen anzeigen kann, da Täuschungen vorliegen. Die Täuschungsmeldung an die Polizei kann auch an den Streckenbetreiber versendet werden. Dies kann beispielsweise per V21 (also dem Senden der Meldung an einen Empfänger nahe der Straße von dem Kraftfahrzeug aus) passieren. Die Täuschungsmeldung kann auch direkt V2V an andere Kraftfahrzeuge in der Nähe versandt werden. Die Täuschungsmeldung kann Bild-, Video-, und/oder Tonaufnahmen der Täuschung mit Kontextinformationen, wie Orts- und Zeitdaten, dem Zustand des Autos, den Zustand der Umfeldsensoren und/oder Signalempfänger, und/oder Umweltbedingungen, umfassen. Die versendeten Täuschungsmeldungen können auch zusätzlich im Kraftfahrzeug abgespeichert werden. Die Täuschungsmeldungen können zusätzlich oder alternativ zur Aktualisierung der Misuse-Karte genutzt werden. Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht, die Bremse vorzuaktivieren bzw. die Bremsstärke anzupassen, das Kraftfahrzeug abzubremsen oder ganz zum Stehen zu bringen, oder ein Ausweichmanöver ausführen zu lassen. Es ist auch möglich, dass das Steuerungssystem, wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht, die bereitgestellten Umfelddaten erneut auswertet und/oder neue bereitgestellte Umfelddaten anfordert.The control system preferably only controls the motor vehicle in accordance with the at least one second item of information when several second items of information match and / or when one of the at least one second items of information reflects the actual current driving situation with a very high probability, more with certainty. The first piece of information is ignored. The display with the warning can indicate that a deception was detected (that is, there is little to no plausibility) and / or that other information (from the at least one second item of information) relating to the driving situation is considered plausible. The indication that a deception has been detected can be combined with the request to the user to make a corrective input. The display that a deception has been detected can also be combined with a message that the display can currently display incorrect information because deceptions are present. The report of deception to the police can also be sent to the route operator. This can happen, for example, via V21 (that is, by sending the message to a recipient near the road from the motor vehicle). The deception report can also be sent directly to other vehicles in the vicinity. The deception report can include image, video and / or sound recordings of the deception with context information, such as location and time data, the state of the car, the state of the surroundings sensors and / or signal receivers, and / or environmental conditions. The sent deception reports can also be stored in the motor vehicle. The deception reports can also or alternatively be used to update the misuse card. The control system can also be set up and determined when it has been recognized that it is not plausible that the at least one first piece of information corresponds to the actual current driving situation, to preactivate the brake or to adjust the braking force, to brake the motor vehicle or to bring it to a complete stop, or to have an evasive maneuver carried out. It is also possible that the control system, when it has been recognized that it is not plausible that the at least one first piece of information corresponds to the actual current driving situation, reevaluates the provided environment data and / or requests new provided environment data.
Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, wenn erkannt wird, ob es plausibel ist, dass die zumindest einer erste Information der tatsächlichen aktuellen Fahrsituation entspricht, die zumindest eine erste Information und die zumindest eine zweite Information gegenseitig aufzuwiegen, wobei Informationen von Teilen der Umfelddaten, die von einem vorherbestimmten Umfeldsensor und/oder Signalempfänger der bereitgestellten mindestens einen Umfeldsensor/en und/oder Signalempfänger stammen, mit einer höheren Gewichtung berücksichtigt werden als Informationen von Teilen der Umfelddaten, die von anderen Umfeldsensor/en und/oder Signalempfänger/n stammen; und/oder wobei Informationen von Teilen der Umfelddaten, die von einer vorherbestimmten Quelle stammen mit einer höheren Gewichtung berücksichtigt werden als Informationen von Teilen der Umfelddaten, die von anderen Quellen stammen.The control system can also be set up and determined when it is recognized whether it is plausible that the at least one first piece of information corresponds to the actual current driving situation, the at least one first piece of information and the at least one second piece of information outweigh each other, information from parts of the surroundings data that originate from a predetermined environment sensor and / or signal receiver of the provided at least one environment sensor / s and / or signal receiver are taken into account with a higher weighting than information from parts of the environment data that originate from other environment sensor / s and / or signal receiver / s; and / or wherein information from parts of the environment data that originate from a predetermined source is taken into account with a higher weighting than information from parts of the environment data that originate from other sources.
In dieser Weise kann ein fehlerhafter oder defekter Umfeldsensor und/oder Signalempfänger als Täuschungsquelle als fehlerhaft bzw. defekt berücksichtigt werden. Ist, beispielsweise, eine Kamera sehr anfällig, geblendet zu werden, und deshalb anfällig, fehlerhafte Daten auszugeben, so werden Umfelddaten von dieser Kamera bei der Bewertung der Plausibilität weniger stark berücksichtigt. Diese Fehleranfälligkeit kann sowohl generell bekannt sein, wie auch für die eine spezielle Kamera bekannt sein. Ferner beispielsweise können Umfelddaten von vertrauenswürdigen Quellen, wie der Polizei, mit einer hohen Gewichtung berücksichtigt werden. Auch ist es möglich bestimmte Typen von Umfelddaten, wie visuelle Daten, generell mit einer höheren Gewichtung zu berücksichtigen als einen anderen Typen von Umfelddaten, wie Geräusche. In dieser Weise können Umfelddaten von fehleranfälligen Umfeldsensoren und/oder Signalempfängern und von nicht vertrauenswürdigen Quellen einfacher überstimmt werden, wenn die Plausibilität erkannt wird.In this way, a defective or defective environment sensor and / or signal receiver as a source of deception can be considered defective or defective. If, for example, a camera is very susceptible to being dazzled and therefore susceptible to output incorrect data, then environmental data from this camera are less heavily taken into account when assessing the plausibility. This susceptibility to errors can be known both in general and for a specific camera. Furthermore, for example, environmental data from trustworthy sources, such as the police, can be taken into account with a high weighting. It is also possible to consider certain types of environmental data, such as visual data, generally with a higher weighting than another type of environmental data, such as noises. In this way, environment data from error-prone environment sensors and / or signal receivers and from untrustworthy sources can be overruled more easily if the plausibility is recognized.
Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, die Gewichtungen für zumindest einen bestimmten Umfeldsensor/en und/oder Signalempfänger und/oder Quelle/n zu verändern, wenn eine der zumindest einen ersten oder zweiten Information angibt, dass der/die zumindest eine bestimmte Umfeldsensor/en und/oder Signalempfänger und/oder Quelle/n mehr oder weniger glaubwürdig ist.The control system can also be set up and determined to change the weightings for at least one specific environment sensor (s) and / or signal receiver and / or source (s) if one of the at least one first or second item of information indicates that the at least one specific environment sensor / s and / or signal receiver and / or source / s is more or less credible.
Dies ist besonders vorteilhaft, wenn einer der Umfeldsensoren oder Signalempfänger beschädigt ist oder wenn eine Quelle nicht mehr so zuverlässig ist wie zuvor. Letzteres kann beispielsweise sein, wenn die Polizei weniger Aufwand für ihre Benachrichtigungen betreibt. Auch kann es sein, dass viele Bäume in der Nähe von Straßenschildern erkannt wurden. Dann würden die Bilder der Straßenschilder mit einer geringeren Gewichtung berücksichtigt werden. Auch würden erkannte Informationen aus der direkten Umgebung mit einer geringeren Gewichtung berücksichtigt werden, wenn die Misuse-Karte angibt, dass in der Umgebung viele Täuschungen vorkommen bzw. dass die Wahrscheinlichkeit für Täuschungen hoch ist.This is particularly advantageous if one of the environment sensors or signal receivers is damaged or if a source is no longer as reliable as before. The latter can be the case, for example, when the police spend less effort on their notifications. It is also possible that many trees have been recognized near road signs. Then the images of the street signs would be considered with a lower weighting. Recognized information from the immediate surroundings would also be taken into account with a lower weighting if the misuse card indicates that there are many deceptions in the vicinity or that the probability of deceptions is high.
Ferner ist es möglich, dass sich der erste Teil der Umfelddaten und der zweite Teil der Umfelddaten zumindest teilweise überschneiden.It is also possible that the first part of the environment data and the second part of the environment data at least partially overlap.
Dies kann beispielsweise vorteilhaft sein, wenn ein Teil eines Schildes (oder anderen Objekts) überdeckt ist, beispielsweise mit Baumblättern. In diesem Fall ist es möglich, dass der erste Teil der Umfelddaten den überdeckten Teil des Schilds umfasst, während der zweite Teil der Umfelddaten den freien Teil des Schilds umfasst. Dann würde die erste Information wahrscheinlich die tatsächliche Fahrsituation nicht wiederspiegeln (falsch sein) und die zweite Information würde die tatsächliche Fahrsituation wiederspiegeln (richtig sein).This can be advantageous, for example, when part of a sign (or other object) is covered, for example with tree leaves. In this case it is possible that the first part of the environment data includes the covered part of the sign, while the second part of the environment data includes the free part of the sign. Then the first information would probably not reflect the actual driving situation (be wrong) and the second information would reflect the actual driving situation (be correct).
Es ist möglich, dass die verschiedenen Teile der Umfelddaten von verschiedenen Ermittelungssystemen (wie Klassifikatoren) analysiert werden. Dies kann zu verschiedenen Ergebnissen führen. Es ist auch möglich, dass der erste und zweite Teil der Umfelddaten identisch sind oder sich gegenseitig ausschließen. Die Teile der Umfelddaten müssen nicht unbedingt, können aber, alle Umfelddaten umfassen. Steuerungssystem nach einem der vorhergehenden Ansprüche, wobei der erste Teil der Umfelddaten und der zweite Teil der Umfelddaten aus Verschiedenen der bereitgestellten mindestens einem Umfeldsensor/en und/oder Signalempfänger/n stammen.It is possible for the different parts of the environmental data to be analyzed by different determination systems (such as classifiers). This can lead to different results. It is also possible that the first and second parts of the environment data are identical or mutually exclusive. The parts of the environment data do not necessarily have to, but can include all environment data. Control system according to one of the preceding claims, wherein the first part of the environment data and the second part of the environment data originate from different ones of the provided at least one environment sensor (s) and / or signal receiver (s).
Dies ist besonders vorteilhaft, wenn das gleiche Objekt betrachtet wird, wie bereits weiter oben angesprochen. Wenn die verschiedenen Teil der Umfelddaten aus verschiedenen Umfeldsensoren oder Signalempfängern zu dem gleichen Ergebnis kommen, ist es sehr wahrscheinlich, dass die erste Information die tatsächliche Fahrsituation plausibel wiedergibt.This is particularly advantageous when the same object is viewed, as already discussed above. If the different parts of the environment data from different environment sensors or signal receivers come to the same result, it is very likely that the first information plausibly reproduces the actual driving situation.
Ein weiterer Aspekt betrifft ein Kraftfahrzeug, das ein vorherstehend beschriebenes Steuerungssystem umfasst.Another aspect relates to a motor vehicle that includes a control system as described above.
Ein weiterer Aspekt betrifft ein Steuerungsverfahren, das in einem Kraftfahrzeug basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en und/oder Signalempfänger/n gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug erkennt, wobei das Steuerungsverfahren insbesondere mittels eines der vorherstehenden Steuerungssysteme ausgeführt wird. Das Steuerungsverfahren wenigstens die folgenden Schritte umfasst:
- - Ermitteln zumindest einer ersten Information bezüglich einer aktuellen Fahrsituation des Kraftfahrzeugs basierend auf einem ersten Teil der bereitgestellten Umfelddaten;
- - Ermitteln zumindest einer zweiten Information bezüglich der aktuellen Fahrsituation des Kraftfahrzeugs und/oder der zumindest einen ersten Information basierend auf einem zweiten Teil der bereitgestellten Umfelddaten;
- - Erkennen durch die zumindest eine zweite Information, ob es plausibel ist, dass die zumindest eine erste Information der tatsächlichen aktuellen Fahrsituation entspricht;
- - wenn erkannt wurde, dass es nicht plausibel ist, dass die zumindest eine erste Information der tatsächlichen Fahrsituation entspricht, nicht Steuern des Kraftfahrzeugs entsprechend zu der zumindest einen ersten Information.
- Determination of at least one piece of first information relating to a current driving situation of the motor vehicle based on a first part of the provided environment data;
- Determining at least one second item of information relating to the current driving situation of the motor vehicle and / or the at least one first item of information based on a second part of the provided environment data;
- - Using the at least one second item of information, recognizing whether it is plausible that the at least one first item of information corresponds to the actual current driving situation;
- - if it has been recognized that it is not plausible that the at least one first piece of information corresponds to the actual driving situation, not controlling the motor vehicle in accordance with the at least one first piece of information.
Gegenüber herkömmlichen Fahrerassistenzsystemen verbessert die hier vorgestellte Lösung die Wahrscheinlichkeit, dass die Fahrsituation richtig eingeschätzt wird. Dies Verringert das Risiko von Unfällen.Compared to conventional driver assistance systems, the solution presented here improves the probability that the driving situation will be correctly assessed. This reduces the risk of accidents.
Ein weiterer Aspekt betrifft ein Steuerungssystem, das zum Einsatz in einem Kraftfahrzeug eingerichtet und bestimmt ist, basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en und/oder Signalempfänger/n gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder andere Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug zu erkennen, wobei der mindestens eine Umfeldsensor und/oder Signalempfänger dazu eingerichtet ist, dem Steuerungssystem die den Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug wiedergebenden Umfelddaten bereitzustellen. Das Steuerungssystem ist wenigstens dazu eingerichtet und bestimmt, die bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers (auch ML-Klassifizierer) mindestens einer Verkehrskategorie zuzuordnen, wobei jede der mindestens einen Verkehrskategorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinelle-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordneten Verkehrskategorien trainiert worden ist. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, ein Korrektursignal zu empfangen, welches korrigierend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten richtigerweise zuzuordnen sind, wobei das Korrektursignal vorzugsweise von einer Nutzereingabe stammt. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt, den Maschinellen-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie zu trainieren. Das Steuerungssystem ist weiterhin wenigstens dazu eingerichtet und bestimmt das Kraftfahrzeug entsprechend zu der korrigierten mindestens einen Verkehrskategorie zu steuern und/oder eine Anzeige zu steuern, etwas entsprechend der zugeordneten und/oder der korrigierten mindestens einen Verkehrskategorie anzuzeigen.Another aspect relates to a control system that is set up and intended for use in a motor vehicle, based on environment data obtained from at least one environment sensor (s) and / or signal receiver assigned to the motor vehicle (systems) and / or other objects in an area in front of, to the side next to and / or behind the motor vehicle, the at least one environment sensor and / or signal receiver being set up to indicate the area in front of, to the side next to and / or behind the control system to provide environment data reproducing the motor vehicle. The control system is at least set up and intended to assign the provided environment data by means of a machine learning classifier (also ML classifier) to at least one traffic category, each of the at least one traffic category is one of several categories of potential driving situations, and the machine learning system has been trained by means of previously known environmental data with traffic categories already assigned in each case. The control system is also set up and intended, if the at least one traffic category has been incorrectly assigned to the provided environment data, to receive a correction signal which correctively indicates which at least one traffic category the provided environment data is correctly assigned to, the correction signal preferably originating from a user input . The control system is also set up and intended to train the machine learning classifier on the provided environment data and the corrected at least one traffic category. The control system is also set up and determined to control the motor vehicle in accordance with the corrected at least one traffic category and / or to control a display to display something in accordance with the assigned and / or the corrected at least one traffic category.
Ein solches Steuerungssystem erkennt ein falsch erkannten Objekt das nächste Mal richtig. Auch wird das Steuerungssystem auf ähnliche Täuschungen bei dem nächsten Erkennen mit höherer Wahrscheinlichkeit nicht mehr getäuscht, sondern ordnet die bereitgestellten Umfelddaten richtig zu.Such a control system correctly recognizes an incorrectly recognized object the next time. It is also more likely that the control system will no longer be deceived for similar deceptions the next time it is detected, but rather correctly assigns the provided environment data.
Der Maschinelle-Lern-Klassifizierer (oder durch maschinelles Lernen trainierter Klassifizierungsalgorithmus) ist vorzugsweise ein Klassifizierer, der anfangs durch Daten eines Lernraums mittels maschinellen Lern Algorithmus trainiert wurde oder von einem solchem System kopiert wurde. Die Daten des Lernraumes geben Objekte im Straßenverkehr wieder mit einer/mehreren Bezeichnung/en des abgebildeten Objekts. So können beispielsweise ein Bild eines Stopp-Schildes als „Stopp-Schild“, eine Tonaufnahme einer Sirene als „Martinshorn“ oder „Sirene“, die Daten eines LIDAR von einem Fußgänger als „Fußgänger“, und ein 12V Signal eines Geschwindigkeitsbegrenzungs-Schildes als „Geschwindigkeitsbegrenzung“ bezeichnet werden. Diese Bezeichnungen entsprechen einer Verkehrskategorie (oder mehreren Verkehrskategorien bei mehreren Bezeichnungen).The machine learning classifier (or classification algorithm trained by machine learning) is preferably a classifier which was initially trained by means of data from a learning space using a machine learning algorithm or was copied from such a system. The data of the learning room reflect objects in road traffic with one / more designations of the object shown. For example, a picture of a stop sign as a “stop sign”, a sound recording of a siren as a “siren” or “siren”, the data of a LIDAR of a pedestrian as a “pedestrian”, and a 12V signal from a speed limit sign as "Speed Limit" are called. These names correspond to a traffic category (or several traffic categories if there are several names).
Die Zuordnung zu mindestens einer Verkehrskategorie kann dem Steuerungssystem Informationen bezüglich der aktuellen Fahrsituation geben mittels deren das Kraftfahrzeug gesteuert werden kann und/oder eine Anzeige gemacht werden kann (Siehe auch vorherigen Aspekt: Zuordnen einer Verkehrskategorie kann mit Erkennen einer ersten Information verglichen werden).The assignment to at least one traffic category can give the control system information regarding the current driving situation, by means of which the motor vehicle can be controlled and / or a display can be made (see also previous aspect: assignment of a traffic category can be compared with recognition of first information).
Das Korrektursignal kann die zumindest eine zweite Information aus den zuvorgenannten Aspekten sein. Es ist auch möglich, dass das Korrektursignal zusätzlich zu der zumindest einen zweiten Information (und der zuvor beschriebenen Plausibilitätsprüfung) kommt oder statt der zumindest einen zweiten Information kommt. Wird weder ein Korrektursignal empfangen noch eine zumindest eine zweite Information für eine Plausibilitätsprüfung genutzt, so wird vorzugsweise die zugeordnete mindestens eine Verkehrskategorie (bzw. die zumindest eine erste Information) zur Steuerung und/oder Meldungsanzeige genutzt. Das Korrektursignal nutzt vor Allem dem Maschinellen-Lern-Klassifizierer, um aus seinen Fehlern zu lernen.The correction signal can be the at least one second item of information from the aforementioned aspects. It is also possible that the correction signal comes in addition to the at least one second item of information (and the plausibility check described above) or comes instead of the at least one second item of information. If neither a correction signal is received nor at least one second item of information is used for a plausibility check, the assigned at least one traffic category (or the at least one first item of information) is preferably used for control and / or message display. The correction signal mainly uses the machine learning classifier to learn from its mistakes.
Das Steuerungssystem kann entsprechend der korrigierten mindestens einen Fahrsituation das Kraftfahrzeug steuern. Das Steuerungssystem kann auch/stattdessen eine Anzeige für den Nutzer (/Fahrer) steuern die zugeordnete und/oder die korrigierende mindestens eine Fahrsituation anzuzeigen. Das Anzeigen der zugeordneten falschen Fahrsituation kann vor oder nach dem Empfangen des Korrektursignals passieren. Eine Anzeige vor dem Empfang des Korrektursignals kann besonders vorteilhaft sein, wenn der Nutzer (/Fahrer) eine das Korrektursignal erzeugende Eingabe macht. Diese Eingabe kann beispielsweise besagen, dass die mindestens eine zugeordnete Verkehrskategorie falsch den Umfelddaten zugeordnet wurde und welche mindestens eine Verkehrskategorie den Umfelddaten (und der Fahrsituation) entspricht.The control system can control the motor vehicle in accordance with the corrected at least one driving situation. The control system can also / instead control a display for the user (/ driver) to display the assigned and / or corrective at least one driving situation. The display of the assigned wrong driving situation can happen before or after receiving the correction signal. A display before the correction signal is received can be particularly advantageous if the user (/ driver) makes an input that generates the correction signal. This input can mean, for example, that the at least one assigned traffic category was incorrectly assigned to the surroundings data and which at least one traffic category corresponds to the surroundings data (and the driving situation).
Das Steuerungssystem kann ferner wenigstens dazu eingerichtet und bestimmt sein, die bereitgestellten Umfelddaten der mindestens einen Verkehrskategorie zuzuordnen, indem das Steuerungssystem eingerichtet und bestimmt ist, eine Übereinstimmungswahrscheinlichkeit zwischen den bereitgestellten Umfelddaten und jeder der mehreren Kategorien potentieller Fahrsituationen zu erzeugen, und mindestens eine Kategorie potentieller Fahrsituationen, welche die höchste/n Übereinstimmungswahrscheinlichkeit/en aufweist, als die mindestens eine Verkehrskategorie zuordnet.The control system can also at least be set up and determined to assign the provided environment data to the at least one traffic category, in that the control system is set up and determined to generate a likelihood of correspondence between the provided environment data and each of the multiple categories of potential driving situations, and at least one category of potential driving situations which has the highest probability of correspondence (s) than which assigns at least one traffic category.
Die Übereinstimmungswahrscheinlichkeiten werden dabei jeweils von dem Maschinellen-Lern-Klassifizierer erzeugt. Es kann eine Übereinstimmungswahrscheinlichkeit für jede der mehreren Kategorien potentieller Fahrsituationen erzeugt werden. Die Kategorien, welche die höchsten Übereinstimmungswahrscheinlichkeiten aufweisen, werden den bereitgestellten Umfelddaten zugeordnet. Es ist möglich, dass nur eine Kategorie, welche die höchste Übereinstimmungswahrscheinlichkeit aufweist, zugeordnet wird. Auch ist es möglich, dass alle Kategorien zugeordnet werden, die ein Übereinstimmungswahrscheinlichkeit über einem vorherbestimmten Schwellwert aufweisen. Diese letzte Möglichkeit ist vorteilhaft, wenn der Nutzer (/Fahrer) von diesen Kategorien auswählen kann.The likelihood of correspondence is generated by the machine learning classifier. A probability of correspondence can be generated for each of the several categories of potential driving situations. The categories which have the highest likelihood of correspondence are assigned to the environmental data provided. It is possible that only one category which has the highest probability of matching is assigned. It is also possible that all categories are assigned that have a probability of match above a have a predetermined threshold. This last option is advantageous if the user (/ driver) can choose from these categories.
Die mehreren Kategorien potentieller Fahrsituationen können zumindest folgende Kategorien für die Fahrsituationen umfassen: Geschwindigkeitsbegrenzungen, Stopp-Schilder, Vorfahrtsschilder, Lichtzeichen(anlagen), Warnschilder und/oder Fahrspurbegrenzungen.The multiple categories of potential driving situations can include at least the following categories for the driving situations: speed limits, stop signs, priority signs, light signals (systems), warning signs and / or lane boundaries.
Ferner können die mehreren Kategorien potentieller Fahrsituationen bzw. die Verkehrskategorien auch die Zeichen der Anlagen der (deutschen) Straßenverkehrs-Ordnung, Manöver anderer Kraftfahrzeuge und weiterer Verkehrsteilnehmer (Abbiegen, Überholen, Abbremsen, etc.), und/oder besondere Gefahrensituationen umfassen. Die mehreren Kategorien potentieller Fahrsituationen bzw. die Verkehrskategorien sind insbesondere so zu wählen, dass sie die wesentlichen Merkmale der Fahrsituation so wiedergibt, dass das Steuerungssystem das eigene Kraftfahrzeug sicher und gut steuern kann und/oder dass das Steuerungssystem dem Nutzer wichtige Aspekte zum Fahren mitteilen kann.Furthermore, the multiple categories of potential driving situations or the traffic categories can also include the signs of the systems of the (German) road traffic regulations, maneuvers of other motor vehicles and other road users (turning, overtaking, braking, etc.), and / or special dangerous situations. The multiple categories of potential driving situations or the traffic categories are to be selected in particular in such a way that they reproduce the essential features of the driving situation in such a way that the control system can safely and effectively control one's own motor vehicle and / or that the control system can inform the user about important aspects of driving .
Die mehreren Kategorien potentieller Fahrsituationen können ferner eine Hintergrundkategorie umfassen, die repräsentiert, dass die bereitgestellten Umfelddaten keine Informationen betreffen, die wesentlich zum Steuern des Kraftfahrzeugs sind. Die Hintergrundkategorie ist für Umfelddaten, die verworfen werden sollen ohne auf die Steuerung des Kraftfahrzeugs (direkt oder durch den Fahrer) Einfluss zu nehmen. Wird beispielsweise ein Bild von einem Baum neben der Straße von dem Maschinellen-Lern-Klassifizierer ausgewertet, soll dieses Bild der Hintergrundkategorie zugeordnet werden und das Steuerungssystem soll keine weiteren Reaktionen (außer vielleicht dem Verwerfen) auf das Bild ausführen. Es ist auch möglich, dass es mehrere Hintergrundkategorien gibt. Dies kann dem Maschinellen-Lern-Klassifizierer das Zuordnet von grundverschiedenen Objekten, die nicht für die Fahrsituation wesentlich sind, erleichtern. Beispielsweise sind grüne Bäume und Büsche neben der Straße grundverschieden zu grauen Häusern. Trotzdem sollen all diese Objekte als Hintergrundkategorie behandelt und verworfen werden. Ferner ist es möglich, dass das Steuerungssystem bestimmte Hintergrundkategorien nicht einfach verwirft. Beispielsweise kann ein erkannter Baum, der nahe eines Straßenschildes positioniert ist, als mögliche Täuschungsquelle erkannt werden, weil der Baum das Straßenschild (teilweise) verdecken kann. In diesem Sinne kann es auch vorteilhaft sein, verschiedene Hintergrundkategorien zu haben. Es ist auch möglich, dass Umfelddaten, die für jede Kategorie möglicher Fahrsituationen eine sehr geringe Übereinstimmungswahrscheinlichkeit aufweist (möglicherweise unter einem vorherbestimmten Mindestschwellwert), automatisch der/einer Hintergrundkategorie zugeordnet werden. Dies kann ein falsches zuordnen der Umfelddaten zu einer Verkehrskategorie (mit möglichen Auswirkungen auf das Steuern des Kraftfahrzeugs) verhindern.The multiple categories of potential driving situations can also include a background category that represents that the environment data provided does not relate to any information that is essential for controlling the motor vehicle. The background category is for environment data that should be discarded without influencing the control of the motor vehicle (directly or by the driver). If, for example, an image of a tree next to the road is evaluated by the machine learning classifier, this image should be assigned to the background category and the control system should not carry out any further reactions (except perhaps rejecting) the image. It is also possible that there are multiple background categories. This can make it easier for the machine learning classifier to assign fundamentally different objects that are not essential for the driving situation. For example, green trees and bushes next to the road are completely different from gray houses. Nevertheless, all of these objects should be treated as a background category and discarded. It is also possible that the control system does not simply discard certain background categories. For example, a recognized tree that is positioned near a street sign can be recognized as a possible source of deception because the tree can (partially) cover the street sign. With this in mind, it can also be beneficial to have different background categories. It is also possible for environment data that has a very low probability of matching for each category of possible driving situations (possibly below a predetermined minimum threshold value) to be automatically assigned to the / a background category. This can prevent incorrect assignment of the surroundings data to a traffic category (with possible effects on the control of the motor vehicle).
Der Maschinelle-Lern-Klassifizierer kann dazu eingerichtet und bestimmt sein, auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie mittels Backpropagation trainiert zu werden. Backpropagation wird auch „Backpropagation of Error“ oder im Deutschen „Fehlerrückführung“ oder „Rückpropagierung“ genannt. Es ist möglich die Robustheit (also die (negative) Anfälligkeit auf Täuschungen) als Optimierungsgröße zu verwenden.The machine learning classifier can be set up and intended to be trained on the provided environment data and the corrected at least one traffic category by means of backpropagation. Backpropagation is also called "Backpropagation of Error" or in German "Fehlerrückführung" or "Rückpropagierung". It is possible to use robustness (i.e. the (negative) susceptibility to deception) as an optimization variable.
Eine von dem Korrektursignal umfasste korrigierende Angabe, welcher mindestens einen Verkehrskategorie den bereitgestellten Umfelddaten zuzuordnen sind, kann von einem Nutzer eingebbar sein, von einer Datenbank bereitgestellt werden und/oder von einem anderen System eingespeist sein.Corrective information contained in the correction signal, to which at least one traffic category is to be assigned to the environmental data provided, can be entered by a user, provided by a database and / or fed in from another system.
Das Korrektursignal kann von ähnlichen Quellen wie die zumindest eine zweite Information kommen. Besonders Quellen mit hoher Vertrauenswürdigkeit führen dazu, dass das Steuerungssystem gut auf weitere Täuschungen vorbereitet wird. Der Nutzer (/Fahrer) kann über eine Schnittstelle im Kraftfahrzeug oder per App über sein Handy korrigierende Angaben machen, die als Korrektursignal genutzt werden. Auch kann eine Polizeidatenbank, eine Datenbank des Streckenbetreibers oder eine andere Datenbank das Korrektursignal bereitstellen. Dies ist beispielsweise möglich, wenn die Täuschung bereits bekannt ist oder bereits bekannt ist, dass an einer Stelle/ in einer Region häufig eine bestimmte Täuschung auftritt oder Täuschungen generell auftreten. Auch kann eine Datenbank die Fahrsituationen (oder bestimmte Aspekte der Fahrsituationen) für jeweilige Orte/Regionen angeben (z.B.: auf einer Karte). Dies kann ohne Rücksicht auf Bestehen und/oder Risiko einer Täuschung sein. Das Steuerungssystem kann dann die mindestens eine zugeordnete Verkehrskategorie über diese Datenbank verifizieren. Dies ist auch vorteilhaft, weil der Maschinelle-Lern-Klassifizierer stets weiter lernt, ohne dass ein Nutzer aktiv etwas machen muss. Ferner ist es auch möglich, dass das Korrektursignal von einem anderen System eingespeist wird. Dies kann beispielsweise über 12V passieren. Würde ein mit Aufklebern beklebtes Schild, wie in
Dem Steuerungssystem können bewusst erzeugte Umfelddaten bereitgestellt werden, die der Maschinelle-Lern-Klassifizierer zumindest einer falschen Verkehrskategorie zuordnet, wobei die bewusst erzeugten Umfelddaten mittels Kenntnissen über den Maschinellen-Lern-Klassifizierer erzeugt wurden, die durch Reverse Engineering des Maschinellen-Lern-Klassifizierers gewonnen wurden, und wobei dem Steuerungssystem das Korrektursignal bereitgestellt wird, damit eine Zuordnung von Umfelddaten zu den Verkehrskategorien durch den Maschinellen-Lern-Klassifizierer verbessert wird.The control system can be provided with consciously generated environment data, which the machine learning classifier assigns to at least one wrong traffic category deliberately generated environmental data were generated by means of knowledge about the machine learning classifier, which was obtained through reverse engineering of the machine learning classifier, and the correction signal is provided to the control system so that an assignment of environmental data to the traffic categories by the machine learning -Classifier is improved.
In dieser Weise wird der Maschinelle-Lern-Klassifizierer speziell auf Täuschungen trainiert. Durch das Revers Engineering (im Deutschen auch Nachkonstruktion) werden speziell Umfelddaten erzeugt, von welchen der Maschinelle-Lern-Klassifizierer getäuscht wird. Wie diese Umfelddaten genau ausschauen ist, unter Anderem, von der Architektur des Maschinellen-Lern-Klassifizierers abhängig. Das in
Das Steuerungssystem kann ferner eingerichtet und bestimmt ist, verschiedenen Teilen der bereitgestellten Umfelddaten, die jeweils verschiedenen erkannten Objekten der Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weiteren Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder anderen Objekten in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug entsprechen, jeweils verschiedene mindestens eine Verkehrskategorien zuzuordnen.The control system can also be set up and determined to display different parts of the provided environment data, the different detected objects in the lanes, lane boundaries, lane markings, other motor vehicles, traffic signs, light signals (systems) and / or other objects in an area in front of, to the side, and / or behind the motor vehicle correspond to assigning at least one different traffic categories in each case.
Es ist möglich, dass die Umfelddaten (ein Satz an Umfelddaten) mehrere erkennbare/zuordenbare Objekte umfasst. So kann beispielsweise ein Bild mehrere Schilder zeigen oder die Umfelddaten umfassen ein Bild von einem Schild und eine Mikrofonaufnahme von einer Sirene. In solchen Fällen kann das Steuerungssystem jedes Objekt einzeln erkennen. In den gerade vorgebrachten Beispielen wären die einzelnen Objekte die jeweiligen der mehreren Schilder bzw. das Schild und die Sirene. Das Steuerungssystem kann die Umfelddaten vor dem Zuordnen der Kategorien in kleinere Teile unterteilen, wobei jedes kleinere Teil jeweils ein Objekt aufweist. Auch ist es möglich, dass das Steuerungssystem die Umfelddaten während des Zuordnens unterteilt oder dass das Unterteilen und das Zuordnen iterativ abläuft. Es ist auch möglich, dass beim Zuordnen einem Teil der Umfelddaten mehrere Verkehrskategorien zugeordnet werden, wobei jede zugeordnete Verkehrskategorie einem auf dem Teil der Umfelddaten umfassten Objekt entspricht.It is possible for the environment data (a set of environment data) to include several recognizable / assignable objects. For example, an image can show several signs or the environment data include an image from a sign and a microphone recording from a siren. In such cases the control system can recognize each object individually. In the examples just presented, the individual objects would be the respective one of the multiple signs or the sign and the siren. The control system can subdivide the environment data into smaller parts before assigning the categories, each smaller part each having an object. It is also possible for the control system to subdivide the environment data during the assignment or for the subdivision and assignment to run iteratively. It is also possible that when assigning a part of the environment data, several traffic categories are assigned, with each assigned traffic category corresponding to an object included in the part of the environment data.
Das Steuerungssystem kann ferner dazu eingerichtet und bestimmt ist, wenn das Korrektursignal empfangen wird, die bereitgestellten Umfelddaten auch einer Täuschungskategorie zuzuordnen, wobei die Täuschungskategorie nicht eine der mehreren Verkehrskategorien potentieller Fahrsituationen ist, sondern einer Wahrscheinlichkeit entspricht, dass der Maschinelle-Lern-Klassifizierer Umfelddaten falsch zuordnet; während der Maschinelle-Lern-Klassifizierer auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie trainiert wird, den Maschinellen-Lern-Klassifizierer auch auf die bereitgestellten Umfelddaten und die Täuschungskategorie zu trainieren; und bei dem Zuordnen weiterer bereitgestellter Umfelddaten mittels des Maschinellen-Lern-Klassifizierers, neben dem Zuordnen der mindestens einen Verkehrskategorie auch zu ermitteln, ob die weiteren bereitgestellten Umfelddaten der Täuschungskategorie zuzuordnen sind.The control system can furthermore be set up and determined, when the correction signal is received, to also assign the provided environment data to a deception category, the deception category not being one of the several traffic categories of potential driving situations, but rather a probability that the machine learning classifier incorrect environment data assigns; while the machine learning classifier is being trained on the provided environment data and the corrected at least one traffic category, the machine learning classifier is also trained on the provided environment data and the deception category; and when assigning further provided environment data by means of the machine learning classifier, in addition to assigning the at least one traffic category, also to determine whether the further provided environment data are to be assigned to the deception category.
Dies kann vorteilhaft sein, da Täuschungen erkannt werden können (durch die Zuordnung der Täuschungskategorie) bevor ein Korrektursignal von außen empfangen wird. Die Täuschungskategorie wird zusätzlich zu der mindesten einen Verkehrskategorie zugeordnet. Das heißt, dass mindestens eine Verkehrskategorie und die Täuschungskategorie zugeordnet werden oder mindestens eine Verkehrskategorie ohne die Täuschungskategorie zugeordnet wird. Ob die Täuschungskategorie den bereitgestellten Umfelddaten zugeordnet wird kann davon abhängen, ob der Maschinelle-Lern-Klassifizierer eine Übereinstimmungswahrscheinlichkeit der Täuschungskategorie zu den bereitgestellten Umfelddaten ermittelt, die höher als ein vorherbestimmter Täuschungskategorie-Schwellwert ist.This can be advantageous because deceptions can be detected (by assigning the deception category) before a correction signal is received from the outside. The deception category is assigned in addition to the at least one traffic category. This means that at least one traffic category and the deception category are assigned or at least one traffic category is assigned without the deception category. Whether the deception category is assigned to the provided environment data can depend on whether the machine learning classifier determines a likelihood of correspondence between the deception category and the provided environment data that is higher than a predetermined deception category threshold value.
Es ist auch möglich, dass das Steuerungssystem zum Zuordnen der Verkehrskategorie Verkehrsmerkmale nutzt. Um dies zu tun, kann das Steuerungssystem Verkehrsmerkmale in den bereitgestellten Umfelddaten erkennen. Solche Verkehrsmerkmale könne beispielsweise Farbe, Form, Bewegung, Schattierungen und/oder anderes sein. Die Verkehrsmerkmale können einprogrammiert (von einem Menschen) und/oder durch den Maschinellen Lernprozess automatisch erstellt worden sein. Eine Verkehrskategorie, zu welcher die meisten erkannten Verkehrsmerkmale passen, kann dann zugeordnet werden. So kann beispielsweise ein Objekt, welches die Verkehrsmerkmale: unbewegt, überwiegend rot, und achteckig aufweist, der Verkehrskategorie Stopp-Schild zugeordnet werden. Sollten mehrere Verkehrsmerkmale (beispielsweise mehr als ein Schwellwert) zu der Täuschungskategorie passen, so kann diese zugeordnet werden. Die Zuordnung des Täuschungskategorie anhand der Verkehrsmerkmale kann auch von der zugeordneten Verkehrskategorie abhängen. So kann beispielsweise ein Stopp-Schild, welches die Verkehrsmerkmale bewegt und Schattenlinien auf dem Schild aufweisen, der Täuschungskategorie zugewiesen werden. Dies würde beispielsweise eintreten, wenn ein als Stopp-Schild bemalten Tuch aufgehangen wurde.It is also possible for the control system to use traffic features to assign the traffic category. In order to do this, the control system can recognize traffic features in the environmental data provided. Such traffic features can be, for example, color, shape, movement, shading and / or others. The traffic features can have been programmed in (by a human) and / or automatically created by the machine learning process. A traffic category to which most of the recognized traffic features fit can then be assigned. For example, an object that has the traffic features: stationary, predominantly red, and octagonal can be assigned to the traffic category stop sign. Should If several traffic features (for example more than one threshold value) match the deception category, this can be assigned. The assignment of the deception category on the basis of the traffic features can also depend on the assigned traffic category. For example, a stop sign that moves the traffic features and has shadow lines on the sign can be assigned to the deception category. This would occur, for example, if a cloth painted as a stop sign was hung up.
Das Steuerungssystem kann ferner dazu eingerichtet und bestimmt ist, wenn die weiteren bereitgestellten Umfelddaten der Störungskategorie zugeordnet wurde, das Korrektursignal anzufordern.The control system can furthermore be set up and determined to request the correction signal if the further provided environment data has been assigned to the malfunction category.
Dies kann dem gezielten Nach-lernen des Maschinellen-Lern-Klassifizierers dienen, weil bei bereitgestellten Umfelddaten, die der Täuschungskategorie zugeordnet wurden, also mit hoher Wahrscheinlichkeit eine Täuschung umfassen, ein Korrektursignal angefordert wird und somit der Maschinelle-Lern-Klassifizierer mit der Information aus dem Korrektursignal weiter trainiert werden kann. Das Korrektursignal kann von dem Nutzer/Fahrer, einer Karte, einem Server, V2V und/oder anderen Quellen angefordert werden.This can be used for the targeted re-learning of the machine learning classifier, because when environment data is provided that has been assigned to the deception category, i.e. includes a deception with a high degree of probability, a correction signal is requested and thus the machine learning classifier with the information the correction signal can be trained further. The correction signal can be requested from the user / driver, a map, a server, V2V and / or other sources.
Das Steuerungssystem kann ferner ein von dem Maschinellen-Lern-Klassifizierer unabhängiges Prüfsystem umfasst, wobei das Prüfsystem eingerichtet und bestimmt ist, zumindest einen Ausschnitt der bereitgestellten Umfelddaten mit der mindestens einen Verkehrskategorie zu vergleichen, welche von dem Maschinellen-Lern-Klassifizierer zugeordnet wurde, und daraus ermittelt, ob der Maschinelle-Lern-Klassifizierer richtig zugeordnet hat, wobei ein Ausschnitt der bereitgestellten Umfelddaten einem Teil des erkannten Objekts entspricht.The control system can furthermore comprise a test system that is independent of the machine learning classifier, the test system being set up and determined to compare at least a section of the provided environment data with the at least one traffic category that was assigned by the machine learning classifier, and from this it is determined whether the machine learning classifier has assigned correctly, with a section of the environment data provided corresponding to a part of the recognized object.
Das Prüfsystem überprüft das Ergebnis des Maschinellen-Lern-Klassifizierers und erhöht dadurch die Zuverlässigkeit des Steuerungssystems. Das Prüfsystem ist vorzugsweise unabhängig von dem Maschinellen-Lern-Klassifizierer. Das Prüfsystem kann die zumindest eine Verkehrskategorie direkt mit dem Ausschnitt der bereitgestellten Umfelddaten vergleichen und daraus sein Resultat ziehen. Es ist auch möglich, dass das Prüfsystem eine eigene Zuordnung des Ausschnitts der bereitgestellten Umfelddaten zu zumindest einen der mehreren Kategorien potentieller Fahrsituation vornimmt und dass das Prüfsystem dies dann mit den zugeordneten Verkehrskategorien des Maschinellen-Lern-Klassifizierers vergleicht, um ein Resultat zu ziehen. Diese letztgenannte Möglichkeit kann als Ermitteln der zumindest einen zweiten Information gesehen werden.The test system checks the result of the machine learning classifier and thereby increases the reliability of the control system. The test system is preferably independent of the machine learning classifier. The test system can compare the at least one traffic category directly with the excerpt from the provided environment data and draw its result therefrom. It is also possible that the test system assigns the section of the provided environment data to at least one of the multiple categories of potential driving situation and that the test system then compares this with the assigned traffic categories of the machine learning classifier in order to draw a result. This last-mentioned possibility can be seen as determining the at least one second item of information.
Das Prüfsystem kann ein zweiter Maschinellen-Lern-Klassifizierer sein, dem ein anderer Algorithmus als dem Maschinellen-Lern-Klassifizierer zugrunde liegt, oder ein Algorithmus ist, der nicht durch maschinelles Lernen trainiert wurde.The test system can be a second machine learning classifier that is based on an algorithm other than the machine learning classifier, or it can be an algorithm that has not been trained by machine learning.
Dadurch, dass das Prüfsystem anders aufgebaut ist als der Maschinelle-Lern-Klassifizierer, werden die strukturellen Defizite des Maschinellen-Lern-Klassifizierers ausgeglichen. Beispielsweise wird eine Täuschung, die nur bei der Architektur/Algorithmus des Maschinellen-Lern-Klassifizierers täuscht, bei dem Prüfsystem richtig erkannt. Somit erkennt das Steuerungssystem Täuschungen besser. Auch können gezielte Täuschungen, die durch Reverse Engineering erstellt wurden, schwerer durchgeführt werden.Because the test system is structured differently than the machine learning classifier, the structural deficits of the machine learning classifier are compensated for. For example, a deception that is only deceptive in the architecture / algorithm of the machine learning classifier is correctly detected in the test system. The control system thus recognizes deceptions better. Also, targeted deceptions created by reverse engineering can be more difficult to perform.
Das Prüfsystem kann ferner eingerichtet und bestimmt sein, auf Grundlage nur eines Anteils der bereitgestellten Umfelddaten die Prüfung auszuführen.The test system can furthermore be set up and determined to carry out the test on the basis of only a portion of the environmental data provided.
Wenn das Prüfsystem nur auf Grundlage eines Anteils der bereitgestellten Umfelddaten prüft, kann es die Fahrsituation anders einschätzen. Dies kann zu einer erhöhten Täuschungserkennung führen. Es kann vorkommen, dass der Anteil der bereitgestellten Umfelddaten die Störung gerade nicht umfasst. Wie, zum Beispiel, bei einem teilweise überklebten Schild. Der Anteil der bereitgestellten Umfelddaten umfasst eventuell nur ein nicht überklebtes Teil des Schildes. Auch kann es vorteilhaft sein, wenn das Prüfsystem nur ein Anteil des Objekts sieht (und/oder hört, etc.). Wird dem Prüfsystem, zum Beispiel, nur ein Bild von einem halben Stopp-Schild bereitgestellt, so kann es sein, dass es mehr auf die Farbe und weniger auf die äußere Form schaut. Deshalb kann es vorteilhaft sein, dass das Steuerungssystem den Anteil der bereitgestellten Umfelddaten so auswählt, dass das zu erkennende Objekt nur teilweise wiedergegeben ist.If the test system only checks on the basis of a portion of the environmental data provided, it can assess the driving situation differently. This can lead to increased deception detection. It can happen that the share of the environmental data provided does not include the fault. Like, for example, a partially pasted sign. The portion of the environmental data provided may only include a part of the sign that has not been pasted over. It can also be advantageous if the inspection system sees (and / or hears, etc.) only part of the object. For example, if the inspection system is only provided with an image of half a stop sign, it may look more at the color and less at the outer shape. It can therefore be advantageous for the control system to select the portion of the environmental data provided in such a way that the object to be recognized is only partially reproduced.
Das Steuerungssystem kann ferner eingerichtet und bestimmt sein, das Korrektursignal anzufordern, wenn das Prüfsystem die mindestens eine Verkehrskategorie, welche von dem Maschinellen-Lern-Klassifizierer zugeordnet wurde, als falsch zugeordnet erkennt.The control system can furthermore be set up and determined to request the correction signal if the test system detects the at least one traffic category which has been assigned by the machine learning classifier as being incorrectly assigned.
Dies macht das Steuerungssystem sicherer, da es für zukünftige Umfelddaten besser trainiert werden kann, durch das Korrektursignal.This makes the control system safer, since it can be better trained for future environmental data by means of the correction signal.
Die Umfelddaten können bildbasierte Daten sein.The environment data can be image-based data.
Ferner ist es möglich, dass die Umfelddaten ausschließlich eine oder mehrere der folgenden umfasst: bildbasierte Daten, Audio-Daten (von einem Mikrofon), LIDAR-Daten, Daten von einem Server und/oder einer abgespeicherten Karte.It is also possible for the environment data to include only one or more of the following: image-based data, audio data (from a Microphone), LIDAR data, data from a server and / or a stored card.
Ein weiterer Aspekt betrifft ein Kraftfahrzeug, das ein vorherstehend beschriebenes Steuerungssystem umfasst.Another aspect relates to a motor vehicle that includes a control system as described above.
Ein weiterer Aspekt betrifft ein Steuerungsverfahren, das in einem Kraftfahrzeug basierend auf aus mindestens einem, dem Kraftfahrzeug zugeordneten Umfeldsensor/en gewonnenen Umfelddaten Fahrspuren, Fahrbahnbegrenzungen, Fahrbahnmarkierungen, weitere Kraftfahrzeuge, Verkehrsschilder, Lichtzeichen(anlagen) und/oder Objekte in einem Bereich vor, seitlich neben und/oder hinter dem Kraftfahrzeug erkennt, wobei das Steuerungsverfahren insbesondere mittels eines der vorherstehenden Steuerungssysteme ausgeführt wird. Das Steuerungsverfahren wenigstens die folgenden Schritte umfasst:
- - Zuordnen der bereitgestellten Umfelddaten mittels eines Maschinellen-Lern-Klassifizierers zu mindestens einer Verkehrskategorie, wobei jede der mindestens einen Verkehrskategorie eine von mehreren Kategorien potentieller Fahrsituationen ist, und wobei das Maschinelle-Lern-System durch vorher bekannte Umfelddaten mit jeweils bereits zugeordneten Verkehrskategorien trainiert worden ist;
- - wenn die mindestens eine Verkehrskategorie den bereitgestellten Umfelddaten falsch zugeordnet wurde, Empfangen eines Korrektursignal, welches korrigierend angibt, welcher mindestens einen Verkehrskategorie die bereitgestellten Umfelddaten zuzuordnen sind;
- - Trainieren des Maschinelle-Lern-Klassifizierers auf die bereitgestellten Umfelddaten und die korrigierte mindestens eine Verkehrskategorie; und
- - Steuern des Kraftfahrzeugs entsprechend zu der korrigierten mindestens einen Verkehrskategorie und/oder Steuern einer Anzeige, eine Information entsprechend der zugeordneten und/oder der korrigierten mindestens eine Verkehrskategorie anzuzeigen.
- - Assignment of the provided environment data by means of a machine learning classifier to at least one traffic category, with each of the at least one traffic category being one of several categories of potential driving situations, and with the machine learning system being trained using previously known environment data with respectively already assigned traffic categories is;
- - if the at least one traffic category was incorrectly assigned to the environment data provided, receiving a correction signal which correctively indicates which at least one traffic category the environment data provided is to be assigned to;
- - Training the machine learning classifier on the provided environment data and the corrected at least one traffic category; and
- - Controlling the motor vehicle in accordance with the corrected at least one traffic category and / or controlling a display to display information corresponding to the assigned and / or the corrected at least one traffic category.
Es ist für den Fachmann ersichtlich, dass die zuvor beschriebenen Aspekte und Merkmale beliebig in einem Steuerungssystem und/oder einem Steuerungsverfahren kombiniert werden können. Zwar wurden einige der voranstehend beschriebenen Merkmale in Bezug auf ein Steuerungssystem beschrieben, jedoch versteht sich, dass diese Merkmale auch auf ein Steuerungsverfahren zutreffen können. Genauso können die voranstehend in Bezug auf ein Steuerungsverfahren beschriebenen Merkmale in entsprechender Weise auf ein Steuerungssystem zutreffen.It is evident to the person skilled in the art that the aspects and features described above can be combined as desired in a control system and / or a control method. Although some of the features described above were described in relation to a control system, it is understood that these features can also apply to a control method. In the same way, the features described above in relation to a control method can apply in a corresponding manner to a control system.
FigurenlisteFigure list
Weitere Ziele, Merkmale, Vorteile und Anwendungsmöglichkeiten ergeben sich aus der nachfolgenden Beschreibung von nicht einschränkend zu verstehenden Ausführungsbeispielen mit Bezug auf die zugehörigen Zeichnungen. Dabei zeigen alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination den hier offenbarten Gegenstand. Die Abmessungen und Proportionen der in den Figuren gezeigten Komponenten sind hierbei nicht maßstäblich. Gleiche oder gleichwirkende Komponenten sind mit denselben Bezugszeichen versehen.
-
1 zeigt schematisch ein Kraftfahrzeug gemäß einem Ausführungsbeispiel, das ein Steuerungssystem und mindestens einen Umfeldsensor aufweist. -
2a zeigt schematisch ein Stopp-Schild. -
2b zeigt schematisch ein Stopp-Schild mit Aufklebern, welches einen Maschinelle-Lern-Klassifizierer täuschen können. -
2c zeigt schematisch eine Straße mit Fahrbahnmarkierungen und ein Kraftfahrzeug während zwei Zeitpunkten, welches sich in Richtung des Pfeiles bewegt. -
2d zeigt schematisch die Straße aus2c mit einer täuschenden Markierung. -
3 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. -
4 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. -
5 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. -
6 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung. -
7 zeigt schematisch die Funktionsweise einer Ausführungsform der Erfindung.
-
1 shows schematically a motor vehicle according to an exemplary embodiment, which has a control system and at least one environment sensor. -
2a shows schematically a stop sign. -
2 B shows schematically a stop sign with stickers which can deceive a machine learning classifier. -
2c shows schematically a road with lane markings and a motor vehicle at two points in time, which is moving in the direction of the arrow. -
2d shows schematically the street2c with a deceptive mark. -
3 shows schematically the functioning of an embodiment of the invention. -
4th shows schematically the functioning of an embodiment of the invention. -
5 shows schematically the functioning of an embodiment of the invention. -
6th shows schematically the functioning of an embodiment of the invention. -
7th shows schematically the functioning of an embodiment of the invention.
Detaillierte Beschreibung der ZeichnungenDetailed description of the drawings
Im Rahmen der folgenden Offenbarung werden Aspekte vorrangig mit Bezug auf das Steuerungssystem beschrieben. Diese Aspekte sind jedoch selbstverständlich auch im Rahmen des offenbarten Steuerungsverfahrens gültig, das beispielsweise von einer zentralen Steuervorrichtung (ECU) eines Kraftfahrzeugs ausgeführt werden kann. Dies kann unter Vornahme geeigneter Schreib- und Lesezugriffe auf einen dem Kraftfahrzeug zugeordneten Speicher erfolgen. Das Steuerungsverfahren kann innerhalb des Kraftfahrzeugs sowohl in Hardware als auch Software als auch einer Kombination aus Hardware und Software implementiert werden. Dazu zählen auch digitale Signalprozessoren, anwendungsspezifische integrierte Schaltkreise, Field Programmable Gate Arrays sowie weitere geeignete Schalt- und Arithmetikkomponenten.In the context of the following disclosure, aspects are primarily described with reference to the control system. However, these aspects are of course also valid within the framework of the disclosed control method, which can be executed, for example, by a central control device (ECU) of a motor vehicle. This can be done by performing suitable write and read access to a memory assigned to the motor vehicle. The control method can be implemented within the motor vehicle both in hardware and in software and also in a combination of hardware and software. This also includes digital signal processors, application-specific integrated circuits, field programmable gate arrays and other suitable switching and arithmetic components.
In der
Mindestens ein zusätzlicher oder alternativer, ebenfalls in Fahrtrichtung des eigenen Kraftfahrzeugs
Ferner kann mindestens ein Umfeldsensor
Der mindestens eine Umfeldsensor
Ferner kann ein Signalempfänger
Die elektronische Steuerung ECU verarbeitet die aus dem/den an dem eigenen Kraftfahrzeug
Dazu stellen die Umfeldsensoren
Alternativ oder zusätzlich kann das Steuerungssystem
Das Fahrassistenzsystem
Fallen die Informationen auseinander (beispielsweise: Geschwindigkeitsbegrenzung als erste Information und Stopp-Schild als zweite Information), so kann die zumindest eine erste Information als nicht plausibel erachtet werden (Schritt
Es kann auch sein, dass die Informationen nichts miteinander zu tun haben. So kann beispielsweise ein Stopp-Schild durch ein Bild erkannt werden und gleichzeitig eine Sirene durch ein Mikrofon. In diesem Fall kann das Steuerungssystem den fehlenden Bezug erkennen und keine Aussage über die Plausibilität machen. Es ist möglich, dass das Steuerungssystem in einem Fall des fehlenden Bezugs neue Umfelddaten angefordert.It is also possible that the information has nothing to do with one another. For example, a stop sign can be recognized by a picture and a siren by a microphone at the same time. In this case, the control system can recognize the missing reference and make no statement about the plausibility. It is possible that the control system may request new environment data in the event of a missing reference.
Es ist auch möglich, dass sich die Informationen nicht direkt widersprechen, aber keinen plausiblen Gesamteindruck bilden. Beispielsweise kann dies der Fall sein, wenn als ersten Teil der bereitgestellten Umfelddaten orangene Straßenmarkierungen als Fahrbahnmarkierungen erkannt werden und ferner keine Daten/Informationen bezüglich einer Baustelle (beispielsweise durch Verkehrsschilder, 12V Nachrichten, etc.) vorhanden sind. In einem solchen Fall ist es möglich, dass das Steuerungssystem die Fahrbahnmarkierungen als nicht plausibel erachtet und/oder weitere Informationen anfordert.It is also possible that the information does not contradict each other directly, but does not form a plausible overall impression. For example, this can be the case when orange road markings are recognized as lane markings as the first part of the environment data provided and furthermore no data / information relating to a construction site (for example from traffic signs, 12V messages, etc.) is available. In such a case it is possible that the control system does not consider the lane markings plausible and / or requests further information.
Wird die zumindest eine erste Information als plausibel erachtet (
Wird die zumindest eine erste Information als nicht plausibel erachtet (
Schritt
Folgt auf das Zuordnen in Schritt
Folgt auf das Zuordnen in Schritt
Zweitens kann eine Täuschungskategorie zugeordnet werden (oder nicht zugeordnet werden). Wird die Täuschungskategorie zugeordnet, so erwartet der Maschinelle-Lern-Klassifizierer, dass die bereitgestellten Umfelddaten eine Täuschung umfassen. Die Zuordnung der Täuschungskategorie wurde davor durch maschinelles Lernen trainiert, beispielsweise durch Daten im ursprünglichen Trainingsraum und/oder beispielsweise durch korrigierende Zuordnung durch das Korrektursignal. Ob die Täuschungskategorie zugeordnet wird, hängt davon ab, ob eine Übereinstimmungswahrscheinlichkeit der Täuschungskategorie zu den bereitgestellten Umfelddaten über einem Täuschungskategorie-Schwellwert liegt. Wird die Täuschungskategorie zugeordnet kann beispielsweise ein Korrektursignal angefordert werden und/oder weitere Daten (zweiter Teil der Umfelddaten; mindestens eine zweite Information) verarbeitet werden. Dies stellt dann klar, ob eine Täuschung vorliegt und welche Fahrsituation tatsächlich vorliegt.Second, a deception category can be assigned (or not assigned). If the deception category is assigned, the machine learning classifier expects that the environment data provided include deception. The assignment of the deception category was previously trained by machine learning, for example using data in the original training room and / or, for example, by correcting assignment using the correction signal. Whether the deception category is assigned depends on whether a likelihood of correspondence between the deception category and the provided environment data is above a deception category threshold value. If the deception category is assigned, for example a correction signal can be requested and / or further data (second part of the environment data; at least one second item of information) can be processed. This then makes it clear whether there is a deception and which driving situation is actually present.
Schritt
In Schritt
In Schritt
In Schritt
Hat die Überprüfung in Schritt
Nun folgen vier weitere Ausführungsformen, die sehr konkret sind. Deshalb sollen sie als Beispiele gesehen und bezeichnet werden.Four further embodiments now follow, which are very specific. Therefore they should be seen and referred to as examples.
In einem ersten Beispiel hat ein Anwohner ein Tuch mit einer aufgemalten Geschwindigkeitsbegrenzung für 30 Km/h aufgehängt. In einem Kraftfahrzeug mit einem herkömmlichen ADAS nimmt eine Kamera ein Bild von dem Tuch samt Bemalung auf und es wird eine Geschwindigkeitsbegrenzung von 30 Km/h erkannt. Das herkömmlich ADAS bremst das Kraftfahrzeug auf 30 Km/h runter und gibt eine Warnung heraus, dass das Kraftfahrzeug zu schnell fährt. Durch das nicht adäquate Abbremsen kann es schnell zu einem Auffahrunfall kommen.In a first example, a resident hung up a cloth with a speed limit painted on it for 30 km / h. In a motor vehicle with a conventional ADAS, a camera takes a picture of the cloth including the painting and a speed limit of 30 km / h is recognized. The conventional ADAS brakes the motor vehicle down to 30 km / h and issues a warning that the motor vehicle is driving too fast. Inadequate braking can quickly lead to a rear-end collision.
Ist das Kraftfahrzeug in der Situation des ersten Beispiels hingegen mit einem Steuerungssystem gemäß einem Aspekt der Erfindung ausgestattet so erfährt das Steuerungssystem, von einer Misuse-Karte, dass an der Stelle, wo das Tuch hängt, schon häufiger Täuschungen stattgefunden haben. Ferner ist in einer hochauflösenden, live (ständig aktualisierte) Straßenkarte die Geschwindigkeitsbegrenzung nicht umfasst. Auch gibt es entsprechende 12V Nachrichten, die auf eine Geschwindigkeitsbegrenzung von 50 Km/h (nicht 30 Km/h) hinweisen. Gleichzeitig oder alternativ erkennt das Steuerungssystem, dass die Geschwindigkeitsbegrenzung auf einem Tuch aufgemalt ist. Auf dieser Grundlage erkennt das Steuerungssystem die Geschwindigkeitsbegrenzung (von 30 Km/h) als Täuschung. Das Steuerungssystem sendet direkt V21 und V2V Nachrichten mit einer Warnung aus, erstellt Fotos und/oder Videos von der Szene und sendet diese automatisch an die Polizei. Die Daten und Bilder werden in der Cloud ausgewertet und zum weiteren Training des Maschinellen-Lern-Klassifizierers verwandt, um Täuschungen künftig besser erkennen zu können. Gleichzeitig wird der Fahrer entsprechend informiert und die Täuschung wird in der Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.In contrast, if the motor vehicle in the situation of the first example is equipped with a control system according to one aspect of the invention, the control system learns from a misuse card that more frequent deceptions have taken place at the point where the cloth is hanging. Furthermore, the speed limit is not included in a high-resolution, live (constantly updated) road map. There are also corresponding 12V messages that indicate a speed limit of 50 km / h (not 30 km / h). At the same time or alternatively, the control system recognizes that the speed limit is painted on a cloth. On this basis, the control system recognizes the speed limit (of 30 km / h) as a deception. The control system sends V21 and V2V messages directly with a warning, takes photos and / or videos of the scene and automatically sends them to the police. The data and images are evaluated in the cloud and used for further training of the machine learning classifier in order to be able to better recognize deceptions in the future. At the same time, the driver is informed accordingly and the deception is recorded in the misuse card. A feedback window is optionally opened for the driver in which he can confirm or reject the deception.
In einem zweiten Beispiel hat jemand falsche Spurmarkierungen auf die Straße gemalt, um den Verkehr zu stören. Die falschen Spurmarkierungen sind für Menschen schwer erkennbar, aber für die Kamera sehr gut zu sehen. Ein herkömmlichen ADAS verarbeitet Bilder der falschen Spurmarkierungen und wird von diesen getäuscht. Das herkömmliche ADAS steuert ein Kraftfahrzeug von der richtigen Spur weg.In a second example, someone painted wrong lane markings on the road to disrupt traffic. The wrong lane markings are difficult to see for humans, but they are very easy to see for the camera. A conventional ADAS processes images of the wrong lane markings and is deceived by them. The conventional ADAS steers a motor vehicle off the right lane.
Ist das Kraftfahrzeug hingegen mit einem Steuerungssystem gemäß einem Aspekt der Erfindung ausgestattet, kann ein abkommen von der richtigen Spur vermieden werden. Das Steuerungssystem erkennt die Täuschung anhand einer, mehrerer oder einer Kombination der folgenden Punkte: nicht vorhandene Baustellen-Schilder bzw. Schilder, die eine geänderte Streckenführung anzeigen; Ausbleiben eine 12V Nachricht, welche eine Baustelle anzeigt; Informationen über die Streckenführung in der hochauflösenden live-Straßenkarte; Erkennen der Täuschungskategorie bei Bildern von der falschen Spurmarkierung (die Täuschungskategorie kann beispielsweise erkannt werden durch Verkehrsmerkmale wie der Linienfarbe, Liniendicke, Lumineszenz, Kantenschärfe und/oder Verlauf). Das Kraftfahrzeug mit dem erfindungsgemäßen Steuerungssystem bleibt durch das Erkennen der Täuschung auf der richtigen Spur, dokumentiert die Täuschung mit Bildern und Videos und sendet dies der Polizei, informiert andere Verkehrsteilnehmen mittels V2V und V2I. Ferner können die Daten genutzt werden, um den Maschinellen-Lern-Klassifizierer zu trainieren, damit dieser künftig Täuschungen besser erkennt. Auch wird die Täuschung in die Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.If, on the other hand, the motor vehicle is equipped with a control system in accordance with one aspect of the invention, deviating from the correct lane can be avoided. The control system recognizes the deception on the basis of one, several or a combination of the following points: nonexistent construction site signs or signs indicating a changed route; Failure to receive a 12V message indicating a construction site; Information about the route in the high-resolution live road map; Detection of the deception category in the case of images of the wrong lane marking (the deception category can be detected, for example, through traffic features such as line color, line thickness, luminescence, sharpness of the edges and / or course). The motor vehicle with the control system according to the invention remains on the right lane by recognizing the deception, documents the deception with images and videos and sends this to the police, informs other road users by means of V2V and V2I. Furthermore, the data can be used to train the machine learning classifier so that it can better recognize deceptions in the future. The deception is also included in the misuse card. A feedback window is optionally opened for the driver in which he can confirm or reject the deception.
In einem dritten Beispiel tut ein Fußgänger so, als würde er auf die Straße springen, bremst aber im letzten Moment ab. Ein Kraftfahrzeug mit einem herkömmlichen ADAS nimmt eine Sequenz von Bildern des Fußgängers auf. Es wird getäuscht indem es ermittelt, dass der Fußgänger auf die Straße springen möchte. Das Kraftfahrzeug bremst deshalb scharf und verursacht eventuell einen Auffahrunfall.In a third example, a pedestrian pretends to jump onto the street, but brakes at the last moment. A motor vehicle with a conventional ADAS records a sequence of images of the pedestrian. It is fooled by determining that the pedestrian wants to jump onto the street. The motor vehicle therefore brakes sharply and possibly causes a rear-end collision.
Ein erfindungsgemäßes Steuerungssystem hingegen fängt an abzubremsen. Sobald der Fußgänger abbremst, erkennt das Steuerungssystem die Täuschung und beendet das Abbremsen. Ferner werden Bilder und Video der Situation an die Polizei gesendet, andere Verkehrsteilnehmer werden via V2V und V21 informiert. Auch werden die Bilder und Videos ausgewertet, um den Maschinellen-Lern-Klassifizierer zu trainieren. Auch wird die Täuschung in die Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann.A control system according to the invention, on the other hand, begins to slow down. As soon as the pedestrian brakes, the control system recognizes the deception and stops braking. Furthermore, pictures and videos of the situation are sent to the police, other road users are informed via V2V and V21. The images and videos are also evaluated in order to train the machine learning classifier. The deception is also included in the misuse card. A feedback window is optionally opened for the driver in which he can confirm or reject the deception.
In einem vierten Beispiel hat ein Anwohner einen 12V Sender installiert, der eine Geschwindigkeitsbegrenzung von 30 Km/h angibt. Ein Kraftfahrzeug mit einem herkömmlichen ADAS folgt der Angabe und bremst automatisch auf 30 Km/h ab. Ein Kraftfahrzeug mit einem erfindungsgemäßen Steuerungssystem bekommt Informationen von der Misuse-Karte, welche angibt, dass in dem Bereich (des 12V Senders) bereits vorher Täuschungen vorkamen. Ferner berücksichtigt das erfindungsgemäße Steuerungssystem, dass weder die hochauflösende live-Straßenkarte noch die Kamerabilder Informationen/Daten bezüglich der Geschwindigkeitsbegrenzung ausweisen. Eventuell liegen sogar Auffälligkeiten im Datentransfer (Anomalie Detektion) vor. Durch diese Daten/Informationen erkennt das erfindungsgemäße Steuerungssystem die Täuschung, dokumentiert diese mit Bildern, Video und dem 12V Signal, sendet dies an die Polizei, und informiert andere Verkehrsteilnehmer. Auch werden die Daten ausgewertet, um den Maschinellen-Lern-Klassifizierer zu trainieren. Auch wird die Täuschung in die Misuse-Karte aufgenommen. Optional wird dem Fahrer ein Rückmeldungsfenster geöffnet, in dem er die Täuschung bestätigen oder ablehnen kann. In a fourth example, a resident has installed a 12V transmitter that indicates a speed limit of 30 km / h. A motor vehicle with a conventional ADAS follows the instructions and automatically brakes to 30 km / h. A motor vehicle with a control system according to the invention receives information from the misuse card, which indicates that deceptions have already occurred in the area (of the 12V transmitter). Furthermore, the control system according to the invention takes into account that neither the high-resolution live road map nor the camera images show information / data relating to the speed limit. There may even be abnormalities in the data transfer (anomaly detection). Using this data / information, the control system according to the invention recognizes the deception, documents it with images, video and the 12V signal, sends this to the police and informs other road users. The data is also evaluated in order to train the machine learning classifier. The deception is also included in the misuse card. A feedback window is optionally opened for the driver in which he can confirm or reject the deception.
Es versteht sich, dass die zuvor erläuterten beispielhaften Ausführungsformen nicht abschließend sind und den hier offenbarten Gegenstand nicht beschränken. Insbesondere ist für den Fachmann ersichtlich, dass er die Merkmale der verschiedenen Ausführungsformen miteinander kombinieren kann und/oder verschiedene Merkmale der Ausführungsformen weglassen kann, ohne dabei von dem hier offenbarten Gegenstand abzuweichen.It goes without saying that the exemplary embodiments explained above are not exhaustive and do not limit the subject matter disclosed here. In particular, it is clear to the person skilled in the art that he can combine the features of the various embodiments with one another and / or omit various features of the embodiments without deviating from the subject matter disclosed here.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020205831.8A DE102020205831A1 (en) | 2020-05-08 | 2020-05-08 | System for deception detection, prevention and protection of ADAS functions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020205831.8A DE102020205831A1 (en) | 2020-05-08 | 2020-05-08 | System for deception detection, prevention and protection of ADAS functions |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020205831A1 true DE102020205831A1 (en) | 2021-11-11 |
Family
ID=78231803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020205831.8A Pending DE102020205831A1 (en) | 2020-05-08 | 2020-05-08 | System for deception detection, prevention and protection of ADAS functions |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102020205831A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022203352B3 (en) | 2022-04-05 | 2023-06-07 | Volkswagen Aktiengesellschaft | Method and assistance system for assisted driving of a vehicle when construction site lane markings are detected |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015214622A1 (en) | 2015-07-31 | 2017-02-02 | Bayerische Motoren Werke Aktiengesellschaft | Method for verifying the recognition of traffic signs |
DE102018006503A1 (en) | 2018-08-16 | 2019-01-24 | Daimler Ag | Digital map |
DE102017215552A1 (en) | 2017-09-05 | 2019-03-07 | Robert Bosch Gmbh | Plausibility of object recognition for driver assistance systems |
DE102017218192A1 (en) | 2017-10-12 | 2019-04-18 | Robert Bosch Gmbh | Method and device for traffic sign recognition |
DE102018215136A1 (en) | 2018-09-06 | 2020-03-12 | Robert Bosch Gmbh | Method for selecting an image section of a sensor |
-
2020
- 2020-05-08 DE DE102020205831.8A patent/DE102020205831A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015214622A1 (en) | 2015-07-31 | 2017-02-02 | Bayerische Motoren Werke Aktiengesellschaft | Method for verifying the recognition of traffic signs |
DE102017215552A1 (en) | 2017-09-05 | 2019-03-07 | Robert Bosch Gmbh | Plausibility of object recognition for driver assistance systems |
DE102017218192A1 (en) | 2017-10-12 | 2019-04-18 | Robert Bosch Gmbh | Method and device for traffic sign recognition |
DE102018006503A1 (en) | 2018-08-16 | 2019-01-24 | Daimler Ag | Digital map |
DE102018215136A1 (en) | 2018-09-06 | 2020-03-12 | Robert Bosch Gmbh | Method for selecting an image section of a sensor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022203352B3 (en) | 2022-04-05 | 2023-06-07 | Volkswagen Aktiengesellschaft | Method and assistance system for assisted driving of a vehicle when construction site lane markings are detected |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016055159A2 (en) | Method for operating an automatically driven, driverless motor vehicle and monitoring system | |
DE102005054972A1 (en) | Motor vehicle`s dead angle monitoring method, involves accomplishing checking of whether lanes change is accomplished based on infrastructure of traffic before warning, where driver warning is omitted if result of checking is not possible | |
WO2019063628A1 (en) | System for producing and/or updating a digital model of a digital map | |
DE102016210534A1 (en) | Method for classifying an environment of a vehicle | |
DE102012023361A1 (en) | Method and device for securing a lane change and vehicle | |
WO2015000882A1 (en) | Assistance system and assistance method for support when controlling a motor vehicle | |
DE102017223431B4 (en) | Method for assisting a driver of a motor vehicle when overtaking; motor vehicle; as well as system | |
DE102016212688A1 (en) | Method and device for determining the environment of a vehicle | |
DE102018113314A1 (en) | Driving Assistance System | |
DE102018213562A1 (en) | Method for operating an output device of a motor vehicle, control device, motor vehicle | |
DE102018128634A1 (en) | Method for providing visual information about at least part of an environment, computer program product, mobile communication device and communication system | |
DE102014221675A1 (en) | Method and control and detection device for plausibility of a wrong-way drive of a motor vehicle | |
DE102016002232B4 (en) | Method for operating a motor vehicle | |
DE102019001092A1 (en) | Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier | |
DE102020205831A1 (en) | System for deception detection, prevention and protection of ADAS functions | |
DE102016215468A1 (en) | A method and parking management server for alerting a person within a parking lot | |
DE102016114693A1 (en) | A method for assisting a driver of a motor vehicle when driving the motor vehicle, driver assistance system and motor vehicle | |
DE102020205825A1 (en) | System for deception detection, prevention and protection of ADAS functions | |
DE102012213485A1 (en) | Method for checking driving recommendation information stored in driving recommendation memory for navigation system in e.g. lorry, involves providing environmental condition independent of driving recommendation message or event | |
DE102019218921A1 (en) | Method and control device for the situational transmission of environmental information of a vehicle | |
DE102021104290B3 (en) | Method for at least partially automated parking of a motor vehicle, driver assistance system and motor vehicle | |
DE102021213180A1 (en) | Method for automatically controlling at least one vehicle function of a vehicle and notification system for a vehicle | |
DE102018000770A1 (en) | Method for following a service vehicle | |
DE102017114190A1 (en) | Method and system for automatically providing a parking space for a motor vehicle | |
DE102017205534A1 (en) | Method and device for recording traffic signs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |