DE102022101737A1

DE102022101737A1 - System and method for object recognition

Info

Publication number: DE102022101737A1
Application number: DE102022101737.0A
Authority: DE
Inventors: Martin Heller
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-01-26
Filing date: 2022-01-26
Publication date: 2023-07-27

Abstract

Die vorliegende Offenbarung betrifft ein System zur Objekterkennung. Das System umfasst ein erstes fahrzeugseitiges Erfassungsmodul, das eingerichtet ist, um ein Objekt, das in Fahrtrichtung vor einem Fahrzeug liegt, zu erfassen und entsprechende erste Erfassungsdaten mit einem ersten Zeitstempel bereitzustellen; ein zweites fahrzeugseitiges Erfassungsmodul, das eingerichtet ist, um ein am Objekt angeordnetes Hilfsobjekt bei einer Vorbeifahrt des Fahrzeugs am Objekt zu erfassen und entsprechende zweite Erfassungsdaten mit einem zweiten Zeitstempel bereitzustellen; und wenigstens ein Prozessormodul, das eingerichtet ist, um basierend auf den ersten Erfassungsdaten und den zweiten Erfassungsdaten eine räumliche und/oder zeitliche Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, zu ermitteln.

The present disclosure relates to a system for object recognition. The system includes a first vehicle-side detection module that is set up to detect an object that is in front of a vehicle in the direction of travel and to provide corresponding first detection data with a first time stamp; a second vehicle-side detection module that is set up to detect an auxiliary object arranged on the object when the vehicle drives past the object and to provide corresponding second detection data with a second time stamp; and at least one processor module that is set up to determine a spatial and/or temporal relationship between the vehicle and the object at a reference time that corresponds to the first time stamp based on the first detection data and the second detection data.

Description

Die vorliegende Offenbarung betrifft ein System zur Objekterkennung, ein Verfahren zur Objekterkennung und ein Speichermedium zum Ausführend des Verfahrens. Die vorliegende Offenbarung betrifft insbesondere eine Homologation eines Fahrassistenzsystems, wie zum Beispiel einer Verkehrszeichenerkennung eines Fahrassistenzsystems.The present disclosure relates to a system for object recognition, a method for object recognition and a storage medium for carrying out the method. The present disclosure relates in particular to homologation of a driver assistance system, such as traffic sign recognition of a driver assistance system.

Stand der TechnikState of the art

Die Entwicklung von Fahrassistenzfunktionen beispielsweise zum (teil-)autonomen Fahren gewinnt stetig an Bedeutung. Um eine möglichst präzise Umgebungswahrnehmung für Fahrerassistenzsysteme zu ermöglichen können Sensormessungen von diversen Sensortypen, wie z.B. Kameras, LiDAR und Radaren verwendet werden. Für ein zuverlässiges Funktionieren von Fahrassistenzfunktionen muss dabei eine präzise Umgebungswahrnehmung sichergestellt werden.The development of driver assistance functions, for example for (partially) autonomous driving, is becoming increasingly important. In order to enable driver assistance systems to perceive the environment as precisely as possible, sensor measurements from various sensor types such as cameras, LiDAR and radars can be used. A precise perception of the surroundings must be ensured for the reliable functioning of driver assistance functions.

Eine große Herausforderung bei der Entwicklung von Fahrassistenzfunktionen besteht darin, dass die Fahrassistenzfunktionen eine strenge Verifizierung und Validierung durchlaufen müssen, um Sicherheitsvorschriften einzuhalten und Vertrauen bei Nutzern zu erlangen. Beispielsweise ist es im Rahmen einer Verkehrsschilderkennung erforderlich, eine Bodensicht zu einem Verkehrsschild exakt zu bewerten.A major challenge in the development of driver assistance functions is that the driver assistance functions must undergo rigorous verification and validation in order to comply with safety regulations and earn trust from users. For example, in the context of traffic sign recognition, it is necessary to precisely evaluate a ground view of a traffic sign.

Bei der Bewertung der Bodensicht kann es notwendig sein zu qualifizieren, wann ein Verkehrsschild exakt erkannt bzw. identifiziert werden kann. Dies kann zum Beispiel basierend auf Positionsdaten von Verkehrsschildern, die in Karten hinterlegt sind, erfolgen. Hier kann zwar eine Position eingegrenzt werden, aber es kann keine exakte Positionierung der Verkehrsschilder erfolgen. Somit ist eine exakte Verifizierung einer Verkehrsschilderkennung im Allgemeinen nur auf speziell präparierten Messtrecken möglich. Zudem ist dieses Vorgehen zeitaufwändig, kostenaufwändig und schränkt eine Diversität ein. Des Weiteren kann es gesetzlich vorgeschrieben sein, Tests im realen Straßenverkehr auf festgelegten Strecken durchzuführen. Eine Verifizierung einer Verkehrsschilderkennung bzw. ein Nachvollziehen einer Bodensicht ist in diesem Fall jedoch nur mit großem Aufwand möglich.When assessing ground visibility, it may be necessary to qualify when a traffic sign can be accurately recognized or identified. This can be done, for example, based on position data from traffic signs that are stored in maps. Although a position can be narrowed down here, the traffic signs cannot be positioned exactly. Thus, an exact verification of a traffic sign recognition is generally only possible on specially prepared test sections. In addition, this procedure is time-consuming, costly and limits diversity. Furthermore, it may be required by law to carry out tests in real road traffic on specified routes. In this case, however, a verification of a traffic sign recognition or an understanding of a ground view is only possible with great effort.

Offenbarung der ErfindungDisclosure of Invention

Es ist eine Aufgabe der vorliegenden Offenbarung, ein System zur Objekterkennung, ein Verfahren zur Objekterkennung und ein Speichermedium zum Ausführen des Verfahrens anzugeben, die eine Verifizierung einer Objekterkennung, insbesondere eine Verkehrsschilderkennung, ermöglichen.It is an object of the present disclosure to specify a system for object recognition, a method for object recognition and a storage medium for carrying out the method, which enable object recognition, in particular traffic sign recognition, to be verified.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This object is solved by the subject matter of the independent claims. Advantageous configurations are specified in the dependent claims.

Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein System zur Objekterkennung angegeben. Das System umfasst ein erstes fahrzeugseitiges Erfassungsmodul, das eingerichtet ist, um ein Objekt, das in Fahrtrichtung vor einem Fahrzeug liegt, zu erfassen und entsprechende erste Erfassungsdaten mit einem ersten Zeitstempel bereitzustellen; ein zweites fahrzeugseitiges Erfassungsmodul, das eingerichtet ist, um ein am Objekt angeordnetes Hilfsobjekt bei einer Vorbeifahrt des Fahrzeugs am Objekt zu erfassen und entsprechende zweite Erfassungsdaten mit einem zweiten Zeitstempel bereitzustellen; und wenigstens ein Prozessormodul, das eingerichtet ist, um basierend auf den ersten Erfassungsdaten und den zweiten Erfassungsdaten eine räumliche und/oder zeitliche Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, zu ermitteln.According to an independent aspect of the present disclosure, a system for object recognition is specified. The system includes a first vehicle-side detection module that is set up to detect an object that is in front of a vehicle in the direction of travel and to provide corresponding first detection data with a first time stamp; a second vehicle-side detection module that is set up to detect an auxiliary object arranged on the object when the vehicle drives past the object and to provide corresponding second detection data with a second time stamp; and at least one processor module that is set up to determine a spatial and/or temporal relationship between the vehicle and the object at a reference time that corresponds to the first time stamp based on the first detection data and the second detection data.

Erfindungsgemäß ist das zweite fahrzeugseitige Erfassungsmodul bereitgestellt, das das Hilfsobjekt bei einer Vorbeifahrt des Fahrzeugs am Objekt erfassen kann und einen entsprechenden Zeitstempel bereitstellt. Beispielsweise ist das Hilfsobjekt eine laserreflektierende Manschette, die an einem Verkehrsschild montiert ist. Die laserreflektierende Manschette kann mit einem am Fahrzeug montierten Laser bestrahlt werden und das Laserlicht zurück zum Fahrzeug reflektieren. Dadurch kann erreicht werden, dass eine Position des Objekts und/oder ein Zeitpunkt einer Vorbeifahrt am Objekt exakt bestimmt und/oder qualifiziert werden können. Damit kann zum Beispiel eine Ungenauigkeit von digitalen Kartendaten in Bezug auf ein darin verzeichnetes Verkehrsschild kompensiert werden.According to the invention, the second vehicle-side detection module is provided, which can detect the auxiliary object when the vehicle drives past the object and provides a corresponding time stamp. For example, the auxiliary object is a laser-reflecting sleeve that is mounted on a traffic sign. The laser reflective boot can be irradiated with a vehicle mounted laser and reflect the laser light back to the vehicle. As a result, a position of the object and/or a point in time when the object is driven past can be precisely determined and/or qualified. In this way, for example, an inaccuracy of digital map data in relation to a traffic sign recorded therein can be compensated for.

In Kombination mit den Erfassungsdaten des ersten fahrzeugseitigen Erfassungsmoduls, das zum Beispiel für eine Verkehrszeichenerkennung verwendet werden oder eingerichtet sein kann, kann eine Korrelation zwischen der Vorbeifahrt am Objekt und dem zuvor im Fahrzeug erkannten Objekt (bzw. einer entsprechenden Datenbusaufzeichnung) bestimmt werden. Insbesondere sind mittels der Zeitstempel der ersten und zweiten Erfassungsdaten Rückschlüsse auf eine Performance einer Objekterkennung, wie einer Verkehrszeichenerkennung, beispielsweise für eine Homologation von Fahrassistenzsystemen möglich.A correlation between driving past the object and the object previously detected in the vehicle (or a corresponding data bus recording) can be determined in combination with the detection data of the first vehicle-side detection module, which can be used or set up, for example, for traffic sign recognition. In particular, the time stamps of the first and second detection data allow conclusions to be drawn about the performance of object recognition, such as traffic sign recognition, for example for homologation of driver assistance systems.

Das wenigstens eine Prozessormodul des erfindungsgemäßen Systems ist eingerichtet, um basierend auf den ersten Erfassungsdaten und den zweiten Erfassungsdaten eine räumliche und/oder zeitliche Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, zu ermitteln.The at least one processor module of the system according to the invention is set up to determine a spatial and/or temporal relationship between the vehicle and the object at a reference time that corresponds to the first time stamp based on the first detection data and the second detection data.

Vorzugsweise ist die räumliche Relation ein Abstand zwischen dem Fahrzeug und dem Objekt zum Referenzzeitpunkt. Der Abstand zwischen dem Fahrzeug und dem Objekt zum Referenzzeitpunkt gibt an, wie weit vor dem Objekt dieses erfasst bzw. erkannt wurde, so dass Rückschlüsse auf eine Performance der Objekterkennung möglich sind.The spatial relationship is preferably a distance between the vehicle and the object at the reference time. The distance between the vehicle and the object at the reference time indicates how far in front of the object it was detected or recognized, so that conclusions can be drawn about the performance of the object recognition.

Der Abstand zwischen dem Fahrzeug und dem Objekt zum Referenzzeitpunkt kann beispielsweise unter Verwendung des ersten Zeitstempels, des zweiten Zeitstempels und einer Geschwindigkeit des Fahrzeugs bestimmt werden. Die Geschwindigkeit des Fahrzeugs kann zum Beispiel ein Geschwindigkeitsprofil oder eine mittlere Geschwindigkeit sein.The distance between the vehicle and the object at the reference time can be determined, for example, using the first time stamp, the second time stamp and a speed of the vehicle. The speed of the vehicle can be a speed profile or an average speed, for example.

Vorzugsweise ist der Abstand zwischen einem ersten Referenzpunkt in Bezug auf das Fahrzeug (insbesondere einem Referenzpunkt am Fahrzeug) und einem zweiten Referenzpunkt in Bezug auf das Objekt (insbesondere einem Referenzpunkt am Objekt oder Hilfsobjekt) definiert. Der Abstand kann insbesondere entlang oder parallel zur Fahrtrichtung des Fahrzeugs definiert sein.The distance between a first reference point in relation to the vehicle (in particular a reference point on the vehicle) and a second reference point in relation to the object (in particular a reference point on the object or auxiliary object) is defined. In particular, the distance can be defined along or parallel to the direction of travel of the vehicle.

Der erste Referenzpunkt kann zum Beispiel ein Ort des ersten fahrzeugseitigen Erfassungsmoduls, ein Ort des zweiten fahrzeugseitigen Erfassungsmoduls oder ein vorderstes Ende des Fahrzeugs sein. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und es können andere geeignete Referenzpunkte am Fahrzeug verwendet oder definiert werden.The first reference point may be, for example, a location of the first in-vehicle sensing module, a location of the second in-vehicle sensing module, or a foremost end of the vehicle. However, the present disclosure is not so limited and other suitable reference points on the vehicle may be used or defined.

Der zweite Referenzpunkt kann das Hilfsobjekt sein, und kann zum Beispiel bei einem Maximum der durch das Hilfsobjekt reflektierten Laserstrahlung bei Vorbeifahrt am Objekt bzw. Hilfsobjekt definiert sein. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und es können andere geeignete Referenzpunkte in Bezug auf das Objekt verwendet oder definiert werden.The second reference point can be the auxiliary object and can be defined, for example, at a maximum of the laser radiation reflected by the auxiliary object when the object or auxiliary object is driven past. However, the present disclosure is not so limited and other suitable reference points relative to the object may be used or defined.

Der erste Zeitstempel wird durch das erste fahrzeugseitige Erfassungsmodul bereitgestellt, das an einer ersten Stelle am Fahrzeug montiert ist. Zudem wird der zweite Zeitstempel durch das zweite fahrzeugseitige Erfassungsmodul bereitgestellt, das an einer zweiten Stelle am Fahrzeug montiert ist, die von der ersten Stelle verschieden ist.The first timestamp is provided by the first vehicle-mounted sensing module mounted at a first location on the vehicle. In addition, the second timestamp is provided by the second vehicle-mounted capture module mounted at a second location on the vehicle that is different than the first location.

In Abhängigkeit des gewählten ersten Referenzpunkts kann bei der Bestimmung des Abstands zwischen dem ersten Referenzpunkt und dem zweiten Referenzpunkt ein Offset berücksichtigt werden, insbesondere wenn der erste Referenzpunkt nicht am Ort des zweiten fahrzeugseitigen Erfassungsmoduls liegt. Der Offset kann dabei einem Abstand zwischen dem ersten Referenzpunkt und dem Ort des zweiten fahrzeugseitigen Erfassungsmoduls entsprechen.Depending on the selected first reference point, an offset can be taken into account when determining the distance between the first reference point and the second reference point, in particular if the first reference point is not at the location of the second vehicle-side detection module. The offset can correspond to a distance between the first reference point and the location of the second vehicle-side detection module.

Beispielsweise kann der Abstand als ein Abstand zwischen dem Ort des ersten fahrzeugseitigen Erfassungsmoduls und dem Hilfsobjekt definiert sein. Basierend auf dem ersten Zeitstempel, dem zweiten Zeitstempel und der Fahrzeuggeschwindigkeit kann ein Abstand bestimmt werden, zu dem ein Offset addiert wird, um den Abstand zwischen dem Ort des ersten fahrzeugseitigen Erfassungsmoduls und dem Hilfsobjekt zu erhalten. Der addierte Offset kann dabei ein Abstand zwischen dem ersten fahrzeugseitigen Erfassungsmodul und dem zweiten fahrzeugseitigen Erfassungsmodul sein.For example, the distance can be defined as a distance between the location of the first vehicle-side detection module and the auxiliary object. Based on the first timestamp, the second timestamp, and the vehicle speed, a distance may be determined to which an offset is added to obtain the distance between the location of the first onboard sensing module and the assisting object. The added offset can be a distance between the first vehicle-side detection module and the second vehicle-side detection module.

Vorzugsweise ist die zeitliche Relation eine Zeitspanne zwischen dem Referenzzeitpunkt und einem Zeitpunkt, der dem zweiten Zeitstempel entspricht. Die Zeitspanne zwischen dem Referenzzeitpunkt und dem Zeitpunkt, der dem zweiten Zeitstempel entspricht, gibt an, wie lange vor dem Objekt dieses erfasst bzw. erkannt wurde, so dass Rückschlüsse auf eine Performance der Objekterkennung möglich sind.The time relation is preferably a time span between the reference point in time and a point in time that corresponds to the second time stamp. The period of time between the reference point in time and the point in time that corresponds to the second time stamp indicates how long before the object was detected or recognized, so that it is possible to draw conclusions about the performance of the object recognition.

Optional kann bei der Bestimmung der Zeitspanne ein zeitlicher Offset berücksichtigt werden, insbesondere wenn das erste fahrzeugseitige Erfassungsmodul und das zweite fahrzeugseitige Erfassungsmodul an verschiedenen Orten des Fahrzeugs montiert sind.A time offset can optionally be taken into account when determining the period of time, in particular if the first vehicle-side detection module and the second vehicle-side detection module are installed at different locations on the vehicle.

Vorzugsweise umfasst, oder ist, das erste fahrzeugseitige Erfassungsmodul wenigstens eine Kamera.The first vehicle-side detection module preferably includes or is at least one camera.

Vorzugsweise ist das erste fahrzeugseitige Erfassungsmodul, insbesondere die wenigstens eine Kamera, für eine Verwendung bei einer Verkehrszeichenerkennung eingerichtet. Das erste fahrzeugseitige Erfassungsmodul kann zum Beispiel hinter einer Windschutzscheibe angeordnet sein.The first vehicle-side detection module, in particular the at least one camera, is preferably set up for use in traffic sign recognition. The first in-vehicle sensing module may be located behind a windshield, for example.

Vorzugsweise ist das zweite fahrzeugseitige Erfassungsmodul eingerichtet, um ein Erfassungssignal im Wesentlichen senkrecht zur Fahrtrichtung des Fahrzeugs und/oder einer Längsachse des Fahrzeugs zu emittieren. Insbesondere kann das zweite fahrzeugseitige Erfassungsmodul eingerichtet sein, um das Erfassungssignal im Wesentlichen senkrecht zur Fahrtrichtung des Fahrzeugs und/oder Längsachse des Fahrzeugs sowie parallel zu einer Oberfläche einer Fahrbahn (z.B. horizontal) zu emittieren.The second vehicle-side detection module is preferably set up to emit a detection signal substantially perpendicular to the direction of travel of the vehicle and/or a longitudinal axis of the vehicle. In particular, the second vehicle-side detection module can be set up to receive the detection signal essentially perpendicularly to the direction of travel of the vehicle and/or To emit longitudinal axis of the vehicle and parallel to a surface of a roadway (eg horizontal).

Der Begriff „senkrecht“ ist im Unterschied zu „parallel“ zu verstehen. Der Begriff „senkrecht“ bezieht sich insbesondere auf eine senkrechte Abstrahlung des Erfassungssignals in Bezug auf die Fahrtrichtung und/oder Längsachse des Fahrzeugs, wobei eine Abweichung von wenigen Grad, z.B. bis zu 5° oder sogar bis zu 10°, von einer genauen senkrechten Ausrichtung noch als „im Wesentlichen senkrecht“ betrachtet wird.The term "perpendicular" is to be understood as distinct from "parallel". The term "perpendicular" refers in particular to a perpendicular transmission of the detection signal with respect to the direction of travel and/or longitudinal axis of the vehicle, whereby a deviation of a few degrees, e.g. up to 5° or even up to 10°, from a precise perpendicular alignment is still considered "substantially perpendicular".

Der Begriff „horizontal“ ist im Unterschied zu „vertikal“ zu verstehen. Der Begriff „horizontal“ bezieht sich insbesondere auf eine horizontale Abstrahlung des Erfassungssignals, wobei eine Abweichung von wenigen Grad, z.B. bis zu 5° oder sogar bis zu 10°, von einer genauen horizontalen Ausrichtung noch als „im Wesentlichen horizontal“ betrachtet wird. Die vertikale Richtung kann, insbesondere bei einer Fahrt in der Ebene, im Wesentlichen parallel zur Schwerkraft sein.The term "horizontal" is to be understood as distinct from "vertical". The term "horizontal" specifically refers to horizontal coverage of the detection signal, where a deviation of a few degrees, e.g. up to 5° or even up to 10°, from a true horizontal alignment is still considered to be "substantially horizontal". The vertical direction can be essentially parallel to gravity, in particular when driving on level ground.

Vorzugsweise ist das zweite fahrzeugseitige Erfassungsmodul eingerichtet, um eine Reflektion des Erfassungssignals vom Hilfsobjekt zu erfassen. Beispielsweise kann ein Empfänger des zweiten fahrzeugseitigen Erfassungsmoduls eine reflektierte Strahlungsintensität des Erfassungssignals messen. Die reflektierte Strahlungsintensität kann zum Beispiel eine reflektierte Laserintensität sein.The second vehicle-side detection module is preferably set up to detect a reflection of the detection signal from the auxiliary object. For example, a receiver of the second vehicle-side detection module can measure a reflected radiation intensity of the detection signal. The reflected radiation intensity can be a reflected laser intensity, for example.

Vorzugsweise umfasst, oder ist, das zweite fahrzeugseitige Erfassungsmodul ein Lasermodul. In diesem Fall kann das Erfassungssignal ein Laserstrahl sein. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und das zweite fahrzeugseitige Erfassungsmodul kann in anderen Ausführungsformen zum Beispiel Ultraschall, Radar, etc. verwenden.Preferably, the second vehicle-side detection module comprises or is a laser module. In this case, the detection signal can be a laser beam. However, the present disclosure is not limited to this, and the second in-vehicle sensing module may use, for example, ultrasonic, radar, etc. in other embodiments.

Vorzugsweise umfasst das zweite fahrzeugseitige Erfassungsmodul wenigstens einen Sender und wenigstens einen Empfänger. Der wenigstens einen Sender kann eingerichtet sein, um das Erfassungssignal zu emittieren. Der wenigstens eine Empfänger kann eingerichtet sein, um das vom Hilfsobjekt reflektierte Erfassungssignal zu detektieren.The second vehicle-side detection module preferably comprises at least one transmitter and at least one receiver. The at least one transmitter can be set up to emit the detection signal. The at least one receiver can be set up to detect the detection signal reflected by the auxiliary object.

Vorzugsweise besteht das Hilfsobjekt aus einem reflektierenden Material oder umfasst ein reflektierendes Material. Das Material kann gewählt sein, um das vom zweiten fahrzeugseitigen Erfassungsmodul emittierte Erfassungssignal optimal zu reflektieren.The auxiliary object preferably consists of a reflective material or comprises a reflective material. The material can be chosen to optimally reflect the detection signal emitted by the second vehicle-side detection module.

Ergänzend oder alternativ ist das Hilfsobjekt am Objekt befestigbar, insbesondere lösbar befestigbar. Damit kann das Hilfsobjekt nachträglich am Objekt befestigt werden. Alternativ kann das Hilfsobjekt bereits herstellerseitig am Objekt montiert werden.Additionally or alternatively, the auxiliary object can be fastened to the object, in particular detachably fastened. This allows the auxiliary object to be subsequently attached to the object. Alternatively, the auxiliary object can already be mounted on the object by the manufacturer.

Ergänzend oder alternativ umfasst, oder ist, das Hilfsobjekt eine Folie. Die Folie kann zum Beispiel eine Klebefolie und/oder eine laserreflektierende Folie sein. Damit kann das Hilfsobjekt nachträglich am Objekt befestigt werden. Alternativ kann das Hilfsobjekt bereits herstellerseitig am Objekt montiert werden.Additionally or alternatively, the auxiliary object includes, or is, a slide. The film can be an adhesive film and/or a laser-reflecting film, for example. This allows the auxiliary object to be subsequently attached to the object. Alternatively, the auxiliary object can already be mounted on the object by the manufacturer.

Ergänzend oder alternativ umfasst, oder ist, das Hilfsobjekt eine Manschette. Damit kann das Hilfsobjekt nachträglich am Objekt befestigt werden. Alternativ kann das Hilfsobjekt bereits herstellerseitig am Objekt montiert werden.Additionally or alternatively, the auxiliary object includes, or is, a cuff. This allows the auxiliary object to be subsequently attached to the object. Alternatively, the auxiliary object can already be mounted on the object by the manufacturer.

Vorzugsweise ist das Hilfsobjekt auf einer vertikalen Höhe angeordnet, die einer vertikalen Höhe des zweiten fahrzeugseitigen Erfassungsmoduls am Fahrzeug entspricht. Hierdurch kann sichergestellt werden, dass das Erfassungssignal auf das Hilfsobjekt trifft und geeignet zurück reflektiert werden kann.The auxiliary object is preferably arranged at a vertical height which corresponds to a vertical height of the second vehicle-side detection module on the vehicle. In this way it can be ensured that the detection signal hits the auxiliary object and can be appropriately reflected back.

Vorzugsweise ist das Objekt ein Verkehrsschild. Das Verkehrsschild kann in einigen Ausführungsformen ein Stützelement und ein Zeichen, das am Stützelement befestigt ist, umfassen. Das Stützelement kann zum Beispiel ein Standrohr sein. Ergänzend oder alternativ kann das Zeichen eine Tafel mit einem Symbol, einem Schriftzug und/oder einer Linie sein. Zudem kann die Tafel in einigen Ausführungsformen eine elektronische Anzeigetafel oder eine Ampel sein.Preferably the object is a traffic sign. The traffic sign, in some embodiments, may include a support member and a sign attached to the support member. The support element can be a standpipe, for example. In addition or as an alternative, the sign can be a panel with a symbol, lettering and/or a line. Additionally, in some embodiments, the panel may be an electronic billboard or a traffic light.

Vorzugsweise ist das Hilfsobjekt am Stützelement, wie zum Beispiel an einem Standrohr, befestigbar oder befestigt.Preferably, the auxiliary object is attachable or attached to the support member, such as a standpipe.

Vorzugsweise ist das wenigstens eine Prozessormodul des Systems fahrzeugseitig bereitgestellt bzw. im Fahrzeug vorhanden oder integriert. Insbesondere können alle wesentlichen Elemente des Systems, nämlich das erste fahrzeugseitige Erfassungsmodul, das zweite fahrzeugseitige Erfassungsmodul und das wenigstens eine Prozessormodul im oder am Fahrzeug bereitgestellt sein. Damit kann die Beurteilung der Performance der Objekterkennung bereits im Fahrzeug erfolgen.The at least one processor module of the system is preferably provided on the vehicle side or is present or integrated in the vehicle. In particular, all essential elements of the system, namely the first vehicle-side detection module, the second vehicle-side detection module and the at least one processor module can be provided in or on the vehicle. This means that the performance of the object recognition can already be assessed in the vehicle.

Alternativ kann das wenigstens eine Prozessormodul in einer externen Einheit bereitgestellt sein. Die externe Einheit kann zum Beispiel ein Server oder ein Backend sein. Die ersten Erfassungsdaten mit dem ersten Zeitstempel und die zweiten Erfassungsdaten mit dem zweiten Zeitstempel können über eine Kommunikationsverbindung vom Fahrzeug an die externe Einheit übertragen werden, die anschließend die Beurteilung der Performance der Objekterkennung durchführt.Alternatively, the at least one processor module can be provided in an external unit. The external entity can be a server or a backend, for example. The first detection data with the first time stamp and the second detection data with the second time stamp can be transmitted via a communication connection from Vehicle are transmitted to the external unit, which then carries out the assessment of the performance of the object recognition.

Vorzugsweise umfasst das System ein Kommunikationsmodul, das eingerichtet ist, um drahtlos mit der externen Einheit zu kommunizieren, insbesondere für die Übermittlung der ersten Erfassungsdaten mit dem ersten Zeitstempel und der zweiten Erfassungsdaten mit dem zweiten Zeitstempel.The system preferably includes a communication module that is set up to communicate wirelessly with the external unit, in particular for the transmission of the first acquisition data with the first time stamp and the second acquisition data with the second time stamp.

Das Kommunikationsmodul kann in der Lage sein, in einem mobilen Netzwerk über lokale Netzwerke bzw. Local Area Networks (LANs), wie z.B. Wireless LAN (WiFi/WLAN), oder über Weitverkehrsnetze bzw. Wide Area Networks (WANs) wie z.B. Global System for Mobile Communication (GSM), General Package Radio Service (GPRS), Enhanced Data Rates for Global Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), High Speed Downlink/Uplink Packet Access (HSDPA, HSUPA), Long-Term Evolution (LTE), oder World Wide Interoperability for Microwave Access (WIMAX) drahtlos zu kommunizieren. Eine Kommunikation über weitere gängige oder künftige Kommunikationstechnologien, z.B. 5G-Mobilfunksysteme, ist möglich.The communication module can be able to communicate in a mobile network via local networks or local area networks (LANs), such as Wireless LAN (WiFi/WLAN), or via long-distance networks or wide area networks (WANs), such as Global System for Mobile Communication (GSM), General Package Radio Service (GPRS), Enhanced Data Rates for Global Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), High Speed Downlink/Uplink Packet Access (HSDPA, HSUPA), Long-Term Evolution ( LTE), or World Wide Interoperability for Microwave Access (WIMAX) to communicate wirelessly. Communication via other common or future communication technologies, e.g. 5G mobile radio systems, is possible.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere Kraftfahrzeug, angegeben. Das Fahrzeug umfasst zumindest einen Teil des Systems zur Objekterkennung gemäß den Ausführungsformen der vorliegenden Offenbarung.According to a further independent aspect of the present disclosure, a vehicle, in particular a motor vehicle, is specified. The vehicle includes at least part of the system for object recognition according to the embodiments of the present disclosure.

In einigen Ausführungsformen kann das System vollständig im Fahrzeug implementiert sein. Insbesondere können alle wesentlichen Elemente des Systems, nämlich das erste fahrzeugseitige Erfassungsmodul, das zweite fahrzeugseitige Erfassungsmodul und das wenigstens eine Prozessormodul im oder am Fahrzeug bereitgestellt sein. Damit kann die Beurteilung der Performance der Objekterkennung bereits im Fahrzeug erfolgen.In some embodiments, the system may be implemented entirely in the vehicle. In particular, all essential elements of the system, namely the first vehicle-side detection module, the second vehicle-side detection module and the at least one processor module can be provided in or on the vehicle. This means that the performance of the object recognition can already be assessed in the vehicle.

Alternativ können nur das erste fahrzeugseitige Erfassungsmodul und das zweite fahrzeugseitige Erfassungsmodul im oder am Fahrzeug bereitgestellt sein, und das wenigstens eine Prozessormodul kann außerhalb des Fahrzeugs bereitgestellt sein. Beispielsweis kann das wenigstens eine Prozessormodul in einem Server oder einem Backend implementiert sein. Damit kann die Beurteilung der Performance der Objekterkennung außerhalb des Fahrzeugs erfolgen.Alternatively, only the first in-vehicle sensing module and the second in-vehicle sensing module may be provided in or on the vehicle, and the at least one processor module may be provided outside of the vehicle. For example, the at least one processor module can be implemented in a server or a backend. This means that the performance of the object recognition can be assessed outside the vehicle.

Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.The term vehicle includes cars, trucks, buses, mobile homes, motorcycles, etc., which are used to transport people, goods, etc. In particular, the term includes motor vehicles for passenger transport.

Vorzugsweise ist das Fahrzeug ein dediziertes Testfahrzeug. Beispielsweise kann das erste fahrzeugseitige Erfassungsmodul mit zugehöriger Objekterkennung auch in Serienfahrzeugen verbaut sein, und das zweite fahrzeugseitige Erfassungsmodul kann zum Beispiel temporär am Fahrzeug montiert sein, um die Beurteilung der Performance der Objekterkennung durchzuführen.Preferably the vehicle is a dedicated test vehicle. For example, the first vehicle-side detection module with associated object recognition can also be installed in production vehicles, and the second vehicle-side detection module can, for example, be temporarily mounted on the vehicle in order to assess the performance of the object recognition.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zur Objekterkennung angegeben. Das Verfahren umfasst ein Erfassen eines Objekts, das in Fahrtrichtung vor einem Fahrzeug liegt, durch ein erstes fahrzeugseitiges Erfassungsmodul und Bereitstellen entsprechender erster Erfassungsdaten mit einem ersten Zeitstempel; ein Erfassen eines am Objekt angeordneten Hilfsobjekts durch ein zweites fahrzeugseitiges Erfassungsmodul bei einer Vorbeifahrt des Fahrzeugs am Objekt und Bereitstellen entsprechender zweiter Erfassungsdaten mit einem zweiten Zeitstempel; und ein Ermitteln einer räumlichen und/oder zeitlichen Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, basierend auf den ersten Erfassungsdaten und den zweiten Erfassungsdaten.According to a further independent aspect of the present disclosure, a method for object recognition is specified. The method includes detecting an object that is in front of a vehicle in the direction of travel by a first vehicle-side detection module and providing corresponding first detection data with a first time stamp; a detection of an auxiliary object arranged on the object by a second vehicle-side detection module when the vehicle drives past the object and providing corresponding second detection data with a second time stamp; and determining a spatial and/or temporal relationship between the vehicle and the object at a reference point in time that corresponds to the first time stamp, based on the first detection data and the second detection data.

Das Verfahren kann die Aspekte des in diesem Dokument beschriebenen Systems zur Objekterkennung implementieren.The method can implement the aspects of the object detection system described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zur Objekterkennung auszuführen.According to another independent aspect of the present disclosure, a software (SW) program is provided. The SW program can be set up to run on one or more processors, and thereby to carry out the method for object recognition described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zur Objekterkennung auszuführen.According to another independent aspect of the present disclosure, a storage medium is provided. The storage medium can comprise a SW program which is set up to be executed on one or more processors and thereby to execute the object recognition method described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des Verfahrens zur Objekterkennung auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.According to a further independent aspect of the present disclosure, software with program code for carrying out the method for object recognition is to be executed when the software runs on one or more software-controlled devices.

Figurenlistecharacter list

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

1 schematisch ein System zur Objekterkennung gemäß Ausführungsformen der vorliegenden Offenbarung,
2 schematisch ein System zur Objekterkennung gemäß weiteren Ausführungsformen der vorliegenden Offenbarung,
3A-C schematisch eine Verifizierung einer Verkehrszeichenerkennung gemäß Ausführungsformen der vorliegenden Offenbarung, und
4 ein Flussdiagram eines Verfahrens zur Objekterkennung gemäß Ausführungsformen der vorliegenden Offenbarung.

Exemplary embodiments of the disclosure are shown in the figures and are described in more detail below. Show it:

1 schematically a system for object recognition according to embodiments of the present disclosure,
2 schematically a system for object recognition according to further embodiments of the present disclosure,
3A-C schematically a verification of a traffic sign recognition according to embodiments of the present disclosure, and
4 1 is a flow chart of a method for object detection according to embodiments of the present disclosure.

Ausführungsformen der OffenbarungEmbodiments of the Disclosure

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.Unless otherwise noted, the same reference symbols are used below for the same elements and those with the same effect.

1 zeigt schematisch ein System zur Objekterkennung gemäß Ausführungsformen der vorliegenden Offenbarung. 1 FIG. 12 schematically shows a system for object recognition according to embodiments of the present disclosure.

Das System umfasst ein erstes fahrzeugseitiges Erfassungsmodul 110, das eingerichtet ist, um ein Objekt, das in Fahrtrichtung vor einem Fahrzeug liegt, zu erfassen und entsprechende erste Erfassungsdaten ED 1 mit einem ersten Zeitstempel bereitzustellen; ein zweites fahrzeugseitiges Erfassungsmodul 120, das eingerichtet ist, um ein am Objekt angeordnetes Hilfsobj ekt bei einer Vorbeifahrt des Fahrzeugs am Objekt zu erfassen und entsprechende zweite Erfassungsdaten ED2 mit einem zweiten Zeitstempel bereitzustellen; und wenigstens ein Prozessormodul 130, das eingerichtet ist, um basierend auf den ersten Erfassungsdaten ED1 und den zweiten Erfassungsdaten ED2 eine räumliche und/oder zeitliche Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, zu ermitteln.The system comprises a first vehicle-side detection module 110, which is set up to detect an object lying in front of a vehicle in the direction of travel and to provide corresponding first detection data ED 1 with a first time stamp; a second vehicle-side detection module 120, which is set up to detect an auxiliary object arranged on the object when the vehicle drives past the object and to provide corresponding second detection data ED2 with a second time stamp; and at least one processor module 130, which is set up to determine a spatial and/or temporal relationship between the vehicle and the object at a reference time, which corresponds to the first time stamp, based on the first detection data ED1 and the second detection data ED2.

In einigen Ausführungsformen umfasst, oder ist, das erste fahrzeugseitige Erfassungsmodul 110 wenigstens eine Kamera. Das erste fahrzeugseitige Erfassungsmodul 110, insbesondere die wenigstens eine Kamera, kann für eine Verwendung bei einer Verkehrszeichenerkennung eingerichtet sein. Ergänzend oder alternativ kann das zweite fahrzeugseitige Erfassungsmodul 120 ein Lasermodul, ein Ultraschallmodul und/oder ein Radarmodul umfassen oder sein.In some embodiments, the first in-vehicle sensing module 110 includes or is at least one camera. The first vehicle-side detection module 110, in particular the at least one camera, can be set up for use in traffic sign recognition. Additionally or alternatively, the second vehicle-side detection module 120 can include or be a laser module, an ultrasonic module and/or a radar module.

Im Beispiel der 1 ist das System vollständig im Fahrzeug 10 implementiert. Insbesondere können alle wesentlichen Elemente des Systems, nämlich das erste fahrzeugseitige Erfassungsmodul 110, das zweite fahrzeugseitige Erfassungsmodul 120 und das wenigstens eine Prozessormodul 130 im oder am Fahrzeug bereitgestellt sein. Damit kann die Beurteilung der Performance der Objekterkennung bereits im Fahrzeug 10 erfolgen.In the example of 1 the system is fully implemented in the vehicle 10. In particular, all essential elements of the system, namely the first vehicle-side detection module 110, the second vehicle-side detection module 120 and the at least one processor module 130 can be provided in or on the vehicle. This means that the performance of the object recognition can already be assessed in the vehicle 10 .

2 zeigt schematisch ein System zur Objekterkennung gemäß weiteren Ausführungsformen der vorliegenden Offenbarung. 2 FIG. 12 schematically shows a system for object recognition according to further embodiments of the present disclosure.

Im Beispiel der 2 ist das System auf das Fahrzeug 10 und eine externe Einheit 200, wie einen Server oder ein Backend, aufgeteilt. Insbesondere können nur das erste fahrzeugseitige Erfassungsmodul 110 und das zweite fahrzeugseitige Erfassungsmodul 120 im oder am Fahrzeug 10 bereitgestellt sein, und das wenigstens eine Prozessormodul 130 kann außerhalb des Fahrzeugs 10 in der externen Einheit 200 implementiert sein. Damit kann die Beurteilung der Performance der Objekterkennung außerhalb des Fahrzeugs 10 erfolgen.In the example of 2 the system is divided between the vehicle 10 and an external unit 200, such as a server or a backend. Specifically, only the first in-vehicle sensing module 110 and the second in-vehicle sensing module 120 may be provided in or on the vehicle 10 , and the at least one processor module 130 may be implemented outside of the vehicle 10 in the external unit 200 . The performance of the object recognition can thus be assessed outside of the vehicle 10 .

Insbesondere können die ersten Erfassungsdaten ED1 mit dem ersten Zeitstempel und die zweiten Erfassungsdaten ED2 mit dem zweiten Zeitstempel über eine Kommunikationsverbindung 1 vom Fahrzeug 10 an die externe Einheit 200 übertragen werden, die anschließend die Beurteilung der Performance der Objekterkennung durchführt. Die Kommunikationsverbindung 1 kann zum Beispiel über ein mobiles Netzwerk, wie ein 5G-Kommunikationsnetzwerk, implementiert werden.In particular, the first detection data ED1 with the first time stamp and the second detection data ED2 with the second time stamp can be transmitted from the vehicle 10 via a communication link 1 to the external unit 200, which then carries out the assessment of the performance of the object recognition. The communication link 1 can be implemented over a mobile network, such as a 5G communication network, for example.

3A-C zeigen schematisch eine Verifizierung einer Verkehrszeichenerkennung gemäß Ausführungsformen der vorliegenden Offenbarung. 3A-C 12 schematically show verification of traffic sign recognition according to embodiments of the present disclosure.

Das Fahrzeug 10 umfasst das erste fahrzeugseitige Erfassungsmodul 110 und das zweite erste fahrzeugseitige Erfassungsmodul 120.The vehicle 10 includes the first in-vehicle sensing module 110 and the second first in-vehicle sensing module 120.

Das erste fahrzeugseitige Erfassungsmodul 110 kann zum Beispiel eine hinter einer Windschutzscheibe des Fahrzeugs angeordnete Kamera mit einem Sichtfeld FOV sein.The first in-vehicle sensing module 110 may be, for example, a camera having a field of view FOV located behind a windshield of the vehicle.

Das zweite fahrzeugseitige Erfassungsmodul 120 kann ein Lasermodul sein, das eingerichtet ist, um ein Erfassungssignal ES seitwärts bzw. im Wesentlichen senkrecht zur Fahrtrichtung des Fahrzeugs 10 zu emittieren und ein reflektiertes Erfassungssignal zu empfangen. Insbesondere kann das zweite fahrzeugseitige Erfassungsmodul 120 mit 90° zur Fahrzeuglängsachse ausgerichtet und an einem definierten Punkt der Karosserie oder der Frontschürze angebracht sein. Das zweite fahrzeugseitige Erfassungsmodul 120 bietet die Möglichkeit, die Erfassungsdaten desselben mit einem Zeitstempel und somit revisionssicher abzuspeichern.The second vehicle-side detection module 120 can be a laser module that is set up to emit a detection signal ES sideways or essentially perpendicular to the direction of travel of the vehicle 10 and to receive a reflected detection signal. In particular, the second vehicle-side detection module 120 can be aligned at 90° to the longitudinal axis of the vehicle and attached to a defined point on the body or the front apron. The second vehicle-side Acquisition module 120 offers the possibility of storing the acquisition data of the same with a time stamp and thus in an audit-proof manner.

Das Objekt 20 kann ein Verkehrsschild sein, an dessen Standrohr ein reflektierendes Hilfsobjekt 30 montiert ist. In anderen Ausführungsformen kann das Hilfsobjekt 30 an einer Leitplanke und/oder einer Trägerkonstruktion montiert sein, beispielsweise im Fall einer Verkehrszeichenbrücke.The object 20 can be a traffic sign, on whose standpipe a reflective auxiliary object 30 is mounted. In other embodiments, the auxiliary object 30 can be mounted on a crash barrier and/or a support structure, for example in the case of a traffic signal gantry.

Das Hilfsobjekt 30 kann in einigen Ausführungsformen halbschalig rund oder flach ausgebildet sein, und/oder kann eine mehrteilige Manschette oder eine laserreflektierende Klebefolie sein, die beispielsweise in Größe variierend um das Standrohr des Verkehrsschilds angebracht werden kann. Hierbei ist die Reflektionsfläche zur vorbeiführenden Straße ausgerichtet. Das Hilfsobjekt 30 kann lösbar oder permanent am Hilfsobjekt 30 angebracht sein. Beispielsweise kann das Hilfsobjekt 30 mittels Spannbändern und/oder einer Verschraubung am Objekt 20 montiert sein.In some embodiments, the auxiliary object 30 can be designed as a half-shell, round or flat, and/or can be a multi-part sleeve or a laser-reflecting adhesive film, which can be attached around the standpipe of the traffic sign, varying in size, for example. Here, the reflective surface is aligned with the passing road. The auxiliary object 30 can be detachably or permanently attached to the auxiliary object 30 . For example, the auxiliary object 30 can be mounted on the object 20 by means of tightening straps and/or a screw connection.

Die Anordnung des Hilfsobjekts 30 kann zum Beispiel auf einen Höhenbereich von durchschnittlichen Fahrzeugfrontschürzen (z.B. 0,2 m bis 1,0 m) optimiert erfolgen. Eine Länge des Hilfsobjekt 30 in vertikaler Richtung kann dabei geeignet gewählt werden, um den Höhenbereich der durchschnittlichen Fahrzeugfrontschürzen hinreichend abzudecken. Beispielsweise kann die Länge des Hilfsobjekts 30 im Bereich von 0.5 m bis 1.5 sein, vorzugsweise von 0.5 m bis 1m. In einer beispielhaften Ausführungsform kann die Länge des Hilfsobjekts 30 etwa 0.8 m sein.The arrangement of the auxiliary object 30 can, for example, be optimized for a height range of average vehicle front aprons (e.g. 0.2 m to 1.0 m). A length of the auxiliary object 30 in the vertical direction can be suitably selected in order to adequately cover the height range of the average vehicle front apron. For example, the length of the auxiliary object 30 can be in the range from 0.5 m to 1.5 m, preferably from 0.5 m to 1 m. In an exemplary embodiment, the length of the auxiliary object 30 may be approximately 0.8 m.

Bezugnehmend auf die 3A erfasst das erste fahrzeugseitige Erfassungsmodul 110 des Fahrzeugs 10 das Objekt 20, an dem das reflektierendes Hilfsobjekt 30 angebracht ist, zu einem ersten Zeitpunkt d1. Zu diesem Zeitpunkt ist das Fahrzeug 10 bzw. ein erster Referenzpunkt am Fahrzeug 10 mit einem Abstand d0 vom Objekt 20, und insbesondere einem zweiten Referenzpunkt am Hilfsobjekt 30, beabstandet.Referring to the 3A the first in-vehicle detection module 110 of the vehicle 10 detects the object 20 to which the reflective auxiliary object 30 is attached at a first point in time d1. At this point in time, vehicle 10 or a first reference point on vehicle 10 is at a distance d0 from object 20, and in particular from a second reference point on auxiliary object 30.

Bezugnehmend auf die 3C erfasst das zweite fahrzeugseitige Erfassungsmodul 120 des Fahrzeugs 10 das reflektierende Hilfsobjekt 30 während einer Vorbefahrt am Objekt 20 bzw. Hilfsobjekt 30 zu einem zweiten Zeitpunkt t2. Eine Identifikation des reflektierenden Hilfsobjekts 30 kann eindeutig ermöglicht werden, indem zum Beispiel falsche Laserreflektionen durch andere Objekte auf Basis eines zeitlichen Musters in Bezug zur Fahrzeuggeschwindigkeit und/oder Kartendaten ausgefiltert werden.Referring to the 3C the second vehicle-side detection module 120 of the vehicle 10 detects the reflective auxiliary object 30 while driving past the object 20 or auxiliary object 30 at a second point in time t2. An identification of the reflective auxiliary object 30 can be unambiguously enabled by, for example, false laser reflections by other objects being filtered out on the basis of a temporal pattern in relation to the vehicle speed and/or map data.

Aus der Kenntnis des ersten Zeitpunkts 11, des zweiten Zeitpunkts t2 und der Fahrzeuggeschwindigkeit (z.B. auf einem Fahrzeugbus vorhanden und abrufbar) lassen sich nun Rückschlüsse auf den Abstand d0, der zum ersten Zeitpunkt t1 vorlag, ziehen. Aus dem Abstand d0 lassen sich wiederum Rückschlüsse auf eine Performance der Objekterkennung durch das erste fahrzeugseitige Erfassungsmodul bzw. eine entsprechende Objekterkennungssoftware ziehen.From the knowledge of the first point in time 11, the second point in time t2 and the vehicle speed (e.g. available on a vehicle bus and can be called up), conclusions can now be drawn about the distance d0, which was present at the first point in time t1. From the distance d0, in turn, conclusions can be drawn about the performance of the object recognition by the first vehicle-side detection module or corresponding object recognition software.

Die Bestimmung des Abstands d0 und/oder die Beurteilung der Performance der Objekterkennung können in Echtzeit oder im Postprocessing erfolgen.The determination of the distance d0 and/or the assessment of the performance of the object recognition can take place in real time or in post-processing.

4 zeigt schematisch ein Flussdiagramm eines Verfahrens 400 zur Objekterkennung gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 400 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist. 4 FIG. 4 schematically shows a flow diagram of a method 400 for object detection according to embodiments of the present disclosure. Method 400 may be implemented by appropriate software executable by one or more processors (eg, a CPU).

Das Verfahren 400 umfasst im Block 410 ein Erfassen eines Objekts, das in Fahrtrichtung vor einem Fahrzeug liegt, durch ein erstes fahrzeugseitiges Erfassungsmodul und Bereitstellen entsprechender erster Erfassungsdaten mit einem ersten Zeitstempel; im Block 420 ein Erfassen eines am Objekt angeordneten Hilfsobjekts durch ein zweites fahrzeugseitiges Erfassungsmodul bei einer Vorbeifahrt des Fahrzeugs am Objekt und Bereitstellen entsprechender zweiter Erfassungsdaten mit einem zweiten Zeitstempel; und im Block 430 ein Ermitteln einer räumlichen und/oder zeitlichen Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, basierend auf den ersten Erfassungsdaten und den zweiten Erfassungsdaten.In block 410, method 400 includes detecting an object that is in front of a vehicle in the direction of travel by a first vehicle-side detection module and providing corresponding first detection data with a first time stamp; in block 420 an auxiliary object arranged on the object is detected by a second vehicle-side detection module when the vehicle drives past the object and provision of corresponding second detection data with a second time stamp; and in block 430 a determination of a spatial and/or temporal relationship between the vehicle and the object at a reference time which corresponds to the first time stamp, based on the first detection data and the second detection data.

Erfindungsgemäß ist das zweite fahrzeugseitige Erfassungsmodul bereitgestellt, das das Hilfsobjekt bei einer Vorbeifahrt des Fahrzeugs am Objekt erfassen kann und einen entsprechenden Zeitstempel bereitstellt. Beispielsweise ist das Hilfsobjekt eine laserreflektierende Manschette, die an einem Verkehrsschild montiert ist. Die laserreflektierende Manschette kann mit einem am Fahrzeug montierten Laser bestrahlt werden und das Laserlicht zurück zum Fahrzeug reflektieren. Dadurch kann erreicht werden, dass eine Position des Objekts und/oder ein Zeitpunkt einer Vorbeifahrt am Objekt exakt bestimmt und/oder qualifiziert werden können.According to the invention, the second vehicle-side detection module is provided, which can detect the auxiliary object when the vehicle drives past the object and provides a corresponding time stamp. For example, the auxiliary object is a laser-reflecting sleeve that is mounted on a traffic sign. The laser reflective boot can be irradiated with a vehicle mounted laser and reflect the laser light back to the vehicle. As a result, a position of the object and/or a point in time when the object is driven past can be precisely determined and/or qualified.

In Kombination mit den Erfassungsdaten des ersten fahrzeugseitigen Erfassungsmoduls, das zum Beispiel für eine Verkehrszeichenerkennung verwendet werden kann, kann eine Korrelation zwischen der Vorbeifahrt am Objekt und dem zuvor im Fahrzeug erkannten Objekt bestimmt werden. Insbesondere sind mittels der Zeitstempel der ersten und zweiten Erfassungsdaten Rückschlüsse auf eine Performance einer Objekterkennung, wie einer Verkehrszeichenerkennung, beispielsweise für eine Homologation von Fahrassistenzsystemen möglich.In combination with the detection data of the first vehicle-side detection module, which can be used for traffic sign recognition, for example, a correlation between the passing of the object and the object previously detected in the vehicle can be determined. In particular Using the time stamp of the first and second detection data, it is possible to draw conclusions about a performance of an object recognition, such as a traffic sign recognition, for example for a homologation of driver assistance systems.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in more detail by means of preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art without departing from the protective scope of the invention. It is therefore clear that a large number of possible variations exist. It is also understood that the exemplary embodiments given are really only examples and should not be construed as limiting in any way the scope, applications or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art, knowing the disclosed inventive concept, can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without leaving the scope of protection that is defined by the claims and their legal equivalents, such as further explanations in the description.

Claims

System zur Objekterkennung, umfassend: ein erstes fahrzeugseitiges Erfassungsmodul (110), das eingerichtet ist, um ein Objekt (20), das in Fahrtrichtung vor einem Fahrzeug (10) liegt, zu erfassen und entsprechende erste Erfassungsdaten (ED1) mit einem ersten Zeitstempel bereitzustellen; ein zweites fahrzeugseitiges Erfassungsmodul (120), das eingerichtet ist, um ein am Objekt (20) angeordnetes Hilfsobjekt (30) bei einer Vorbeifahrt des Fahrzeugs (10) am Objekt (20) zu erfassen und entsprechende zweite Erfassungsdaten (ED2) mit einem zweiten Zeitstempel bereitzustellen; und wenigstens ein Prozessormodul (130), das eingerichtet ist, um basierend auf den ersten Erfassungsdaten (ED1) und den zweiten Erfassungsdaten (ED2) eine räumliche und/oder zeitliche Relation zwischen dem Fahrzeug (10) und dem Objekt (20) zu einem Referenzzeitpunkt (t1), der dem ersten Zeitstempel entspricht, zu ermitteln.System for object recognition, comprising: a first vehicle-side detection module (110) which is set up to detect an object (20) lying in front of a vehicle (10) in the direction of travel and to provide corresponding first detection data (ED1) with a first time stamp; a second vehicle-side detection module (120), which is set up to detect an auxiliary object (30) arranged on the object (20) when the vehicle (10) drives past the object (20) and to provide corresponding second detection data (ED2) with a second time stamp; and at least one processor module (130) that is set up to determine a spatial and/or temporal relationship between the vehicle (10) and the object (20) at a reference time (t1), which corresponds to the first time stamp, based on the first detection data (ED1) and the second detection data (ED2).

Das System nach Anspruch 1, wobei: - die räumliche Relation ein Abstand (d0) zwischen dem Fahrzeug (10) und dem Objekt (20) zum Referenzzeitpunkt (t1) ist; und/oder - die zeitliche Relation eine Zeitspanne zwischen dem Referenzzeitpunkt (t1) und einem Zeitpunkt (t2), der dem zweiten Zeitstempel entspricht, ist.The system after claim 1 , wherein: - the spatial relation is a distance (d0) between the vehicle (10) and the object (20) at the reference time (t1); and/or - the time relation is a time period between the reference time (t1) and a time (t2) which corresponds to the second time stamp.

Das System nach Anspruch 1 oder 2, wobei: - das erste fahrzeugseitige Erfassungsmodul (110) wenigstens eine Kamera umfasst oder ist; und/oder - das erste fahrzeugseitige Erfassungsmodul (110) für eine Verwendung bei einer Verkehrszeichenerkennung eingerichtet ist.The system after claim 1 or 2 wherein: - the first vehicle-side detection module (110) comprises or is at least one camera; and/or - the first vehicle-side detection module (110) is set up for use in traffic sign recognition.

Das System nach einem der Ansprüche 1 bis 3, wobei das zweite fahrzeugseitige Erfassungsmodul (120) eingerichtet ist, um ein Erfassungssignal (ES) im Wesentlichen senkrecht zur Fahrtrichtung des Fahrzeugs (10) und/oder einer Längsachse des Fahrzeugs (10) zu emittieren, insbesondere wobei das zweite fahrzeugseitige Erfassungsmodul (120) eingerichtet ist, um eine Reflektion des Erfassungssignals (ES) vom Hilfsobjekt (30) zu erfassen.The system according to one of the Claims 1 until 3 , wherein the second vehicle-side detection module (120) is set up to emit a detection signal (ES) essentially perpendicular to the direction of travel of the vehicle (10) and/or a longitudinal axis of the vehicle (10), in particular wherein the second vehicle-side detection module (120) is set up to detect a reflection of the detection signal (ES) from the auxiliary object (30).

Das System nach einem der Ansprüche 1 bis 4, wobei das zweite fahrzeugseitige Erfassungsmodul (120) ein Lasermodul umfasst oder ist, insbesondere wobei das zweite fahrzeugseitige Erfassungsmodul (120) wenigstens einen Sender und wenigstens einen Empfänger umfasst.The system according to one of the Claims 1 until 4 , wherein the second vehicle-side detection module (120) comprises or is a laser module, in particular wherein the second vehicle-side detection module (120) comprises at least one transmitter and at least one receiver.

Das System nach einem der Ansprüche 1 bis 5, weiter umfassend das Hilfsobjekt (30), wobei: - das Hilfsobjekt (30) aus einem reflektierenden Material besteht oder ein reflektierendes Material umfasst; und/oder - das Hilfsobjekt (30) am Objekt (20) befestigbar, insbesondere lösbar befestigbar, ist; und/oder - das Hilfsobjekt (30) eine Folie umfasst oder ist; und/oder - das Hilfsobjekt (30) eine Manschette umfasst oder ist.The system according to one of the Claims 1 until 5 , further comprising the auxiliary object (30), wherein: - the auxiliary object (30) consists of a reflective material or comprises a reflective material; and/or - the auxiliary object (30) can be fastened, in particular releasably fastened, to the object (20); and/or - the auxiliary object (30) comprises or is a foil; and/or - the auxiliary object (30) comprises or is a cuff.

Das System nach einem der Ansprüche 1 bis 6, wobei: - das wenigstens eine Prozessormodul (130) fahrzeugseitig bereitgestellt ist; oder - das wenigstens eine Prozessormodul (130) in einer externen Einheit (200) bereitgestellt ist.The system according to one of the Claims 1 until 6 , wherein: - the at least one processor module (130) is provided on-board; or - the at least one processor module (130) is provided in an external unit (200).

Fahrzeug (10), insbesondere Kraftfahrzeug, umfassend das System nach einem der Ansprüche 1 bis 7.Vehicle (10), in particular a motor vehicle, comprising the system according to one of Claims 1 until 7 .

Verfahren (400) zur Objekterkennung, umfassend: Erfassen (410) eines Objekts, das in Fahrtrichtung vor einem Fahrzeug liegt, durch ein erstes fahrzeugseitiges Erfassungsmodul und Bereitstellen entsprechender erster Erfassungsdaten mit einem ersten Zeitstempel; Erfassen (420) eines am Objekt angeordneten Hilfsobjekts durch ein zweites fahrzeugseitiges Erfassungsmodul bei einer Vorbeifahrt des Fahrzeugs am Objekt und Bereitstellen entsprechender zweiter Erfassungsdaten mit einem zweiten Zeitstempel; und Ermitteln (430) einer räumlichen und/oder zeitlichen Relation zwischen dem Fahrzeug und dem Objekt zu einem Referenzzeitpunkt, der dem ersten Zeitstempel entspricht, basierend auf den ersten Erfassungsdaten und den zweiten Erfassungsdaten.Method (400) for object recognition, comprising: detecting (410) an object lying in front of a vehicle in the direction of travel by a first vehicle-side detection module and providing corresponding first detection data with a first time stamp; Detection (420) of an auxiliary object arranged on the object by a second vehicle-side detection module when the vehicle drives past at the object and providing corresponding second detection data with a second time stamp; and determining (430) a spatial and/or temporal relationship between the vehicle and the object at a reference time which corresponds to the first time stamp, based on the first detection data and the second detection data.

Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (400) gemäß Anspruch 9 auszuführen.Storage medium comprising a software program arranged to be executed on one or more processors, and thereby the method (400) according to claim 9 to execute.