DE102021126367A1 - Method and device for determining the position of a portable reference sensor system in relation to a vehicle - Google Patents

Abstract

Verfahren zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug mittels einem Kalibrierobjekt, welches auf einer Oberfläche des Fahrzeuges angeordnet ist, wobei eine erste Position des Kalibrierobjektes gegenüber dem Fahrzeug bestimmt ist, umfassend die Verfahrensschritte:Anbringen des Referenzsensorsystems an das Fahrzeug;Erkennen des Kalibrierobjektes und Bestimmen einer zweiten Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt mittels des Referenzsensorsystems;Bestimmen einer dritten Position des Referenzsensorsystems gegenüber dem Fahrzeug unter Verwendung der ersten Position und der zweiten Position.Method for determining the position of a portable reference sensor system relative to a vehicle using a calibration object which is arranged on a surface of the vehicle, a first position of the calibration object relative to the vehicle being determined, comprising the method steps: attaching the reference sensor system to the vehicle; recognizing the calibration object and determining a second position of the reference sensor system relative to the calibration object using the reference sensor system;determining a third position of the reference sensor system relative to the vehicle using the first position and the second position.

Description

Die Erfindung betrifft ein Verfahren zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug. Die Erfindung betrifft weiterhin eine Vorrichtung, die ein solches Verfahren durchführen kann.The invention relates to a method for determining the position of a portable reference sensor system in relation to a vehicle. The invention further relates to a device that can carry out such a method.

Die statistische Auswertung großer Mengen repräsentativer Realfahrdaten zur Bewertung der Leistungsfähigkeit von Fahrerassistenzsystem(ADAS)-Sensoren und deren Algorithmen wird umso entscheidender, je höher der Automatisierungsgrad (SAE-Level 0 bis 5) eines Fahrzeugs ist. Dabei ist der objektive Vergleich der Sensorsignale gegen eine absolute Umgebungsreferenz die einzige Möglichkeit, eine kosteneffiziente und verlässliche Sensorikentwicklung und -validierung zu realisieren. Herstellerunabhängige, standardisierte Referenzsensorsysteme sind gleichwohl eine Grundvoraussetzung für die Homologation/ Typprüfung zukünftiger automatisierter Fahrzeuge, da die entsprechenden Zertifizierungsbehörden ihre Bewertung immer auf ein eigenes Umgebungsbild stützen werden. Entwicklungsunternehmen, die den technologischen Schritt zum autonomen Fahren als entscheidenden Bestandteil ihres Geschäftsmodells verstehen, verfolgen konsequent den Ansatz einer datengetriebenen Entwicklung zur kontinuierlichen Verbesserung und Optimierung ihrer Produkte. Jede Weiterentwicklung, jede neue Iterationsstufe der Produkte wird stetig gegen die vorhandene Datenbasis getestet und auf Basis der daraus generierten Analyseergebnisse kontinuierlich optimiert.The statistical evaluation of large quantities of representative real driving data to evaluate the performance of driver assistance system (ADAS) sensors and their algorithms becomes all the more important the higher the degree of automation (SAE level 0 to 5) of a vehicle. The objective comparison of the sensor signals against an absolute environmental reference is the only way to implement cost-efficient and reliable sensor development and validation. Manufacturer-independent, standardized reference sensor systems are nevertheless a basic requirement for the homologation/type approval of future automated vehicles, since the relevant certification authorities will always base their assessment on their own environment image. Development companies that see the technological step towards autonomous driving as a crucial part of their business model consistently pursue the approach of data-driven development for the continuous improvement and optimization of their products. Every further development, every new iteration of the products is constantly tested against the existing database and continuously optimized on the basis of the analysis results generated from it.

Entscheidend für das autonome Fahren von Fahrzeugen sind die Fahrzeugsensoren bzw. das Fahrzeugsensorsystem, das dazu in der Lage ist, die statische und dynamische Umgebung eines Fahrzeuges zu erfassen, zu verstehen und zu rekonstruieren. Jeder Fahrzeugsensor des Fahrzeugsensorsystems verwendet dazu sein eigenes Koordinatensystem, in dem zumindest ein Ausschnitt der Umgebung im jeweiligen Erfassungsbereich des Sensors erfasst wird. Um die gesamte Fahrzeugumgebung rekonstruieren zu können und um eine geometrische Beziehung zwischen den jeweiligen Koordinatensystemen der Sensoren herstellen zu können, ist es erforderlich, dass die relativen Positionen zwischen allen Sensoren des Fahrzeugsensorsystems und dem Fahrzeug bestimmt und kalibriert sind.The vehicle sensors or the vehicle sensor system, which is able to record, understand and reconstruct the static and dynamic environment of a vehicle, are decisive for the autonomous driving of vehicles. For this purpose, each vehicle sensor of the vehicle sensor system uses its own coordinate system, in which at least a section of the environment in the respective detection area of the sensor is recorded. In order to be able to reconstruct the entire vehicle environment and to be able to establish a geometric relationship between the respective coordinate systems of the sensors, it is necessary for the relative positions between all sensors of the vehicle sensor system and the vehicle to be determined and calibrated.

Zur Entwicklung, Kalibrierung und Validierung von Fahrzeugsensorsystemen bzw. von Fahrzeugen, die ein Fahrzeugsensorsystem umfassen, wird im Stand der Technik ein für alle Fahrzeuge einheitliches, portables Referenzsensorsystem verwendet. Zunächst wird ein beliebiges Fahrzeug mit dem Referenzsensorsystem ausgestattet. Um die Sensorsignale des Fahrzeugsensorsystems mit den Sensorsignalen des Referenzsensorsystems vergleichen zu können, ist es im folgenden Schritt notwendig, das Referenzsensorsystem auf das Fahrzeug zu kalibrieren bzw. die Position des portablen Referenzsensorsystems gegenüber dem Fahrzeug zu bestimmen. Im bisherigen Stand der Technik wird hierfür eine externe Kalibriervorrichtung verwendet, beispielsweise ein Motion Capture System. Die Nachteile einer Kalibrierung mittels einer externen Kalibriereinrichtung ist, dass die Kalibrierung langwierig und zeitaufwendig ist. Gerade bei großen Fahrzeugflotten, die nötig sind, um die benötigte Menge an Sensordaten im Fahrbetrieb in unterschiedlichsten Fahrzeugumgebungen (klimatische Verhältnisse, Wetter, Straßenverhältnisse, Verkehrslagen, etc.) zu generieren, macht das Management einer groß angelegten Messreihe besonders schwierig. Gerade das portable Referenzsensorsystem und die externe Kalibriervorrichtung stellen hierbei die limitierenden Ressourcen dar. Sind alle Sensoren des Fahrzeugsensorsystems und alle Sensoren des Referenzsensorsystems aufeinander kalibriert bzw. die jeweiligen Positionen zueinander bekannt, können die jeweiligen Sensordaten erfasst und miteinander verglichen werden.For the development, calibration and validation of vehicle sensor systems or of vehicles that include a vehicle sensor system, a standard, portable reference sensor system for all vehicles is used in the prior art. First, any vehicle is equipped with the reference sensor system. In order to be able to compare the sensor signals of the vehicle sensor system with the sensor signals of the reference sensor system, it is necessary in the following step to calibrate the reference sensor system to the vehicle or to determine the position of the portable reference sensor system in relation to the vehicle. In the prior art, an external calibration device is used for this purpose, for example a motion capture system. The disadvantage of calibrating using an external calibration device is that the calibration is tedious and time-consuming. Especially with large vehicle fleets, which are necessary to generate the required amount of sensor data while driving in a wide variety of vehicle environments (climatic conditions, weather, road conditions, traffic conditions, etc.), the management of a large-scale series of measurements is particularly difficult. The portable reference sensor system and the external calibration device represent the limiting resources. If all sensors of the vehicle sensor system and all sensors of the reference sensor system are calibrated to one another or the respective positions are known, the respective sensor data can be recorded and compared with one another.

Wird das Referenzsensorsystem vom Fahrzeug demontiert und zu einem späteren Zeitpunkt erneut an das Fahrzeug montiert, muss auch erneut das Referenzsensorsystem auf das Fahrzeug mittels der externen Kalibriervorrichtung kalibriert werden, um die erforderlichen Messtoleranzen in der Größenordnung von Millimetern bezüglich einer Verschiebung bzw. Zehntel Grad bezüglich einer Rotation einhalten zu können. In der Praxis bedeutet das, dass dieses Fahrzeug erneut zur externen Kalibriereinrichtung gebracht werden muss, um das Referenzsensorsystem auf das Fahrzeug zu kalibrieren. Dies macht das Kalibrierverfahren weiter zeitaufwendig und teuer. Ein weiterer Nachteil ist, dass zur Kalibrierung des Referenzsensorsystems auf das Fahrzeug mittels der externen Kalibriervorrichtung das Fahrzeug mit dem Referenzsensorsystem ausgerüstet sein muss, sodass dieses Referenzsensorsystem zeitgleich nicht anderweitig, beispielsweise für die Erfassung von Sensordaten im Fahrbetrieb zur Verfügung steht.If the reference sensor system is removed from the vehicle and reinstalled on the vehicle at a later point in time, the reference sensor system must also be calibrated again on the vehicle using the external calibration device in order to achieve the required measurement tolerances of the order of millimeters with respect to a shift or tenths of a degree with respect to a to keep rotation. In practice, this means that this vehicle has to be brought back to the external calibration facility in order to calibrate the reference sensor system to the vehicle. This further makes the calibration process time consuming and expensive. Another disadvantage is that the vehicle must be equipped with the reference sensor system in order to calibrate the reference sensor system on the vehicle using the external calibration device, so that this reference sensor system is not available for other purposes at the same time, for example for the acquisition of sensor data while driving.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, das die Nachteile des Verfahrens zur Positionsbestimmung des portablen Referenzsensorsystem gegenüber einem Fahrzeug im bisherigen Stand der Technik überwindet.It is therefore the object of the present invention to provide a method that overcomes the disadvantages of the method for determining the position of the portable reference sensor system compared to a vehicle in the prior art.

Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruches 1. Vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen.This object is achieved by a method having the features of patent claim 1. Advantageous embodiments result from the dependent claims.

Kerngedanke der Erfindung ist ein Verfahren zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug mittels einem Kalibrierobjekt, welches auf einer Oberfläche des Fahrzeuges angeordnet ist, wobei eine erste Position des Kalibrierobjektes gegenüber dem Fahrzeug bestimmt ist, umfassend die Verfahrensschritte:

1. a) Anbringen des Referenzsensorsystems an das Fahrzeug;
2. b) Erkennen des Kalibrierobjektes und Bestimmen einer zweiten Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt mittels des Referenzsensorsystems;
3. c) Bestimmen einer dritten Position des Referenzsensorsystems gegenüber dem Fahrzeug unter Verwendung der ersten Position und der zweiten Position.

The core idea of the invention is a method for determining the position of a portable reference sensor system relative to a vehicle using a calibration object which is arranged on a surface of the vehicle, a first position of the calibration object relative to the vehicle being determined, comprising the method steps:

1. a) attaching the reference sensor system to the vehicle;
2. b) detecting the calibration object and determining a second position of the reference sensor system relative to the calibration object by means of the reference sensor system;
3. c) determining a third position of the reference sensor system relative to the vehicle using the first position and the second position.

Insbesondere soll durch das Verfahren die relative Position des portablen Referenzsensorsystems zum Fahrzeug bestimmt werden. Das Fahrzeug verfügt über sein eigenes Koordinatensystem, dessen Nullpunkt üblicherweise in der Mitte der Hinterachse des Fahrzeuges definiert ist. Das Koordinatensystem des Fahrzeuges ist üblicherweise so gerichtet, dass die drei Achsen in eine Vorwärtsrichtung, in eine Höhenrichtung und in eine Seitenrichtung gerichtet sind, die jeweils zueinander orthogonal sind. Das portable Referenzsensorsystem verfügt ebenfalls über ein eigenes Koordinatensystem, dessen Nullpunkt beispielsweise im geometrischen Mittelpunkt des Referenzsensorsystems oder in einer Sensoreinheit des Referenzsensorsystems definiert sein kann. Üblicherweise sind die drei Achsen des Referenzsensorsystems in eine Vorwärtsrichtung, in eine Höhenrichtung und in eine Seitenrichtung des Referenzsensorsystems gerichtet. Um die Position des Referenzsensorsystems gegenüber dem Fahrzeug zu bestimmen, ist es insbesondere erforderlich, eine Verschiebung bzw. Translation (beispielsweise mittels eines Vektors) des Nullpunktes des Koordinatensystems des Referenzsensorsystems zum Nullpunkt des Koordinatensystems des Fahrzeuges zu bestimmen, insbesondere auf den Millimeter genau. Zudem ist es erforderlich, eine Rotation des Koordinatensystems des Referenzsensorsystems zum Koordinatensystem des Fahrzeuges zu bestimmen. Idealerweise weisen die beiden Koordinatensysteme keine Rotation zueinander auf, jedoch sind kleine Abweichungen möglich, wobei es erforderlich ist, Abweichungen in der Größenordnung von einem Zehntel Grad zu bestimmen.In particular, the position of the portable reference sensor system relative to the vehicle is to be determined by the method. The vehicle has its own coordinate system, the origin of which is usually defined in the middle of the rear axle of the vehicle. The coordinate system of the vehicle is usually directed in such a way that the three axes are directed in a forward direction, in a height direction and in a lateral direction, which are orthogonal to each other. The portable reference sensor system also has its own coordinate system, the zero point of which can be defined, for example, in the geometric center of the reference sensor system or in a sensor unit of the reference sensor system. The three axes of the reference sensor system are usually directed in a forward direction, in a vertical direction and in a lateral direction of the reference sensor system. In order to determine the position of the reference sensor system relative to the vehicle, it is particularly necessary to determine a shift or translation (e.g. by means of a vector) of the zero point of the coordinate system of the reference sensor system to the zero point of the coordinate system of the vehicle, in particular to the millimeter. In addition, it is necessary to determine a rotation of the coordinate system of the reference sensor system with respect to the coordinate system of the vehicle. Ideally, the two coordinate systems do not rotate with respect to each other, but small deviations are possible, it being necessary to determine deviations of the order of a tenth of a degree.

Das Verfahren wird erfindungsgemäß unter Verwendung des Kalibrierobjekts durchgeführt, welches auf der Oberfläche des Fahrzeuges angeordnet ist. Insbesondere ist das Kalibrierobjekt fest mit der Oberfläche des Fahrzeuges verbunden und dazu vorgesehen, dauerhaft in einer festen Position zum Fahrzeug, die als erste Position bezeichnet ist, angeordnet zu sein.According to the invention, the method is carried out using the calibration object, which is arranged on the surface of the vehicle. In particular, the calibration object is firmly connected to the surface of the vehicle and is intended to be permanently arranged in a fixed position relative to the vehicle, which is referred to as the first position.

Erfindungsgemäß ist die erste Position des Kalibrierobjektes gegenüber dem Fahrzeug bereits bestimmt. Insbesondere verfügt auch das Kalibrierobjekt über ein eigenes Koordinatensystem, wobei durch die erste Position eine Verschiebung bzw. Translation des Ursprungs des Koordinatensystems des Kalibrierobjektes zum Ursprung des Koordinatensystems des Fahrzeuges, sowie die Rotation des Koordinatensystems des Kalibrierobjektes zum Koordinatensystem des Fahrzeuges bestimmt ist. Die Information der ersten Position liegt dem Verfahren zugrunde und wird entsprechend hinterlegt bzw. gespeichert, und ist im Verfahren entsprechend abrufbar.According to the invention, the first position of the calibration object relative to the vehicle has already been determined. In particular, the calibration object also has its own coordinate system, with a displacement or translation of the origin of the coordinate system of the calibration object to the origin of the coordinate system of the vehicle, and the rotation of the coordinate system of the calibration object to the coordinate system of the vehicle being determined by the first position. The information on the first position forms the basis of the method and is stored accordingly and can be called up accordingly in the method.

Dadurch, dass das Kalibrierobjekt fest und dauerhaft an der Oberfläche des Fahrzeuges angeordnet ist, ist auch die erste Position des Kalibrierobjektes fest und dauerhaft bestimmt. Dies bedeutet, dass die erste Position lediglich einmalig, bzw. genau einmal bestimmt wird bzw. bestimmt werden muss. Für das Verfahren bedeutet dies, dass die erste Position vor dem erstmaligen Durchführen des erfindungsgemäßen Verfahrens inertial zu bestimmen ist. Für jedes weitere bzw. nachfolgende Durchführen des erfindungsgemäßen Verfahrens muss demnach die erste Position nicht mehr bestimmt werden, da die erste Position unveränderlich ist. Somit ist die Bestimmung der ersten Position kein Verfahrensschritt des Verfahrens.Due to the fact that the calibration object is fixed and permanently arranged on the surface of the vehicle, the first position of the calibration object is also fixed and permanently determined. This means that the first position is or must be determined only once or exactly once. For the method, this means that the first position must be determined inertially before the method according to the invention is carried out for the first time. Accordingly, the first position no longer has to be determined for each further or subsequent implementation of the method according to the invention, since the first position is unchangeable. Thus, the determination of the first position is not a step of the method.

Um die Position des Kalibrierobjektes gegenüber dem Fahrzeug zu bestimmen, wird bevorzugt eine externe Kalibriereinrichtung verwendet, weiter bevorzugt ein Motion Capture System. Weiterhin ist dem Verfahren vorausgesetzt, dass das Referenzsensorsystem bereits intrinsisch kalibriert ist.In order to determine the position of the calibration object relative to the vehicle, an external calibration device is preferably used, more preferably a motion capture system. Furthermore, the method assumes that the reference sensor system is already intrinsically calibrated.

In einem ersten Verfahrensschritt wird das Referenzsensorsystem an das Fahrzeug angebracht. Insbesondere wird das Referenzsensorsystem lösbar mit dem Fahrzeug verbunden, bevorzugt an das Fahrzeug gesteckt, geschraubt, geklemmt, gesaugt oder dergleichen. Bevorzugt wird die nötige Infrastruktur, beispielsweise für die Spannungsversorgung und den Datentransfer, um das Referenzsensorsystem zu betreiben, im Kofferraum des Fahrzeugs verbaut.In a first method step, the reference sensor system is attached to the vehicle. In particular, the reference sensor system is detachably connected to the vehicle, preferably plugged, screwed, clamped, sucked or the like onto the vehicle. The necessary infrastructure, for example for the power supply and data transfer to operate the reference sensor system, is preferably installed in the trunk of the vehicle.

Nachfolgend wird das Kalibrierobjekt mittels des Referenzsensorsystems erkannt. Dazu ist es insbesondere erforderlich, dass sich das Kalibrierobjekt in einem Erfassungsbereich des Referenzsensorsystems befindet.The calibration object is then recognized by the reference sensor system. For this it is necessary in particular that the calibration object is located in a detection range of the reference sensor system.

Daraufhin kann die Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt, die als zweite Position definiert ist, mittels des Referenzsensorsystems bestimmt werden. Insbesondere wird die zweite Position durch eine Verschiebung bzw. Translation des Ursprungs des Koordinatensystems des Referenzsensorsystems zum Ursprung des Koordinatensystems des Kalibrierobjektes, sowie die Rotation des Koordinatensystems des Referenzsensorsystems zum Koordinatensystem des Kalibrierobjektes bestimmt.Then the position of the reference sensor system relative to the calibration object, the is defined as the second position can be determined by means of the reference sensor system. In particular, the second position is determined by a shift or translation of the origin of the coordinate system of the reference sensor system to the origin of the coordinate system of the calibration object, and the rotation of the coordinate system of the reference sensor system to the coordinate system of the calibration object.

Schließlich wird die Position des Referenzsensorsystems gegenüber dem Fahrzeug, die als dritte Position bezeichnet ist, unter Verwendung der ersten Position und der zweiten Position mittels des Referenzsensorsystems bestimmt.Finally, the position of the reference sensor system relative to the vehicle, referred to as the third position, is determined using the first position and the second position by means of the reference sensor system.

Insbesondere kann die Rotation (R) und die Translation (T) der dritten Position aus der jeweiligen Translation (T) und Rotation (R) der ersten Position und zweiten Position wie folgt berechnet werden: $${\text{R}}_{3.\text{Position}}={\text{R}}_{2.\text{Position}}*{\text{R}}_{1.\text{Position}}$$

$${\text{T}}_{3.\text{Position}}={\text{R}}_{1.\text{Position}}*{\text{T}}_{2.\text{Position}}+{\text{T}}_{1.\text{Position}}$$

In particular, the rotation (R) and the translation (T) of the third position can be calculated from the respective translation (T) and rotation (R) of the first position and second position as follows: $${\text{<figure-callout id="3" label="R" filenames="DE102021126367A1\_0005.png" state="{{state}}">R</figure-callout>}}_{3.\text{position}}={\text{<figure-callout id="2" label="R" filenames="DE102021126367A1\_0004.png" state="{{state}}">R</figure-callout>}}_{2.\text{position}}*{\text{R}}_{1.\text{position}}$$

$${\text{<figure-callout id="3" label="T" filenames="DE102021126367A1\_0005.png" state="{{state}}">T</figure-callout>}}_{3.\text{position}}={\text{R}}_{1.\text{position}}*{\text{<figure-callout id="2" label="T" filenames="DE102021126367A1\_0004.png" state="{{state}}">T</figure-callout>}}_{2.\text{position}}+{\text{T}}_{1.\text{position}}$$

Somit kann die Positionsbestimmung des portablen Referenzsensorsystems gegenüber dem Fahrzeug lediglich mittels des Fahrzeuges mit Kalibrierobjekt und des Referenzsensorsystems bestimmt werden. Die erste Position liegt dem Verfahren bereits als abrufbare Information vor. Das Erkennen des Kalibrierobjektes, sowie das Bestimmen der zweiten und dritten Position kann allein durch das Referenzsensorsystem gewährleistet und voll automatisiert werden, sodass keine weiteren Aktionen durch einen Bediener notwendig sind. Das portable Referenzsensorsystem kalibriert seine Position quasi selbstständig auf das Fahrzeug, sobald das Referenzsensorsystem bzw. das Fahrzeug gestartet wird.Thus, the determination of the position of the portable reference sensor system relative to the vehicle can only be determined by means of the vehicle with the calibration object and the reference sensor system. The first position is already available to the method as information that can be called up. The detection of the calibration object and the determination of the second and third position can be guaranteed and fully automated solely by the reference sensor system, so that no further actions by an operator are necessary. The portable reference sensor system calibrates its position to the vehicle more or less independently as soon as the reference sensor system or the vehicle is started.

Nachdem das Referenzsensorsystem kalibriert ist, ist dieses System bevorzugt dazu vorgesehen, während eines Fahrbetriebes des Fahrzeuges die Fahrzeugumgebung in Form von Realfahrdaten zu erfassen. Die Realfahrdaten des Referenzsensorsystems können dann zur Validierung von Realfahrdaten eines Fahrzeugsensorsystems mit diesen verglichen werden.After the reference sensor system has been calibrated, this system is preferably provided to record the vehicle surroundings in the form of real driving data while the vehicle is being driven. The real driving data from the reference sensor system can then be compared with real driving data from a vehicle sensor system in order to validate them.

Gemäß einer bevorzugten Ausführungsform wird das Verfahren unabhängig von einer externen Kalibriervorrichtung durchgeführt. Unter einer externen Kalibriervorrichtung ist insbesondere eine Vorrichtung zu verstehen, die über das Fahrzeug mit Kalibrierobjekt und Referenzsensorsystem hinaus nötig wäre. Beispielsweise handelt es sich bei der externen Kalibriervorrichtung um ein stationäres Motion Capture System, das in einer Testhalle fest installiert ist.According to a preferred embodiment, the method is carried out independently of an external calibration device. An external calibration device is to be understood in particular as a device that would be required in addition to the vehicle with the calibration object and reference sensor system. For example, the external calibration device is a stationary motion capture system that is permanently installed in a test hall.

Insbesondere ist es möglich, das Verfahren an jedem Ort ohne weitere Vorrichtungen durchzuführen. Mit Hilfe des Verfahrens kann somit vorteilhaft das portable Referenzsensorsystem von einem Fahrzeug an ein anderes Fahrzeug in einer realen Fahrzeugumgebung, wie beispielsweise im Stadtverkehr angebracht und kalibriert werden, ohne dass das Fahrzeug mit angebrachter Referenzsensorumgebung zu einer externen Kalibriervorrichtung gefahren werden muss. Somit können Zeit und Geld für die Positionsbestimmung eingespart werden, das Management einer Testreihe vereinfach werden und Ressourcen einer externen Kalibriervorrichtung eingespart werden.In particular, it is possible to carry out the method at any location without additional devices. With the help of the method, the portable reference sensor system can thus advantageously be attached and calibrated from one vehicle to another vehicle in a real vehicle environment, such as in city traffic, without the vehicle having to be driven to an external calibration device with the reference sensor environment attached. Thus, time and money for position determination can be saved, the management of a test series can be simplified and resources of an external calibration device can be saved.

Gemäß einer bevorzugten Ausführungsform ist im Verfahren ein Kalibriermuster des Kalibrierobjektes definiert. Insbesondere bedeutet das, dass dem Verfahren Informationen über die Geometrie des Kalibriermusters vorliegen bzw. abrufbar sind. Weiter sind insbesondere Maße wie Längen und Winkel des Kalibriermusters bzw. Koordinaten markanter Punkte des Kalibriermusters im Koordinatensystem des Kalibrierobjektes bekannt und dem Verfahren als Information zugrunde gelegt. Bevorzugt ist das Kalibriermuster, insbesondere die markanten Punkte, besonders leicht durch das Referenzsensorsystem zu erkennen. Dies wird beispielsweise durch hohe Farbkontraste und scharfe Farbkanten erzielt.According to a preferred embodiment, a calibration pattern of the calibration object is defined in the method. In particular, this means that information about the geometry of the calibration pattern is available or can be called up by the method. Furthermore, in particular dimensions such as lengths and angles of the calibration pattern or coordinates of distinctive points of the calibration pattern in the coordinate system of the calibration object are known and the method is based on information. The calibration pattern, in particular the distinctive points, is preferably particularly easy to recognize by the reference sensor system. This is achieved, for example, through high color contrasts and sharp color edges.

Bevorzugt ist das Kalibriermuster ein einfaches bzw. sich wiederholendes Muster. Weiter bevorzugt ist das Kalibriermuster ein Schachbrettmuster oder ein Punktmuster ist. Es kann darüber hinaus jedes andere Muster verwendet werden, das sich als besonders geeignet für das Verfahren erweist.The calibration pattern is preferably a simple or repeating pattern. More preferably, the calibration pattern is a checkerboard pattern or a dot pattern. In addition, any other pattern which proves to be particularly suitable for the method can be used.

Gemäß einer bevorzugten Ausführungsform umfasst das Referenzsensorsystem eine erste Sensoreinheit, die gemäß Verfahrensschritt b) das Kalibriermuster erkennt. Insbesondere befindet sich das Kalibrierobjekt bzw. das Kalibriermuster im Erfassungsbereich der ersten Sensoreinheit.According to a preferred embodiment, the reference sensor system includes a first sensor unit which, according to method step b), recognizes the calibration pattern. In particular, the calibration object or the calibration pattern is located in the detection range of the first sensor unit.

Bevorzugt ist die erste Sensoreinheit ein optischer Sensor bzw. eine hochauflösende Kamera, die ein aus Pixeln bestehendes Bild des Kalibriermusters erfasst. Bevorzugt weist das Bild 3,2 MPixel, weiter bevorzugt 9 MPixel oder mehr auf. Die ersten Sensoreinheit ist insbesondere dazu in der Lage, alle erkannten dynamischen und statischen Objekte der Fahrzeugumgebung in deren Erfassungsbereich und insbesondere das Kalibriermuster auf der Fahrzeugoberfläche unter Zuhilfenahme mehrerer leistungsfähiger neuronaler Netze (CNNs) zu erkennen und zu klassifizieren.The first sensor unit is preferably an optical sensor or a high-resolution camera that captures an image of the calibration pattern consisting of pixels. The image preferably has 3.2 Mpixels, more preferably 9 Mpixels or more. In particular, the first sensor unit is capable of recognizing and classifying all detected dynamic and static objects in the vehicle environment in its detection range and in particular the calibration pattern on the vehicle surface with the aid of several powerful neural networks (CNNs).

Somit ist es möglich, jeweils Koordinaten eines markanten Punktes des Kalibriermusters im Koordinatensystem des Kalibrierobjektes zumindest einem Pixel des Bildes zuzuordnen, wobei jedes Pixel eine Pixelkoordinate im Bild bzw. in einem Pixelkoordinatensystem aufweist. Folglich ist der jeweiligen Koordinate eines jeweiligen markanten Punktes des Kalibriermusters im Koordinatensystem des Kalibrierobjektes einer Pixelkoordinate zuordenbar.It is thus possible to use at least the coordinates of a distinctive point of the calibration pattern in the coordinate system of the calibration object assigned to a pixel of the image, each pixel having a pixel coordinate in the image or in a pixel coordinate system. Consequently, a pixel coordinate can be assigned to the respective coordinate of a respective distinctive point of the calibration pattern in the coordinate system of the calibration object.

Gemäß einer bevorzugten Ausführungsform kann die zweite Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt gemäß Verfahrensschritt b) unter Verwendung des Bildes des Kalibriermusters und des definierten Kalibriermusters bestimmt werden.According to a preferred embodiment, the second position of the reference sensor system relative to the calibration object can be determined according to method step b) using the image of the calibration pattern and the defined calibration pattern.

Aufgrund der Tatsache, dass die Geometrie des Kalibriermusters bzw. jede Koordinate markanter Punkte des Kalibriermusters im Koordinatensystem des Kalibrierobjekts exakt definiert und bekannt sind, und ebenso die zugeordneten Pixelkoordinaten im Pixelkoordinatensystem, die die markanten Punkte des Kalibriermusters abbilden, kann folglich die zweite Position berechnet werden. Dazu ist es insbesondere ebenso erforderlich, dass die erste Sensoreinheit vorab entsprechend kalibriert ist. Die intrinsische Kalibrierung der ersten Sensoreinheit ist insbesondere ebenfalls gegeben bzw. im Verfahren bekannt.Due to the fact that the geometry of the calibration pattern or each coordinate of prominent points of the calibration pattern in the coordinate system of the calibration object are exactly defined and known, and also the associated pixel coordinates in the pixel coordinate system that map the prominent points of the calibration pattern, the second position can consequently be calculated . For this purpose, it is also necessary in particular for the first sensor unit to be calibrated accordingly in advance. The intrinsic calibration of the first sensor unit is in particular also given or is known in the method.

Die Berechnung der zweiten Position kann mathematisch durch folgendes Gleichungssystem ausgedrückt werden: $$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

The calculation of the second position can be expressed mathematically by the following system of equations: $$\left[\begin{array}{c}\mathrm{and}\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_{\mathrm{<figure-callout\; id="0"\; label="y\; c\; y"\; filenames="DE102021126367A1\_0004.png"\; state="\{\{state\}\}">y</figure-callout>}}& c_y{}_{}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{\mathrm{right}}_{11}& {\mathrm{right}}_{12}& {\mathrm{right}}_{13}& t_1\\ {\mathrm{right}}_{21}& {\mathrm{right}}_{22}& {\mathrm{right}}_{23}& {\mathrm{<figure-callout\; id="2"\; label="t"\; filenames="DE102021126367A1\_0004.png"\; state="\{\{state\}\}">t</figure-callout>}}_2\\ {\mathrm{right}}_{31}& {\mathrm{right}}_{32}& {\mathrm{right}}_{33}& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

Die Parameter sind wie folgt definiert:

X, Y, Z

Koordinaten eines Punktes im Koordinatensystem des Kalibrierobjektes;

u, v

Pixelkoordinaten des zugehörigen Pixels eines Punktes des Kalibrierobjektes im Pixelkoordinatensystem;

3×3 Matrix

Kalibriermatrix der intrinsisch kalibrierten ersten Sensoreinheit;

cx, cy

Pixelkoordinate eines Bezugspunktes (im Zentrum des Bildes);

fx, fy

Brennweite einer Linse der Sensoreinheit, ausgedrückt in Pixelkoordinaten;

3×4 Matrix

Transformationsmatrix zur Positionsbestimmung einer zweiten Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt;

r

Rorationsparameter;

t

Translationsparameter.

The parameters are defined as follows:

X,Y,Z

Coordinates of a point in the coordinate system of the calibration object;

u, v

Pixel coordinates of the associated pixel of a point of the calibration object in the pixel coordinate system;

3×3 matrix

calibration matrix of the intrinsically calibrated first sensor unit;

cx, cy

Pixel coordinate of a reference point (at the center of the image);

fx, fy

focal length of a lens of the sensor unit, expressed in pixel coordinates;

3×4 matrix

Transformation matrix for determining a second position of the reference sensor system relative to the calibration object;

right

rotation parameters;

t

translation parameters.

Die Koordinaten X, Y und Z eines markanten Punktes, insbesondere mindestens zweier markanten Punkte bzw. aller markanten Punkte im Koordinatensystem des Kalibrierobjektes sind gegeben bzw. bekannt. Ebenso ist die Kalibriermatrix bekannt und ebenfalls Voraussetzung zur Durchführung des Verfahrens. Jeweils einem markanten Punkt kann jeweils eine Pixelkoordinate u und v eines zugehörigen Pixels eines markanten Punktes durch die erste Sensoreinheit zugeordnet werden. Näheres wird in der 2 gezeigt. Es gilt, die Transformationsmatrix mit Rotations- und Translationsparametern zu berechnen. Dazu sind zumindest zwei markante Punkte, bevorzugt mehrere markante Punkte notwendig, wobei die Transformationsmatrix je genauer bestimmt werden kann, desto mehr markante Punkte erkannt und zugeordnet werden.The coordinates X, Y and Z of a prominent point, in particular at least two prominent points or all prominent points in the coordinate system of the calibration object are given or known. The calibration matrix is also known and is also a prerequisite for carrying out the method. A pixel coordinate u and v of an associated pixel of a prominent point can be assigned to each prominent point by the first sensor unit. More will be in the 2 shown. The task is to calculate the transformation matrix with rotation and translation parameters. At least two distinctive points, preferably several distinctive points, are necessary for this, the more precisely the transformation matrix can be determined, the more distinctive points are recognized and assigned.

Zur Lösung des Gleichungssystems bzw. zur Bestimmung der Transformationsmatrix können verschiedene Methoden angewandt werden. Bevorzugt wird zur Lösung der Levenberg-Marquardt-Algorithmus angewandt. Mittels der Transformationsmatrix kann das Koordinatensystem des Referenzsensorsystems in das Koordinatensystem des Kalibrierobjektes durch Translation und Rotation transformiert werden, sodass die zweite Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt mittels des Referenzsensorsystems bestimmt werden kann.Various methods can be used to solve the system of equations or to determine the transformation matrix. The Levenberg-Marquardt algorithm is preferably used for the solution. The coordinate system of the reference sensor system can be transformed into the coordinate system of the calibration object by translation and rotation using the transformation matrix, so that the second position of the reference sensor system relative to the calibration object can be determined using the reference sensor system.

Die Berechnung der zweiten Position wird durch das Referenzsensorsystem mittels der zweiten Transformationsmatrix ohne das Eingreifen eines Benutzers durchgeführt werden.The calculation of the second position will be performed by the reference sensor system using the second transformation matrix without user intervention.

Die Aufgabe wird weiterhin gelöst durch eine Vorrichtung gemäß des Anspruches 6. Die Vorrichtung kann dabei mit allen bereits obig im Rahmen des Verfahrens beschriebenen Merkmalen einzeln oder in Kombination miteinander ausgestattet sein und umgekehrt.The object is further achieved by a device according to claim 6. The device can be equipped with all of the features already described above in connection with the method, individually or in combination with one another and vice versa.

Erfindungsgemäß wird eine Vorrichtung zur Durchführung eines Verfahrens zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug, umfassend das portable Referenzsensorsystem, das an einem Fahrzeug anbringbar ist, bereitgestellt, wobei die Vorrichtung ein Kalibrierobjekt umfasst, das auf einer Oberfläche des Fahrzeuges aufgebracht und durch das Referenzsensorsystem erkennbar ist, wobei eine erste Position des Kalibrierobjektes gegenüber dem Fahrzeug bestimmt ist und eine zweite Position des Referenzsensorsystems gegenüber dem Kalibrierobjekt bestimmbar ist, sodass eine dritte Position des Referenzsensorsystems gegenüber dem Fahrzeug unter Verwendung der ersten Position und der zweiten Position bestimmbar ist.According to the invention, a device for carrying out a method for determining the position of a portable reference sensor system in relation to a vehicle, comprising the portable reference sensor system which can be attached to a vehicle, is provided, the device comprising a calibration object which is applied to a surface of the vehicle and is defined by the reference limit sensor system can be identified, with a first position of the calibration object relative to the vehicle being determined and a second position of the reference sensor system relative to the calibration object being determinable, so that a third position of the reference sensor system relative to the vehicle using the first position and the second position can be determined.

Diese Vorrichtung ist entsprechend dazu in der Lage, das Verfahren gemäß der Patentansprüche 1 - 5 durchzuführen, wobei bevorzugt das Verfahren mittels der Vorrichtung und unabhängig von einer externen Kalibriervorrichtung durchführbar ist.Accordingly, this device is capable of carrying out the method according to claims 1-5, the method preferably being able to be carried out by means of the device and independently of an external calibration device.

Gemäß einer bevorzugten Ausführungsform ist das portable Referenzsensorsystem zumindest teilweise auf einem Dach des Fahrzeuges anbringbar. Bevorzugt umfasst das Referenzsensorsystem eine Dachbox, die auf jedes handelsübliche Fahrzeugdach anbringbar ist. Insbesondere ist das Referenzsensorsystem lösbar mit dem Fahrzeug verbindbar, bevorzugt an das Fahrzeug steckbar, schraubar, klemmbar, saugbar oder dergleichen. Bevorzugt ist die nötige Infrastruktur, beispielsweise für die Spannungsversorgung und den Datentransfer, um das Referenzsensorsystem zu betreiben, im Kofferraum des Fahrzeugs unterbringbar.According to a preferred embodiment, the portable reference sensor system can be attached at least partially to a roof of the vehicle. The reference sensor system preferably includes a roof box that can be attached to any commercially available vehicle roof. In particular, the reference sensor system can be detachably connected to the vehicle, preferably plugged, screwed, clamped, sucked or the like onto the vehicle. The necessary infrastructure, for example for the voltage supply and the data transfer in order to operate the reference sensor system, can preferably be accommodated in the trunk of the vehicle.

Dies hat den Vorteil, dass das Referenzsensorsystem schnell von einem Fahrzeug auf ein anderes Fahrzeug umgerüstet werden kann. Weiter ist es bei der Positionierung auf dem Dach des Fahrzeuges möglich, dass das Referenzsensorsystem einen holistischen 360°-Referenzdatensatz der Fahrzeugumgebung erzeugen kann.This has the advantage that the reference sensor system can be quickly converted from one vehicle to another vehicle. Furthermore, when positioned on the roof of the vehicle, it is possible for the reference sensor system to generate a holistic 360° reference data record of the vehicle's surroundings.

Im Gegensatz zu Chassis-integrierten Referenzsensorsystemen, bei denen die Referenzsensorik in die Karosserie des jeweiligen Versuchsträgerfahrzeuges integriert ist, ergibt sich durch die Anordnung auf dem Fahrzeugdach weiter der Vorteil, dass der mit dem Referenzsensorsystem erzeugte Datensatz über unterschiedliche Fahrzeugmodelle hinweg homogen bleibt. Somit kann jede Entwicklungsabteilung eines Fahrzeugherstellers auf denselben, holistischen 360°-Referenzdatensatz zurückgreifen. Dadurch werden redundante, funktionsspezifische Referenzdatensätze und daraus resultierende Mehrfacharbeiten, deren Vergleichbarkeit untereinander gering beziehungsweise nicht gegeben ist, vermieden.In contrast to chassis-integrated reference sensor systems, in which the reference sensors are integrated into the body of the respective test vehicle, the arrangement on the vehicle roof has the further advantage that the data set generated with the reference sensor system remains homogeneous across different vehicle models. This means that every development department of a vehicle manufacturer can access the same holistic 360° reference data set. This avoids redundant, function-specific reference data sets and the resulting duplication of work, which is difficult or impossible to compare with one another.

Bevorzugt handelt es sich bei dem Referenzsensorsystem um das AVL Dynamic Ground Truth (DGT) System.The reference sensor system is preferably the AVL Dynamic Ground Truth (DGT) system.

Gemäß einer bevorzugten Ausführungsform ist das Kalibrierobjekt eine Klebefolie. Bevorzugt ist die Klebefolie auf die Oberfläche des Fahrzeuges geklebt. Weiter bevorzugt ist die Klebefolie auf die Motorhaube des Fahrzeuges geklebt. Die Klebefolie weist bevorzugt an deren Oberfläche das Kalibriermuster auf. Eine ersten Sensoreinheit, die bevorzugt die Klebefolie in dessen Erfassungsbereich erfasst, ist somit bevorzugt eine Frontkamera des Referenzsensorsystems.According to a preferred embodiment, the calibration object is an adhesive film. The adhesive film is preferably glued to the surface of the vehicle. More preferably, the adhesive film is glued to the hood of the vehicle. The adhesive film preferably has the calibration pattern on its surface. A first sensor unit, which preferably detects the adhesive film in its detection area, is therefore preferably a front camera of the reference sensor system.

Gemäß einer bevorzugten Ausführungsform umfasst das portable Referenzsensorsystem zumindest eine Recheneinheit. Die Recheneinheit ist insbesondere dazu in der Lage, die zweite Position und die dritte Position zu bestimmen, bevorzugt unter Anwendung des Verfahrens gemäß Anspruch 5. Weiter umfasst das Referenzsensorsystem bevorzugt eine erste Sensoreinheit gemäß Anspruch 4. Das Referenzsensorsystem umfasst bevorzugt weiterhin eine Speichereinheit. Bevorzugt umfasst das Referenzsensorsystem zumindest eine zweite Sensoreinheit. Die zumindest eine zweite Sensoreinheit ist bevorzugt zumindest eines ausgewählt aus der Gruppe umfassend Lidar-Sensoren, Radar-Sensoren, hochauflösende Kameras, Ultraschallsensoren, Infrarotsensoren und Empfänger von Signalen eines Navigationssatellitensystems. Bevorzugt können erfasste Sensordaten des Referenzsensorsystems von der Recheneinheit verarbeitet und in der Speichereinheit gespeichert werden.According to a preferred embodiment, the portable reference sensor system includes at least one computing unit. The computing unit is in particular able to determine the second position and the third position, preferably using the method according to claim 5. The reference sensor system preferably also comprises a first sensor unit according to claim 4. The reference sensor system preferably also comprises a memory unit. The reference sensor system preferably includes at least one second sensor unit. The at least one second sensor unit is preferably at least one selected from the group comprising lidar sensors, radar sensors, high-resolution cameras, ultrasonic sensors, infrared sensors and receivers of signals from a navigation satellite system. Detected sensor data of the reference sensor system can preferably be processed by the computing unit and stored in the memory unit.

Der Erfassungsbereich alle Sensoreinheiten ist bevorzugt auf eine maximale Abdeckung der Fahrzeugumgebung in 360° um das Fahrzeug optimiert, um die Verwendbarkeit der Referenzdaten für möglichst alle Advanced Driver Assistance System (ADAS) Funktionen zu gewährleisten.The detection range of all sensor units is preferably optimized for maximum coverage of the vehicle environment in 360° around the vehicle in order to ensure that the reference data can be used for as many Advanced Driver Assistance System (ADAS) functions as possible.

Gemäß einer bevorzugten Ausführungsform umfasst das Fahrzeug ein Fahrzeugsensorsystem, wobei erfasste Sensordaten des Fahrzeugsensorsystems mit erfassten Umgebungsdaten des Referenzsensorsystems der Fahrzeugumgebung verglichen werden können. Das Fahrzeugsensorsystem ist bevorzugt zumindest Teil eines Fahrerassistenzsystems (ADAS).According to a preferred specific embodiment, the vehicle includes a vehicle sensor system, in which case detected sensor data from the vehicle sensor system can be compared with detected environmental data from the reference sensor system of the vehicle environment. The vehicle sensor system is preferably at least part of a driver assistance system (ADAS).

Insbesondere ist das Fahrzeugsensorsystem auf das Fahrzeug kalibriert, sodass dynamische und statische Objekte detektiert, klassifiziert und in Relation zum Fahrzeug positioniert werden können. Insbesondere ist der Vergleich der Sensordaten möglich, da die dritte Position des Referenzsensorsystems gegenüber dem Fahrzeug durch die Vorrichtung bestimmbar ist und somit auch dynamische und statische Objekte detektiert, klassifiziert und in Relation zum Fahrzeug positioniert werden können.In particular, the vehicle sensor system is calibrated to the vehicle so that dynamic and static objects can be detected, classified and positioned in relation to the vehicle. In particular, the comparison of the sensor data is possible because the third position of the reference sensor system relative to the vehicle can be determined by the device and thus dynamic and static objects can also be detected, classified and positioned in relation to the vehicle.

Weitere Ziele, Vorteile und Zweckmäßigkeiten der vorliegenden Erfindung sind anhand anliegender Zeichnungen und nachfolgender Beschreibung erläutert. Hierbei zeigen:

• 1 einen schematischen Aufbau einer Vorrichtung gemäß einer bevorzugten Ausführungsform;
• 2 eine Prinzipdarstellung einer Zuordnung von markanten Punkten zu Pixelkoordinaten;

Further objects, advantages and advantages of the present invention are presented below ender drawings and the following description explained. Here show:

• 1 a schematic structure of a device according to a preferred embodiment;
• 2 a schematic representation of an assignment of prominent points to pixel coordinates;

Die 1 zeigt einen schematischen Aufbau einer Vorrichtung 100 gemäß einer bevorzugten Ausführungsform. Die Vorrichtung 100 umfasst ein Fahrzeug 1, das ein beliebiges Fahrzeugmodell sein kann und nicht dem abgebildeten Fahrzeugmodell entsprechen muss. Die Vorrichtung 100 umfasst weiter ein portables Referenzsensorsystem 2, das auf dem Fahrzeugdach mit einem Gehäuse in Form einer Dachbox angeordnet ist. Die für das Referenzsensorsystem nötige Infrastruktur ist bevorzugt im Kofferraum des Fahrzeuges untergebracht, hier nicht gezeigt. Das Referenzsensorsystem 2 umfasst zumindest eine erste Sensoreinheit 5. Die Sensoreinheit 5 ist bevorzugt eine Frontkamera 5 des Referenzsensorsystems 2. Die Vorrichtung umfasst weiter das Kalibrierobjekt, das sich im Erfassungsbereich 4 der Frontkamera 5, bevorzugt als Klebefolie 3a. Die Klebefolie 3a ist auf die Motorhaube geklebt und weist bevorzugt ein Kalibriermuster 14 auf. Dieses ist in der 2 zu erkennen. Die Position der Klebefolie 3a gegenüber dem Fahrzeug 1 ist dabei als erste Position exakt definiert. Das Referenzsensorsystem 2 umfasst weiter zumindest eine zweite Sensoreinheit 6, wobei in der 1 zwei Sensoreinheiten 6 gezeigt sind. Bevorzugt decken die jeweiligen Erfassungsbereiche der ersten Sensoreinheit 5 und der zweiten Sensoreinheiten 6 die Fahrzeugumgebung in einem 360°-Bereich um das Fahrzeug 1 ab.The 1 shows a schematic structure of a device 100 according to a preferred embodiment. The device 100 comprises a vehicle 1, which can be any vehicle model and does not have to correspond to the vehicle model shown. The device 100 further includes a portable reference sensor system 2, which is arranged on the vehicle roof with a housing in the form of a roof box. The infrastructure required for the reference sensor system is preferably accommodated in the trunk of the vehicle, not shown here. The reference sensor system 2 includes at least a first sensor unit 5. The sensor unit 5 is preferably a front camera 5 of the reference sensor system 2. The device further includes the calibration object, which is in the detection area 4 of the front camera 5, preferably as an adhesive film 3a. The adhesive film 3a is stuck onto the hood and preferably has a calibration pattern 14 . This is in the 2 to recognize. The position of the adhesive film 3a relative to the vehicle 1 is precisely defined as the first position. The reference sensor system 2 further includes at least one second sensor unit 6, wherein in the 1 two sensor units 6 are shown. The respective detection areas of the first sensor unit 5 and the second sensor units 6 preferably cover the vehicle surroundings in a 360° area around the vehicle 1 .

Das Koordinatensystem 13 des Fahrzeuges 1 hat bevorzugt seinen Ursprung in der Mitte der Hinterachse des Fahrzeuges. Die Achsen des Koordinatensystems 13 sind so gerichtet, dass diese Achsen in eine Vorwärtsrichtung, in eine Höhenrichtung und in eine Seitenrichtung gerichtet sind, die jeweils zueinander orthogonal sind. Das Koordinatensystem 10 des Kalibrierobjektes 3, sowie das Koordinatensystem 11 des Referenzsensorsystems 2, welches in dieser Darstellung beispielsweise seinen Ursprung in der ersten Sensoreinheit 6 hat, sind in der 1 ebenfalls dargestellt.The coordinate system 13 of the vehicle 1 preferably has its origin in the middle of the rear axle of the vehicle. The axes of the coordinate system 13 are directed such that these axes are directed in a forward direction, in a height direction, and in a lateral direction, which are orthogonal to each other. The coordinate system 10 of the calibration object 3 and the coordinate system 11 of the reference sensor system 2, which in this representation has its origin in the first sensor unit 6, for example, are in FIG 1 also shown.

Die 2 zeigt eine Prinzipdarstellung einer Zuordnung von markanten Punkten zu Pixelkoordinaten. Das Kalibrierobjekt 3 weist ein Kalibriermuster 14 auf. In diesem Beispiel ist das Kalibriermuster 14 ein Punktmuster 14a. Beispielsweise sind, wie abgebildet, markante Punkte rasterartig mit gleichen Abständen in einer Ebene angeordnet, wobei Reihen und Spalten senkrecht zueinander sind. Insbesondere sind die Abstände der markanten Punkte zueinander bekannt und zu einem Koordinatensystem 10 des Kalibrierobjektes 3 bekannt und im Verfahren definiert. Insbesondere sind die Koordinaten der markanten Punkte des Kalibriermusters 14 im Koordinatensystem 10 des Kalibrierobjektes 3 bekannt. Ein markanter Punkt 8 hat beispielsweise die Koordinate (0; -2; 3). Die erste Sensoreinheit 5 erkennt die markanten Punkte unter Zuhilfenahme mehrerer leistungsfähiger neuronaler Netze (CNNs) und ordnet diese zumindest einem Pixel bzw. einer Pixelkoordinate zu. Beispielsweise wird, wie in der 2 dargestellt, der markante Punkt 8 dem Pixel 9 zugeordnet, wobei dem Pixel 9 eine Pixelkoordinate im Pixelkoordinatensystem 12 zugeordnet ist.The 2 shows a schematic representation of an assignment of prominent points to pixel coordinates. The calibration object 3 has a calibration pattern 14 . In this example, the calibration pattern 14 is a dot pattern 14a. For example, as shown, salient points are arranged in a grid-like manner, equally spaced in a plane, with rows and columns perpendicular to one another. In particular, the distances between the prominent points are known and are known in relation to a coordinate system 10 of the calibration object 3 and are defined in the method. In particular, the coordinates of the prominent points of the calibration pattern 14 in the coordinate system 10 of the calibration object 3 are known. For example, a prominent point 8 has the coordinates (0; -2; 3). The first sensor unit 5 recognizes the prominent points with the aid of a number of powerful neural networks (CNNs) and assigns them to at least one pixel or pixel coordinate. For example, as in the 2 shown, the prominent point 8 is assigned to the pixel 9, the pixel 9 being assigned a pixel coordinate in the pixel coordinate system 12.

Durch die intrinsische Kalibrierung der ersten Sensoreinheit 11 und der bekannten Geometrie des Kalibrierobjektes 3 bzw. des Kalibriermusters 14 kann folglich jeweils einem markanten Punkt des Kalibrierobjektes 3 jeweils eine Koordinate im Koordinatensystem 11 der Referenzsensorsystems 2 zugeordnet werden, sodass die zweite Position bestimmt werden kann. Due to the intrinsic calibration of the first sensor unit 11 and the known geometry of the calibration object 3 or the calibration pattern 14, a coordinate in the coordinate system 11 of the reference sensor system 2 can be assigned to a prominent point of the calibration object 3, so that the second position can be determined.

Es versteht sich, dass es sich bei den vorstehend erläuterten Ausführungsformen lediglich um eine erste Ausgestaltung der erfindungsgemäßen Vorrichtung handelt. Insofern beschränkt sich die Ausgestaltung der Erfindung nicht auf diese Ausführungsbeispiele.It goes without saying that the embodiments explained above are only a first configuration of the device according to the invention. In this respect, the configuration of the invention is not limited to these exemplary embodiments.

Sämtliche in den Anmeldungsunterlagen offenbarten Merkmale werden als erfindungswesentlich beansprucht, sofern sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind.All features disclosed in the application documents are claimed to be essential to the invention, provided they are new compared to the prior art, either individually or in combination.

Bezugszeichenlistereference list

100100

Vorrichtungcontraption

11

Fahrzeugvehicle

22

portables Referenzsensorsystemportable reference sensor system

33

Kalibrierobjektcalibration object

3a3a

Klebefolieadhesive film

44

Erfassungsbereich der ersten SensoreinheitDetection range of the first sensor unit

55

erste Sensoreinheitfirst sensor unit

66

zweite Sensoreinheitsecond sensor unit

77

BildPicture

88th

markanter Punkt des Kalibrierobjektesdistinctive point of the calibration object

99

Pixel des Bildespixels of the image

1010

Koordinatensystem des KalibrierobjektesCoordinate system of the calibration object

1111

Koordinatensystem des ReferenzsensorsystemsCoordinate system of the reference sensor system

1212

Pixelkoordinatensystempixel coordinate system

1313

Koordinatensystem des FahrzeugesCoordinate system of the vehicle

1414

Kalibriermustercalibration pattern

14a14a

PunktmusterDot pattern

Claims (10)

Verfahren zur Positionsbestimmung eines portablen Referenzsensorsystems (2) gegenüber einem Fahrzeug (1) mittels einem Kalibrierobjekt (3), welches auf einer Oberfläche des Fahrzeuges (1) angeordnet ist, wobei eine erste Position des Kalibrierobjektes (3) gegenüber dem Fahrzeug (1) bestimmt ist, umfassend die Verfahrensschritte: a) Anbringen des Referenzsensorsystems (2) an das Fahrzeug (1); b) Erkennen des Kalibrierobjektes (3) und Bestimmen einer zweiten Position des Referenzsensorsystems (2) gegenüber dem Kalibrierobjekt (3) mittels des Referenzsensorsystems (2); c) Bestimmen einer dritten Position des Referenzsensorsystems (2) gegenüber dem Fahrzeug (1) unter Verwendung der ersten Position und der zweiten Position.Method for determining the position of a portable reference sensor system (2) relative to a vehicle (1) using a calibration object (3) which is arranged on a surface of the vehicle (1), a first position of the calibration object (3) relative to the vehicle (1) being determined is, comprising the process steps: a) attaching the reference sensor system (2) to the vehicle (1); b) detecting the calibration object (3) and determining a second position of the reference sensor system (2) relative to the calibration object (3) by means of the reference sensor system (2); c) determining a third position of the reference sensor system (2) relative to the vehicle (1) using the first position and the second position. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren unabhängig von einer externen Kalibriervorrichtung durchgeführt wird.procedure after claim 1 , characterized in that the method is carried out independently of an external calibration device. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Kalibriermuster (14) des Kalibrierobjektes (3) definiert ist, wobei bevorzugt das Kalibriermuster ein Schachbrettmuster oder ein Punktmuster (14a) ist.procedure after claim 1 or 2 , characterized in that a calibration pattern (14) of the calibration object (3) is defined, the calibration pattern preferably being a checkerboard pattern or a dot pattern (14a). Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Referenzsensorsystem (2) eine erste Sensoreinheit (5) umfasst, die das Kalibriermuster (14) erkennt, wobei die erste Sensoreinheit (5) ein optischer Sensor ist, der ein aus Pixeln bestehendes Bild (7) des Kalibriermusters (14) abbildet.procedure after claim 3 , characterized in that the reference sensor system (2) comprises a first sensor unit (5) which detects the calibration pattern (14), the first sensor unit (5) being an optical sensor which generates a pixel image (7) of the calibration pattern ( 14) depicts. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die zweite Position des Referenzsensorsystems (2) gegenüber dem Kalibrierobjekt (3) unter Verwendung des Bildes (7) des Kalibriermusters (14) und dem definierten Kalibriermuster (14) berechnet werden kann.procedure after claim 4 , characterized in that the second position of the reference sensor system (2) relative to the calibration object (3) using the image (7) of the calibration pattern (14) and the defined calibration pattern (14) can be calculated. Vorrichtung (100) zur Durchführung eines Verfahrens zur Positionsbestimmung eines portablen Referenzsensorsystems (2) gegenüber einem Fahrzeug (1), umfassend das portable Referenzsensorsystem (2), das an einem Fahrzeug (1) anbringbar ist, dadurch gekennzeichnet, dass die Vorrichtung ein Kalibrierobjekt (3) umfasst, das auf einer Oberfläche des Fahrzeuges (1) aufgebracht und durch das Referenzsensorsystem (2) erkennbar ist, wobei eine erste Position des Kalibrierobjektes (3) gegenüber dem Fahrzeug (1) bestimmt ist und eine zweite Position des Referenzsensorsystems (2) gegenüber dem Kalibrierobjekt bestimmbar ist, sodass eine dritte Position des Referenzsensorsystems (2) gegenüber dem Fahrzeug (1) unter Verwendung der ersten Position und der zweiten Position bestimmbar ist.Device (100) for carrying out a method for determining the position of a portable reference sensor system (2) relative to a vehicle (1), comprising the portable reference sensor system (2) which can be attached to a vehicle (1), characterized in that the device includes a calibration object ( 3) which is applied to a surface of the vehicle (1) and can be recognized by the reference sensor system (2), a first position of the calibration object (3) relative to the vehicle (1) being determined and a second position of the reference sensor system (2) can be determined relative to the calibration object, so that a third position of the reference sensor system (2) relative to the vehicle (1) can be determined using the first position and the second position. Vorrichtung (100) nach Anspruch 6, dadurch gekennzeichnet, dass das portable Referenzsensorsystem (2) auf einem Dach des Fahrzeuges (1) anbringbar ist.Device (100) according to claim 6 , characterized in that the portable reference sensor system (2) can be attached to a roof of the vehicle (1). Vorrichtung (100) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Kalibrierobjekt (3) eine Klebefolie (3a) ist, die auf die Oberfläche des Fahrzeuges (1) geklebt ist.Device (100) according to claim 6 or 7 , characterized in that the calibration object (3) is an adhesive film (3a) which is glued to the surface of the vehicle (1). Vorrichtung (100) nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das portable Referenzsensorsystem (2) zumindest eine Recheneinheit, eine Speichereinheit und zumindest eine zweite Sensoreinheit (6) umfasst, wobei die zumindest eine zweite Sensoreinheit (6) zumindest eines ist ausgewählt aus der Gruppe umfassend Lidar-Sensoren, Radar-Sensoren, hochauflösende Kameras, Ultraschallsensoren, Infrarotsensoren und Empfänger von Signalen eines Navigationssatellitensystems, wobei erfasste Sensordaten des Referenzsensorsystems (2) von der Recheneinheit verarbeitet und in der Speichereinheit gespeichert werden können.Device (100) according to one of Claims 6 until 8th , characterized in that the portable reference sensor system (2) comprises at least one computing unit, a memory unit and at least one second sensor unit (6), wherein the at least one second sensor unit (6) is at least one selected from the group comprising lidar sensors, radar Sensors, high-resolution cameras, ultrasonic sensors, infrared sensors and receivers of signals from a navigation satellite system, it being possible for recorded sensor data from the reference sensor system (2) to be processed by the computing unit and stored in the memory unit. Vorrichtung (100) nach einem der Anspruch 6 bis 9, dadurch gekennzeichnet, dass das Fahrzeug (1) ein Fahrzeugsensorsystem umfasst, wobei erfasste Sensordaten des Fahrzeugsensorsystems mit erfassten Sensordaten des Referenzsensorsystems (2) verglichen werden können.Device (100) according to one of claim 6 until 9 , characterized in that the vehicle (1) comprises a vehicle sensor system, wherein detected sensor data of the vehicle sensor system with detected sensor data of the reference sensor system (2) can be compared.

Images