DE102022207725A1 - Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems - Google Patents

Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems Download PDF

Info

Publication number
DE102022207725A1
DE102022207725A1 DE102022207725.3A DE102022207725A DE102022207725A1 DE 102022207725 A1 DE102022207725 A1 DE 102022207725A1 DE 102022207725 A DE102022207725 A DE 102022207725A DE 102022207725 A1 DE102022207725 A1 DE 102022207725A1
Authority
DE
Germany
Prior art keywords
sensor
data
infrastructure
environmental structure
course
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022207725.3A
Other languages
English (en)
Inventor
Evren Divrikli
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022207725.3A priority Critical patent/DE102022207725A1/de
Publication of DE102022207725A1 publication Critical patent/DE102022207725A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Gemäß der Erfindung wird ein Verfahren zum Kalibrieren eines Infrastruktursensorsystems vorgeschlagen. Das Verfahren umfasst die Schritte:a. Empfangen von Datennachrichten von mindestens einem vernetzten Verkehrsteilnehmer von verschiedenen Positionen innerhalb des Sichtfeldes des Infrastruktursensorsystems, wobei jede Datennachricht zumindest eine Information über eine Position und eine Geometrie des die Datennachricht sendenden vernetzten Verkehrsteilnehmer umfasst;b. Bestimmen einer Referenzumgebungsstruktur aus den empfangenen Datennachrichten;c. Erfassen von Sensordaten mittels mindestens eines Umfeldsensors des Infrastruktursensorsystems;d. Bestimmen eines Verlaufs einer stationären Umgebungsstruktur aus den Sensordaten;e. Transformieren des aus den Sensordaten bestimmten Verlaufs der stationären Umgebungsstruktur bis zu einer optimierten Übereinstimmung mit der Referenzstruktur, undf. Kalibrieren des Infrastruktursensorsystems, insbesondere des Umfeldsensors, basierend auf den Transformationsparametern der Transformation.

Description

  • Die Erfindung betrifft ein Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems. Die Erfindung betrifft ferner ein Infrastruktursensorsystem. Die Erfindung betrifft ferner ein Computerprogramm.
  • Stand der Technik
  • Wie auch in anderen Technologiebereichen spielt bei Fahrzeuganwendungen die Vernetzung eine immer größere Rolle. Immer mehr Fahrzeuge besitzen die Möglichkeit, sich mit anderen Verkehrsteilnehmern, Infrastrukturkomponenten (sogenannte Road Side Units oder RSUs) oder mit Backenddiensten in der Cloud zu verbinden. Insbesondere gewinnt in letzter Zeit die Vernetzung von Fahrzeugen mit infrastrukturseitigen Systemen an Bedeutung. Systeme auf der Infrastrukturseite können Fahrzeuge bei Ihrer Fahraufgabe unterstützen, indem z. B. Sensoren am Straßenrand oder Datenserver Zusatzinformationen liefern, welche die bordeigene Sensorik des Fahrzeuges nicht oder nur eingeschränkt selbst generieren kann.
  • Die Offenlegungsschrift DE 10 2020 118 412 A9 hat ein Sicherheitsbegleitsystem zum Gegenstand, welches durch ein Rechenteilsystem eines automatisierten Fahrsystems erzeugte Daten nutzt, um eine höhere Sicherheitsintegritätsstufe zu realisieren. Dafür werden unter anderem Sensorfusionsvorgänge eingesetzt. Grundsätzlich erhalten Fahrzeuge bspw. Sensordaten, die durch externe Sensorvorrichtungen erhoben wurden, oder Daten, die Beobachtungen oder Empfehlungen enthalten, die durch andere Systeme basierend auf Sensordaten dieser Sensorvorrichtungen erzeugt wurden, und können diese Daten bei der Sensorfusion, Inferenz, Wegplanung und anderen Aufgaben verwenden. Die Fusion verschiedener Sensortypen ermöglicht somit etwa die Erkennung von Objekten, die Ermittlung von Bewegungsbahnen oder eine genaue Standortbestimmung. Außerdem kann ein Sensorfusionsmodul genutzt werden, um die Verwendung und Verarbeitung der verschiedenen Sensoreingaben zu steuern, die durch eine Machine Learning Engine und andere Module des fahrzeuginternen Verarbeitungssystems verwendet werden.
  • Bei einer Unterstützung der Fahraufgabe eines vernetzten automatisierten Fahrzeugs durch eine Straßeninfrastruktur ist es notwendig, dass die Infrastruktursensoren durch eine Kalibrierung über ihre externen Einflüsse und Umgebung Bescheid wissen. Dazu zählt zum Beispiel, in welche Richtung (bestehend aus Roll-, Nick- und Gierwinkel) ein bestimmter Infrastruktursensor (z.B. eine Kamera) ausgerichtet ist, wie hoch sich der Infrastruktursensor über dem Boden befindet und welchen Sichtbereich (Field of View) der Infrastruktursensor hat.
  • Üblicherweise wird die globale initiale Kalibrierung der Sensoren eines Infrastruktursensorsystems manuell ausgeführt. Dabei werden die Sensoren grob in ihrer Pose, d.h. ihrer Position und Orientierung, manuell eingestellt. Die dabei verwendeten groben globalen initialen Kalibrierungsparameter dienen dann einem nachfolgenden lokalen Kalibrierverfahren als Parameter für die Optimierung.
  • Aus der Offenlegungsschrift DE 10 2021 103 779 A1 ist ein Verfahren zum verbesserten Sensorbetrieb bekannt. Dabei sammelt ein Computer Daten von einer Vielzahl von Objekten mit einem stationären Infrastruktursensor, wobei die Daten mindestens ein bewegliches Fahrzeug enthalten, sowie zweite Daten von Objekten, die mindestens ein Objekt der vorherigen einschließen. Die Überlappungsbereiche werden durch den Computer ausgewertet und gegebenenfalls aneinander angepasst. Dieser Vorgang kann neu gesammelte Infrastruktursensordaten kalibrieren, wodurch die Präzision und Genauigkeit der Infrastruktursensordaten verbessert werden.
  • Die Offenlegungsschrift DE 10 2019 206 021 A1 offenbart ein Verfahren zur Erkennung der Funktionsfähigkeit eines Umgebungssensors eines Fahrzeugs.
  • Dabei werden die aktuellen Koordinaten und die Ausrichtung des Fahrzeugs ermittelt, sowie mindestens ein Objekt in der Umgebung und dessen SollPosition bezüglich des Fahrzeugs bestimmt. Ein Umgebungssensor des Fahrzeugs erfasst die Ist-Position des bestimmten Objektes, woraufhin eine Funktionsfähigkeit des Sensors durch Vergleich von Ist-Position und der SollPosition und/oder eine Kalibrierung des Umgebungssensors in Abhängigkeit der Positionen erfolgen kann.
  • Die Offenlegungsschrift DE 10 2017 130 623 A1 zeigt ein Fahrzeug mit Fahrzeug-zu-Infrastruktur Kommunikation für den Austausch von Sensorinformationen. Das in diesem Zusammenhang beschriebene Verfahren beinhaltet die Annäherung des Fahrzeugs an ein Referenzziel sowie ein Sammeln von Daten über den Streckenabschnitt sowohl von einem Fahrzeugsensor als auch von einem Infrastruktursignal. Die Informationen des Fahrzeugsensors werden mit denen des Infrastruktursignals verglichen und der Fahrzeugsensor schließlich auf Basis des Infrastruktursignals kalibriert.
  • Offenbarung der Erfindung
  • Es kann daher als eine Aufgabe der Erfindung angesehen werden, ein verbessertes Verfahren zum Kalibrieren eines Infrastruktursensorsystems bereitzustellen.
  • Es kann als eine weitere Aufgabe der Erfindung angesehen werden, eine verbesserte Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems bereitzustellen.
  • Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum Kalibrieren eines Infrastruktursensorsystems vorgeschlagen, das die folgenden Schritte aufweist:
    • Zunächst werden Datennachrichten von mindestens einem vernetzten Verkehrsteilnehmer von verschiedenen Positionen innerhalb des Sichtfeldes des Infrastruktursensorsystems empfangen. Dabei umfasst jede empfangene Datennachricht zumindest eine Information über eine Position und eine Geometrie des die Datennachricht sendenden vernetzten Verkehrsteilnehmers. Die Position kann dabei beispielsweise in Form von WGS-Koordinaten, also als geographische Länge, Breite und Höhe (englisch Latitude, Longitude und Altitude) übermittelt werden. Die Geometrie umfasst beispielsweise Abmaße des Verkehrsteilnehmers, wobei im Rahmen der vorliegenden Erfindung bevorzugt zumindest die die Höhe des Verkehrsteilnehmers umfasst ist. Die Datennachrichten werden bevorzugt von einer Vielzahl von Verkehrsteilnehmern empfangen, die sich an unterschiedlichen Positionen innerhalb des Sichtfelds des Infrastruktursensorsystems befinden. Alternativ oder zusätzlich werden mehrere Datennachrichten eines Verkehrsteilnehmers empfangen, während sich dieser durch das Sichtfelds des Infrastruktursensorsystems bewegt.
  • Aus den empfangenen Datennachrichten wird nun eine Referenzumgebungsstruktur ermittelt. Dazu kann beispielsweise eine empfangene Position mit einer Geometrie des Verkehrsteilnehmers in Bezug gesetzt werden. Bevorzugt kann beispielsweise als Referenzumgebungsstruktur ein Referenzboden ermittelt werden. Hierzu kann beispielsweise eine Position des vernetzten Verkehrsteilnehmers abzüglich einer aus der Geometrie des Verkehrsteilnehmers bekannten oder ableitbaren Höhe des Verkehrsteilnehmers als Punkt der Fahrbahnoberfläche angenommen werden und die Menge aus der Mehrzahl von Datennachrichten auf diese Weise gewonnen Punkte der Fahrbahnoberfläche als Referenzboden definiert werden. Die Höhe des Verkehrsteilnehmers kann hierbei als die mit der Datennachricht übertragene Höhe des Punktes des Verkehrsteilnehmers definiert sein, dessen Position mir der Datennachricht empfangen wird.
  • Weiterhin werden Sensordaten aus dem Sichtfeld des Infrastruktursensorsystems mittels mindestens eines Umfeldsensors des Infrastruktursensorsystems erfasst. Die Sensordaten können hierbei Informationen über dynamische und statische Objekte umfassen. Diese Informationen können beispielsweise Abstandsinformationen umfassen und/oder Informationen über eine Geschwindigkeit und/oder eine Form und/oder eine Struktur mindestens eines Objektes innerhalb des Sichtfeldes des Infrastruktursensorsystems. Mindestens ein Umfeldsensor kann dazu beispielsweise als Radarsensor oder als Lidarsensor oder als bildgebender Sensor ausgebildet sein. Dem Fachmann sind weitere Typen von Umfeldsensoren bekannt.
  • Die so erfassten Sensordaten werden ausgewertet und es wird mittels der Sensordaten ein Verlauf einer stationären Umgebungsstruktur bestimmt. Hierbei kann insbesondere der Verlauf des Fahrbahnbodens bestimmt werden. Die stationären Umgebungsstruktur, insbesondere der Fahrbahnboden, wird insbesondere mit einem sensorspezifischen Verfahren bereitgestellt, welches rotations- und translationsinvariant den Bodenverlauf aus den Daten segmentieren kann. Liegen die Sensordaten beispielsweise als eine Punktwolke vor, kann diese auf einfache und schnelle Art in eine statische und dynamische Punktwolke unterteilt werden. Genutzt werden kann nun beispielsweise die statische Punktwolke. Mit bekannten Methoden (z.B. RANSAC) kann eine Ebene bestimmt werden, die mit der statischen Punktwolke möglichst gut übereinstimmt. Diese Ebene, die z.B. die meisten Punkte der statischen Punktwolke beinhaltet, wird dann als Ebene des Fahrbahnbodens angenommen. Alternativ können bekannte Segmentierungsalgorithmen verwendet werden, sie eine Metrik aufweisen, die geeignet ist, um den Fahrbahnboden zu klassifizieren. Hierzu kann beispielsweise sie sogenannte Delta-Z-Distanz als Metrik verwendet werden, also ihr Abstand in z-Richtung. Dazu werden jeweils zwei aufeinanderfolgende Punkte bzw. Sensordaten, dahingehend verglichen, ob die Delta-Z-Distanz kleiner als ein Schwellwert ist. Falls dies der Fall ist, können diese Punkte als Punkte des Fahrbahnbodens klassifiziert werden.
  • Anschließend erfolgt ein Transformieren des aus den Sensordaten bestimmten Verlaufs der stationären Umgebungsstruktur bis zu einer optimierten Übereinstimmung mit der Referenzstruktur. Es werden also beispielsweise der Referenzboden und der aus den Sensordaten bestimmte Fahrbahnboden in möglichst gute Übereinstimmung gebracht und die dazu benötigten Transformationsparameter bestimmt.
  • des Infrastruktursensorsystems, insbesondere der betreffende Umfeldsensor, kann nun basierend auf den Transformationsparametern der Transformation kalibriert werden.
  • Die Formulierung „vernetzter Verkehrsteilnehmer“ umfasst einen Verkehrsteilnehmer, wie beispielsweise ein Kraftfahrzeug oder ein Fahrrad, der eine geeignete Kommunikationseinrichtung aufweist, mit der der vernetzte Verkehrsteilnehmer Daten mit anderen Verkehrsteilnehmern, insbesondere mit einem Infrastruktursystem austauschen kann. Dazu wird eine drahtlose Datenverbindung aufgebaut, über die der vernetzte Verkehrsteilnehmer Daten senden und/oder empfangen kann. Es kann sich bevorzugt um eine Funkverbindung, beispielsweise eine Mobilfunkverbindung oder eine direkte Drahtlosverbindung handeln. Eine derartige Kommunikation zwischen einem Kraftfahrzeug und einem anderen Verkehrsteilnehmer oder einer Infrastruktur wird auch als V2X- oder C2X-Komunikation bezeichnet.
  • Die Datennachricht ist also insbesondere als eine V2X-Nachricht ausgeführt und umfasst besonders bevorzugt eine Cooperative Awarness Message (CAM) und/oder eine Cooperative Perception Message (CPM). Beispielsweise werden Cooperative Awarness Messages von mindestens einem beteiligten Verkehrsteilnehmer (z.B. einem Fahrzeug und/oder einem Infrastruktursystem) mittels der V2X-Kommunikation untereinander versendet, z.B. mit einer maximalen Frequenz von 10 Hz. Eine CAM beinhaltet folgende Informationen über den sendenden Verkehrsteilnehmer: Typ, Geometrie, Position, Geschwindigkeit, Beschleunigung, und andere.
  • Die vorliegende Erfindung hat demnach ein Verfahren zum Gegenstand, welches automatisch die globalen initialen Kalibrierungsparameter von Infrastruktursensoren berechnen kann, wodurch eine zeitaufwendige, manuelle globale initiale Kalibrierung entfällt. Dafür wird eine Kommunikation zwischen Fahrzeug und Infrastruktur (V2X) mittels Cooperative Awareness Messages (CAMs) eingesetzt, welche es ermöglicht, die Struktur des Bodens abzuleiten. Dieser „Referenzboden“ kann anschließend mit den aus den Sensordaten segmentieren Böden verglichen und für die Kalibrierung überlagert werden. Die Erfindung ermöglicht es, automatisch globale initialen Kalibrierungsparameter der Sensoren eines Infrastruktursensorsystems zu berechnen. Dadurch entfällt eine zeitaufwendige manuelle globale initiale Kalibrierung.
  • In einer bevorzugten Ausführung der Erfindung werden die Referenzumgebungsstruktur und der Verlauf der stationären Umgebungsstruktur jeweils als Punktwolke bestimmt. Das Transformieren der aus den Sensordaten bestimmten stationären Umgebungsstruktur bis zu einer optimierten Übereinstimmung mit der Referenzumgebungsstruktur kann in dieser Ausführung bevorzugt mittels eines Iterative-Closest-Point-Algorithmus durchgeführt werden, der die mittels der Sensordaten bestimmte Punktwolke, die die stationäre Umgebungsstruktur repräsentiert, mit der die Referenzumgebungsstruktur repräsentierenden Punktwolke überlagert. So kann eine möglichst effiziente Bestimmung der Transformationsparameter und der darauf basierenden Kalibration des Sensors erzielt werden.
  • In einer alternativen Ausführung der Erfindung kann die Referenzumgebungsstruktur und/oder der Verlauf der stationären Umgebungsstruktur jeweils als Ebene bestimmt werden und die den der Verlauf der stationären Umgebungsstruktur repräsentierende Ebene kann durch eine entsprechende geometrische Operation, beispielsweise eine Drehung, Stauchung, Streckung oder Kombinationen dieser geometrischen Operationen transformiert und mit der die Referenzumgebungsstruktur repräsentierenden Ebene oder Punktwolke überlagert werden.
  • In einer anderen alternativen Ausführung der Erfindung kann Referenzumgebungsstruktur und/oder der Verlauf der stationären Umgebungsstruktur jeweils durch Triangulation aus einer Punktmenge bestimmt werden.
  • Bevorzugt erfolgt das Bestimmen eines Verlaufs einer stationären Umgebungsstruktur aus den Sensordaten, indem aus den Sensordaten eine Bodenebene segmentiert wird, Von Vorteil können Algorithmen sein die rotations- und translationsinvariant die Bodenebene segmentieren können.
  • Nach einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems vorgeschlagen, die ausgebildet ist, ein erfindungsgemäßes Verfahren auszuführen. Die Vorrichtung kann insbesondere eine Recheneinheit umfassen, die ausgebildet ist, Datennachrichten von mindestens einem vernetzten Verkehrsteilnehmer von verschiedenen Positionen innerhalb des Sichtfeldes des Infrastruktursensorsystems zu empfangen, wobei jede Datennachricht zumindest eine Information über eine Position und eine Geometrie des die Datennachricht sendenden vernetzten Fahrzeugs umfasst, eine Referenzumgebungsstruktur aus den empfangenen Datennachrichten zu bestimmen, mittels mindestens eines Umfeldsensors des Infrastruktursensorsystems erfasste Sensordaten zu empfangen und einen Verlaufs einer stationären Umgebungsstruktur aus den Sensordaten zu bestimmen, den aus den Sensordaten bestimmten Verlaufs der stationären Umgebungsstruktur bis zu einer optimierten Übereinstimmung mit der Referenzstruktur zu transformieren, und den Sensors basierend auf den Transformationsparametern der Transformation zu kalibrieren.
  • Nach einem weiteren Aspekt der Erfindung wird ein Infrastruktursensorsystem, umfassend eine erfindungsgemäße Vorrichtung und mindestens einen Umfeldsensor vorgeschlagen. Der der Umfeldsensor kann beispielsweise als Lidarsensor oder Kamerasensor oder Radarsensor ausgebildet sein. Es können auch mehrere gleichartige oder auf unterschiedlichen Sensortechnologien beruhende Umfeldsensoren von dem Infrastruktursensorsystem umfasst sein.
  • Nach einem weiteren Aspekt der Erfindung wird ein Computerprogramm vorgeschlagen, welches Befehle umfasst, die bei Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein erfindungsgemäßes Verfahren auszuführen.
  • Kurzbeschreibung der Figuren
  • Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
    • 1 zeigt ein Ablaufdiagramm eines Verfahrens nach einem möglichen Ausführungsbeispiel der Erfindung
    • 2 zeigt schematisch ein Infrastruktursystem und einen vernetzten Verkehrsteilnehmer in verschiedenen Positionen innerhalb des Sichtfeldes des Infrastruktursensorsystems.
    • 3 zeigt das Infrastruktursystem aus 2 und Datenpunkte einer Referenzumgebungsstruktur.
    • 4 zeigt das Infrastruktursystem aus 3 und Datenpunkte einer Referenzumgebungsstruktur gemäß 3, sowie einen korrespondierenden Verlauf einer stationären Umgebungsstruktur, der mittels Sensordaten gewonnen wurde.
    • 5 zeigt ein Blockdiagramm eines erfindungsgemäßen Infrastruktursystems
  • Bevorzugte Ausführungen der Erfindung
  • In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
  • In 1 ist ein Ablaufdiagramm 100 eines Verfahrens zum Kalibrieren eines Infrastruktursensorsystems nach einem möglichen Ausführungsbeispiel der Erfindung dargestellt.
  • In einem ersten Schritt 110 werden Datennachrichten, insbesondere CAM-Nachrichten mittels V2X-Kommunikation von mindestens einem vernetzten Fahrzeug von verschiedenen Positionen innerhalb des Sichtfeldes des Infrastruktursensorsystems, empfangen. Jede Datennachricht umfasst dabei zumindest eine Information über eine Position und eine Geometrie des die Datennachricht sendenden vernetzten Fahrzeugs.
  • In einem darauffolgenden Schritt 120 wird eine Referenzumgebungsstruktur aus den empfangenen Datennachrichten bestimmt. Im vorliegenden Beispiel wird der Verlauf des Fahrbahnbodens als Referenzboden mittels der in den CAMs enthaltenen jeweiligen Positionen und der Höhe des sendenden Fahrzeugs bestimmt. Der Referenzboden liegt in Weltkoordinaten vor.
  • In einem Schritt 130 werden Sensordaten mittels mindestens eines Umfeldsensors des Infrastruktursensorsystems erfasst. Dies kann zeitlich parallel, vor oder nach dem Empfangen er CAM-Nachrichten erfolgen.
  • In einem darauffolgenden Schritt 140 wird ein Verlauf einer stationären Umgebungsstruktur aus den Sensordaten bestimmt. Im vorliegenden Beispiel wird durch Segmentierung der Sensordaten der Verlauf eines Fahrbahnbodens bestimmt. Dieser liegt im Koordinatensystem des Umfeldsensors vor (Sensorkoordinaten).
  • In einem darauffolgenden Schritt 150 wird der aus den Sensordaten bestimmte Verlauf des Fahrbahnbodens bis zu einer optimierten Übereinstimmung mit der Referenzstruktur transformiert. Mit anderen Worten erfolgt eine Koordinatentransformation des aus den Sensordaten bestimmten Verlaufs des Fahrbahnbodens. Dabei kann beispielsweise ein Iterative-Closest-Point-Algorithmus verwendet werden Hierbei ergeben sich bestimmte Transformationsparameter.
  • In einem darauffolgenden Schritt 160 erfolgt ein Kalibrieren des Umfeldsensors des Infrastruktursensorsystems basierend auf den Transformationsparametern der Transformation.
  • In 2 ist ein schematisch ein Infrastruktursystem 10 dargestellt, das einen Umfeldsensor 12 aufweist. Im Sichtfeld des Umfeldsensors 12 bewegt sich ein vernetzter Verkehrsteilnehmer 20, beispielsweise ein Fahrzeug. Der Verkehrsteilnehmer 12 sendet zu verschiedenen Zeitpunkten und damit korrespondierenden verschiedenen räumlichen Positionen, die durch die Rechtecke 21-27 repräsentiert sind jeweils eine CAM-Nachricht an das Infrastruktursystem 10. Jede der CAM-Nachrichten umfasst eine aktuelle Position des Verkehrsteilnehmers in lokalen Koordinaten 50, hierbei wird beispielsweise der eine Position des Mittelpunkts 32 des Verkehrsteilnehmers übermittelt. Weiterhin umfassen die CAM-Nachrichten Informationen über die Geometrie des Verkehrsteilnehmers 20, insbesondere die Höhe über dem Boden bzw. die Höhe des Mittelpunkts 32 über dem Boden. Um die Geometrie eines Referenzbodens abzubilden, kann die Höhe des Verkehrsteilnehmers von den Mittelpunkten abgezogen werden.
  • Damit eine ausreichende Abtastung des Referenzbodens gewährleistet ist, werden bevorzugt nicht nur CAM-Nachrichten von einem Verkehrsteilnehmer 20, sondern von beispielsweise mehreren Fahrzeugen verwendet. Dies ist in 3 dargestellt. Hier ist eine Vielzahl von Punkten 30 eines Referenzbodens 35 gezeigt, wobei die Position jedes der Punkte 30 jeweils mittels der durch eine CAM-Nachricht übermittelten Informationen über Position und Höhe des jeweiligen übermittelnden Verkehrsteilnehmers gewonnen wurde.
  • In 4 ist zusätzlich der Verlauf 38 des Fahrbahnbodens, der mittels durch den Umfeldsensor 12 erfassten Sensordaten 40 bestimmt wurde. Der Verlauf 38 des Fahrbahnbodens liegt herbei im Koordinatensystem 60 des Umfeldsensors 12 vor. Durch Übereinanderlegen der Punktmenge des Verlaufs 38 des Fahrbahnbodens und der Punktmenge des Referenzbodens 35 ergeben sich Transformationsvorschriften und Transformationsparameter, die das Koordinatensystem 60 in das Koordinatensystem 50 überführt. Erfindungsgemäß kann der Umfeldsensor basierend auf den Transformationsparametern der Transformation kalibriert werden.
  • 5 zeigt ein Blockdiagramm 500 eines erfindungsgemäßen Infrastruktursystems 10. Die Elemente 522, 524 und 526 stellen vernetzte Fahrzeuge dar, die in der Lage sind, mittels V2X-Kommunikation CAM-Nachrichten an eine Empfangseinheit 510 des Infrastruktursystems zu senden. In der Empfangseinheit 510 werden die CAM-Nachrichten über einen bestimmten Zeitraum akkumuliert. Die akkumulierten CAM-Nachrichten werden an eine Recheneinheit 530 des Infrastruktursystems übergeben. Die Recheneinheit 530 bestimmt aus den Informationen bezüglich Position und Geometrie der sendenden Fahrzeuge 522, 524 und 526, die von den CAM-Nachrichten umfasst sind, eine Referenzumgebungsstruktur. Parallel werden von einem Umfeldsensor 540 Messdaten 545 als Sensordaten aus der Umgebung des Infrastruktursystems empfangen. Aus den Sensordaten wird der Verlauf einer stationären Umgebungsstruktur durch Segmentierung bestimmt. In einer Kalibrationseinheit 550 werden der Verlauf einer stationären Umgebungsstruktur und die Referenzumgebungsstruktur möglichst optimal in Übereinstimmung gebracht. Die sich dabei ergebenen Transformationsparameter können zur globalen Kalibrierung 560 des Infrastruktursystems bzw. des Umfeldsensors 540 weiterverwendet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102020118412 A9 [0003]
    • DE 102021103779 A1 [0006]
    • DE 102019206021 A1 [0007]
    • DE 102017130623 A1 [0009]

Claims (12)

  1. Verfahren zum Kalibrieren eines Infrastruktursensorsystems mit den Schritten: a. Empfangen von Datennachrichten von mindestens einem vernetzten Verkehrsteilnehmer (20, 522, 524, 526) von verschiedenen Positionen (21, 22, 23, 24, 25, 26, 27) innerhalb des Sichtfeldes des Infrastruktursensorsystems (10), wobei jede Datennachricht zumindest eine Information über eine Position und eine Geometrie des die Datennachricht sendenden vernetzten Verkehrsteilnehmer (20, 522, 524, 526) umfasst; b. Bestimmen einer Referenzumgebungsstruktur (35) aus den empfangenen Datennachrichten; c. Erfassen von Sensordaten (545) mittels mindestens eines Umfeldsensors des Infrastruktursensorsystems (12, 540); d. Bestimmen eines Verlaufs (38) einer stationären Umgebungsstruktur aus den Sensordaten (545); e. Transformieren des aus den Sensordaten bestimmten Verlaufs (38) der stationären Umgebungsstruktur bis zu einer optimierten Übereinstimmung mit der Referenzstruktur (35), und f. Kalibrieren des Infrastruktursensorsystems (10), insbesondere des Umfeldsensors (12, 540), basierend auf den Transformationsparametern der Transformation.
  2. Verfahren nach Anspruch 1, wobei die Referenzumgebungsstruktur ein Referenzboden ist und aus den erfassten Sensordaten der Verlauf (35) des Fahrbahnbodens bestimmt wird.
  3. Verfahren nach einem der Ansprüche 1 oder 2, wobei die Datennachricht eine V2X-Nachricht ist und eine Cooperative Awarness Message (CAM) und/oder eine Cooperative Perception Message (CPM) umfasst.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Referenzumgebungsstruktur und/oder der Verlauf der stationären Umgebungsstruktur jeweils als Punktwolke (30, 40) bestimmt wird.
  5. Verfahren nach Anspruch 4, wobei das Geometrische Transformieren der aus den Sensordaten bestimmten stationären Umgebungsstruktur bis zu einer optimierten Übereinstimmung mit der Referenzumgebungsstruktur mittels eines Iterative-Closest-Point-Algorithmus durchgeführt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Referenzumgebungsstruktur und/oder der Verlauf der stationären Umgebungsstruktur jeweils als Ebene bestimmt werden.
  7. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Referenzumgebungsstruktur und/oder der Verlauf der stationären Umgebungsstruktur jeweils durch Triangulation aus einer Punktmenge bestimmt werden.
  8. Verfahren nach einem der Ansprüche 2 bis 7, wobei das Bestimmen eines Verlaufs einer stationären Umgebungsstruktur aus den Sensordaten erfolgt, indem aus den Sensordaten eine Bodenebene segmentiert wird, insbesondere rotations- und translationsinvariant.
  9. Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems, ausgebildet, ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
  10. Infrastruktursensorsystem (10), umfassend eine Vorrichtung nach Anspruch 9 und mindestens einen Umfeldsensor (12, 540).
  11. Infrastruktursensorsystem nach Anspruch 10, wobei der Umfeldsensor (12, 540) als Lidarsensor oder Kamerasensor oder Radarsensor ausgebildet ist.
  12. Computerprogramm, umfassend Befehle, die bei Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 8 auszuführen.
DE102022207725.3A 2022-07-27 2022-07-27 Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems Pending DE102022207725A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022207725.3A DE102022207725A1 (de) 2022-07-27 2022-07-27 Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022207725.3A DE102022207725A1 (de) 2022-07-27 2022-07-27 Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems

Publications (1)

Publication Number Publication Date
DE102022207725A1 true DE102022207725A1 (de) 2024-02-01

Family

ID=89508303

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022207725.3A Pending DE102022207725A1 (de) 2022-07-27 2022-07-27 Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems

Country Status (1)

Country Link
DE (1) DE102022207725A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016222319A1 (de) 2016-11-14 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-referenzierung
DE102017130623A1 (de) 2016-12-22 2018-06-28 GM Global Technology Operations LLC Fahrzeug mit Fahrzeug-zu-Infrastruktur und Sensorinformationen
DE102019206021A1 (de) 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zur Erkennung einer Funktionsfähigkeit eines Umgebungssensors, Steuergerät und Fahrzeug
DE102020118412A9 (de) 2019-09-23 2021-06-24 Intel Corporation Unabhängige sicherheitsüberwachung eines automatisierten fahrsystems
DE102021103779A1 (de) 2020-02-24 2021-08-26 Ford Global Technologies, Llc Verbesserter sensorbetrieb
DE102020210749A1 (de) 2020-08-25 2022-03-03 Continental Automotive Gmbh Verfahren zur Ausführung durch ein Sensorsystem für eine Verkehrsinfrastruktureinrichtung und Sensorsystem
DE102021204363A1 (de) 2021-04-30 2022-11-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kalibrierung eines Sensors mittels eines Fortbewegungsmittels

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016222319A1 (de) 2016-11-14 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-referenzierung
DE102017130623A1 (de) 2016-12-22 2018-06-28 GM Global Technology Operations LLC Fahrzeug mit Fahrzeug-zu-Infrastruktur und Sensorinformationen
DE102019206021A1 (de) 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zur Erkennung einer Funktionsfähigkeit eines Umgebungssensors, Steuergerät und Fahrzeug
DE102020118412A9 (de) 2019-09-23 2021-06-24 Intel Corporation Unabhängige sicherheitsüberwachung eines automatisierten fahrsystems
DE102021103779A1 (de) 2020-02-24 2021-08-26 Ford Global Technologies, Llc Verbesserter sensorbetrieb
DE102020210749A1 (de) 2020-08-25 2022-03-03 Continental Automotive Gmbh Verfahren zur Ausführung durch ein Sensorsystem für eine Verkehrsinfrastruktureinrichtung und Sensorsystem
DE102021204363A1 (de) 2021-04-30 2022-11-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kalibrierung eines Sensors mittels eines Fortbewegungsmittels

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ETSI EN 302 637-2 V1.4.1 (2019-04) - Titelblatt, Seiten 1 und 10-12
G. K. Tummala 2019: Automatic Camera Calibration Techniques for Collaborative Vehicluar Applications, Dissertation, Ohio State University, 2019
J. Müller et al. 2019: Low-effort Automatic Calibration of Infrastructure Sensors, arXiv:1911.01711v1, 5. November 2019

Similar Documents

Publication Publication Date Title
DE102018121595B4 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
EP3292423B1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
DE102019102195B4 (de) Autonomes Antriebssystem für ein Fahrzeug, Fahrzeug mit solch einem autonomen Antriebssystem sowie Verfahren zum Erkennen einer Kollision zwischen einem autonomen Fahrzeug und einem Objekt
DE102009014104A1 (de) Erkennungssystem für ein Fahrzeug
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
DE102016003969B4 (de) Verfahren zum Erfassen von Umgebungsdaten mittels mehrerer Kraftfahrzeuge
WO2014032660A1 (de) Verfahren zur elektronischen erkennung von verkehrszeichen
DE102016218934A1 (de) Verfahren zum Datenaustausch und Datenfusionierung von Umfelddaten
DE102015101358A1 (de) Verfahren und Systeme zum Erfassen einer Fahreraufmerksamkeit gegenüber Objekten
WO2016193265A1 (de) Verfahren zur transformation einer positionsangabe in ein lokales koordinatensystem
EP3526624A1 (de) Automatisierte freiraumerkennung mittels differenzanalyse für fahrzeuge
DE102019134351A1 (de) System und verfahren zur sensordiagnose
DE102020210515A1 (de) Verfahren zur Überprüfung von detektierten Veränderungen für ein Umfeldmodell einer digitalen Umgebungskarte
DE102015221183A1 (de) Verfahren und Vorrichtung zur Zuordnung von Verkehrsteilnehmern und Kommunikations-Identifikatoren
DE102017108130A1 (de) Verfahren zur Datenfusion eines Datensatzes, entsprechende Recheneinheit und Fahrzeug welches mit einer entsprechenden Recheneinheit ausgestattet ist sowie Computerprogramm
DE102019217187A1 (de) Verfahren und Vorrichtung zur Ermittlung von Navigationsinformationen
DE102016220581A1 (de) Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102019114626A1 (de) System und Verfahren zur Hardware-Überprüfung in einem Kraftfahrzeug
DE102018010039A1 (de) Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät
DE102017122440A1 (de) Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102022207725A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems
EP3688737A1 (de) Verfahren und einrichtung
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
EP4046403B1 (de) Verfahren zum bereitstellen einer objektnachricht über ein in einer umgebung eines verkehrsteilnehmers erkanntes objekt in einem kommunikationsnetzwerk zur kommunikation mit anderen verkehrsteilnehmern

Legal Events

Date Code Title Description
R163 Identified publications notified