DE102021110287A1

DE102021110287A1 - Verfahren und System zum automatisierten Kalibrieren von Sensoren

Info

Publication number: DE102021110287A1
Application number: DE102021110287.1A
Authority: DE
Inventors: Arya Senna Abdul Rachman; Ying Liu
Original assignee: AVL Software and Functions GmbH
Current assignee: AVL Software and Functions GmbH
Priority date: 2021-04-22
Filing date: 2021-04-22
Publication date: 2022-10-27
Also published as: CN115235526A; US20220343656A1

Abstract

Die Erfindung betrifft ein Verfahren zum automatisierten Kalibrieren von Sensoren eines Fahrzeugs, wobei mindestens ein erster passiver optischer Sensor und mindestens ein zweiter aktiver optischer Sensor basierend auf einer übereinstimmenden räumlichen Ausrichtung von erkannten Umgebungsmerkmalen in transformierten Sensordaten des ersten Sensors und den durch den zweiten Sensor erfassten Sensordaten durch eine Kalibrationseinheit kalibriert werden.

Description

Die Erfindung betrifft ein Verfahren zum automatisierten Kalibrieren von Sensoren, ein System zum Ausführen eines derartigen Verfahrens sowie ein mit dem System ausgestattetes Fahrzeug.
Die Zahl von Sensoren zum Erfassen verschiedenster Messgrößen hat in den letzten Jahren in diversen Anwendungsgebieten stark zugenommen. So lassen sich physikalische und chemische Eigenschaften der Umgebung qualitativ und quantitativ anhand der Messgröße in Form von Sensordaten erfassen. Auch gemeinsame Anordnungen mehrerer, insbesondere verschiedener, Sensoren spielen eine immer wichtigere Rolle. Dies trifft in besonderem Ma-ße auf automatisierte Prozesse und deren System zu, in welchen verschiedene Messgrößen zueinander in Beziehung gesetzt werden müssen.
Ein solches Beispiel stellen Fahrzeuge im Allgemeinen und vor allem solche, die für autonomes Fahren ausgebildet sind, dar. In einem modernen PKW ist heutzutage eine Vielzahl verschiedener Sensoren angeordnet, welche zum einen den Fahrer unterstützen und zum anderen die Sicherheit des Fahrers und anderer Verkehrsteilnehmer gewährleisten. Diese Sensoren werden meist im sog. Fahrerassistenzsystem (eng. „Advanced Driver Assistance Systems“; kurz ADAS) zusammengefasst. Hierbei ist entscheidend, dass die Sensoren korrekt aufeinander abgestimmt, d.h. kalibriert, sind, um die Funktionalität genannter Systeme gewährleisten zu können.
Aus dem Stand der Technik ist bekannt, dass optische Sensoren (z.B. Kameras), welche einen Großteil der fahrzeugseitig angeordneten Sensoren darstellen, ab Werk gemeinsam kalibriert werden. Dabei wird das Fahrzeug in einem extra dafür eingerichteten Kalibrationsstand fest stehend angeordnet und die einzelnen Kameras jeweils selbst, zum Ausgleich von Linsenfehlern und der Bestimmung der Lage und Ausrichtung des Kamerakoordinatensystems (lokales Koordinatensystem) in einem übergeordneten Weltkoordinatensystem, kalibriert. Zudem wird die relative Orientierung der Kameras durch eine relative räumliche Translation und Rotation der Kamerakoordinatensysteme bzw. Kamerabilder zueinander kalibriert, wobei hierfür bekannte Methoden eingesetzt werden. Für die Kalibration werden üblicherweise das Fahrzeug umgebende stationär angeordnete und leicht erkennbare Muster, wie Schachbrettmuster, verwendet.
Aus der oben beschriebenen Kalibrationsmethode ergeben sich mehrere Nachteile. Für die Kalibration wird ein eigens dafür eingerichteter Kalibrationsstand benötigt, welcher entsprechend eingerichtet sein und ausreichend Platz bieten muss. Die Kalibration muss dabei mühsam, sozusagen von Hand durch einen dazu speziell ausgebildeten Techniker durchgeführt werden, wobei die Kalibration insbesondere eine Vielzahl von Schritten umfasst, die aufeinanderfolgend manuell ausgeführt werden müssen, um eine ausreichende Kalibrationsqualität zu erhalten. Des Weiteren muss eine Kalibration der Sensoren bei jeglicher Veränderung des Systems, z.B. durch Austausch einer Komponente oder dergleichen, neu durchgeführt werden. Eine solche Kalibration ist aufwändig und daher kosten- als auch zeitintensiv und nach der Auslieferung vom Werk für Werkstätten schwer zu realisieren, da entsprechend geschultes und ausgebildetes Personal und ein entsprechender Kalibrationsstand benötigt wird, um eine nötige erneute Kalibration durchführen zu können.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren sowie ein System bereitzustellen, welche die angeführten Nachteile des Standes der Technik überwinden.
Diese Aufgabe wird gelöst von einem Verfahren zum automatisierten Kalibrieren von Sensoren eines Fahrzeugs, umfassend die Schritte:

a. Erfassen von Sensordaten betreffend eine von dem Fahrzeug im Betrieb passierte Fahrzeugumgebung durch mindestens einen fahrzeugseitig angeordneten ersten passiven optischen Sensor und mindestens einen fahrzeugseitig angeordneten zweiten aktiven optischen Sensor;
b. Kalibrieren des mindestens einen ersten Sensors unter Bestimmung von intrinsischen Sensorparametern und Verzeichnungsparametern basierend auf den durch den ersten Sensor erfassten Sensordaten durch eine Kalibrationseinheit und Anwenden der intrinsischen Sensorparameter und der Verzeichnungsparameter auf die durch den ersten Sensor erfassten Sensordaten unter Erhalt von transformierten Sensordaten;
c. Erkennen von Umgebungsmerkmalen der zuvor passierten Fahrzeugumgebung in den transformierten Sensordaten des ersten Sensors und den durch den zweiten Sensor erfassten Sensordaten durch eine Erkennungseinheit; und
d. Kalibrieren des mindestens einen ersten Sensors und des mindestens einen zweiten Sensors basierend auf einer übereinstimmenden räumlichen Ausrichtung der erkannten Umgebungsmerkmale in den transformierten Sensordaten des ersten Sensors und den durch den zweiten Sensor erfassten Sensordaten durch die Kalibrationseinheit unter Bestimmung von extrinsischen Sensorparametern und Anwenden der extrinsischen Sensorparameter auf transformierte Sensordaten des ersten Sensors und durch den zweiten Sensor erfasste Sensordaten unter Erhalt von jeweils kalibrierten Sensordaten.

Ein Fahrzeug im Sinne der Erfindung kann insbesondere jegliches Kraftfahrzeug sein, welches bevorzugt mittels Verbrennungsmotor, Elektromotor und/oder Brennstoffzelle angetrieben wird. Ferner werden unter Fahrzeug insbesondere auch solche Fahrzeuge verstanden, welche dazu vorgesehen und ausgebildet sind, autonom zu fahren.
Erfindungsgemäß wird das Verfahren durchgeführt, während das Fahrzeug in Betrieb ist. Unter einem Betrieb wird verstanden, dass das Fahrzeug in Bewegung ist bzw. fährt, wobei der Motor des Fahrzeugs aktiv ist und das Fahrzeug antreibt. Das Fahrzeug befindet sich sozusagen in einem Normalbetrieb, in welchem das Fahrzeug von einem Fahrer gefahren wird. Folglich ändert sich die Position des Fahrzeugs im Betrieb laufend entsprechend des Verkehrs, der Straßen etc..
Unter einer Fahrzeugumgebung, welche das Fahrzeug im Betrieb passiert, wird diejenige um das Fahrzeug herum befindliche Umgebung verstanden, an welcher das Fahrzeug vorbeifährt bzw. vorbei bewegt wird. Dabei kann es sich bevorzugt um jegliche Objekte, wie Gebäude, Vegetation, Infrastruktur, etc. handeln. Es wird bevorzugt davon ausgegangen, dass die erfindungsgemäßen Sensoren dazu vorgesehen und ausgebildet sind, die Fahrzeugumgebung erfassen zu können und die Fahrzeugumgebung betreffende Sensordaten ausgeben.
Es bleibt festzuhalten, dass erfindungsgemäß davon ausgegangen wird, dass das Fahrzeug sich bei der Durchführung des Verfahrens in Bewegung befindet bzw. fährt. Das erfindungsgemäße Verfahren soll explizit nicht in einem extra dafür vorgesehenen ortsfesten Kalibrierstand durchgeführt werden. Weiterhin soll es sich bei der Fahrzeugumgebung nicht um eine speziell für Sensorkalibrierungen vorgesehene und entsprechend bewusst angeordnete Umgebung in einem Kalibrationsstand handeln. Ferner wird unter einer automatisierten Kalibration verstanden, dass die Kalibration im Betrieb des Fahrzeugs automatisiert, d.h. selbstgesteuert durchgeführt wird, und kein speziell geschultes Personal nötig ist, um das Verfahren bzw. die einzelnen Schritte durchzuführen. Einem Benutzer bzw. Fahrer des Fahrzeugs wird bevorzugt der Ablauf des Kalibrationsverfahrens und dessen Qualität bzw. Erfolg derart dargestellt bzw. angezeigt, dass dieser es nachvollziehen kann, ohne spezielle Kenntnisse aufweisen zu müssen. Unter die automatische Kalibration fällt auch, dass der Benutzer die Kalibration bevorzugt starten, stoppen, neustarten etc. kann.
Bei einem ersten Sensor im Sinne der Erfindung handelt es sich um einen passiven Sensor und bei dem zweiten Sensor um einen aktiven Sensor. Ein vorliegender Sensor stellt Sensordaten zur Verfügung. Ein fahrzeugseitiger Sensor bzw. ein Sensor eines Fahrzeugs ist bevorzugt ein Sensor, der im oder am Fahrzeug angeordnet ist. Ein solcher Sensor kann Teil des Fahrzeugs sein bzw. im und/oder am Fahrzeug integriert sein, beispielsweise als Teil eines Fahrerassistenzsystems, oder nachträglich im und/oder am Fahrzeug angebracht sein. Es wird davon ausgegangen, dass es sich bei den ersten und zweiten Sensoren um verschiedene Sensoren handelt, d.h. die ersten und zweiten Sensoren erfassen unterschiedliche Messgrößen.
Bevorzugt werden die Sensordaten mittels der entsprechenden Sensoren gemäß Schritt a. während dem Betrieb des Fahrzeugs durchgehend erfasst, d.h. es werden immer neue Sensordaten erfasst, und/oder in bestimmten Zeitabständen und/oder bei Stattfinden bestimmter Ereignisse. Bei einem Ereignis kann es sich beispielsweise um eine Aktivierung durch einen Insassen des Fahrzeugs handeln.
Erfindungsgemäß wird eine Kalibration des mindestens einen ersten Sensors durchgeführt, um zunächst die erfassten Sensordaten auf die reale Welt abzubilden (bevorzugt Transformation der zweidimensionalen Sensordaten in die dreidimensional erfasste Umgebung) und weiterhin etwaige Fehler, welche bei der Erfassung der Sensordaten sensorbedingt entstehen und Unterschiede zwischen der Fahrzeugumgebung in den Sensordaten und der realen Fahrzeugumgebung darstellen (z.B. Verzerrungen oder dergleichen), auszugleichen. Durch die Kalibrierung können die Sensordaten des mindestens einen ersten Sensors für das weitere Verfahren, in Form der transformierten Sensordaten, verwendet werden. Die Kalibrierung erfolgt unter Bestimmung intrinsischer Sensorparameter und Verzeichnungsparametern basierend auf den durch den ersten Sensor erfassten Sensordaten, bevorzugt basierend auf einem mathematischen Modell bzw. mittels eines Algorithmus. Dabei geben die intrinsischen Sensorparameter unter anderem die Lage des Sensors relativ zu den Sensordaten (bezogen auf eine bildliche Messgröße des optischen Sensors) und die Lage und Ausrichtung des Sensorkoordinatensystems in einem übergeordneten Weltkoordinatensystem (der Fahrzugumgebung) bzw. Lage und Position des Sensors relativ zu den erfassen Sensordaten (anders gesagt einem Aufnahmegegenstand in den Sensordaten) wieder.
Die Verzeichnungsparameter werden basierend auf einem bekannten Sensormodell (z.B. einem Linsenmodell), entsprechend des ersten Sensors, welcher die Sensordaten erfasst, bestimmt, und dienen zur Korrektur von Abbildungsfehlern (Verzeichnung), die aus dem Aufbau des Sensors selbst (untr anderem aus Linsengleichung) und Umwelteinflüssen, wie Temperatur, Wetter, oder dergleichen resultieren. Weiterhin dienen die Verzeichnungsparameter zur Korrektur von Fehlern aufgrund mechanischer Einflüsse, welche beispielsweise durch Vibrationen hervorgerufen werden können, die durch die Bewegung des Fahrzeugs im Betrieb entstehen und auch die Sensoren betreffen. Im Kontext der Erfindung, wonach die automatisierte Kalibration der Sensoren im Betrieb des Fahrzeugs, d.h. das Fahrzeug befindet sich in Bewegung, durchgeführt wird, ist die Korrektur mechanischer Einflüsse durch die Verzeichnungsparameter besonders relevant und macht das Verfahren auf diese Weise unter den gegebenen Bedingungen deutlich robuster und erfolgreicher ausführbar als bekannte Verfahren.
Durch Anwenden der intrinsischen Sensorparameter und der Verzeichnungsparameter auf die durch den ersten Sensor erfassten Sensordaten werden transformierte Sensordaten erhalten, welche derart transformiert bzw. korrigiert sind, dass sie die Fahrzeugumgebung realitätsgetreu wiedergeben und für die weitere Verwendung im Verfahren geeignet sind. Man könnte sagen, dass es sich bei den transformierten Sensordaten um die zweidimensional erfassten Sensordaten handelt, die wieder in die dreidimensionale Realität (oder auch Weltkoordinatensystem) umgewandelt bzw. transformiert wurden. Bevorzugt wird für die Kalibrierung des ersten Sensors eine räumliche Orientierung und Bewegung des Fahrzeugs miteinbezogen, welche abgeschätzt (bevorzugt mittels bekannter Odometrie) und/oder als Messgröße (bevorzugt GNSS-Daten oder auch GPS-Daten mit RTK (Real-Time Kinematic) erfasst werden kann.
Bevorzugt wird die Kalibrierung des ersten Sensors basierend auf Sensordaten durchgeführt, die aus verschiedenen Blickwinkeln erfasst wurden. Hierbei ist besonders vorteilhaft, dass das Fahrzeug die Fahrzeugumgebung passiert, d.h. an der Fahrzeugumgebung vorbeifährt und somit automatisch zeitlich aufeinanderfolgende Sensordaten aus unterschiedlichen Blickwinkeln erfasst werden. Besonders bevorzugt beruht die Kalibrierung des ersten Sensors auf mathematischen (Kamera-)Modellen bzw. Algorithmen, wie z.B. dem (erweiterten) Lochkameramodell, dem Fischaugenmodell, der Resektion und/oder dem Bündelblockausgleich, wobei die Modelle bzw. Algorithmen nicht auf diese Beispiele begrenzt sein sollen. Bevorzugt kann, insbesondere im Zuge der Kalibrierung mittels Bündelblockausgleich, eine Erkennung von Umgebungsmerkmalen der zuvor passierten Fahrzeugumgebung stattfinden, wobei vorteilhaft Sensordaten aus verschiedenen Blickwinkeln einbezogen werden und wobei hierfür die räumliche Orientierung und Bewegung des Fahrzeugs abgeschätzt und/oder aus Messdaten verwendet wird. Bevorzugt wird für die Erkennung von Umgebungsmerkmalen ein Verfahren analog zu Schritt d. verwendet, welche unten dargestellt sind, oder ein anderes Verfahren.
Es sei hier beispielhaft auf die Kalibrierung von Kamers hingewiesen, welche in bekannter Weise unter Bestimmung von innerer und äußerer Orientierung (intrinsische Sensorparameter) erfolgt. Diese Kamerakalibrierungen und deren Funktionsweisen sind aus dem Stand der Technik hinreichend bekannt und sollen im Kontext der Erfindung als offenbart angesehen werden.
Unter Umgebungsmerkmalen werden Objekte in der Fahrzeugumgebung verstanden, welche mittels der Sensoren erfasst wurden. Bei den Umgebungsmerkmalen handelt es sich beispielsweise um Gebäude, Vegetation oder dergleichen, die in der Fahrzeugumgebung angeordnet sind.
Unter einer Kalibration des mindestens einen ersten Sensors und des mindestens einen zweiten Sensors basierend auf einer übereinstimmenden räumlichen Ausrichtung der erkannten Umgebungsmerkmale in den transformierten Sensordaten des ersten Sensors und den durch den zweiten Sensor erfassten Sensordaten durch die Kalibrationseinheit unter Bestimmung von extrinsischen Sensorparametern wird eine relative räumliche Translation und/oder Rotation der transformierten Sensordaten des ersten Sensors zu den Sensordaten des zweiten Sensors bzw. der jeweiligen bekannten Sensorkoordinatensysteme verstanden. Der extrinsische Sensorparameter umfasst dabei eine bestimmte Rotationsmatrix und/oder eine bestimmte Translationsmatrix, welche die Rotation und/oder Translation der Sensordaten wiedergibt. Die Rotations- und/oder Translationsoperationen erfolgen derart, dass die in den transformierten Sensordaten des ersten Sensors und den Sensordaten des zweiten Sensors erkannten Umgebungsmerkmale deckungsgleich angeordnet bzw. räumlich übereinstimmend ausgerichtet werden (auch „homogene Transformation“ genannt). Folglich wird der Unterschied der räumlichen Ausrichtung der erkannten Umgebungsmerkmale minimiert, wobei dies bevorzugt durch die Minimierung einer entsprechenden mathematischen Funktion durch die Kalibrationseinheit erreicht wird. Auf diese Weise kann die relative Orientierung bzw. Ausrichtung des mindestens einen ersten Sensors und des mindestens einen zweiten Sensors ermittelt werden. Durch das Anwenden des extrinsischen Sensorparameters auf die Sensordaten des ersten und zweiten Sensors werden kalibrierte Sensordaten erhalten, wobei die kalibrierten Sensordaten auf ein für den mindestens einen ersten Sensor und den mindestens einen zweiten Sensor gemeinsames Koordinatensystem bezogen sind, wobei sich auf diese Weise Objekte, Gegenstände und/oder Personen in den Sensordaten für alle Sensoren an gleichen Positionen befinden. Die Kalibrationseinheit ist dazu vorgesehen und ausgebildet, die erfindungsgemäße Kalibration des ersten und zweiten Sensors basierend auf einer Minimierung der mathematischen Funktion, welche die Abweichung der räumlichen Ausrichtung der Umgebungsmerkmale angibt, durchzuführen. Die erfindungsgemäß kalibrierten Sensordaten der Sensoren werden anschließend für alle weiteren Bewertungen bzw. durch alle weiteren fahrzeugseitigen Systeme verwendet.
Durch das erfindungsgemäße Verfahren wird gewährleistet, dass unterschiedliche optische Sensoren, die an unterschiedlichen Positionen in und/oder am Fahrzeug angeordnet sind, auf ein gemeinsames Sensorkoordinatensystem kalibriert werden können, indem Umgebungsmerkmale in den erfassten Sensordaten, welche die passierte Fahrzeugumgebung betreffen, räumlich überreinstimmend ausgerichtet werden. Dadurch, dass die Sensoren jeweils ortsfest in und/oder am Fahrzeug angeordnet sind, ergeben sich die Unterschiede in der räumlichen Ausrichtung der erkannten Umgebungsmerkmale allein aus der unterschiedlichen Positionierung der Sensoren in und/oder am Fahrzeug. Vorteilhaft werden für die Kalibrierung Umgebungsmerkmale in der Fahrzeugumgebung verwendet, welche das Fahrzeug passiert bzw. an welchen das Fahrzeug vorbeifährt, wobei auf einen speziellen Kalibrationsstand oder dergleichen verzichtet werden kann und die Kalibration in einem normalen Betrieb des Fahrzeugs erfolgen kann. Solch eine Kalibrierung ist insbesondere für Sensoren des Fahrerassistenzsystems relevant, wenn Fußgänger und/oder Radfahrer eindeutig erkannt werden sollen.
Gemäß einer bevorzugten Ausführungsform werden die Sensordaten in Schritt a. durch den ersten Sensor und den zweiten Sensor jeweils zum selben Zeitpunkt erfasst. Bevorzugt wird die Kalibration in Schritt d. des ersten und zweiten Sensors basierend auf Sensordaten durchgeführt, die zum selben Zeitpunkt erfasst wurden. Auf diese Weise ergeben sich die unterschiedlichen räumlichen Ausrichtungen der Umgebungsmerkmale in den Sensordaten des ersten und zweiten Sensors allein aus der unterschiedlichen Positionierung der Sensoren in und/oder am Fahrzeug.
Gemäß einer bevorzugten Ausführungsform sind die Umgebungsmerkmale zumindest Teile von im Wesentlichen statischen Objekten, welche in der von dem Fahrzeug im Betrieb passierten Fahrzeugumgebung angeordnet sind und durch den mindestens einen ersten Sensor und den mindestens einen zweiten Sensor anhand der Sensordaten erfasst wurden. Bei den statischen Objekten in der Fahrzeugumgebung handelt es sich bevorzugt um Objekte welche ortsfest angeordnet sind, d.h. deren räumliche Ausrichtung bzw. Position in der Fahrzeugumgebung ändert sich im Wesentlichen nicht. Es kann also bevorzugt davon ausgegangen werden, dass sich eine unterschiedliche räumliche Ausrichtung der Umgebungsmerkmale allein aus der unterschiedlichen Positionierung der Sensoren ergibt. Bei solchen statischen Objekten in der Fahrzeugumgebung handelt es sich bevorzugt um Gebäude, Vegetation oder dergleichen. Dabei werden die statischen Objekte nicht als solches erkannt, sondern es werden Teile bzw. Abschnitte der statischen Objekte erkannt, welche beispielsweise durch klar abgegrenzte Ecken und/oder Kanten von Gebäuden oder kontrastreiche Farbunterschiede gekennzeichnet sind. Es soll klargestellt sein, dass es sich bei den statischen Objekten nicht um speziell für die Kalibration vorgesehene Objekte, wie Schachbrettmuster, Kreismarken oder Barcodes handelt, die speziell zum Zwecke des Sensorkalibrierung in der Fahrzeugumgebung angeordnet wurden. Bevorzugt werden die Umgebungsmerkmale durch die Erkennungseinheit mittels eines gradientenbasierten oder eines schlüsselpunktbasierten Verfahrens erkannt. Bevorzugt werden die Umgebungsmerkale in den Sensordaten bei einer gradientenbasierten Erkennung („gradient orientation measure“) anhand von Farb-, Kontrast- und/oder Intensitätsgradienten erkannt. Bevorzugt werden die die Umgebungsmerkale bei einer schlüsselpunktbasierten Erkennung basierend auf dem SIFT-Verfahren („Scale Invariant Feature Transform“) erkannt. Die Funktionsweise und Anwendung Gradienten- als auch schlüsselpunkt-basierter Verfahren sind aus dem Stand der Technik hinreichend bekannt. Es wäre auch denkbar, dass anstelle oder neben gradientenbasierter oder schlüsselpunktbasierte Verfahren auch andere geeignete Verfahren zur Anwendung kommen.
Gemäß einer bevorzugten Ausführungsform ist der mindestens eine erste Sensor als monokulare Kamera oder als Stereokamera ausgebildet. Bevorzugt verwendet der mindestens eine zweite Sensor Radar-, Lidar-, oder Ultraschall-Technologie oder ist als time-of-flight Kamera ausgebildet. Es können mehrere erste und zweite Sensoren vorgesehen sein, wobei jeder erste Sensor mit jedem zweiten Sensor gemäß dem erfindungsgemäßen Verfahren kalibriert wird. Bevorzugt liefert der erste Sensor also Sensordaten in Form von 2D-Bildern und der zweite Sensor liefert Sensordaten in Form einer Punktwolke bzw. eines Punkthaufens (engl. „point cloud“) oder einer Tiefenkarte. Diese Sensortypen werden insbesondere für Fahrerassistenzsysteme verwendet und sind auch in Zusammenhang mit autonomen Fahren von großer Bedeutung, weshalb deren Kalibrierung von großer Relevanz ist. Es ist denkbar, dass auch andere Sensortypen für das Verfahren verwendet werden können, die hier nicht explizit genannt sind.
Bevorzugt sind beliebig viele erste und zweite Sensoren vorgesehen, wobei jeder erste Sensor mit jedem zweiten Sensor gemäß dem gezeigten Verfahren kalibriert wird.
Gemäß einer bevorzugten Ausführungsform werden die Schritte a. bis c. fortlaufend wiederholt durchgeführt. Bevorzugt werden in Schritt c. erkannte Umgebungsmerkmale, wenn sie in mehreren zeitlich und/oder örtlich aufeinanderfolgend erfassten Sensordaten übereinstimmend erkannt werden, als konsistente Umgebungsmerkmale durch die Erkennungseinheit gespeichert oder ansonsten gelöscht. Bevorzugt wird der Schritt d. erst durchgeführt, wenn die Anzahl an konsistenten Umgebungsmerkmalen einen vorbestimmten ersten Schwellenwert überschreitet. Bevorzugt wird die Anzahl der konsistenten Umgebungsmerkmale mit dem Schwellenwert durch die Bewertungseinheit auf Überschreitung verglichen. Auf diese Weise wird die Kalibrierung der Sensoren nur basierend auf den konsistenten Umgebungsmerkmalen durchgeführt, welche in mehreren aufeinanderfolgend erfassten Sensordaten übereinstimmend erkannt wurden. Die Anzahl an aufeinanderfolgend erfassten Sensordaten, welche ein konsistentes Umgebungsmerkmal ausmacht, ist bevorzugt beliebig festlegbar. Die Umgebungsmerkmale, welche als nicht konsistent bewertet werden, werden als nicht vertrauenswürdig gelöscht und nicht für die weitere Kalibrierung verwendet. Unter zeitlich aufeinanderfolgend erfassten Sensordaten werden bevorzugt Sensordaten verstanden, welche nacheinander erfasst werden, wie beim Vorbeifahren an der Fahrzeugumgebung. Unter örtlich aufeinanderfolgend erfassten Sensordaten werden bevorzugt Sensordaten verstanden, welche am selben Ort bzw. von derselben Fahrzeugposition aus erfasst wurden, wobei hierbei davon ausgegangen wird, dass die Sensoren bei örtlich aufeinanderfolgend erfassten Sensordaten dieselbe Fahrzeugumgebung passiert wird und somit im Wesentlichen dieselben Umgebungsmerkmale erkennbar sind. Unter einer übereinstimmenden Erkennung wird bevorzugt eine räumliche bzw. örtliche Übereinstimmung der Umgebungsmerkmale in den Sensordaten verstanden, wobei somit davon ausgegangen werden kann, dass es sich bei den Umgebungsmerkmalen um zumindest einen Teil eines im Wesentlichen statischen Objekts handelt, deren räumliche Ausrichtung sich im bezogen auf die Sensordaten nicht ändert. Dies ermöglicht eine vorteilhafte Kalibrierung der Sensordaten, da sich die Unterschiede der räumlichen Ausrichtung der Umgebungsmerkmale im Wesentlichen nur durch die unterschiedlichen Sensorpositionen ergeben. Bei dem vorbestimmbaren ersten Schwellenwert handelt es sich um einen beliebig bestimmbaren Wert bzw. Anzahl an konsistenten Umgebungsmerkmalen, wobei je höher der Schwellenwert desto verlässlicher ist die Kalibrierung, jedoch müssen viele konsistente Umgebungsmerkmale erkannt werden.
Gemäß einer bevorzugten Ausführungsform wird durch eine Bewertungseinheit ein Verteilungsparameter bestimmt, welcher eine räumliche Verteilung der konsistenten Umgebungsmerkmale in den jeweiligen Sensordaten angibt. Bevorzugt wird der Schritt d. erst durchgeführt, wenn die Anzahl an konsistenten Umgebungsmerkmalen den ersten Schwellenwert überschreitet und wenn der Wert des Verteilungsparameters einen vorbestimmten zweiten Schwellenwert überschreitet. Bevorzugt gibt der Verteilungsparameter wieder, wie die konsistenten Umgebungsmerkmale auf/in den Sensordaten räumlich verteilt angeordnet sind, wobei je stärker die räumliche Verteilung desto größer der Verteilungsparameter. Es wäre auch denkbar, den Verteilungsparameter als Abdeckungsparameter (engl. „coverage“) zu bezeichnen, wobei die Verteilung der Umgebungsmerkmale auf/in den Sensordaten auch als eine Abdeckung der Sensordaten mit den Umgebungsmerkmalen bezeichnet werden kann. Es wird davon ausgegangen, dass durch eine stärkere Verteilung der konsistenten Umgebungsmerkmale auf/in den Sensordaten mehrere statische Objekte involviert sind und damit eine verlässlichere Kalibration möglich ist, im Gegensatz zu dem Fall, wenn sich die erkannten Umgebungsmerkmale nur auf einen räumlich begrenzten Bereich beschränken. Diese Ausführung gewährleistet, dass der Schritt d. erst durchgeführt wird, wenn eine gewisse Anzahl an konsistenten Umgebungsmerkmalen erkannt wurde, die ebenfalls ausreichend verteilt angeordnet sind.
Gemäß einer bevorzugten Ausführungsform ist ein fahrzeugseitiger dritter Sensor vorgesehen. Bevorzugt ist der dritte Sensor dazu vorgesehen und ausgebildet, die räumliche Orientierung und Bewegung des Fahrzeugs zu erfassen. Bevorzugt werden die erfasste räumliche Orientierung und Bewegung des Fahrzeugs zusätzlich für die Kalibrierung des mindestens einen ersten Sensors in Schritt b. verwendet. Weiter bevorzugt handelt es sich bei dem dritten Sensor um einen GNSS-Empfänger. Im Rahmen der Kalibration des ersten Sensors gemäß Schritt b. wird teilweise die räumliche Orientierung und Bewegung des Fahrzeugs benötigt, wobei diese anhand der Sensordaten (aus verschiedenen Blickwinkeln) abgeschätzt werden kann. Hierzu sind jedoch Sensordaten, die die räumliche Orientierung und Bewegung des Fahrzeugs genau wiedergeben besser geeignet und tragen somit zu einer genaueren Kalibration bei.
Gemäß einer bevorzugten Ausführungsform sind die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit fahrzeugseitig oder fahrzeugextern angeordnet. Besonders bevorzugt können die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit als Teil einer gemeinsamen Recheneinheit ausgebildet sein. Bevorzugt sind die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit fahrzeugextern als Teil einer Datenverarbeitungsanlage oder cloud-basiert ausgebildet. Bevorzugt sind die intrinsischen Sensorparameter, die extrinsischen Sensorparameter, die Verzeichnungsparameter, die konsistenten Umgebungsmerkmale und/oder der Verteilungsparameter auf einer fahrzeugseitig oder fahrzeugextern angeordneten Speichereinheit wiederabrufbar speicherbar. Bevorzugt sind die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit fahrzeugseitig als Teil des vorhandenen Fahrerassistenzsystems ausgebildet oder nachträglich in und/oder am Fahrzeug angeordnet.
Unter einer Datenverarbeitungsanlage im Sinne der Erfindung ist eine IT-Infrastruktur zu verstehen, welche insbesondere einen Speicher, eine Rechenleistung und gegebenenfalls Anwendungssoftware umfasst. Eine erfindungsgemäße Datenverarbeitungsanlage ist bevorzugt dazu eingerichtet und dafür vorgesehen, Daten zu empfangen, zu senden, zu verarbeiten und/oder zu speichern. Eine externe Datenverarbeitungsanlage ist hiernach eine Datenverarbeitungsanlage, die außerhalb des Fahrzeugs angeordnet ist.
Gemäß einer bevorzugten Ausführungsform sind die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit bzw. die Datenverarbeitungsanlage und/oder die Cloud dazu ausgebildet, eine künstliche Intelligenz (Kl) und bevorzugt ein neuronales Netzwerk zur Kalibration der Sensoren (Schritt b. und d.) und zum Erkennen der Umgebungsmerkmale (Schritt c.) zu verwenden. Hierbei seien die Begriffe maschinelles Lernen und „Deep Learning“ vorteilhaft genannt, die im Zusammenhang mit der Anwendung von künstlicher Intelligenz (Kl) und neuronalen Netzwerken relevant sind.
Gemäß einer bevorzugten Ausführungsform wird ein Ablauf des Verfahrens auf Anzeigeeinrichtung anhand der Anzahl der konsistenten Umgebungsmerkmale relativ zu dem ersten Schwellenwert und des Wertes des Verteilungsparameters relativ zu dem zweiten Schwellenwert angezeigt. Auf diese Weise ist der Ablauf des Verfahrens für einen Benutzer, möglicherweise einen Fahrzeuginsassen, verfolgbar. Weiter bevorzugt ist eine Bedieneinrichtung vorgesehen, mittels welcher der Ablauf des Verfahrens durch einen Benutzer regelbar ist. Bei der Anzeigeeinrichtung kann es sich um einen fest im Fahrzeug installierten Bildschirm (z.B. des Multimediasystems und/oder der Fahrzeugnavigation), ein Smartphone, ein Tablett und/oder einen Laptop handeln, wobei die Aufzählung nicht als abschließend zu verstehen ist. Besonders bevorzugt ist die Anzeigeeinrichtung bei einem autonomen oder ferngesteuerten Fahrzeug außerhalb des Fahrzeugs angeordnet. Durch die Anzeigeeinrichtung kann der Benutzer, z.B. ein Fahrer und/oder ein Fahrzeuginsasse, das Kalibrationsverfahren verfolgen, wobei der Ablauf bzw. der Fortschritt anhand der Anzahl der erkannten bzw. gespeicherten konsistenten Umgebungsmerkmale und des Wertes des Verteilungsparameters jeweils relativ zum entsprechenden Schwellenwert angezeigt wird. Ferner ist mittels der Bedieneinrichtung (z.B. als Teil eines Touchscreens) das Verfahren regelbar, wobei das Verfahren gestartet, gestoppt, unterbrochen oder neugestartet werden kann.
Gemäß einer bevorzugten Ausführungsform werden die Sensordaten und/oder die verschiedenen Parameter mittels einer drahtlosen Verbindung von dem Fahrzeug an die Datenverarbeitungsanlage oder die Cloud und umgekehrt gesendet, die bevorzugt auf einer Übertragungstechnologie basiert, die ausgewählt ist aus einer Gruppe, die WLAN-Verbindung, Funkverbindung, Mobilfunkverbindung, 2G-Verbindung, 3G-Verbindung, GPRS-Verbindung, 4G-Verbindung, 5G-Verbindung umfasst. Vorteilhafterweise weist die drahtlose Verbindung zumindest abschnittsweise eine vergleichsweise lange Reichweite auf, bevorzugt mit einer maximalen Reichweite von über 100 m, bevorzugt über 500 m, bevorzugt über 1 km, besonders bevorzugt mehrere km. Hierdurch können die Daten von dem Fahrzeug an die Datenverarbeitungsanlage/Cloud und umgekehrt ungeachtet der jeweiligen geographischen Positionen gesendet werden. Bevorzugt handelt es sich bei der drahtlosen Verbindung bzw. der Übertragungstechnologie um eine bidirektionale Verbindung.
Die Aufgabe wird ebenfalls gelöst von einem System zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche, umfassend mindestens einen ersten Sensor und mindestens einen zweiten Sensor, eine Kalibrationseinheit und eine Erkennungseinheit.
Bevorzugt sind die Sensoren zumindest signaltechnisch mit der Kalibrationseinheit und der Erkennungseinheit verbunden. Weiter bevorzugt sind die Sensoren ebenfalls zumindest signaltechnisch mit einer Bewertungseinheit verbunden. Weiterhin bevorzugt sind auch die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit zumindest signaltechnisch verbunden. Besonders bevorzugt sind die Kalibrationseinheit, die Erkennungseinheit und/oder die Bewertungseinheit als Teil einer Recheneinheit ausgebildet. Bevorzugt sind die Kalibrationseinheit, die Erkennungseinheit und die Bewertungseinheit bzw. die Recheneinheit mit einer fahrzeug-externen Datenverarbeitungsanlage bzw. Cloud zumindest signaltechnisch verbunden.
Die Sensoren sind bevorzugt dazu vorgesehen und ausgebildet, die Fahrzeugumgebung zu messgrößentechnisch zu erfassen und die Fahrzeugumgebung betreffende Sensordaten auszugeben und an die entsprechenden Einheiten zu übermitteln.
Die Kalibrationseinheit ist bevorzugt dazu vorgesehen und ausgebildet, den mindestens einen ersten Sensor unter Bestimmung der intrinsischen Sensorparameter und der Verzeichnungsparameter basierend auf den durch den ersten Sensor erfassten Sensordaten zu kalibrieren, wobei hierzu bevorzugt ein mathematisches Modell bzw. ein Algorithmus verwendet wird. Weiterhin ist die Kalibrationseinheit bevorzugt dazu vorgesehen und ausgebildet, die bestimmten intrinsischen Sensorparameter und Verzeichnungsparameter auf die Sensordaten des ersten Sensors anzuwenden und so transformierte Sensordaten zu erhalten, welche für das weitere Verfahren verwendet werden können. Weiterhin ist die Kalibrationseinheit dazu vorgesehen und ausgebildet, den mindestens einen ersten Sensor und den mindestens einen zweiten Sensor basierend auf einer übereinstimmenden räumlichen Ausrichtung der erkannten Umgebungsmerkmale in den transformierten Sensordaten des ersten Sensors und den durch den zweiten Sensor erfassten Sensordaten unter Bestimmung von extrinsischen Sensorparametern zu kalibrieren und die extrinsischen Sensorparameter auf transformierte Sensordaten des ersten Sensors und durch den zweiten Sensor erfasste Sensordaten unter Erhalt von jeweils kalibrierten Sensordaten anzuwenden.
Die Erkennungseinheit ist bevorzugt dazu vorgesehen und ausgebildet, Umgebungsmerkmale der zuvor passierten Fahrzeugumgebung in den transformierten Sensordaten des ersten Sensors und den durch den zweiten Sensor erfassten Sensordaten zu erkennen. Die Erkennung erfolgt bevorzugt basierend auf mathematischen Modellen bzw. einem Algorithmus, wobei diese mathematischen Methoden aus dem Stand der Technik bekannt sind. Die Erkennungseinheit ist weiterhin dazu vorgesehen und ausgebildet, konsistente Umgebungsmerkmale zu bestimmen/erkennen und zu speichern.
Die Bewertungseinheit ist bevorzugt dazu vorgesehen und ausgebildet, einen Verteilungsparameter zu bestimmen, welcher eine räumliche Verteilung der konsistenten Umgebungsmerkmale in den jeweiligen Sensordaten angibt. Ferner ist die Bewertungseinheit dazu vorgesehen und ausgebildet, die Anzahl an konsistenten gespeicherten Umgebungsmerkmalen mit dem ersten Schwellenwert und den Wert des Verteilungsparameter mit dem zweiten Schwellenwert jeweils auf Überschreitung zu vergleichen und bei Überschreitung den Schritt freizugeben bzw. durchführen zu lassen.
Ferner wird die Aufgabe gelöst von einem Fahrzeug, welches mit einem System zum Durchführen des erfindungsgemäßen Verfahrens ausgestattet ist.
Es ist denkbar, dass das System nachträglich am und/oder im Fahrzeug angeordnet wurde oder bereits in das Fahrzeug integriert ist. Weiterhin ist denkbar, dass die Kalibrationseinheit, die Erkennungseinheit und die Bewertungseinheit bzw. die Recheneinheit als Teil bereits vorhandener Recheneinheiten ausgebildet sind oder separate Recheneinheiten sind, die nachträglich vorgesehen wurden.
Die Merkmale, die für das Verfahren beschrieben sind, sollen mutatis mutandis für das System und das Fahrzeug gelten und umgekehrt.
Weitere Ziele, Vorteile und Zweckmäßigkeiten der vorliegenden Erfindung sind der nachfolgenden Beschreibung in Verbindung mit der Zeichnung zu entnehmen. Hierbei zeigen:

1 ein Fahrzeug in einer Fahrzeugumgebung zur Kalibrierung von Sensoren gemäß einer bevorzugten Ausführungsform der Erfindung;
2 eine schematische Darstellung eines Systems zur Kalibrierung von Sensoren gemäß einer bevorzugten Ausführungsform;
3 ein Verfahren zur Kalibrierung von Sensoren anhand eines Flussdiagrams gemäß einer bevorzugten Ausführungsform;
4 eine den Ablauf des erfindungsgemäßen Verfahrens anzeigende Anzeigeeinrichtung gemäß einer bevorzugten Ausführungsform.

In 1 ist ein erfindungsgemäßes Fahrzeug 1 gezeigt, welches mit einem erfindungsgemäßen System 1000 ausgestattet ist. Das System 1000 umfasst fahrzeugseitig angeordnete Sensoren, welche kalibriert werden sollen. Das Fahrzeug 1 fährt bzw. bewegt sich in einer Bewegungsrichtung R (durch einen Pfeil gekennzeichnet) in einer Fahrzeugumgebung 4. In der Fahrzeugumgebung sind beispielshaft mehrere Gebäude und Bäume angeordnet.
As System 1000 ist als so genannte Dachbox („Roofbox“) ausgebildet, welche nachträglich auf bzw. an dem Fahrzeugdach montiert wurde. Das System 1000 weist vier erste passive optische Sensoren 2a, 2b, 2c, 2d auf, welche als Kameras ausgebildet sind. Der Sensor 2a ist nach vorne in Fahrtrichtung, die Sensoren 2c, 2c seitlich senkrecht zur Fahrtrichtung und der Sensor 2d ist nach hinten entgegengesetzt zur Fahrtrichtung ausgerichtet. Auf diese Weise ist die vollständige Fahrzeugumgebung 4 um das Fahrzeug 1 herum von den Sensoren 2a-d (Kameras) erfassbar. Das System 1000 weist weiterhin drei zweite aktive optische Sensoren 3a, 3b, 3c auf, welche als Lidar-Sensoren (Abstandssensoren) ausgebildet sind. Der Sensor 3a ist hierbei als 360° Lidar-Sensor mit 32-Lagen ausgebildet und nach vorne in Fahrtrichtung ausgerichtet (Erfassungsbereich). Die Sensoren 3b, 3c sind als 360° Lidar-Sensoren mit 16-Lagen ausgebildet und sind nach vorne in Fahrtrichtung ausgerichtet (Erfassungsbereich). Die dargestellte Sensorausbildung- und Anordnung sind nur beispielhaft und können auch anders ausgeführt sein.
Das System 1000 gemäß 1 umfasst weiterhin eine Kalibrationseinheit 6 und eine Erkennungseinheit 7, welche nicht dargestellt sind (siehe hierzu 2).
In der Fahrzeugumgebung 4, welche das Fahrzeug 1 während der Fahrt in Bewegungsrichtung R passiert, sind zwei Umgebungsmerkmale 5a, 5b beispielhaft dargestellt, welche mittels der Erkennungseinheit 7 in den Sensordaten der entsprechenden ersten Sensoren 2a-d und zweiten Sensoren 3a-c erkennbar sind. Das Umgebungsmerkmal 5a ist ein Teil eines Gebäudes, genauer gesagt eine Fensterfront bzw. der Übergang von Fenster zu Mauerwerk. Das Umgebungsmerkmal 5b betrifft eine Vegetation, genauer gesagt einen Baum. Die Umgebungsmerkmale 5a, 5b zeichnen sich dadurch aus, dass sie sich farblich und/oder strukturell abheben und daher gut erkennbar sind.
In 2 ist ein System 1000 gemäß einer bevorzugten Ausführungsform schematisch dargestellt.
Das System 1000 umfasst mindestens einen ersten Sensor 2, mindestens einen zweiten Sensor 3 und einen dritten Sensor 8, wobei die Sensoren 2, 3, 8 im und/oder am Fahrzeug 1 angeordnet sind. Bei dem ersten Sensor 2 handelt es sich um einen passiven optischen Sensor, wie eine Kamera, bei dem zweiten Sensor 3 um einen aktiven optischen Sensor, wie einen Lidar-, Radar- oder Ultraschall-Sensor, und bei dem dritten Sensor 8 um einen Positionssensor, wie einen GNSS-Empfänger. Die Sensoren 2, 3, 8 sind jeweils dazu vorgesehen und ausgebildet Sensordaten zu erfassen, welche entsprechende Messgrößen umfassen. Der dritte Sensor 8 ist dazu vorgesehen und ausgebildet ist, die räumliche Orientierung und Bewegung des Fahrzeugs 1 zu erfassen, wobei die Sensordaten des dritten Sensors 8 zusätzlich für die Kalibrierung des ersten Sensors 2 verwendbar sind. Die Sensordaten werden über eine zumindest signaltechnische Verbindung 14 an eine Recheneinheit 11 übermittelt, wobei die Recheneinheit 11 eine Kalibrationseinheit 6, eine Erkennungseinheit 7 und eine Bewertungseinheit 9 umfasst. Die Recheneinheit 11 kann fahrzeugseitig angeordnet sein und als Teil des Fahrerassistenzsystems oder eigenständig (bevorzugt als allgemeine Fahrzeugrecheneinheit) ausgebildet sein. Weiterhin könnte die Recheneinheit 11 als Teil einer Datenverarbeitungsanlage bzw. Cloud, welche fahrzeug-extern angeordnet ist, ausgebildet sein.
Die Kalibrationseinheit 6 ist dazu vorgesehen und ausgebildet, den mindestens einen ersten Sensor 2 unter Bestimmung von intrinsischen Sensorparameter und Verzeichnungsparametern basierend auf den durch den ersten Sensor 2 erfassten Sensordaten zu kalibrieren, wobei hierzu bevorzugt ein mathematisches Modell bzw. ein Algorithmus verwendet wird, um Fehler bei der Erfassung der Sensordaten auszugleichen und die Sensordaten des ersten Sensors 2 für das weitere Verfahren verwendbar zu machen. Weiterhin ist die Kalibrationseinheit 6 dazu vorgesehen und ausgebildet, die bestimmten intrinsischen Sensorparameter und Verzeichnungsparameter auf die Sensordaten des ersten Sensors 2 anzuwenden und so transformierte Sensordaten zu erhalten. Weiterhin ist die Kalibrationseinheit 6 dazu vorgesehen und ausgebildet, den mindestens einen ersten Sensor 2 und den mindestens einen zweiten Sensor 3 basierend auf einer übereinstimmenden räumlichen Ausrichtung der erkannten Umgebungsmerkmale 5a, 5b in den transformierten Sensordaten des ersten Sensors 2 und den durch den zweiten Sensor 3 erfassten Sensordaten unter Bestimmung von extrinsischen Sensorparametern zu kalibrieren und die extrinsischen Sensorparameter auf transformierte Sensordaten des ersten Sensors 2 und durch den zweiten Sensor 3 erfasste Sensordaten unter Erhalt von jeweils kalibrierten Sensordaten anzuwenden.
Die Erkennungseinheit 7 ist dazu vorgesehen und ausgebildet, Umgebungsmerkmale 5a, 5b der zuvor passierten Fahrzeugumgebung 4 in den transformierten Sensordaten des ersten Sensors 2 und den durch den zweiten Sensor 3 erfassten Sensordaten zu erkennen. Die Erkennung erfolgt bevorzugt basierend auf mathematischen Modellen bzw. einem Algorithmus, welche bevorzugt Gradienten-basiert oder Schlüsselpunkt-basiert sind. Die Erkennungseinheit 7 ist weiterhin dazu vorgesehen und ausgebildet, konsistente Umgebungsmerkmale zu bestimmen und zu speichern.
Die Bewertungseinheit 9 ist bevorzugt dazu vorgesehen und ausgebildet, einen Verteilungsparameter zu bestimmen, welcher eine räumliche Verteilung der konsistenten Umgebungsmerkmale 5 in den jeweiligen Sensordaten angibt. Weiterhin ist die Bewertungseinheit 9 dazu vorgesehen und ausgebildet, eine Anzahl an konsistenten Umgebungsmerkmalen 5 und den Wert des Verteilungsparameters mit einem jeweils zugeordneten vorbestimmten Schwellenwert zu vergleichen und erst bei Überschreiten der Schwellenwerte, den Schritt d. freizugeben.
Die Recheneinheit 11 ist über eine bidirektionale signaltechnische Verbindung 15 mit einer Speichereinheit 10 verbunden. Auf der Speichereinheit 10 sind die intrinsischen und extrinsischen Sensorparameter, der Verzeichnungsparameter, der Verteilungsparameter, die konsistenten Umgebungsmerkmale und/oder Sensordaten wiederabrufbar speicherbar.
Des Weiteren ist die Recheneinheit 11 über eine bidirektionale signaltechnische Verbindung 15 mit einer Anzeigeeinrichtung 12 mit einer Bedieneinrichtung 13 verbunden, wobei die Anzeigeeinrichtung im Fahrzeug 1 angeordnet ist. Die Anzeigeeinrichtung 12 ist dazu vorgesehen und ausgebildet, einen Ablauf des Verfahrens anhand der Anzahl der konsistenten Umgebungsmerkmale relativ zu dem ersten Schwellenwert und des Wertes des Verteilungsparameters relativ zu dem zweiten Schwellenwert anzuzeigen, so dass der Ablauf des Verfahrens für einen Benutzer, wie z.B. einen Fahrzeuginsassen, verfolgbar ist. Über die Bedieneinrichtung 13 ist der Ablauf des Verfahrens durch einen Benutzer regelbar.
Die 3 zeigt eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens 100 anhand eines Flussdiagrams.
Das Verfahren 100 kann automatisch starten, wenn das Fahrzeug 1 in Betrieb genommen bzw. gestartet wird, oder es kann manuell durch einen Benutzer mittels der Bedieneinrichtung 13 gestartet werden.
Das Verfahren beginnt mit einem Schritt S1 (entspricht Schritt a) und dem Erfassen von Sensordaten betreffend eine von dem Fahrzeug 1 im Betrieb passierte Fahrzeugumgebung 4 durch mindestens einen fahrzeugseitig angeordneten ersten passiven optischen Sensor 2 und mindestens einen fahrzeugseitig angeordneten zweiten aktiven optischen Sensor 3.
Anschließend wird der mindestens eine erste Sensor 2 unter Bestimmung von intrinsischen Sensorparametern und Verzeichnungsparametern basierend auf den durch den ersten Sensor 2 erfassten Sensordaten durch eine Kalibrationseinheit 6 gemäß Schritt S2 (entspricht Schritt b) kalibriert und die intrinsischen Sensorparameter und die Verzeichnungsparameter auf die durch den ersten Sensor 2 erfassten Sensordaten angewendet, wobei transformierte Sensordaten erhalten werden.
In einem darauffolgenden Schritt S3 (entspricht Schritt c) werden Umgebungsmerkmale 5 der zuvor passierten Fahrzeugumgebung 4 in den transformierten Sensordaten des ersten Sensors 2 und den durch den zweiten Sensor 3 erfassten Sensordaten durch eine Erkennungseinheit 6 erkannt. Ferner werden Umgebungsmerkmale 5, wenn sie in mehreren zeitlich und/oder örtlich aufeinanderfolgend erfassten Sensordaten übereinstimmend erkannt wurden, als konsistente Umgebungsmerkmale 5 durch die Erkennungseinheit 6 gespeichert oder ansonsten gelöscht werden
In einem weiteren Schritt S4 werden wird durch eine Bewertungseinheit 7ein Verteilungsparameter bestimmt, welcher eine räumliche Verteilung der konsistenten Umgebungsmerkmale 5 in den jeweiligen Sensordaten angibt. Dieser Schritt kann auch in Schritt S3 durchgeführt werden. Anschließend werden die Anzahl an gespeicherten konsistenten Umgebungsmerkmale mit einem vorbestimmten ersten Schwellenwert und der Wert des Verteilungsparameters mit einem vorbestimmten zweiten Schwellenwert durch die Bewertungseinheit 7 auf Überschreitung verglichen.
Wird in Schritt S4 festgestellt, dass die Anzahl an gespeicherten konsistenten Umgebungsmerkmale und der Wert des Verteilungsparameters den jeweiligen zugehörigen Schwellenwert überschreiten, wird ein Schritt S5 durchgeführt. Wohingegen, wenn in Schritt S4 festgestellt wird, dass einer der Schwellenwerte nicht überschritten wird, wieder zum Schritt S3 übergegangen wird und neue bzw. weitere Umgebungsmerkmale 5 der zuvor passierten Fahrzeugumgebung 4 in neuen transformierten Sensordaten des ersten Sensors 2 und den durch den zweiten Sensor 3 erfassten neuen Sensordaten durch die Erkennungseinheit 6 erkannt werden.
Gemäß Schritt S5 (entspricht Schritt d) werden der mindestens eine erste Sensor 2 und der mindestens eine zweite Sensor 3 basierend auf einer übereinstimmenden räumlichen Ausrichtung der erkannten konsistenten Umgebungsmerkmale 5 in den transformierten Sensordaten des ersten Sensors 2 und den durch den zweiten Sensor 3 erfassten Sensordaten durch die Kalibrationseinheit 5 unter Bestimmung von extrinsischen Sensorparametern kalibriert. Der extrinsische Sensorparameter wird auf die transformierten Sensordaten des ersten Sensors und die durch den zweiten Sensor 3 erfasste Sensordaten unter Erhalt von jeweils kalibrierten Sensordaten angewendet.
In einem anschließenden Schritt S6 werden die intrinsischen Sensorparameter, die extrinsischen Sensorparameter, die Verzeichnungsparameter, die konsistenten Umgebungsmerkmale und/oder der Verteilungsparameter auf einer Speichereinheit 10 gespeichert.
Das Verfahren 100 wird automatisch beendet, wenn das Fahrzeug 1 außer Betrieb genommen bzw. abgestellt wird, oder wenn ein Benutzer das Verfahren 100 manuell mittels der Bedieneinrichtung 13 anhält oder beendet.
In der 4 ist eine Anzeigeeinrichtung 12 mit einer Bedieneinrichtung 13 gemäß einer bevorzugten Ausführungsform dargestellt.
Die Bedieneinrichtung 13 umfasst Bedienelemente 16, um das Verfahren zu starten, anzuhalten oder neu zu beginnen, wobei weitere Bedienelemente denkbar sind. Die Bedienelemente 16 können als Touchscreen-Elemente der Anzeigeeinrichtung 12 oder als mechanisch betätigbare Knöpfe ausgebildet sein.
Auf der Anzeigeeinrichtung 12 werden die transformierten Sensordaten des mindestens einen ersten Sensors 2 in Form eines Kamerabildes 17 und die Sensordaten des mindestens einen zweiten Sensors 3 in Form einer Punktwolke 18 überlagert miteinander dargestellt. Erkannte (konsistente) Umgebungsmerkmale 5 werden durch Markierungen 20 hervorgehoben (hier beispielhaft als schraffierte Kreise dargestellt). Auf diese Weise kann ein Benutzer den Ablauf des Verfahrens in Echtzeit verfolgen und die erkannten Umgebungsmerkmale auf einfache Weise erkennen, ohne hierfür speziell geschult sein zu müssen.
Ferner kann die Anzahl an konsistenten Umgebungsmerkmalen relativ zu dem ersten Schwellenwert und der Wert des Verteilungsparameters relativ zu dem zweiten Schwellenwert jeweils als Prozentwert (veranschaulicht durch „XX %“) mit einem dazugehörigen darüber angeordneten Fortschrittsbalken durch eine Kalibrationsfortschrittsanzeige 19 dargestellt werden. Dies erleichtert das Erkennen des Verfahrensverlaufs und dessen Fortschritt weiter.
Sämtliche in den Anmeldungsunterlagen offenbarten Merkmale werden als erfindungswesentlich beansprucht, sofern sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind.
Bezugszeichenliste

1: Fahrzeug
100: Verfahren
1000: System
2: erster Sensor
3: zweiter Sensor
4: Fahrzeugumgebung
5: Umgebungsmerkmal
6: Kalibrationseinheit
7: Erkennungseinheit
8: dritter Sensor
9: Bewertungseinheit
10: Speichereinheit
11: Recheneinheit
12: Anzeigeeinrichtung
13: Bedieneinrichtung
14, 15: signaltechnische Verbindung
16: Bedienelement
17: Kamerabild
18: Punktwolke
19: Kalibrationsfortschrittsanzeige
20: Markierung
R: Bewegungsrichtung, Fahrtrichtung
S: Schritt

Claims

Verfahren (100) zum automatisierten Kalibrieren von Sensoren eines Fahrzeugs (1), umfassend die Schritte: a. Erfassen von Sensordaten betreffend eine von dem Fahrzeug (1) im Betrieb passierte Fahrzeugumgebung (4) durch mindestens einen fahrzeugseitig angeordneten ersten passiven optischen Sensor (2) und mindestens einen fahrzeugseitig angeordneten zweiten aktiven optischen Sensor (3); b. Kalibrieren des mindestens einen ersten Sensors (2) unter Bestimmung von intrinsischen Sensorparametern und Verzeichnungsparametern basierend auf den durch den ersten Sensor (2) erfassten Sensordaten durch eine Kalibrationseinheit (6) und Anwenden der intrinsischen Sensorparameter und der Verzeichnungsparameter auf die durch den ersten Sensor (2) erfassten Sensordaten unter Erhalt von transformierten Sensordaten; c. Erkennen von Umgebungsmerkmalen (5) der zuvor passierten Fahrzeugumgebung (4) in den transformierten Sensordaten des ersten Sensors (2) und den durch den zweiten Sensor (3) erfassten Sensordaten durch eine Erkennungseinheit (7); und d. Kalibrieren des mindestens einen ersten Sensors (2) und des mindestens einen zweiten Sensors (3) basierend auf einer übereinstimmenden räumlichen Ausrichtung der erkannten Umgebungsmerkmale (5) in den transformierten Sensordaten des ersten Sensors (2) und den durch den zweiten Sensor (3) erfassten Sensordaten durch die Kalibrationseinheit (6) unter Bestimmung von extrinsischen Sensorparametern und Anwenden der extrinsischen Sensorparameter auf transformierte Sensordaten des ersten Sensors (2) und durch den zweiten Sensor (3) erfasste Sensordaten unter Erhalt von jeweils kalibrierten Sensordaten.
Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Umgebungsmerkmale (5) zumindest Teile von im Wesentlichen statischen Objekten sind, welche in der von dem Fahrzeug (1) im Betrieb passierten Fahrzeugumgebung (4) angeordnet sind und durch den mindestens einen ersten Sensor (2) und den mindestens einen zweiten Sensor (3) anhand der Sensordaten erfasst wurden, wobei die Umgebungsmerkmale (5) durch die Erkennungseinheit (7) mittels eines gradientenbasierten oder eines schlüsselpunktbasierten Verfahrens erkannt werden.
Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der mindestens eine erste Sensor (2) als monokulare Kamera oder als Stereokamera ausgebildet ist und der mindestens eine zweite Sensor (3) Radar-, Lidar-, oder Ultraschall-Technologie verwendet oder als time-of-flight Kamera ausgebildet ist.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte a. bis c. fortlaufend wiederholt durchgeführt werden, wobei in Schritt c. erkannte Umgebungsmerkmale (5), wenn sie in mehreren zeitlich und/oder örtlich aufeinanderfolgend erfassten Sensordaten übereinstimmend erkannt werden, als konsistente Umgebungsmerkmale (5) durch die Erkennungseinheit (7) gespeichert werden oder ansonsten gelöscht werden, wobei der Schritt d. erst durchgeführt wird, wenn die Anzahl an konsistenten Umgebungsmerkmalen (5) einen vorbestimmten ersten Schwellenwert überschreitet.
Verfahren (100) nach Anspruch 4, dadurch gekennzeichnet, dass durch eine Bewertungseinheit (9) ein Verteilungsparameter bestimmt wird, welcher eine räumliche Verteilung der konsistenten Umgebungsmerkmale (5) in den jeweiligen Sensordaten angibt, wobei der Schritt d. erst durchgeführt wird, wenn die Anzahl an konsistenten Umgebungsmerkmalen (5) den ersten Schwellenwert überschreitet und wenn der Wert des Verteilungsparameters einen vorbestimmten zweiten Schwellenwert überschreitet.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein fahrzeugseitiger dritter Sensor (8) vorgesehen ist, wobei der dritte Sensor (8) dazu vorgesehen und ausgebildet ist, die räumliche Orientierung und Bewegung des Fahrzeugs (1) zu erfassen, wobei die erfasste räumliche Orientierung und Bewegung des Fahrzeugs (1) zusätzlich für die Kalibrierung des mindestens einen ersten Sensors (2) in Schritt b. verwendet werden, wobei es sich bei dem dritten Sensor (8) um einen GNSS-Empfänger handelt.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibrationseinheit (6), die Erkennungseinheit (7) und/oder die Bewertungseinheit (9) fahrzeugseitig oder fahrzeugextern angeordnet sind, wobei die Kalibrationseinheit (6), die Erkennungseinheit (7) und/oder die Bewertungseinheit (9) fahrzeugextern als Teil einer Datenverarbeitungsanlage oder cloud-basiert ausgebildet sind, wobei die intrinsischen Sensorparameter, die extrinsischen Sensorparameter, die Verzeichnungsparameter, die konsistenten Umgebungsmerkmale und/oder der Verteilungsparameter auf einer fahrzeugseitig oder fahrzeugextern angeordneten Speichereinheit (10) wiederabrufbar speicherbar sind.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Ablauf des Verfahrens (100) auf einer Anzeigeeinrichtung (12) anhand der Anzahl der konsistenten Umgebungsmerkmale (5) relativ zu dem ersten Schwellenwert und des Wertes des Verteilungsparameters relativ zu dem zweiten Schwellenwert angezeigt wird, so dass der Ablauf des Verfahrens (100) für einen Benutzer verfolgbar ist, wobei eine Bedieneinrichtung (13) vorgesehen ist, mittels welcher der Ablauf des Verfahrens (100) durch den Benutzerregelbar ist.
System (1000) zum Durchführen eines Verfahrens (100) nach einem der vorhergehenden Ansprüche, umfassend mindestens einen ersten Sensor (2) und mindestens einen zweiten Sensor (3), eine Kalibrationseinheit (6) und eine Erkennungseinheit (7).
Fahrzeug (1) ausgestattet mit einem System (1000) nach dem vorhergehenden Anspruch.