-
Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung einer Sensorik, die zwei unterschiedliche Sensoren umfasst. Die Erfindung betrifft weiter eine entsprechende Sensorik und ein damit ausgestattetes Kraftfahrzeug.
-
Heutzutage werden in vielerlei verschiedenen Bereichen und Anwendungen Geräte eingesetzt, deren korrekte Funktionsweise von einer korrekten bzw. bekannten Einbaulage und/oder einer korrekten Kalibrierung abhängen kann. Dazu können beispielsweise Sensoren oder auch Beleuchtungsvorrichtungen und/oder dergleichen mehr gehören. Eine korrekte Einbaulage bzw. Ausrichtung oder deren Kenntnis sicherzustellen kann herausfordernd und aufwendig sein, insbesondere dauerhaft, wenn es beispielsweise aufgrund von Erschütterungen zu Lageveränderungen kommen kann. Entsprechende Fehler oder Abweichungen können je nach Anwendungsfall einen eingeschränkten Nutzungskomfort bewirken oder sogar zu einem Sicherheitsrisiko führen.
-
Als ein Beispiel beschreibt die
WO 2020 / 043 856 A1 ein Verfahren zum Überprüfen der Einstellung von Scheinwerfern von Kraftfahrzeugen. Darin wird ein Kraftfahrzeug gegenüber einer Prüffläche ausgerichtet und eine Lage einer Positionsmarkierung auf der Prüffläche abhängig von einer Scheinwerferlage eingestellt. Es wird dann eine Lichtverteilung mit dem einzustellenden Scheinwerfer auf die Prüffläche projiziert und eine Relativlage der Lichtverteilung auf der Prüffläche gegenüber der Positionsmarkierung bestimmt. Dabei ist es vorgesehen, dass die Positionsmarkierung mit einem Laserscanner auf die Prüffläche projiziert wird, wobei die Lage der Positionsmarkierung auf der Prüffläche durch Ansteuern des Laserscanners eingestellt wird. Mit einem solchen Verfahren sollen die Anforderungen an die Arbeitssicherheit leichter erfüllt werden können als bei motorisch verfahrbaren Messtafeln.
-
Die
DE 10 2010 039 092 B4 beschreibt ein Verfahren zum Ermitteln eines Abstandes eines Objekts von einem Fahrzeug. Darin wird ein Intensitätsmuster empfangen, das ein von einem monookularen Kamerasystem im Infrarot-Wellenlängen-Bereich aufgenommenes Bild von einer Umgebung vor oder hinter dem Fahrzeug repräsentiert. Es wird dann eine örtliche Ausdehnung zumindest eines Intensitätsmusterbereichs auf einer Oberfläche des Objekts in der Umgebung des Fahrzeugs bestimmt. Auf Basis der bestimmten Ausdehnung wird der Abstand des Objekts von dem Fahrzeug ermittelt.
-
Die
DE 10 2018 220 297 A1 beschreibt eine Einparkassistenzsteuerung zum Parken eines entfernten Fahrzeugs. Die Einpackassistenzsteuerung ist dabei konfiguriert zum Identifizieren eines Parkortindikators, der durch eine Parkleuchte erzeugt wird. Weiter wird dann eine Zielposition zum Parken des entfernten Fahrzeugs in Abhängigkeit vom Parkortindikator bestimmt. In Abhängigkeit von der Bestimmung wird ein Einparkassistenzsignal zum Parken des entfernten Fahrzeugs erzeugt und an dieses übertragen.
-
Aufgabe der vorliegenden Erfindung ist es, auf besonders einfache und effiziente Weise eine besonders genaue Sensorkalibrierung zu ermöglichen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart. Merkmale, Vorteile und mögliche Ausgestaltungen, die im Rahmen der Beschreibung für einen der Gegenstände der unabhängigen Ansprüche dargelegt sind, sind zumindest analog als Merkmale, Vorteile und mögliche Ausgestaltungen des jeweiligen Gegenstands der anderen unabhängigen Ansprüche sowie jeder möglichen Kombination der Gegenstände der unabhängigen Ansprüche, gegebenenfalls in Verbindung mit einem oder mehr der Unteransprüche, anzusehen.
-
Das erfindungsgemäße Verfahren kann zum Kalibrieren einer Sensorik angewendet werden, die wenigstens zwei unterschiedliche Sensoren umfasst. Ein erster dieser Sensoren ist dabei laserbasiert, kann also beispielsweise ein Lidar bzw. Lidarsensor oder ein Laserscanner oder dergleichen sein. Ein zweiter dieser Sensoren ist ein bildgebender Sensor, kann also beispielsweise eine Kamera sein oder umfassen.
-
In einem Verfahrensschritt des erfindungsgemäßen Verfahrens wird mittels des laserbasierten ersten Sensors ein vorgegebenes Muster mit vorgegebener Geometrie auf eine im Erfassungsbereich zumindest des bildgebenden zweiten Sensors liegende Fläche projiziert. Der tatsächliche Erfassungsbereich des zweiten Sensors kann abhängig sein von dessen tatsächlichem Einbauwinkel, also dessen tatsächlicher Einbaulage oder Ausrichtung, etwa relativ zu einem vorgegebenen Koordinatensystem oder einem Koordinatensystem der Sensorik oder einem Koordinatensystem einer mit der Sensorik ausgestatteten Vorrichtung oder dergleichen. Um dies zu berücksichtigen, kann das vorgegebene Muster hier beispielsweise in einen bestimmungsgemäßen oder spezifikationsgemäßen Erfassungsbereich des zweiten Sensors projiziert werden. Dies kann also derjenige Erfassungsbereich sein, der bei exakt bestimmungs- oder spezifikationsgemäßer Lage und Ausrichtung des zweiten Sensors gegeben wäre. Insbesondere kann das Muster in einen Zentralbereich, also eine Mitte dieses bestimmungs- oder spezifikationsgemäßen Erfassungsbereichs projiziert werden. Dadurch kann besonders zuverlässig sichergestellt werden, dass das projizierte Muster im tatsächlichen Erfassungsbereich des zweiten Sensors liegt. Falls das projizierte Muster dann mittels des zweiten Sensors dennoch nicht erfasst oder detektiert werden kann, kann beispielsweise eine Fehlermeldung bezüglich der fehlgeschlagenen Kalibrierung ausgegeben werden oder - zumindest zunächst - die Projektion so lange verschoben, also an andere Stellen projiziert werden, bis die Projektion, also das projizierte vorgegebene Muster mittels des zweiten Sensors erkannt wird oder ein entsprechender Einstellungsspielraum des ersten Sensors ausgeschöpft ist.
-
Insbesondere kann das vorgegebene Muster in die Erfassungsbereiche beider Sensoren, also in einen entsprechenden Überlappungsbereich, in dem sich der Erfassungsbereich des ersten Sensors und der Erfassungsbereich des zweiten Sensors überschneiden, projiziert werden. Dann kann eine Reflektion des projizierten Musters gleichzeitig auch mittels des ersten Sensors erfasst werden. Dies kann einen besonders genauen und zuverlässigen Abgleich zwischen den beiden Sensoren bzw. eine entsprechend genaue und zuverlässige Kalibrierung ermöglichen.
-
Das vorgegebene Muster kann eine vorgegebene Form oder Darstellung oder ein vorgegebenes Symbol oder eine vorgegebene Struktur sein oder umfassen, beispielsweise aus mehreren geraden und/oder gebogenen Linien und/oder Rechtecken und/oder einer Punkteverteilung und/oder dergleichen mehr.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird mittels des zweiten Sensors ein Bild der Projektion, also des projizierten Musters aufgenommen. Mit anderen Worten kann hier also ein Bild einer jeweiligen Umgebung oder eines Teilbereichs der Umgebung, in dem die Projektion lokalisiert ist, aufgenommen werden.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird eine aufnahmewinkelabhängige, also perspektivische Verzerrung des in dem aufgenommenen Bild abgebildeten Musters im Vergleich zu der vorgegebenen Geometrie des projizierten Musters ermittelt. Mit anderen Worten kann hier also das Muster in dem aufgenommenen Bild detektiert bzw. aus dem aufgenommenen Bild extrahiert und mit der vorgegebenen Geometrie verglichen werden. Dabei können beispielsweise abweichende Winkel und/oder Längenverhältnisse und/oder dergleichen mehr zwischen verschiedenen Teilen des Musters, beispielsweise verschiedenen Linien oder dergleichen, bestimmt werden.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird basierend auf der ermittelten Verzerrung, also den entsprechenden Abweichungen, der zweite Sensor kalibriert. Mit einer solchen Kalibrierung kann beispielsweise eine Verzeichnung aufgrund von Linseneigenschaften bzw. einem Linsenfehler einer Optik des zweiten Sensors entsprechend genauer berücksichtigt oder herausgerechnet werden und/oder eine verbesserte Bestimmung von Positionen und/oder Entfernungen von mittels des zweiten Sensors erfassten Objekten ermöglicht werden und/oder dergleichen mehr. Ebenso kann so sichergestellt werden, dass mittels des zweiten Sensors detektierte Objekte und mittels des ersten Sensors detektierte Objekte besonders genau und zuverlässig einander zugeordnet, also identifiziert werden können.
-
Die Sensorik kann beispielsweise eine Umfeldsensorik, insbesondere für ein Kraftfahrzeug, sein. Die Sensorik kann also beispielsweise dazu vorgesehen sein, Winkel- und/oder Abstands- und/oder Geschwindigkeitsinformationen zu Objekten in einer jeweiligen Umgebung zu ermitteln und auszugeben, beispielsweise als Grundlage für darauf aufbauende Funktionen oder Systeme. Um korrekte Absolutwerte dieser Größen ermitteln zu können, bedarf es jedoch einer entsprechend genauen Kalibrierung der Sensoren, um deren tatsächliche mechanische Einbauwinkel bzw. entsprechende Abweichungen von einem jeweiligen spezifikationsgemäßen oder bestimmungsgemäßen Einbauwinkel zu kompensieren. Solche Abweichungen sind in der Praxis ohne unverhältnismäßig großen Aufwand nicht zu vermeiden. Typischerweise kann beispielsweise lediglich eine Genauigkeit einer Einbaulage eines Sensors im Bereich von +/- 1 cm hinsichtlich der Positionen und im Bereich von +/- 10° hinsichtlich des Winkels oder der Rotation mit vertretbarem Aufwand erreicht oder garantiert werden. Eine entsprechende bestimmungsgemäßer Einbaulage bzw. Grobpose, also Groblage und Grobausrichtung, kann beispielsweise als zusätzlicher Input für einen vorgegebenen Kalibrierungsalgorithmus verwendet oder bereitgestellt werden. Eine entsprechende Kompensierung der individuellen tatsächlichen Einbaulagen oder Einbauwinkel der Sensoren, insbesondere des zweiten Sensors, kann durch die vorliegende Erfindung besonders einfach und genau ermöglicht oder erreicht werden.
-
Durch die vorliegende Erfindung wird also eine praktikable und vergleichsweise aufwandsarme Möglichkeit dafür geschaffen bzw. ausgenutzt, dass der erste Sensor dem zweiten Sensor eine Kalibrierungsform, nämlich die Projektion des vorgegebenen Musters, zur Verfügung stellen kann. Mit anderen Worten kann somit also eine hardwareseitige Möglichkeit bereitgestellt bzw. genutzt werden, um mit einem Sensor, hier nämlich dem ersten Sensor, die Kalibrierungsergebnisse eines anderen Sensors, hier nämlich des zweiten Sensors, zu bestätigen oder zu verbessern. Dabei kann ausgenutzt werden, dass ein beispielsweise als der erste Sensor verwendeter Lidar ein aktiver Sender ist, also für eine beispielsweise als zweiten Sensor verwendete Kamera sichtbare Formen oder Darstellungen erzeugen kann, und keine winkelabhängigen Verzerrungen und/oder Verzeichnungen oder zumindest nur deutlich geringere winkelabhängige Verzerrungen und/oder Verzeichnungen aufweist als sie beispielsweise durch Linsen oder eine Optik des bildgebenden zweiten Sensors grundsätzlich entstehen können.
-
Das erfindungsgemäße Verfahren kann im laufenden Betrieb der Sensorik, beispielsweise während der Fahrt eines mit der Sensorik ausgestatteten Kraftfahrzeugs oder dergleichen, angewendet werden, da im Extremfall das vorgegebene Muster nur für einen einzelnen Frame projiziert und mittels des zweiten Sensors erfasst werden muss. Um, beispielsweise bei unterschiedlichen Arbeitsfrequenzen oder ohne explizite Synchronisierung der beiden Sensoren eine zuverlässige Erfassung des projizierten Musters durch den zweiten Sensor sicherzustellen, kann das vorgegebene Muster aber beispielsweise für mehrere Frames, beispielsweise für 2 bis 5 Frames, projiziert werden. Bei einer typischen Bildaufnahmefrequenz des zweiten Sensors von wenigstens 10 Hz oder wenigstens 25 Hz oder mehr kann dies aber dennoch eine Projektionsdauer von weniger als 1 s bedeuten. Daher kann das Verfahren also ohne signifikante Störungen oder Unterbrechungen im regulären Arbeitsbetrieb der Sensorik bzw. des entsprechenden Kraftfahrzeugs angewendet, also ausgeführt werden. Dadurch kann also eine regelmäßige Kalibrierung der Sensorik ohne Weiteres durchgeführt werden, um auch dauerhaft entsprechend gute Performance der Sensorik zu erreichen bzw. sicherzustellen. Dies kann insbesondere ohne zusätzlichen Aufwand, beispielsweise durch entsprechendes Personal und/oder in Form zusätzlicher externer Einrichtungen oder Geräte oder dergleichen realisiert werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird anhand der ermittelten Verzerrung auch ein tatsächlicher Einbauwinkel des zweiten Sensors ermittelt. Dieser tatsächliche Einbauwinkel kann beispielsweise relativ zu einem vorgegebenen Koordinatensystem oder zu einem Koordinatensystem der Sensorik oder einem Koordinatensystem der damit ausgestatten Vorrichtung oderdergleichen ermittelt werden. Die Kalibrierung des zweiten Sensors wird dann zumindest oder auch basierend auf diesem tatsächlichen Einbauwinkel durchgeführt. Mit anderen Worten kann also der anhand der Verzerrung ermittelte tatsächliche Einbauwinkel für die Kalibrierung oder bei der Kalibrierung des zweiten Sensors berücksichtigt werden. Beispielweise kann der so ermittelte tatsächliche Einbauwinkel als Input für einen entsprechenden vorgegebenen Kalibrierungsalgorithmus verwendet werden. Zum Ermitteln des tatsächlichen Einbauwinkels anhand der Verzerrung kann beispielsweise ein entsprechendes vorgegebenes Modell des zweiten Sensors oder der Optik bzw. der Abbildungseigenschaften des zweiten Sensors verwendet werden. Damit kann beispielsweise der tatsächlicher Einbauwinkel errechnet oder ein modellierter oder simulierter Einbauwinkel des zweiten Sensors so lange variiert werden, bis ein eine sich damit modell- oder simulationsgemäß ergebende Form des aufgenommenen Musters der in dem aufgenommenen Bild tatsächlich gegebenen Form des Musters entspricht. Durch die Ermittlung und Berücksichtigung des tatsächlichen Einbauwinkels des zweiten Sensors kann dessen Kalibrierung besonders genau und umfassend durchgeführt werden und damit eine entsprechend genaue und zuverlässige Anwendung oder Nutzung auf Daten der Sensorik aufbauender Funktionen ermöglicht werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist der erste Sensor dazu eingerichtet, Laserlicht in zwei unterschiedlichen Wellenlängen auszusenden. Es wird dann für einen Sensorbetrieb des ersten Sensors zum Erfassen einer jeweiligen Umgebung nur eine erste Wellenlänge verwendet. Ein solcher Sensorbetrieb zum Erfassen der Umgebung kann also ein regulärer Betrieb oder Normalbetrieb des ersten Sensors sein, in dem keine Kalibrierung des zweiten Sensors durchgeführt wird, also das vorgegebene Muster nicht projiziert wird. Für einen Kalibrierungsbetrieb des ersten Sensors zum Projizieren des vorgegebenen Musters zum Kalibrieren des zweiten Sensors wird hingegen nur die sich von der ersten Wellenlänge unterscheidende zweite Wellenlänge verwendet. Mit anderen Worten kann also in dem Kalibrierungsbetrieb das vorgegebene Muster mit Laserlicht der zweiten Wellenlänge, insbesondere nur der zweiten Wellenlänge, projiziert oder gezeichnet werden, wohingegen in dem regulären Sensorbetrieb die Umgebung mittels Laserlicht der ersten Wellenlänge, insbesondere nur der ersten Wellenlänge, ausgeleuchtet oder abgetastet, also gescannt wird.
-
Dazu kann der erste Sensor beispielsweise zwei entsprechend unterschiedliche Laser aufweisen, von denen einer Laserlicht der ersten Wellenlänge und der andere Laserlicht der zweiten Wellenlänge aussenden kann. Diese beiden Laser können dabei individuelle Optiken aufweisen oder - bevorzugt - zumindest teilweise dieselbe Optik verwenden.
-
Ebenso kann der erste Sensor beispielsweise nur einen einzigen Laser aufweisen. Es kann dann die Wellenlänge des ausgesendeten Laserlichts beispielsweise durch eine entsprechende Steuerung eingestellt oder gewechselt werden und/oder zum Einstellen oder Wechseln der Wellenlänge beispielsweise ein Filter und/oder ein Konversionselement in einen Strahlengang des Lasers eingebracht bzw. aus dem Strahlengang entfernt werden. Dies kann automatisch durch die Sensorik selbst gesteuert und durchgeführt werden, etwa elektrisch bzw. motorisch.
-
Durch die hier vorgeschlagene Verwendung zweier unterschiedlicher Wellenlängen, also einer zusätzlichen spezifischen, nur für die Kalibrierung bzw. zum Projizieren des vorgegebenen Musters vorgesehenen Wellenlänge, kann eine besonders präzise und zuverlässig sowie störungsfreie oder störungsarme Erfassung und Erkennung des projizierten Musters durch den zweiten Sensor sichergestellt werden. Zudem kann dadurch eine Störung des zweiten Sensors in dessen regulären Sensorbetrieb zum Erfassen einer jeweiligen Umgebung außerhalb einer Kalibrierung, also außerhalb des Kalibrierungsbetrieb durch das Laserlicht des ersten Sensors vermieden oder reduziert werden. Somit kann also letztlich eine besonders gute und dauerhaft gleichbleibende Performance besonders effektiv und effizient erreicht werden. Dazu kann beispielsweise die erste Wellenlänge im Infrarotbereich und die zweite Wellenlänge im sichtbaren Bereich liegen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung weist der zweite Sensor einen zu einer Laserwellenlänge des ersten Sensors, also zu einer Wellenlänge von mittels des ersten Sensors ausgesendetem Laserlicht korrespondierenden Filter auf. Dabei kann es sich beispielsweise um einen Bandpassfilters oder einen Hochpassfilter handeln. Dieser Filter wird automatisch jeweils bedarfsgerecht für die Kalibrierung auf Durchlass geschaltet, um entsprechendes von dem ersten Sensor ausgesendetes Laserlicht passieren zu lassen. Ansonsten, also außerhalb der Kalibrierung bzw. außerhalb des Kalibrierungsbetrieb, also im regulären Sensorbetrieb oder Normalbetrieb der Sensorik zum Erfassen der jeweiligen Umgebung wird der Filter hingegen auf Sperrung geschaltet, um entsprechendes von dem ersten Sensor ausgesendetes Laserlicht zu blockieren bzw. herauszufiltern, wobei aber Licht zumindest einiger anderer Wellenlängen weiterhin passieren bzw. von dem zweiten Sensor erfasst werden kann. Der Filter kann also insbesondere spezifisch für die Laserwellenlänge des ersten Sensors oder einen diese umfassenden Spektral- bzw. Wellenlängenbereich sein.
-
Durch das hier vorgeschlagene bedarfsweise Schalten des Filters kann einerseits die auf dem mittels des ersten Sensors projizierten Muster basierende Kalibrierung des zweiten Sensors bei Bedarf zuverlässig durchgeführt und andererseits eine Störung des regulären Sensorbetriebs bzw. Normalbetriebs des zweiten Sensors durch die Laserstrahlung, die der erste Sensor in dessen regulärem Sensorbetrieb bzw. Normalbetrieb aussendet, vermieden werden.
-
Eine praktikable Möglichkeit, um das beschriebene Schalten des Filters zu realisieren, kann beispielsweise in einem mechanischen Einbringen des Filters in eine Optik oder einen Strahlengang des zweiten Sensors für den regulären Sensorbetrieb und ein Entfernen des Filters aus der Optik oder dem Strahlengang des zweiten Sensors für den Kalibrierungsbetrieb sein.
-
Durch den hier vorgeschlagenen Filter des zweiten Sensors kann das beschriebene Kalibrierungsverfahren unter Verwendung eines besonders einfach und kostengünstig ausgestalteten ersten Sensors, also etwa eines herkömmlichen Lidars, der nur zum Aussenden von Laserlicht einer einzigen Wellenlänge eingerichtet ist, angewendet werden, ohne die Performanz des zweiten Sensors im regulären Sensorbetrieb zu beeinträchtigen. Damit kann also das erfindungsgemäße Verfahren auf besonders einfache, effiziente und effektive Weise angewendet werden.
-
Ebenso kann der zweite Sensor als Multispektralsensor, also etwa als Multispektralkamera, ausgestaltet sein. Es kann dann ein zur Laserwellenlänge des ersten Sensors korrespondierender Teil eines Spektrums, beispielsweise der Infrarotbereich, nur für die Kalibrierung berücksichtigt und ansonsten, also für den regulären Sensorbetrieb, verworfen werden. Dies kann gegebenenfalls eine noch robustere und zuverlässigere Ausgestaltung der Sensorik und somit eine entsprechend robuste und zuverlässige Anwendung des erfindungsgemäßen Verfahrens ermöglichen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird mittels des zweiten Sensors auch ein Teil einer Vorrichtung, welche die Sensorik umfasst, erfasst, also aufgenommen, also in dem Bild des projizierten Musters abgebildet. Eine solche Vorrichtung kann beispielsweise ein Kraftfahrzeug sein, in welches die Sensorik eingebaut oder an welchem die Sensorik befestigt ist. In anderen Anwendungsfällen kann es sich aber ebenso um eine andere Vorrichtung handeln. Weiter wird eine Position und/oder Ausrichtung des erfassten Teils der Vorrichtung in dem mittels des zweiten Sensors aufgenommenen Bild ermittelt und für die Kalibrierung mitberücksichtigt. Dadurch kann beispielsweise die korrekte Grobausrichtung des zweiten Sensors sichergestellt oder validiert werden und/oder eine Eindeutigkeit der Kalibrierung sichergestellt werden. Der erfasste Teil der Vorrichtung kann beispielsweise als zusätzlicher Referenzpunkt verwendet werden, insbesondere in Kombination mit einer Vorgabe dazu, in welchem Bereich oder Teil des mittels des zweiten Sensors aufgenommenen Bildes sich der entsprechende Teil der Vorrichtung bei korrekter oder bestimmungsgemäßer Einbaulage des zweiten Sensors befinden sollte.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird das vorgegebene Muster mittels des ersten Sensors in einen Überlappungsbereich projiziert, in dem sich der Erfassungsbereich des zweiten Sensors mit einem Erfassungsbereich eines ebenfalls bildgebenden dritten Sensors überlappt bzw. überschneidet. Dieser dritte Sensor kann insbesondere von der gleichen Art sein wie der zweite Sensor, also beispielsweise ebenfalls eine Kamera sein oder umfassen. Das projizierte Muster wird dann als Referenz zum Kalibrieren eines Stitchings von Bildern des zweiten Sensors und des dritten Sensors bzw. einer entsprechenden Stitchingfunktion für Bilder oder Bilddaten des zweiten und des dritten Sensors verwendet. Mit anderen Worten kann also ein bestimmter Teil des projizierten Musters, der sowohl mittels des zweiten Sensors als auch mittels des dritten Sensors, insbesondere gleichzeitig, erfasst, also aufgenommen oder abgebildet wurde, verwendet werden, um die mittels des zweiten Sensors und des dritten Sensors aufgenommenen Bilder aneinander auszurichten. Dafür notwendige Verschiebungen und/oder Drehungen und/oder sonstige Anpassungen können dann als entsprechende Kalibrierungsdaten verwendet oder hinterlegt werden.
-
Auf diese Weise kann auch ein Zusammenwirken mehrerer zusätzlich zu dem ersten Sensor vorgesehener Sensoren sichergestellt oder verbessert werden. Beispielsweise können als zweiter Sensor und als dritter Sensor Panoramakameras verwendet werden, mittels derer dann aufgrund der erfindungsgemäß durchgeführten Kalibrierung ein störungsfreies oder besonders störungsarmes Panoramabild, beispielsweise für eine Rundumsicht oder Rundumdarstellung einer Umgebung der entsprechenden Vorrichtung, also etwa des entsprechenden Kraftfahrzeugs, erzeugt werden kann. Eine entsprechende Panoramafunktion kann dann besonders robust und auf besonders einfache Weise realisiert werden, da beispielsweise der zweite Sensor und der dritte Sensor zumindest im Wesentlichen unabhängig voneinander eingebaut werden können und keine zusätzlichen externen Vorrichtungen für die Kalibrierung benötigt werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zunächst, insbesondere automatisch, eine jeweilige individuelle, also von anderen Sensoren unabhängige Selbstkalibrierung bzw. Selbstlokalisierung der Sensoren der Sensorik, also zumindest des ersten und des zweiten Sensors, durchgeführt. Für eine solche Selbstkalibrierung bzw. Selbstlokalisierung können möglichst wenige Inputs einer die Sensorik umfassenden Vorrichtung, also beispielsweise des mit der Sensorik ausgestatteten Kraftfahrzeugs oder dergleichen, genutzt werden, insbesondere keine Daten, Signale oder Inputs eines anderen Sensors. Gegebenenfalls können Odometriedaten des Kraftfahrzeugs, wie etwa dessen Geschwindigkeit und/oder Beschleunigung genutzt werden, da diese auf notwendigerweise kalibrierten Quellen beruhen.
-
Diese individuellen Selbstkalibrierungen können insbesondere vor der beschriebenen Kalibrierung des zweiten Sensors anhand des mittels des ersten Sensors projizierten vorgegebenen Musters durchgeführt werden. Die Selbstkalibrierungen der verschiedenen Sensoren können unterschiedlich sein hinsichtlich ihrer Dauer, hinsichtlich ihrer Anforderungen an eine jeweilige Umgebung oder Situation, beispielsweise die Fahrgeschwindigkeit des Kraftfahrzeugs, hinsichtlich der Genauigkeit des Kalibrierungsergebnisses, hinsichtlich der Winkelabhängigkeit und/oder dergleichen mehr. Die Selbstkalibrierungen können aber bereits eine Grobkalibrierung aller Sensoren sicherstellen. Damit kann dann die erfindungsgemäße Kalibrierung unter Verwendung beider bzw. mehrerer oder aller Sensoren besonders zuverlässig ermöglicht und durchgeführt werden.
-
Die Selbstkalibrierung des zweiten Sensors, insbesondere einer Kamera, kann typischerweise Fehler aufweisen, die bei größeren Erfassungswinkeln größer werden bzw. größer sein können. Demgegenüber kann die Selbstkalibrierung des ersten Sensors, insbesondere eines Lidars, insbesondere hinsichtlich eines Neigungswinkel (englisch: pitch) und/oder hinsichtlich eines Gierwinkels (englisch: yaw), genauer sein als die Selbstkalibrierung des ersten Sensors, insbesondere einer Kamera. Durch die anschließende erfindungsgemäße Kalibrierung des zweiten Sensors basierend auf dem mittels des ersten Sensors projizierten vorgegebenen Muster können dann diejenigen Kalibrierungswerte des zweiten Sensors, die typischerweise die größten Fehler aufweisen, durch die entsprechend genauere Kalibrierung bzw. entsprechend genauere Kalibrierungswerte des zweiten Sensors kompensiert oder verbessert werden. Damit können also die Stärken eines Sensors nicht nur für eine entsprechend gute Selbstkalibrierung dieses Sensors selbst verwendet werden, sondern auch, um eine zumindest ähnlich genaue Kalibrierung eines anderen Sensors, dessen Selbstkalibrierung in dieser Hinsicht weniger genau sein kann, zu erreichen. Damit ist man beispielsweise bei der Frage, welcher Sensor richtig liegt, also korrekte Daten liefert bzw. als Master verwendet werden kann, nicht auf den Vergleich aller Sensoren, also eine entsprechende Mehrheitsentscheidung, die auch Daten von ungenau oder ungenauer kalibrierten Sensoren umfasst, angewiesen. Dies bedeutet, dass letztlich auf Daten der Sensorik basierende Entscheidungen genauer und zuverlässiger korrekt getroffen werden können.
-
Die Selbstkalibrierungen bzw. Selbstlokalisierungen der einzelnen Sensoren können beispielsweise im Betrieb der Sensorik permanent oder automatisch regelmäßig wiederholt durchgeführt werden. Dies kann insbesondere mit höherer Frequenz und/oder Häufigkeit als die Anwendung des erfindungsgemäßen Verfahrens zur Kalibrierung des zweiten Sensors basierend auf dem mittels des ersten Sensors projizierten vorgegebenen Muster erfolgen. Somit kann besonders zuverlässig eine stets optimale Kalibrierung und damit auch Performance der Sensorik erreicht werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird automatisch eine aktuelle Situation, also beispielsweise eine Umgebungssituation und/oder einer Betriebssituation der Sensorik und/oder der damit ausgestatteten Vorrichtung, überwacht. Das erfindungsgemäße Verfahren wird dann nur durchgeführt, wenn die aktuelle Situation wenigstens ein vorgegebenes Situationskriterium erfüllt. Ein solches Situationskriterium kann insbesondere hinsichtlich einer Ebenheit der jeweils aktuell für das Projizieren des vorgegebenen Musters infrage kommenden Fläche und/oder hinsichtlich einer Objektdichte in einer Umgebung der Sensorik, also beispielsweise einer umgebenden Verkehrsdichte, und/oder hinsichtlich der lokalen Wetterbedingungen im Bereich der Sensorik und/oder hinsichtlich einer Geschwindigkeit eines mit der Sensorik ausgestatteten Kraftfahrzeugs vorgegeben oder definiert sein.
-
So kann beispielsweise das Verfahren nur oder genau dann automatisch ausgeführt werden, wenn die für das Projizieren des vorgegebenen Musters infrage kommende Fläche eben ist und insbesondere zumindest im Wesentlichen parallel zu einem Boden des mit der Sensorik ausgestatteten Kraftfahrzeugs verläuft. Dies kann unabhängig von einem Winkel dieser Fläche zu einem lokalen Schwerkraftvektor sein, falls beispielsweise das mit der Sensorik ausgestattete Kraftfahrzeug bzw. dessen Boden, also eine von der Fahrzeuglängsrichtung und der Fahrzeugquerrichtung aufgespannte Ebene, bzw. eine Untergrundfläche, auf der das Kraftfahrzeug steht, zumindest im Wesentlichen in denselben Winkel zu dem lokalen Schwerkraftvektor steht. Ebenso kann aber vorgesehen sein, dass das Verfahren beispielsweise nur dann automatisch ausgeführt wird, wenn die für das Projizieren des vorgegebenen Musters infrage kommende Fläche zumindest im Wesentlichen senkrecht zum lokalen Schwerkraftvektor steht. Dies kann beispielsweise mittels eines entsprechenden Beschleunigungs- oder Lagesensors der Sensorik oder der damit ausgestatteten Vorrichtung überprüft werden. Um die Ebenheit der für das Projizieren des vorgegebenen Musters infrage kommenden Fläche und/oder deren Lage oder Winkel relativ zur Fläche, auf der sich beispielsweise das mit der Sensorik ausgestatteten Kraftfahrzeug befindet, zu ermitteln, können beispielsweise Daten eines Winkel- und/oder Lage- und/oder Beschleunigungssensors der Sensorik bzw. des Kraftfahrzeugs, die bei einem früheren Befahren der entsprechenden Flächen aufgenommen wurden, und/oder Karte- oder Geländedaten und/oder dergleichen mehr ausgewertet oder berücksichtigt werden.
-
Sofern das vorgegebene Situationskriterium die Objektdichte in der Umgebung der Sensorik betrifft, kann beispielsweise vorgegeben oder definiert sein, dass das Verfahren nur oder genau dann automatisch angewendet wird, wenn die Objektdichte kleiner als ein vorgegebener Schwellenwert ist bzw. höchstens ein vorgegebener Anteil der Umgebung durch von einem dortigen Boden oder Untergrund verschiedene Objekte eingenommen wird. Dadurch kann sichergestellt werden, dass eine genügend große und konsistente, also während der Projektionsdauer gleichbleibende Fläche für das Projizieren des vorgegebenen Musters zur Verfügung steht.
-
Sofern das vorgegebene Situationskriterium die lokalen Wetterbedingungen betrifft, kann beispielsweise vorgegeben oder definiert sein, dass das erfindungsgemäße Verfahren nur oder genau dann automatisch durchgeführt wird, wenn bestimmte Wetterbedingungen herrschen oder bestimmte Wetterbedingungen gegeben und/oder nicht gegeben sind. So kann beispielsweise vorgegeben sein, dass das Verfahren nur dann durchgeführt wird, wenn es lokal keinen Niederschlag gibt, es also nicht regnet oder schneit, und/oder ist nicht neblig ist und/oder es keinen Einfall von Sonnenstrahlung aus Richtung des Erfassungsbereichs zu der Sensorik in einem unterhalb eines vorgegebenen Schwellenwertes liegenden Winkel zum Horizont gibt und/oder dergleichen mehr.
-
Sofern das vorgegebene Situationskriterium die Geschwindigkeit des mit der Sensorik ausgestatteten Kraftfahrzeugs betrifft, kann beispielsweise vorgegeben oder definiert sein, dass das Verfahren nur oder genau dann angewendet wird, wenn die Geschwindigkeit des Kraftfahrzeugs kleiner als ein vorgegebener Geschwindigkeitsschwellenwert ist. Dadurch kann die Wahrscheinlichkeit dafür erhöht werden, dass während der Kalibrierung bzw. während der Projektion- und Erfassungsdauer des vorgegebenen Musters die entsprechende Fläche oder Umgebung zumindest im Wesentlichen gleich bleibt. Dies wiederum kann ein besonders konsistentes und zuverlässiges Kalibrierungsergebnis ermöglichen.
-
Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung beruht also auf der Erkenntnis, dass nicht alle Situationen für die erfindungsgemäß vorgeschlagene Kalibrierung gleich gut geeignet sind und durch entsprechende Berücksichtigung der Situation somit ein besonders genaues und zuverlässiges Kalibrierungsergebnis erreicht werden kann.
-
In der hier vorgeschlagenen Ausgestaltung der vorliegenden Erfindung kann es also vorgesehen sein, dass das erfindungsgemäße Verfahren zur Kalibrierung des zweiten Sensors nicht starr in einem fest vorgegebenen Rhythmus oder zeitlichen Muster durchgeführt wird, sondern eine gewisse Flexibilität hinsichtlich der Ausführung bzw. Ausführungszeitpunkte gegeben ist. Insbesondere kann beispielsweise die Sensorik selbst die Situation überwachen und/oder eine entsprechende Situationsdaten erfassen und basierend darauf entscheiden, wann eine Situation vorliegt, die zur Durchführung des erfindungsgemäßen Verfahrens geeignet ist, also eine entsprechend genaue und zuverlässige Kalibrierung des zweiten Sensors ermöglichen kann. Es können aber ein oder mehr Zielvorgaben oder Randbedingungen oder dergleichen vorgegeben sein, welche die Häufigkeit der Durchführung des erfindungsgemäßen Verfahrens bzw. der entsprechenden Kalibrierung zumindest des zweiten Sensors betreffen oder vorgeben oder beschränken. Beispielsweise kann vorgegeben sein, dass das erfindungsgemäße Verfahren wenigstens einmal je Betriebszyklus der mit der Sensorik ausgestatteten Vorrichtung, also beispielsweise wenigstens einmal je Klimazyklus oder je Fahrt des mit der Sensorik ausgestatteten Kraftfahrzeugs, durchgeführt oder versucht werden soll. Zusätzlich oder alternativ kann beispielsweise eine Ruhezeit, die zwischen zwei aufeinanderfolgenden Durchführungen des Verfahrens liegen soll, vorgegeben sein. Ebenso kann beispielsweise eine Häufigkeit oder Frequenz, mit der das erfindungsgemäße Verfahren durchgeführt werden soll, vorgegeben sein, wobei entsprechende Durchführungszeitpunkte aber nicht als einzelne feste Zeitpunkte, sondern beispielsweise als Zeitfenster oder Intervalle vorgegeben sein können und/oder eine Durchführung des Verfahrens zu einem bestimmten gemäß der vorgegebenen Häufigkeit oder Frequenz eigentlich zur Durchführung des Verfahrens vorgesehenen Zeitpunkt nicht erzwungen wird, also ausfallen kann, wenn die dann gegebene Situation das vorgegebene Situationskriterium nicht erfüllt.
-
Die vorliegende Erfindung betrifft auch eine Sensorik, die insbesondere für ein Kraftfahrzeug ausgestaltet sein kann. Grundsätzlich ist die erfindungsgemäße Sensorik jedoch nicht auf diese Ausgestaltung bzw. diesen Anwendungsfall beschränkt. Die erfindungsgemäße Sensorik weist wenigstens zwei unterschiedliche Sensoren, insbesondere einen Lidar und eine Kamera, auf. Die erfindungsgemäße Sensorik ist dabei zum, insbesondere automatischen oder semi-automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet. Dementsprechend kann die erfindungsgemäße Sensorik insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Sensorik sein oder dieser entsprechen. Die erfindungsgemäße Sensorik kann also einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Eigenschaften und/oder Merkmale aufweisen.
-
Dass die erfindungsgemäße Sensorik zur Ausführung des erfindungsgemäßen Verfahrens eingerichtet ist, kann beispielsweise bedeuten, dass die erfindungsgemäße Sensorik eine entsprechend eingerichtete Steuerung oder Schaltung oder Datenverarbeitungseinrichtung aufweist. Diese kann beispielsweise einen computerlesbaren Datenspeicher umfassen, in dem ein entsprechendes Betriebs- oder Computerprogramm gespeichert ist, das die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Verfahrensschritte, Maßnahmen oder Abläufe und/oder entsprechende Steueranweisungen codiert oder implementiert. Dieses Betriebs- oder Computerprogramm kann dann mittels einer Prozesseinrichtung, also beispielsweise eines Mikroprozessors, Mikrochips oder Mikrocontrollers oder dergleichen, der Sensorik ausführbar sein, um das Ausführen des entsprechenden Verfahrens zu bewirken oder zu veranlassen. Eine solche Steuerung oder Schaltung oder Datenverarbeitungseinrichtung kann beispielsweise mit dem ersten Sensor und dem zweiten Sensor bzw. allen Sensoren der Sensorik gekoppelt oder verbunden sein, insbesondere über entsprechende Datenleitungen oder Datenverbindungen oder dergleichen.
-
Die vorliegende Erfindung betrifft auch ein Kraftfahrzeug, das mit einer bzw. der erfindungsgemäßen Sensorik ausgestattet ist und/oder zum, insbesondere automatischen oder semi-automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet ist. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Sensorik genannte Kraftfahrzeug sein oder diesem entsprechen.
-
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in der einzigen Figur eine schematische Übersichtsdarstellung mit einem Kraftfahrzeug und einem Sensorerfassungsbereich zum Veranschaulichen einer Sensorkalibrierung.
-
1 zeigt eine schematische Übersichtsdarstellung eines Kraftfahrzeugs 1, das mit einer Sensorik 2 zur Umgebungserfassung ausgestattet ist. Diese Sensorik 2 umfasst hier mehrere Sensoren, nämlich beispielhaft einen ersten Sensor, der als Lidar 3 ausgestaltet ist, einen zweiten Sensor, der als Kamera 4 ausgestaltet ist, und dritte Sensoren, die als Panoramakameras 5 ausgestaltet sind. Ebenso kann die Sensorik 2 aber andere und/oder weiterer Sensoren umfassen.
-
Die Sensorik 2 weist hier auch eine zentrale Datenverarbeitungseinrichtung auf, die ebenfalls schematisch angedeutet ist. Diese kann mit den einzelnen Sensoren 3, 4, 5 über eine Schnittstelle 6 verbunden sein und zur Durchführung eines Verfahrens zur Sensorkalibrierung einen Prozessor 7 und einen Datenspeicher 8 aufweisen.
-
Vor dem Kraftfahrzeug 1 ist hier schematisch ein Kameraerfassungsbereich 9, also ein Aufnahmebereich der Kamera 4 angedeutet. Ebenso sind schematisch Panoramaerfassungsbereiche 10, also Aufnahmebereiche der Panoramakameras 5 angedeutet. Diese Panoramaerfassungsbereiche 10 können insbesondere den Kameraerfassungsbereich 9 teilweise überlappen.
-
Da der Lidar 3 aufgrund seiner physikalischen Eigenschaften sich selbst genauer lokalisieren bzw. hinsichtlich seiner tatsächlichen Einbaulage, beispielsweise relativ zu dem Kraftfahrzeug 1 genauer selbst kalibrieren kann als die Kamera 4 oder auch die Panoramakameras 5, kann der Lidar 3, insbesondere nach einer jeweiligen Selbstkalibrierung aller Sensoren der Sensorik 2, auch für die Kalibrierung zumindest der Kamera 4 oder auch der Panoramakameras 5 bzw. eines Stitchings von Bildern oder Bilddaten der Kamera 4 und der Panoramakameras 5 verwendet werden.
-
Dazu kann mittels eines Lasers des Lidars 3 ein vorgegebenes Muster 11 mit vorgegebener Geometrie in die Umgebung und insbesondere zumindest teilweise in den Kameraerfassungsbereich 9 bzw. jeweils zumindest eines der Panoramaerfassungsbereiche 10 projiziert werden. Das Muster 11 umfasst hier beispielhaft angedeutet mehrere Linien und Rechtecke, kann aber ebenso andere Darstellungen und/oder Symbole und/oder Strukturen umfassen.
-
Während das Muster 11 mittels des Lidars 3 projiziert wird, wird mittels der Kamera 4 bzw. der jeweiligen Panoramakamera 5 oder beider Panoramakameras 5 ein Bild aufgenommen, in dem das Muster 11 zumindest teilweise abgebildet ist. Insbesondere können mittels der Kamera 4 mittels der Panoramakameras 5 gleichzeitig Bilder des Musters 11 aufgenommen werden, wobei die mittels der Panoramakameras 5 aufgenommenen Bilder insbesondere jeweils zumindest einen auch im Kameraerfassungsbereich 9 liegenden Teil des Musters 11 abbilden können.
-
Durch die Sensorik 2 können diese aufgenommenen Bilder dann verarbeitet werden. Dabei kann eine jeweilige Verzerrung des in den Bildern abgebildeten Musters 11 im Vergleich zu der vorgegebenen Geometrie des mittels des Lidars 3 projizierten Musters 11 ermittelt werden. Darauf basierend kann beispielsweise ein jeweiliger tatsächlicher Einbauwinkel oder eine tatsächliche Einbaulage der Kamera 4 bzw. der Panoramakameras 5 ermittelt werden, beispielsweise relativ zu einem vorgegebenen Koordinatensystem oder einem Koordinatensystem der Sensorik 2 oder einem Koordinatensystem des Kraftfahrzeugs 1 oder dergleichen. Basierend darauf kann dann die Kalibrierung der Kamera 4 oder auch der Panoramakameras 5 durchgeführt werden. Ebenso kann die Sensorik 2 die in dem Bild der Kamera 4 und den Bildern der Panoramakameras 5 abgebildeten Teile des Musters 11 aneinander ausrichten, um eine Stitchingfunktion der Kamera 4 und der Panoramakameras 5 zu kalibrieren.
-
Insgesamt zeigen die beschriebenen Beispiele wie eine Lidar-Kamera-Cross-Kalibrierung realisiert werden kann.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Sensorik
- 3
- Lidar
- 4
- Kamera
- 5
- Panoramakameras
- 6
- Schnittstelle
- 7
- Prozessor
- 8
- Datenspeicher
- 9
- Kameraerfassungsbereich
- 10
- Panoramaerfassungsbereiche
- 11
- Muster
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2020043856 A1 [0003]
- DE 102010039092 B4 [0004]
- DE 102018220297 A1 [0005]
