DE102009046124A1

DE102009046124A1 - Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems

Info

Publication number: DE102009046124A1
Application number: DE102009046124A
Authority: DE
Inventors: Javier Massanell; Thomas May; Volker Frey
Original assignee: IFM Electronic GmbH
Current assignee: PMDtechnologies AG
Priority date: 2009-10-28
Filing date: 2009-10-28
Publication date: 2011-05-05
Also published as: US9726754B2; US20120206575A1; WO2011051287A1

Abstract

Verfahren zur Kalibrierung eines 3-D-TOF-Kamerasystems mit den Schritten: - Erfassung und Erkennung mindestens eines geeigneten Messobjekts, - Bestimmung eines Richtungsvektors zu mindestens einem Messobjekt zu einem ersten Zeitpunkt, - Bestimmung eines für einen zweiten Zeitpunkt erwarteten Richtungsvektors in Abhängigkeit einer bekannten Trajektorie des Fahrzeugs, - Erfassen des Messobjekts im zweiten Zeitpunkt und Bestimmung eines zweiten Richtungsvektors, - Ermittlung einer Vektordifferenz in Winkel und/oder Abstand zwischen dem zweiten und dem erwarteten Richtungsvektor.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines 3D-TOF-Kamerasystems sowie eine Vorrichtung bzw. 3D-TOF-Kamerasystem mit einer entsprechend dem Verfahren ausgestalteten Kalibriervorrichtung nach Gattung der unabhängigen Ansprüche Aus dem Stand der Technik sind Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight-(TOF-) oder Laufzeitmesssysteme. Insbesondere sind hiermit auch Lidar- und Radarsystem mit umfasst. Diese Laufzeitmesssysteme verwenden eine vornehmlich amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.
Mit Kamerasystem sollen insbesondere alle 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Das Kamerasystem teilt sich typischerweise in einem Sender, beispielsweise eine aktive Beleuchtung, und einem Empfänger, beispielsweise eine Kamera, auf. Als 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u. a. in den Anmeldungen DE 196 35 932 , EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D101/M01594 zu beziehen sind. Die PMD-Kamera bzw. Kamerasystem erlaubt insbesondere eine flexible Anordnung der Lichtquelle (aktive Beleuchtung) und des Empfängers, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aufgabe der Erfindung ist es, die Sicherheit und Zuverlässigkeit eines 3D-TOF-Kamerasystems zu verbessern.
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Verfahren und der erfindungsgemäßen Vorrichtung der unabhängigen Ansprüche gelöst.
Vorteilhaft ist ein Verfahren zur Kalibrierung eines 3D-TOF-Kamerasystems vorgesehen, mit den Schritten:

– Erfassung und Erkennung mindestens eines geeigneten Messobjekts,
– Bestimmung eines Richtungsvektors zu mindestens einem Messobjekt zu einem ersten Zeitpunkt,
– Bestimmung eines für einen zweiten Zweitpunkt erwarteten Richtungsvektors in Abhängigkeit einer bekannten Trajektorie des Fahrzeugs,
– Erfassen des Messobjekts im zweiten Zeitpunkt und Bestimmung eines zweiten Richtungsvektors,
– Ermittlung einer Vektordifferenz in Winkel und/oder Abstand zwischen dem zweiten und dem erwarteten Richtungsvektor, Dieses Vorgehen erlaubt anhand geeigneter Messobjekte die Kalibrierung und Justage des Systems auch während eines normalen Betriebs zu überprüfen.

Eine weitere Ausgestaltung sieht folgende Verfahrensschritte vor:

– Erfassung und Erkennung von mindestens zwei geeigneten Messobjekten mit einem bekannten Abstand,
– Bestimmung eines ersten Satz von Richtungsvektoren zu beiden Messobjekten zu einem ersten Zeitpunkt,
– Bestimmung von erwarteten Richtungsvektoren zu beiden Messobjekten zu einem ersten Zeitpunkt in Abhängigkeit einer bekannten Trajektorie des Fahrzeugs,
– Erfassen der Messobjekte zum zweiten Zeitpunkt und Bestimmung eines zweiten Satz von Richtungsvektoren,
– Ermittlung einer Vektordifferenz in Winkel und/oder Abstand zwischen dem ersten und zweiten Satz der Richtungsvektoren.

Dieses Vorgehen erlaubt es, die Genauigkeit der Kalibrierungsüberwachung durch Erfassen mehrerer Messobjekte, deren Abstand vorteilhafterweise bekannt ist zu verbessern.
In einer weiteren Ausgestaltung kann vorteilhaft anhand der ermittelten Vektordifferenz eine Dekalibrierung des Systems ermittelt werden.
Insbesondere kann abhängig von der Größe der Vektordifferenz ein Fehlersignal bereitgestellt werden und weiterhin abhängig von der Größe der Vektordifferenz bzw. Dekalibrierung eine Autokalibrierung des Systems erfolgen.
Vorteilhaft ist auch eine Vorrichtung insbesondere ein 3D-TOF-Kamerasystem mit einer Kalibriervorrichtung vorgesehen, wobei die Kalibriervorrichtung zur Durchführung eines der vorgenannten Verfahren ausgestaltet ist.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:
1 schematisch ein erfindungsgemäßes System,
2 eine Messsituation mit ein ortsfesten Messobjekt
3 eine Messsituation in einem dejustierten Zustand der Kamera,
4 ein Messsituation mit zwei ortsfesten Messobjekten mit bekannten Abstand.
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist.
Das TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. eine aktive Beleuchtung 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-TOF-Kamera 200 mit einer Empfangsoptik 150 und einem Photosensor 15. Der Photosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Photosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Photosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
Kamerasysteme, wie zum Beispiel Lidar-, Radar- oder 3D-TOF-Kamerasysteme, die in PKWs, Nutzfahrzeuge, bewegliche Maschinen, Maschinenteile, etc. zum Einsatz kommen, sollen in der Regel auch zwischen den Serviceeinsätzen mit Hilfe von geeigneten Maßnahmen auf Dejustage bzw. Dekalibrierung überprüft werden und gegebenenfalls entsprechend neu kalibriert werden.
Ziel der Erfindung ist es, die Kalibrierung nicht nur in den Serviceeinsätzen vorzunehmen, sondern eine automatische Kalibrierungs- oder Dejustage-korrektur auch zwischen den Serviceeinsätzen zu ermöglichen.
Erfindungsgemäß werden zwei Kalibrierungsmethoden unterschieden, nämlich zum einen die Kalibrierung anhand eines einzigen ortsfesten Messobjektes oder zum anderen die Kalibrierung anhand zweier Messobjekte mit bekanntem Abstand.
Für die Kalibrierung mit Hilfe eines einzigen Messobjektes ist es vorgesehen, geeignete ortsfeste Messobjekte zu erfassen und zu erkennen. Geeignete Objekte sind bei einem 3D-System im Verkehrseinsatz beispielsweise Verkehrsschilder, Verkehrsleitpfosten oder ähnliche ortsfeste erkannte Objekte. Im Maschineneinsatz können hier besondere Maschinenteile oder gezielt geeignete Reflektoren eingesetzt werden.
Nachdem in der Umgebung ein geeignetes Objekt als Messobjekt erkannt wurde, werden alle weiteren Messungen anhand dieses Messobjektes vorgenommen. Zunächst wird der Vektor von der 3D-Kamera zum Messobjekt mit Winkellage und Entfernung bestimmt. Ausgehend von einer bekannten Trajektorie des Fahrzeugs wird für einen zweiten Zeitpunkt ein Richtungsvektor berechnet, unter dem das Messobjekt zu diesem zweiten Zeitpunkt erwartet wird. Weicht der Winkel des Richtungsvektors vom erwarteten Winkel ab, kann ausgehend von der bekannten Trajektorie eine Fehlwinkelstellung ermittelt und korrigiert werden.
Ist darüber hinaus nicht nur die Richtung der Trajektorie, sondern auch die zurückgelegte Wegstrecke bekannt, kann zusätzlich zum Fehlwinkel auch ein Abstands-Offsetfehler ermittelt und korrigiert werden. Die Trajektorie des Fahrzeugs kann beispielsweise durch seinen Gierwinkel, d. h. des aktuellen Krümmungsradius des Fahrzeugs und der zurückgelegten Wegstrecke gegeben sein. Anhand einer solchen vollständig bekannten Trajektorie genügt es zur Kalibrierung, die Position eines ortsfesten Punktes zu detektieren und die Trajektorie bei der Vorbeifahrt zu ermitteln. Aus dem Unterschied zwischen gemessene Trajektorie zur tatsächlichen Trajektorie lässt sich eine Dejustage bzw. Dekalibrierung des Systems erkennen und beheben.
Bei der Detektion zweier Objekte, deren relativer Abstand zueinander bekannt ist, lässt sich bereits bei einem stehenden Fahrzeug eine Dejustage des Systems feststellen, in dem die Winkel zwischen der optischen Hauptachse und der Verbindungslinie zwischen den Objekten und die Distanz zu den Objekten ermittelt wird. Da bereits aus den Distanzen zwischen den Objekten und dem Kamerasystem das Dreieck vollständig bestimmt ist, lassen sich hieraus die Winkel auf ihre Richtigkeit überprüfen. Bei einer Vorbeifahrt an diesen beiden Objekten lässt sich über die bekannte Trajektorie sowohl die Fehlwinkelstellung als auch ein Abstands-Offsetfehler ermitteln. Prinzipiell lässt sich über die Trajektorie die Fehlwinkelstellung und über das optische Abbildungsverhältnis der Fehler der TOF-Messung ermitteln.
2 zeigt eine Messsituation mit einem einzigen ortsfesten Messobjekt MO in einem kalibrierten und gut justierten Zustand. Zu einem ersten Zeitpunkt t wird das Messobjekt MO von der 3D-TOF-Kamera in einem ersten Winkel α₁ und in einer ersten Distanz d₁ erkannt und erfasst. Der Objektwinkel α wird hierbei in Bezug auf die optische Hauptachse HA der 3D-TOF-Kamera 200 erfasst. Im dargestellten Fall wird angenommen, dass die Trajektorie TR des Fahrzeuges typischerweise in Richtung der optischen Hauptachse HA erfolgt. Zu einem zweiten Zeitpunkt t' wird aufgrund der zurückgelegten Wegrichtung bzw. Wegstrecke das Messobjekt unter einem erwarteten Richtungsvektor d_1E in einem erwarteten Winkel α_1E zur Hauptachse HA erwartet. Im dargestellten Beispiel stimmen der erwartete Richtungsvektor d_1E und der erwartete Richtungswinkel d_1E mit dem tatsächlichen Richtungsvektor und Winkel d_1T, α_1E überein. Die tatsächlichen und erwarteten Messgrößen stimmen somit überein und dokumentieren ein einwandfrei justiertes und kalibriertes Kamerasystem.
Demgegenüber ist in 3 ein dejustiertes System gezeigt. Wie gehabt wird zu einem ersten Zeitpunkt t der Winkel und die Distanz α₁, d₁ des Messobjektes zur Hauptachse HA bestimmt. Für ein kalibriertes System wird zunächst davon ausgegangen, dass die erwartete Trajektorie TR' in Richtung der optischen Hauptachse HA ausgerichtet ist. Ausgehend von der erwarteten Trajektorie TR' wird ein erwarteter erster Richtungsvektor d_1E und ein erwarteter Winkel α_1E berechnet. Tatsächlich bewegt sich das Fahrzeug jedoch nicht auf der erwarteten Trajektorie TR', sondern auf der tatsächlichen Trajektorie TR, so dass zum zweiten Zeitpunkt t' ein tatsächlicher Winkel α_1T und ein tatsächlicher Richtungsvektor d_1T zum Messobjekt ermittelt wird. Ausgehend von der Diskrepanz zwischen den erwarteten und tatsächlichen Größen ist davon auszugehen, dass eine Dejustage oder eine Dekalibrierung des Systems vorliegt. Ausgehend von den Vektor-, Distanz- und/oder Winkeldifferenzen kann das Ausmaß der Dejustage bzw. Dekalibrierung ermittelt werden. In einer ersten Ausgestaltung kann es hierbei beispielsweise schon ausreichen, in Abhängigkeit der Größe der Abweichungen ein Fehlersignal auszugeben. Insbesondere kann es vorgesehen sein, einen Schwellenwert festzulegen, ab dem ein signifikanter Fehler gemeldet werden soll. Zudem ist es denkbar, eine Fehlersignalisierung nicht nur von einer einzigen Messung abhängig zu machen, sondern nach einer vorbestimmten Anzahl von Kontrollmessungen auszugeben.
4 zeigt eine weitere erfindungsgemäße Ausgestaltung bei der zwei Messobjekte MO1, 2 mit einer bekannten Distanz erfasst werden. Im Straßenverkehr sind hier insbesondere Leitpfosten geeignet, die typischerweise äquidistant aufgestellt sind. Im dargestellten Fall wird zu einem ersten Zeitpunkt t die Richtungsvektoren d₁, d₂ zu dem ersten und zweiten Messobjekt MO1, 2 in Distanz und Winkel bestimmt. Bereits zu diesem ersten Zeitpunkt t können erste Kalibrier- bzw. Justagefehler aufgrund des überbestimmten Messdreiecks ermittelt werden. Die Genauigkeit der Fehlereinschätzung kann weiter erhöht werden in dem zu einem zweiten Zeitpunkt t' die Messungen wiederholt und mit den erwarteten Größen verglichen werden. Im dargestellten Beispiel stimmen die erwarteten Größen mit den tatsächlichen Größen überein, so dass kein Fehler bzw. Justageaufwand ermittelt wird.
Liegt eine Dejustage des Systems vor, so kann in erster Nährang angenommen werden, dass die erwartete Trajektorie TR' ähnlich wie bereits in 3 dargestellt von der tatsächlichen Trajektorie TR abweicht. Die erwarteten und tatsächlichen Richtungsvektoren und Winkel weichen dann analog dem in 3 dargestellten Fall entsprechend voneinander ab. Weiterhin ist es denkbar, zur Verbesserung der Messgenauigkeit bzw. zur Plausibilisierung mehrere, dass heißt mehr als zwei, Messobjekte zu einem ersten und zweiten oder ggf. weiteren Zeitpunkten zu erfassen und auszuwerten und die zu erwartenden Richtungsvektoren zu berechnen.
Bezugszeichenliste

MO: Messobjekt
MO1: erstes Messobjekt
MO2: zweites Messobjekt
TR: tatsächliche Trajektorie
TR': erwartete Trajektorie
HA: Hauptachse
d1: erster Richtungsvektor bzw. erste Distanz
d2: zweiter Richtungsvektor bzw. zweite Distanz
d1/2E: erster/zweiter erwarteter Richtungsvektor bzw. erste/zweite Distanz
d1/2T: erster/zweiter tatsächlicher Richtungsvektor bzw. erste/zweite Distanz
α1: Winkel des ersten Richtungsvektors bezüglich Hauptachse
α2: Winkel des zweiten Richtungsvektors bezüglich Hauptachse
α1,2E: erwarteter erster/zweiter Richtungsvektor
α1/2T: tatsächlicher erster/zweiter Richtungsvektor
t: erster Zeitpunkt
t': zweiter Zeitpunkt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19635932 [0002]
EP 1777747 [0002]
US 6587186 [0002]
DE 19704496 [0002, 0017]

Claims

Verfahren zur Kalibrierung eines 3D-TOF-Kamerasystems mit den Schritten: – Erfassung und Erkennung mindestens eines geeigneten Messobjekts, – Bestimmung eines Richtungsvektors zu mindestens einem Messobjekt zu einem ersten Zeitpunkt, – Bestimmung eines für einen zweiten Zweitpunkt erwarteten Richtungsvektors in Abhängigkeit einer bekannten Trajektorie des Fahrzeugs, – Erfassen des Messobjekts im zweiten Zeitpunkt und Bestimmung eines zweiten Richtungsvektors, – Ermittlung einer Vektordifferenz in Winkel und/oder Abstand zwischen dem zweiten und dem erwarteten Richtungsvektor.
Verfahren nach Anspruch 5, mit den Schritten: – Erfassung und Erkennung von mindestens zwei geeigneten Messobjekten mit einem bekannten Abstand, – Bestimmung eines ersten Satz von Richtungsvektoren zu beiden Messobjekten zu einem ersten Zeitpunkt, – Bestimmung von erwarteten Richtungsvektoren zu beiden Messobjekten zu einem ersten Zeitpunkt in Abhängigkeit einer bekannten Trajektorie des Fahrzeugs, – Erfassen der Messobjekte zum zweiten Zeitpunkt und Bestimmung eines zweiten Satz von Richtungsvektoren, – Ermittlung einer Vektordifferenz in Winkel und/oder Abstand zwischen dem ersten und zweiten Satz der Richtungsvektoren,
Verfahren nach einem der vorhergehenden Ansprüche, bei dem anhand der ermittelten Vektordifferenz eine Dekalibrierung des Systems ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem abhängig von der Größe der Vektordifferenz ein Fehlersignal bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem abhängig von der Größe der Vektordifferenz bzw. Dekalibrierung eine Autokalibrierung des Systems erfolgt.
3D-TOF-Kamerasystem mit einer Kalibriervorrichtung, die zur Durchführung eines der Verfahren nach einem der Ansprüche 1 bis 2 ausgestaltet ist.