AT523670B1 - Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors - Google Patents

Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors Download PDF

Info

Publication number
AT523670B1
AT523670B1 ATA50244/2020A AT502442020A AT523670B1 AT 523670 B1 AT523670 B1 AT 523670B1 AT 502442020 A AT502442020 A AT 502442020A AT 523670 B1 AT523670 B1 AT 523670B1
Authority
AT
Austria
Prior art keywords
camera
light projector
projector
control unit
light
Prior art date
Application number
ATA50244/2020A
Other languages
English (en)
Other versions
AT523670A1 (de
Inventor
Hödlmoser Dr Michael
Seitner Dr Florian
Fischer Bsc Robert
Nezveda Dipl Ing Matej
Original Assignee
Emotion3D Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emotion3D Gmbh filed Critical Emotion3D Gmbh
Priority to ATA50244/2020A priority Critical patent/AT523670B1/de
Priority to US17/913,571 priority patent/US20230109225A1/en
Priority to EP21715175.2A priority patent/EP4126594A1/de
Priority to PCT/EP2021/057206 priority patent/WO2021191121A1/de
Publication of AT523670A1 publication Critical patent/AT523670A1/de
Application granted granted Critical
Publication of AT523670B1 publication Critical patent/AT523670B1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/06—Testing the alignment of vehicle headlight devices
    • G01M11/064—Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis
    • G01M11/065—Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis details about the image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/06—Testing the alignment of vehicle headlight devices
    • G01M11/064—Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors (1) mit adaptierbaren, in einer Bildebene (2) angeordneten Leuchtelementen (3), umfassend eine Kamera (4) und eine mit dem Lichtprojektor (1) und der Kamera (4) verbundene Steuereinheit (5), wobei der Lichtprojektor (1) dazu ausgebildet ist, in zeitlicher Abfolge zumindest zwei Testbilder (6, 6‘) mit zumindest zwei Vergleichsstrukturen (9, 9‘) von der Bildebene (2) in eine beliebig verlaufende Projektionsfläche (7) zu projizieren, die Kamera (4) eine Tiefenkamera ist, die dazu ausgebildet ist, zeitlich im Wesentlichen mit dem Lichtprojektor (1) synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche (8) aufzunehmen, in den Kamerabildern die dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) zu detektieren, die Steuereinheit (5) dazu ausgebildet ist, die Position und Orientierung des Lichtprojektors (1) zu bestimmen, und die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Projektor (1) zu berechnen, wobei die Steuereinheit (5) ferner dazu ausgebildet ist, aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) die Orientierung des Lichtprojektors (1) zu bestimmen, die rotatorische Verdrehung zwischen Kamera (4) und Projektor (1) zu berechnen, und die Leuchtelemente (3) des Lichtprojektors (1) im laufenden Betrieb derart anzusteuern, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) durch Justierung des Lichtprojektors (1) oder der Leuchtelemente (3) ausgeglichen wird.

Description

Beschreibung
VORRICHTUNG UND VERFAHREN ZUR KALIBRIERUNG EINES LICHTPROJEKTORS
[0001] Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Kalibrierung eines Lichtprojektors.
[0002] Fahrzeuge besitzen heutzutage Frontleuchten, welche adaptiv eine Szene ausleuchten bzw. komplexe Projektionsmuster in die Szene projizieren können. Dies ermöglicht es z.B. bei entgegenkommenden Fahrzeugen partiell abzublenden, um die Insassen dieser Fahrzeuge nicht zu blenden oder das Projizieren von Informationen vor Fußgängern oder anderen Verkehrsteilnehmern.
[0003] Um entsprechende Beleuchtungsstrategien umsetzen zu können, werden normalerweise mittels einer Kamera für diese Beleuchtungsstrategie relevante Objekte erkannt und basierend auf deren 2D Position im Kamerabild die Beleuchtung adaptiert. Der genaue Zusammenhang zwischen dem im Kamerabild erkannten 2D Objekt und der am Lichtprojektor verwendeten Lichtmuster (2D Array mit Intensitätswerten, welche die Beleuchtungsintensität für jedes Element des Lichtprojektors festlegt) wird aktuell empirisch ermittelt und ist entsprechend ungenau.
[0004] Dies macht es aktuell unmöglich, Bereiche in einer Szene mittels adaptiver Frontleuchte hochpräzise und qualitativ hochwertig auszuleuchten (z.B. für gezieltes Ab-/Aufblenden, Projizieren von Information an bestimmte Stellen in einer 3D Szene).
Speziell auf größere Entfernungen wirkt sich diese Ungenauigkeit entsprechend höher aus, wodurch der Einsatz von adaptiven Beleuchtungsstrategien aktuell zumeist auf wenige und sehr grobe Lichtmuster beschränkt ist. Die Verwendung von feinen Lichtmustern (z.B. für das gezieltes Projizieren von Warnungen und Hinweisen in der Nähe von Fußgängern; für das Abblenden/Verringern der Beleuchtungsintensität für stark reflektierende Verkehrszeichen; für das Hinweisen von gefährdeten Verkehrsteilnehmern durch „Anblitzen“) kann aktuell in der Praxis nicht zufriedenstellend umgesetzt werden.
[0005] Darüber hinaus können über die Zeit mechanische Beanspruchungen (z.B. Erschütterungen) zu einer Fehlpositionierung oder Verstellung der Frontleuchten gegenüber der Kamera führen. Dies wird vom Fahrer zumeist nicht erkannt und auch vom Fahrzeug nicht gemeldet, führt aber zu einer entsprechend verringerten Beleuchtungsqualität der Szene (z.B. Blenden von entgegenkommenden oder vorausfahrenden Verkehrsteilnehmern durch die adaptive Beleuchtung).
[0006] Bekannte Kalibrierungsverfahren zielen zumeist auf eine initiale Grobkalibrierung der Beleuchtung (in der Fertigung) und dem manuellen Erkennen von Fehljustierungen ab. Beispielsweise ist aus der DE 10 2017 124 955 A1 ein Verfahren zur Kalibrierung eines Lichtprojektors bekannt, welches in einer Testumgebung durchgeführt wird, um die geometrischen Relationen zwischen der im Fahrzeug angeordneten Kamera und mindestens einem Lichtprojektor zu ermitteln, sodass die Kamera und die Lichtprojektoren überhaupt in einem gemeinsamen Koordinatensystem des Fahrzeugs abgebildet werden können.
[0007] Nach dem Erkennen einer Fehljustierung im Betrieb werden Nachjustierungen grob, manuell und in Fachwerkstätten durchgeführt, wobei Kamera und Projektor anhand von vorgegebenen Testmustern wie oben beschrieben in einer kontrollierten Umgebung zueinander kalibriert werden. Bei beiden Verfahren, Initialkalibrierung und Nachjustierung, wird kein Wert auf eine dreidimensionale Kalibrierung gelegt.
[0008] Diese und andere Probleme werden erfindungsgemäß durch eine Vorrichtung und ein Verfahren nach den unabhängigen Ansprüchen gelöst.
[0009] Eine erfindungsgemäße Vorrichtung umfasst einen Lichtprojektor mit adaptierbaren, in einer Bildebene angeordneten Leuchtelementen. Dabei kann es sich um einen adaptiven Scheinwerfer eines Fahrzeugs, beispielsweise eines Autos handeln, der mit selektiv aktivierbaren LEDLeuchtelementen oder dergleichen ausgestattet ist, die es erlauben, ein beliebiges optisches Muster in eine Projektionsfläche zu projizieren.
[0010] Die Projektionsfläche kann sich beispielsweise auf einer Straße, einem Gebäude oder auf einem anderen Verkehrsteilnehmer befinden. Die Projektionsfläche muss nicht eben oder homogen sein, sondern kann eine beliebige dreidimensionale Form haben.
[0011] Ferner ist eine Kamera vorgesehen, die dazu ausgebildet ist, eine Aufnahmefläche aufzunehmen. Dabei kann es sich beispielsweise um eine in einem Fahrzeug fest eingebaute Fahrzeugkamera handeln, die etwa im oberen Bereich der Frontscheibe oder im vorderen Bereich der Fahrzeugfront, beispielsweise im Bereich der Scheinwerfer des Fahrzeugs, angeordnet ist.
[0012] Die ungefähre örtliche Korrelation, d.h. die 3D-Rotation und 3D-Translation, zwischen dem Lichtprojektor und der Kamera kann als Initialwert vorab bekannt sein, nicht zuletzt, um eine UÜberlappung der Projektionsfläche mit der Aufnahmefläche sicherzustellen. Dies ist aber nicht zwingend erforderlich.
[0013] Die Kamera ist erfindungsgemäß als Tiefenkamera, beispielsweise Stereokamera, Timeof-Flight (TOF)-Kamera, LiDAR oder dergleichen, ausgebildet. Es kann sich auch um eine Kameraanordnung, also mehrere miteinander verbundene Kameras handeln, die jeweils ein zweidimensionales Bild aus einem anderen Blickwinkel aufnehmen. Dadurch können zu jedem Punkt des Kamerabilds dessen dreidimensionale Positionsdaten in Bezug auf ein internes Koordinatensystem bestimmt werden.
[0014] Erfindungsgemäß sind sowohl der Lichtprojektor, als auch die Kamera mit einer elektronischen Steuereinheit bzw. Datenverarbeitungseinheit verbunden. Die Steuereinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU) umfassen. Die Steuereinheit ist mit einer Speichereinheit verbunden, beispielsweise in Form eines flüchtigen Halbleiterspeichers (RAM), einen nichtflüchtigen Halbleiterspeichers (ROM, SSD-Festplatte), eines magnetischen Speichers (Festplatte) und/oder eines optischen Speichers (CD-ROM). Ferner umfasst die Steuereinheit Schnittstelleneinheiten (Ethernet, USB) und dergleichen. Die Bestandteile derartiger elektronischer Komponenten sind dem Fachmann grundsätzlich bekannt.
[0015] Erfindungsgemäß ist der der Lichtprojektor dazu ausgebildet, in zeitlicher Abfolge zumindest zwei Testbilder mit zumindest zwei Vergleichsstrukturen von der Bildebene in eine beliebig verlaufende Projektionsfläche zu projizieren. Die Bildebene ist dabei jene Ebene, in der die Leuchtelemente des Lichtprojektors angeordnet sind.
[0016] Bei den Vergleichsstrukturen kann es sich vorzugsweise um visuell prägnante Strukturen (Marker) handeln, die von der Kamera leicht erkennbar sind, und zwar auch dann, wenn die Projektionsfläche stark inhomogen und nicht eben verläuft. Im Falle eines Scheinwerfers als Projektor kann es sich zum Beispiel um gleichmäßig verteilte Kreise bzw. Projektionen von Kreisen handeln, die durch Auftreffen der Lichtstrahlen auf der Projektionsfläche entstehen. Zur Vereinfachung der Detektion von korrelierenden Vergleichsstrukturen in zumindest zwei Kamerabildern kann der Projektor zum Beispiel dazu ausgebildet sein, in zeitlich definierten Abständen Testbilder mit unterschiedlichen Vergleichsstrukturen, oder aber auch farblich oder geometrisch unterschiedlich ausgeprägte Vergleichsstrukturen zu erzeugen.
[0017] Die beiden zeitlich hintereinander ausgesendeten Testbilder müssen zumindest partiell identisch sein, sodass auch die darauf verwendeten Vergleichsstrukturen identisch sind. Dies erleichtert die Erkennung der Vergleichsstrukturen in beiden Testbildern auch bei stark verzerrten Aufnahmebildern.
[0018] Das Projizieren der Testbilder erfolgt, während sich der Abstand zwischen dem Lichtprojektor und der Projektionsfläche ändert, also vorzugsweise bei einem sich bewegenden Fahrzeug. Es kann aber auch vorgesehen sein, dass das Fahrzeug still steht und sich die Projektionsfläche bewegt, beispielsweise in einer Testumgebung.
[0019] Die Kamera ist dazu ausgebildet, zeitlich im Wesentlichen mit dem Lichtprojektor synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche aufzunehmen, welche die Projektionsfläche im Wesentlichen umfasst. Die Aufnahmefläche befindet sich dabei in einem Abstand
vor dem Lichtprojektor und umfasst die Projektionsfläche im Wesentlichen. Mit anderen Worten, die Projektionsfläche ist im Wesentlichen ein Teil der Aufnahmefläche, sodass die Kamera das gesamte projizierte Bild aufnehmen kann. Auch die Aufnahmefläche muss nicht eben sein, sondern kann beliebig strukturiert sein.
[0020] Die Kamera ist ferner dazu ausgebildet, in den zumindest zwei aufgenommenen Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen zu detektieren. Die Kamera liefert also zumindest vier dreidimensionale Koordinaten, nämlich die Koordinaten von jeweils zwei erkannten Vergleichsstrukturen zu zwei unterschiedlichen Zeitpunkten. Die Steuereinheit ist erfindungsgemäß dazu ausgebildet, aus den zumindest vier detektierten dreidimensionalen Positionsdaten der Vergleichsstrukturen die Position und Orientierung des Lichtprojektors zu bestimmen. Dies kann dadurch erfolgen, dass die Steuereinheit zwei Lichtstrahlen rekonstruiert, die durch ein und dieselbe Vergleichsstruktur, aber zu unterschiedlichen Zeitpunkten, verlaufen. Der Schnittpunkt der beiden Lichtstrahlen ergibt die Position des Lichtprojektors.
[0021] Die Steuereinheit ist ferner dazu ausgebildet, die translatorische Verschiebung zwischen Kamera und Projektor zu berechnen. Ferner kann die Steuereinheit auch dazu ausgebildet sein, die rotatorische Verdrehung zwischen Kamera und Projektor zu berechnen.
[0022] Die Steuereinheit kann auch dazu ausgebildet sein, durch Vergleich der ermittelten Koordinaten des Lichtprojektors mit einer vorab hinterlegten Initialposition die translatorische Verschiebung zwischen Kamera und Projektor relativ zu einer Initialposition zu berechnen. Ferner kann die Steuereinheit auch dazu ausgebildet sein, durch Vergleich der ermittelten Koordinaten des Lichtprojektors mit einer vorab hinterlegten Initialorientierung die rotatorische Verdrehung relativ zu einer Initialrotation zu berechnen.
[0023] Mit anderen Worten, durch Aussenden von zwei Testbildern auf eine Projektionsfläche, die sich gegenüber dem internen Koordinatensystem der Kamera bewegen, und Detektion der Position von Vergleichsstrukturen auf der Projektionsfläche kann die Steuereinheit die Position des aussendenden Lichtprojektors rekonstruieren.
[0024] Unter der Annahme, dass für jede der identifizierten Vergleichsstrukturen die Projektionsgerade durch die zumindest zwei zeitlich hintereinander aufgenommenen 3D Punkte verläuft, entspricht der Schnittpunkt der Projektionsgeraden genau dem Zentrum des Lichtprojektors. Nachdem die 3D Punkte im Koordinatensystem der Kameraeinheit beschrieben sind, ist automatisch auch der Schnittpunkt und somit auch das Zentrum des Lichtprojektors im gleichen Koordinatensystem beschrieben. Dementsprechend kann danach auch die relative Orientierung, beschrieben durch eine Rotation und eine Translation, zwischen der Kamera und dem Lichtprojektor bestimmt werden.
[0025] Durch Vergleich dieser berechneten Position kann ein intern hinterlegter initialer Positionszusammenhang zwischen dem Lichtprojektor und der Kamera korrigiert werden. Ist noch kein initialer Positionszusammenhang verfügbar, kann die eruierte translatorische Verschiebung zwischen Kamera und Projektor als initialer Positionszusammenhang festgelegt werden. Ferner kann auch eine initial gespeicherte Verdrehung zwischen Lichtprojektor und Kamera durch Feststellung der tatsächlichen Verdrehung anhand der aufgenommenen Kamerabilder korrigiert werden. Ist noch keine initiale Verdrehung verfügbar, kann die eruierte rotatorische Verdrehung zwischen Kamera und Projektor als initiale Verdrehung festgelegt werden.
Die Steuereinheit kann die ermittelte translatorische Verschiebung und die rotatorische Verdrehung in der Speichereinheit für die spätere Verwendung abspeichern.
[0026] Die Steuereinheit ist erfindungsgemäß dazu ausgebildet, die translatorische Verschiebung und/oder rotatorische Verdrehung zwischen Lichtprojektor und Kamera durch mechanische Justierung des Lichtprojektors oder der Leuchtelemente auszugleichen. Die Steuereinheit kann auch derart ausgebildet sein, dass sie die Leuchtelemente des Lichtprojektors im laufenden Betrieb derart ansteuert, dass die translatorische Verschiebung und/oder rotatorische Verdrehung zwischen Lichtprojektor und Kamera ohne mechanische Justierung ausgeglichen werden.
[0027] Die erfindungsgemäße Vorrichtung ist dazu ausgeführt, diese Schritte im laufenden Betrieb des Fahrzeugs durchzuführen, also während sich das Fahrzeug fortbewegt. Die aufgenommenen zumindest zwei Kamerabilder unterscheiden sich dann durch ihre aufgenommenen Positionsdaten der einzelnen Bildpunkte, und gegebenenfalls auch in den optischen Details selbst.
[0028] Eine derartige erfindungsgemäße Vorrichtung erlaubt in der Praxis vielfältige vorteilhafte Anwendungen. So kann eine Kalibrierung des Lichtprojektors nicht nur in einer Testumgebung, sondern jederzeit im laufenden Betrieb erfolgen. Veränderungen der Orientierung zwischen dem Lichtprojektor und der Kamera können im laufenden Betrieb erkannt und kompensiert werden. Ferner können adaptive Beleuchtungsmuster eindeutig in den 3D-Raum projiziert werden, indem die zu sendenden Bildmuster anhand der detektierten und gespeicherten Positionskorrelation derart angepasst werden, dass Verschiebung und Verdrehung korrigiert werden. Somit können auch bei einem verdrehten und verschobenen Lichtprojektor im Wesentlichen korrekte Projektionen von gewünschten Bildmustern erreicht werden. Insbesondere kann bei einer erfindungsgemäßen Vorrichtung durch die Feststellung der Korrelation zwischen dem Lichtprojektor und der Kamera eindeutig bestimmt werden, welche Leuchtelemente im Lichtprojektor aktiviert werden müssen, um einen Projektionsstrahl zu einer 3D- Position eines bestimmten Objekts zu senden und dieses zu beleuchten; dieses Wissen kann für gezielte Beleuchtungsstrategien eingesetzt werden.
[0029] Die Erfindung umfasst ferner ein Verfahren zur Kalibrierung eines Lichtprojektors mit adaptierbaren, in einer Bildebene angeordneten Leuchtelementen, wobei der Lichtprojektor in zeitlicher Abfolge zumindest zwei Testbilder mit zumindest zwei Vergleichsstrukturen in eine beliebig verlaufende Projektionsfläche projiziert, eine als Tiefenkamera ausgebildete Kamera zeitlich im Wesentlichen mit dem Lichtprojektor synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche, welche die Projektionsfläche im Wesentlichen umfasst, aufnimmt, in den Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen detektiert, eine Steuereinheit aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen die Position und Orientierung des Lichtprojektors bestimmt, und, gegebenenfalls durch Vergleich der Position und Orientierung des Lichtprojektors mit einer vorab hinterlegten Initialposition und Initialorientierung, die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera und Projektor berechnet.
Erfindungsgemäß ist vorgesehen, dass die Steuereinheit die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera und Lichtprojektor durch Justierung des Lichtprojektors ausgleicht.
[0030] Erfindungsgemäß ist vorgesehen, dass die Steuereinheit die Leuchtelemente des Lichtprojektors im laufenden Betrieb derart ansteuert, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera und Lichtprojektor ausgeglichen werden.
[0031] Die Erfindung umfasst ferner ein computerlesbares Speichermedium, umfassend Anweisungen, die eine elektronische Steuereinheit zur Ausführung eines erfindungsgemäßen Verfahrens veranlassen.
[0032] Weitere erfindungsgemäße Merkmale ergeben sich aus den Ansprüchen, den Ausführungsbeispielen und den Figuren.
[0033] Die Erfindung wird im Folgenden an Hand eines exemplarischen, nicht ausschließlichen Ausführungsbeispiels erläutert.
[0034] Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung in einem Fahrzeug;
[0035] Fig. 2 zeigt eine schematische Darstellung des örtlichen Zusammenhangs zwischen den projizierten und aufgenommenen Bildern.
[0036] Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung in einem Fahrzeug. Die Vorrichtung umfasst einen Lichtprojektor 1 mit in einer Bildebene 2 angeordneten Leuchtelementen 3, beispielsweise LEDs oder Laserlichtquellen. Der
Lichtprojektor 1 strahlt ein Testbild 6 auf eine Projektionsfläche 7, in diesem Fall die vor ihm liegende Landschaft, beispielsweise Häuserfronten oder dergleichen. Das Testbild 6 kann auch als einzelner Laserstrahl oder dergleichen ausgebildet sein.
[0037] Eine Kamera 4 befindet sich ebenfalls am Fahrzeug und ist auf die Projektionsfläche 7 gerichtet. Die Kamera 4 nimmt eine Aufnahmefläche 8 auf, welche die Projektionsfläche 7 in diesem Beispiel gänzlich umfasst. Somit kann die Kamera 4 das vom Lichtprojektor 1 projizierte Testbild 6 zur Gänze aufnehmen. Während die Bildebene 2 in der Regel eben ist, handelt es sich bei der Aufnahmefläche 8 und bei der Projektionsfläche 7 um beliebig gekrümmte Flächen, beispielsweise Gebäudefassaden oder dergleichen.
[0038] Die Kamera 4 ist in diesem Ausführungsbeispiel als Stereokamera mit zwei Einzelkameras ausgebildet, das heißt, sie ist in der Lage, zu jedem aufgenommenen Kamerabild (oder detektierten Laserimpuls) die dreidimensionalen Positionsdaten der empfangenen Bildpunkte zu ermitteln. Dabei werden die Positionsdaten in Bezug auf ein internes Koordinatensystem der Kamera 4 aufgenommen. Beispielsweise kann die Kamera 4 zwei als Stereokamera mit zwei nebeneinander angeordneten Einzelkameras ausgebildet sein, wobei aus den Daten der beiden Einzelkameras die 3D- Positionsdaten berechnet werden.
[0039] Der Lichtprojektor 1 und die Kamera 4 sind mit einer elektronischen Steuereinheit 5, beispielsweise eines Bordcomputers, verbunden, der mit einer elektronischen Speichereinheit 10 in Verbindung steht. Die Steuereinheit 5 kennt das interne Koordinatensystem der Kamera 4 und des Lichtprojektors 1 und kann optional auch deren initiale Relationen zueinander kennen. Das heißt die Steuereinheit kennt optional sowohl den dreidimensionalen Abstand als auch die Rotation zwischen Kamera 4 und Lichtprojektor 1.
[0040] Im Betrieb sendet die Steuereinheit 5 dem Lichtprojektor 1 den Befehl zum Aussenden eines Testbilds 6 in die Projektionsfläche 7, und, in Synchronität dazu, der Kamera 4 den Befehl zur Aufnahme eines Kamerabilds von der Aufnahmefläche 8.
[0041] Fig. 2 zeigt eine schematische Darstellung des örtlichen Zusammenhangs zwischen den von einem Lichtprojektor 1 (Symbol Z3) projizierten und den von der Kamera 4 aufgenommenen Bildern. In dieser Darstellung ist die Kamera 4 durch eine Stereokamera mit zwei nebeneinander angeordneten Einzelkameras Z1, Z2 gebildet.
[0042] Um die vom Lichtprojektor 1 ausgesandten Lichtstrahlen rekonstruieren zu können, ist es notwendig, den Zusammenhang zwischen Lichtprojektor 1 und Projektionsfläche 7 zu verändern. Dies kann einerseits durch Bewegung der Projektionsfläche 7, andererseits aber auch durch Bewegung des Lichtprojektors 1 erfolgen, wobei die relative Positionierung zwischen Lichtprojektor 1 und Kamera 4 gleich bleibt.
[0043] Eine Bewegung der Projektionsfläche 7 in Kombination mit der Bewegung des Lichtprojektors 1 kann in der Praxis zum Beispiel durch ein fahrendes Auto erreicht werden, an dem das System montiert ist. Es werden dann zu unterschiedlichen Zeitpunkten unterschiedliche 3D Punkte der auftreffenden Lichtstrahlen rekonstruiert. Dabei ist es notwendig, dass sich der Ursprung des jeweiligen Koordinatensystems für die Rekonstruktion der Punkte nicht ändert. Dies wird erreicht, indem die jeweiligen 3D Koordinaten nicht in ein globales Koordinatensystem zusammengeführt werden. Vielmehr befinden sich die rekonstruierten Punkte in lokalen, aber gleichen Koordinatensystemen. Der Ursprung des Koordinatensystems liegt im Kamerazentrum der linken Kamera Z1. Die in diesem Koordinatensystem berechnete, relative Orientierung der Kamera zum Lichtprojektor 1 ist gleich RO und TO.
[0044] Der Lichtprojektor Z3 projiziert zum Zeitpunkt t1 ein erstes Testbild 6 in die Projektionsfläche 7, und zum Zeitpunkt t2 ein zweites Testbild 6‘. Die Testbilder 6, 6‘ umfassen jeweils identische Vergleichsstrukturen 9, 9‘, beispielsweise in Form von markanten Fadenkreuzen oder dergleichen. In der Zwischenzeit hat sich der Abstand zwischen der Projektionsfläche 7 und dem Lichtprojektor 1 erhöht, sodass sich die Positionen P1 und P6 der Vergleichsstrukturen 9, 9‘ verändert haben. Die Lichtstrahlen treffen dabei im laufenden Betrieb auf beliebige Oberflächen, wobei die beleuchteten Punkte in beiden Einzelkameras Z1, Z2 der Kamera 4 detektiert werden.
Aus den Einzelbildern kann die 3D Position jedes Punktes, der am ausgesandten Lichtstrahl liegt, berechnet werden.
[0045] Die Kamera 4 ermittelt durch zeitlich synchronisierte Aufnahme der Aufnahmeflächen 8 die Ortskoordinaten der Punkte P1 zum Zeitpunkt t1 und P6 zum Zeitpunkt t2. Bei P1 und P6 handelt es sich um dieselbe Vergleichsstruktur, die zu unterschiedlichen Zeiten projiziert wird, während sich das Fahrzeug in Bewegung befindet.
Die Koordinaten der linken Stereokamera Z1 sind bekannt und bilden in diesem Ausführungsbeispiel den Ursprung des internen Koordinatensystems (0, 0, 0); die Koordinaten der rechten Stereokamera sind in diesem Koordinatensystem ebenfalls bekannt als (Z2,, Z2,, Z2,). Die Koordinaten des Lichtprojektors 1, angegeben als (Z3,, Z3,, Z3,), sind hier nicht mit Sicherheit bekannt, sondern werden durch die Steuereinheit 5 berechnet.
[0046] Ziel des Verfahrens ist es, die schematisch angedeutete Translation TO und Rotation RO, also den geometrischen Zusammenhang, zwischen dem Lichtprojektor und der Kamera zu ermitteln.
[0047] Aus den von der linken Kamera ermittelten Koordinaten der Vergleichsstruktur zum Zeitpunkt t1 und t2, nämlich (p11 und p6+), und den von der rechten Kamera ermittelten Koordinaten der Vergleichsstruktur zum Zeitpunkt t1 und t2, nämlich (p12 und p6»2), berechnet die Steuereinheit 5 den Verlauf des durch die Punkte P1 und P6 laufenden Lichtstrahls.
[0048] Durch die Generierung von mehreren, unterschiedlichen Lichtstrahlen, die vom Lichtprojektor 1 ausgesandt werden, kann das Zentrum des Lichtprojektors 1 durch den Schnittpunkt dieser Lichtstrahlen eruiert werden.
In der Praxis muss sichergestellt werden, dass zwischen den unterschiedlichen ausgesandten Lichtstrahlen in den Einzelkameras Z1, Z2 (die als unterschiedliche Punkte in den Kamerabildern auftreten) unterschieden werden kann da die eindeutige Zuordnung von auftreffenden Lichtstrahlen in linkem und rechtem Kamerabild notwendig ist, um einen 3D Punkt berechnen zu können. Dies wird dadurch erreicht, dass identische Vergleichsstrukturen 9, 9° verwendet werden.
[0049] Durch Vergleich der Positionen eines oder mehrerer weiterer Vergleichsstrukturen kann der Verlauf weiterer, in der Figur schematisch angedeuteter Lichtstrahlen berechnet werden. Der Schnittpunkt von zwei oder mehr ermittelten Lichtstrahlen zu zwei oder mehr Vergleichsstrukturen ergibt die Position des Lichtprojektors 1, woraus die Steuereinheit den Abstand TO und die Rotation RO zur Position der Kamera 4 berechnet.
[0050] In Folge speichert die Steuereinheit 5 diese festgestellte Verschiebung TO und Verdrehung RO in der Speichereinheit 10 ab und aktiviert einen oder mehrere Aktuatoren, um den Lichtprojektor 1 derart mechanisch zu verschieben oder zu verdrehen, dass Verschiebung oder Verdrehung im laufenden Betrieb ausgeglichen werden.
[0051] In einer alternativen Ausführungsform, bei der der Lichtprojektor 1 nicht durch die Steuereinheit verschoben oder verdreht werden kann, ändert die Steuereinheit 5 im laufenden Betrieb die auszusendenden Bilder des Lichtprojektors 1 derart auf elektronischem Wege, dass die Verschiebung oder Verdrehung ausgeglichen werden.
[0052] Erfindungsgemäß kann vorgesehen sein, dass interessante Objekte oder Bereiche in der Kamera (z.B. im linken oder rechten Bild der Stereokamera) über Bildanalyse identifiziert werden und deren 3D Position (z.B. bei Stereokamera mittels Stereorekonstruktion) bestimmt wird. Mit Hilfe der ermittelten Korrelation RO, TO zwischen Lichtprojektor und Kamera kann bestimmt werden, welche Lichtelemente im Lichtprojektor aktiviert werden müssen, um einen Projektionsstrahl zu der 3D Position des Objekts zu senden und dieses zu beleuchten; dieses Wissen kann für gezielte Beleuchtungsstrategien eingesetzt werden.
[0053] Die Erfindung beschränkt sich nicht auf die beschriebenen Ausführungsbeispiele, sondern umfasst auch weitere Ausführungen der vorliegenden Erfindung im Rahmen der nachfolgenden Patentansprüche.
BEZUGSZEICHENLISTE
1 Lichtprojektor
2 Bildebene
3 Leuchtelemente 4 Kamera
5 Steuereinheit 6,6‘ Testbild
7 Projektionsfläche 8 Aufnahmefläche
9, 9° Vergleichsstruktur 10 Speichereinheit

Claims (5)

Patentansprüche
1. Vorrichtung zur Kalibrierung eines Lichtprojektors (1) mit adaptierbaren, in einer Bildebene (2) angeordneten Leuchtelementen (3), umfassend a. eine Kamera (4), b. eine mit dem Lichtprojektor (1) und der Kamera (4) verbundene Steuereinheit (5), und C. eine mit der Steuereinheit (5) verbundene Speichereinheit (10),
d. der Lichtprojektor (1) dazu ausgebildet ist, in zeitlicher Abfolge zumindest zwei Testbilder (6, 6°) mit zumindest zwei Vergleichsstrukturen (9, 9‘) von der Bildebene (2) in eine beliebig verlaufende Projektionsfläche (7) zu projizieren,
e. die Kamera (4) eine Tiefenkamera ist, die dazu ausgebildet ist,
i. zeitlich im Wesentlichen mit dem Lichtprojektor (1) synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche (8) aufzunehmen, welche die Projektionsfläche (7) im Wesentlichen umfasst,
il. In den Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen (9, 9°) zu detektieren,
f. die Steuereinheit (5) dazu ausgebildet ist,
il. aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) die Position des Lichtprojektors (1) zu bestimmen, und
il. die translatorische Verschiebung zwischen Kamera (4) und Projektor (1) zu berechnen,
dadurch gekennzeichnet, dass die Steuereinheit (5) ferner dazu ausgebildet ist, il. aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9°) die Orientierung des Lichtprojektors (1) zu bestimmen, iv. die rotatorische Verdrehung zwischen Kamera (4) und Projektor (1) zu berechnen, und
v. die Leuchtelemente (3) des Lichtprojektors (1) im laufenden Betrieb derart anzusteuern, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) durch Justierung des Lichtprojektors (1) oder der Leuchtelemente (3) ausgeglichen wird.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Lichtprojektor (1) ein adaptiver Scheinwerfer eines Fahrzeugs ist.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kamera (4) eine Stereokamera, Time-of-Flight (TOF)-Kamera, oder LiDAR ist.
4. Verfahren zur Kalibrierung eines Lichtprojektors (1) mit adaptierbaren, in einer Bildebene (2) angeordneten Leuchtelementen (3), wobei a. der Lichtprojektor (1) in zeitlicher Abfolge zumindest zwei Testbilder (6, 6°) mit zumindest zwei Vergleichsstrukturen (9, 9‘) in eine beliebig verlaufende Projektionsfläche (7) projiziert, b. eine als Tiefenkamera ausgebildete Kamera (4) ji. zeitlich im Wesentlichen mit dem Lichtprojektor (1) synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche (8), welche die Projektionsfläche (7) im Wesentlichen umfasst, aufnimmt, il. In den Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen (9, 9°) detektiert, c. eine Steuereinheit (5) il. aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) die Position des Lichtprojektors (1) bestimmt, und il. die translatorische Verschiebung zwischen Kamera (4) und Projektor (1) berechnet, dadurch gekennzeichnet, dass die Steuereinheit (5) ferner il. aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) die Orientierung des Lichtprojektors (1) bestimmt,
ii. die rotatorische Verdrehung zwischen Kamera (4) und Projektor (1) berechnet, und
il. die Leuchtelemente (3) des Lichtprojektors (1) im laufenden Betrieb derart ansteuert, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) durch Justierung des Lichtprojektors (1) oder der Leuchtelemente (3) ausgeglichen werden.
5. Computerlesbares Speichermedium, umfassend Anweisungen, die eine elektronische Steuereinheit (5) zur Ausführung eines Verfahrens nach Anspruch 4 veranlassen.
Hierzu 2 Blatt Zeichnungen
ATA50244/2020A 2020-03-24 2020-03-24 Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors AT523670B1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
ATA50244/2020A AT523670B1 (de) 2020-03-24 2020-03-24 Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors
US17/913,571 US20230109225A1 (en) 2020-03-24 2021-03-22 Device and method for calibrating a light projector
EP21715175.2A EP4126594A1 (de) 2020-03-24 2021-03-22 Vorrichtung und verfahren zur kalibrierung eines lichtprojektors
PCT/EP2021/057206 WO2021191121A1 (de) 2020-03-24 2021-03-22 Vorrichtung und verfahren zur kalibrierung eines lichtprojektors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA50244/2020A AT523670B1 (de) 2020-03-24 2020-03-24 Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors

Publications (2)

Publication Number Publication Date
AT523670A1 AT523670A1 (de) 2021-10-15
AT523670B1 true AT523670B1 (de) 2023-07-15

Family

ID=75277988

Family Applications (1)

Application Number Title Priority Date Filing Date
ATA50244/2020A AT523670B1 (de) 2020-03-24 2020-03-24 Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors

Country Status (4)

Country Link
US (1) US20230109225A1 (de)
EP (1) EP4126594A1 (de)
AT (1) AT523670B1 (de)
WO (1) WO2021191121A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT522797B1 (de) 2020-03-02 2021-02-15 Emotion3D Gmbh Verfahren und Vorrichtung zur Einstellung oder Steuerung einer Fahrzeugkomponente
JP2022185342A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
DE102022106205A1 (de) 2022-03-16 2023-09-21 Bayerische Motoren Werke Aktiengesellschaft Projektionssystem für einen Prüfstand für Fahrassistenzsysteme eines Kraftfahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017124955A1 (de) * 2017-10-25 2019-04-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Feststellen einer Lagebeziehung zwischen einer Kamera und einem Scheinwerfer eines Fahrzeugs
US20190128497A1 (en) * 2017-10-26 2019-05-02 Osram Sylvania Inc. Integrated automotive adaptive driving beam headlamp and calibration method
WO2019179753A1 (de) * 2018-03-22 2019-09-26 Audi Ag Verfahren zum kalibrieren einer position eines matrix-scheinwerfers eines kraftfahrzeugs, steuereinrichtung und kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017124955A1 (de) * 2017-10-25 2019-04-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Feststellen einer Lagebeziehung zwischen einer Kamera und einem Scheinwerfer eines Fahrzeugs
US20190128497A1 (en) * 2017-10-26 2019-05-02 Osram Sylvania Inc. Integrated automotive adaptive driving beam headlamp and calibration method
WO2019179753A1 (de) * 2018-03-22 2019-09-26 Audi Ag Verfahren zum kalibrieren einer position eines matrix-scheinwerfers eines kraftfahrzeugs, steuereinrichtung und kraftfahrzeug

Also Published As

Publication number Publication date
AT523670A1 (de) 2021-10-15
EP4126594A1 (de) 2023-02-08
WO2021191121A1 (de) 2021-09-30
US20230109225A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
AT523670B1 (de) Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors
EP2630463B1 (de) Verfahren und vorrichtung zur überprüfung eines lichttechnischen fahrassistenzsystems
DE102011081392B4 (de) Verfahren zur Kalibrierung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102008025458B4 (de) Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze
DE60309278T2 (de) Vorrichtung und Verfahren zur Einstellung der Neigung eines Fahrzeugscheinwerfers
EP2294380A1 (de) Verfahren zur dejustageerkennung eines fahrzeugscheinwerfers mit einer kamera
DE60309279T2 (de) Vorrichtung und Verfahren zur Einstellung der Neigung eines Fahrzeugscheinwerfers
DE102008008868B4 (de) Fahrzeug-Fahrzeug-Informationsübertragungssystem
EP3329462B1 (de) Verfahren zum identifizieren eines objekts in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102017124955B4 (de) Verfahren zum Feststellen einer Lagebeziehung zwischen einer Kamera und einem Scheinwerfer eines Fahrzeugs
DE102018206759B4 (de) Fahrzeugscheinwerfersystem und verfahren zum steuern desselben
EP2416139A1 (de) Verfahren zur Kalibrierung eines wenigstens einen Scheinwerfer eines Kraftfahrzeuges ansteuernden Fahrzeugsystems
EP3014239B1 (de) Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug
WO2019179753A1 (de) Verfahren zum kalibrieren einer position eines matrix-scheinwerfers eines kraftfahrzeugs, steuereinrichtung und kraftfahrzeug
DE102012102446A1 (de) Kamerabasierte Scheinwerferjustage
DE102013201876A1 (de) Verfahren zur Kalibrierung zumindest eines Scheinwerfers
DE102014009254B4 (de) Verfahren zum Steuern einer Lichtverteilung eines Scheinwerfers eines Fahrzeugs
DE102010048689A1 (de) Verfahren zum Justieren und/oder Kalibrieren zumindest eines Scheinwerfers eines Fahrzeugs
EP3084385A1 (de) Verfahren und vorrichtung zum bestimmen einer leuchtweitenausrichtung eines scheinwerfers
DE102011003550A1 (de) Verfahren und Vorrichtung zum Justieren einer Grundeinstellung eines Scheinwerfers eines Kraftfahrzeugs
DE102015012816B4 (de) Verfahren zum Kalibrieren und Betreiben eines Laserscheinwerfers in einem Kraftfahrzeug und Kraftfahrzeug
DE102015223500A1 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102013019022B4 (de) Verfahren zum Einstellen eines Frontscheinwerfers eines Kraftfahrzeugs
DE102017205768A1 (de) Scheinwerfersystem für ein Fahrzeug
DE102013111645B4 (de) Leuchtsystem für ein Kraftfahrzeug sowie Verfahren zur Justage einer Lichteinheit eines derartigen Leuchtsystems