-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Um große Blickwinkel abdecken und kleinere Objekte auch in größerer Entfernung mit ausreichend hoher Auflösung erfassen zu können, können Kameras zur Umfelderfassung in Fahrzeugen mit Sensorauflösungen realisiert sein, die proportional mit dem Quadrat einer Winkelaufweitung des Blickwinkels zunehmen.
-
Ferner sind Lösungen mit mehreren Kameras zur Vergrößerung des Sichtfelds bekannt, wobei die Kameras in der Regel getrennt voneinander ausgewertet werden.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz eine Umfelderfassungseinrichtung für ein Fahrzeug, ein Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung für ein Fahrzeug, weiterhin ein Steuergerät, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Es wird eine Umfelderfassungseinrichtung für ein Fahrzeug vorgestellt, wobei die Umfelderfassungseinrichtung folgende Merkmale aufweist:
einen Farbsensor mit einer Farbpixelmatrix; und
einen Monochromsensor mit einer Monochrompixelmatrix, wobei der Farbsensor und der Monochromsensor derart zueinander ausgerichtet sind, dass ein Objektpunkt eines von der Farbpixelmatrix und der Monochrompixelmatrix erfassbaren Objekts auf einen Matrixpunkt der Farbpixelmatrix und einen bezüglich des Matrixpunkts der Farbpixelmatrix um einen Versatzwert versetzten Matrixpunkt der Monochrompixelmatrix projiziert wird.
-
Unter einem Farbsensor kann ein mit einem Farbfilter, englisch color filter array, überzogener Fotosensor verstanden werden. Insbesondere kann es sich bei dem Farbfilter um einen multispektralen Farbfilter zum Filtern von Licht unterschiedlicher Spektralbereiche handeln. Unter einer Farbpixelmatrix und einer Monochrompixelmatrix kann jeweils eine beispielsweise orthogonale Matrix aus einer Vielzahl aneinandergrenzender Pixel verstanden werden. Unter einem Monochromsensor kann ein Sensor zum Erfassen monochromen Lichts verstanden werden. Die Farbpixelmatrix und die Monochrompixelmatrix können beispielsweise auf einem gemeinsamen Träger realisiert sein. Unter einem Objektpunkt kann ein abzubildender reeller Punkt eines zu erfassenden Objekts verstanden werden. Unter einem Matrixpunkt kann eine Stelle der Farb- bzw. Monochrompixelmatrix verstanden werden, auf die der Objektpunkt, etwa unter Verwendung geeigneter optischer Hilfsmittel, abgebildet werden kann. Der Versatzwert kann beispielsweise auf der Basis eines Abstands zwischen Mittelpunkten benachbarter Pixel der Farbpixelmatrix ermittelt sein. Dieser Abstand kann auch als Gitterkonstante bezeichnet werden.
-
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass es durch die Überlagerung einer Farbpixelmatrix und einer Monochrompixelmatrix und durch eine systematische Nutzung eines gemeinsam abgedeckten Bereichs möglich ist, die Auflösung einer Fahrzeugkamera deutlich zu erhöhen. Dadurch kann wiederum die Anzahl der durch die Fahrzeugkamera erfassbaren Objektmerkmale erhöht werden. Ein weiterer Vorteil einer derartigen Umfelderfassungseinrichtung besteht darin, dass durch die Überlagerung und gleichzeitige Auswertung der beiden Pixelmatrizen die Datenmengen bei der Übertragung und Verarbeitung von Bilddaten trotz der erhöhten Auflösung gering gehalten werden können, was sich wiederum günstig auf den Energieverbrauch der Umfelderfassungseinrichtung auswirken kann. Ferner können somit optische Verluste reduziert werden, was die Diskriminierungsfähigkeit des Systems verbessert.
-
Besonders vorteilhaft ist es, wenn die Umfelderfassungseinrichtung beispielsweise einen Farbsensor mit mehr als drei Farbkanälen, insbesondere vier Farbkanälen wie etwa Blau, Rot, Grün und Infrarot, und einen Monochromsensor mit einer entsprechend höheren Luminanzauflösung als der Farbsensor aufweist. Dadurch kann ein Bild berechnet werden, das neben einer erhöhten Kontrastauflösung über eine sehr differenzierte Farbauflösung verfügt und sich somit besonders gut zur Objekterkennung eignet.
-
Gemäß einer Ausführungsform kann der Versatzwert einen Versatz des Matrixpunkts der Monochrompixelmatrix in x- und/oder y-Richtung bezüglich eines äußeren Rands der Farbpixelmatrix repräsentieren. Dadurch kann der Versatz zwischen den beiden Matrixpunkten in mehreren Richtungen definiert werden. Ein solcher Versatzwert kann zudem sehr einfach und genau ermittelt werden.
-
Es ist ferner vorteilhaft, wenn der Versatzwert durch Division eines Abstands zwischen Mittelpunkten von Pixeln der Farbpixelmatrix durch eine gerade Zahl gebildet ist. Der Abstand kann beispielsweise als eine eine regelmäßige Struktur der Farbpixelmatrix definierende Gitterkonstante aufgefasst werden. Durch diese Ausführungsform kann beispielsweise der Versatz zwischen den beiden Matrixpunkten in x- bzw. y-Richtung sehr einfach berechnet werden.
-
Des Weiteren können eine Winkelauflösung der Farbpixelmatrix und eine Winkelauflösung der Monochrompixelmatrix voneinander abweichen.
-
Insbesondere können die Winkelauflösung der Monochrompixelmatrix und die Winkelauflösung der Farbpixelmatrix in einem geradzahligen Verhältnis zueinander stehen. Dadurch kann die Umfelderfassungseinrichtung Objekte mit unterschiedlichen Auflösungen erfassen. Beispielsweise können sich die jeweiligen Erfassungsbereiche der beiden Pixelmatrizen in einem Überlappungsbereich überlappen, wobei der Überlappungsbereich eine besonders hohe Auflösung aufweist.
-
Von Vorteil ist auch, wenn die Umfelderfassungseinrichtung ein Prisma zum Projizieren des Objektpunkts auf die Farbpixelmatrix und die Monochrompixelmatrix aufweist. Zusätzlich oder alternativ kann die Umfelderfassungseinrichtung eine erste optische Einrichtung zum Projizieren des Objektpunkts auf die Farbpixelmatrix oder eine zweite optische Einrichtung zum Projizieren des Objektpunkts auf die Monochrompixelmatrix aufweisen. Unter einer optischen Einrichtung kann beispielsweise ein Kameraobjektiv verstanden werden. Die erste oder zweite optische Einrichtung kann etwa eine Linse, einen Spiegel oder mehrere solcher Linsen oder Spiegel aufweisen. Dadurch kann der Objektpunkt mit verhältnismäßig geringem Aufwand präzise auf den jeweiligen Matrixpunkt gelenkt werden.
-
Gemäß einer weiteren Ausführungsform kann die Farbpixelmatrix zumindest ein Pixelfeld aus vier Pixeln umfassen. Zumindest drei der vier Pixel können je einer anderen Farbe zugeordnet sein. Insbesondere kann zumindest eines der vier Pixel dem Infrarotbereich oder einem spektral breitbandigen aber NIR geblocktem zugeordnet sein. Unter einem Pixelfeld kann eine aus den vier Pixeln zusammengesetzte lichtempfindliche Fotozelle oder -fläche des Farbsensors verstanden werden. Beispielsweise kann das Pixelfeld je nach Form der Pixel quadratisch oder rechteckig sein. Die Farbpixelmatrix kann etwa als RGBI-Matrix realisiert sein (RGBI = Red Green Blue Intensity oder RGCbbCwo_nir = Red, Green, Clearbroad band, Clearwithout Near Infrared). Durch diese Ausführungsform kann die Umfelderfassungseinrichtung mit einer sehr hohen Farbauflösung bzw. mit erweiterter Spektralauflösung realisiert werden.
-
Zudem kann die Umfelderfassungseinrichtung einen weiteren Bildsensor mit einer weiteren Pixelmatrix aufweisen. Der weitere Bildsensor kann derart ausgerichtet sein, dass der Objektpunkt ferner auf einen Matrixpunkt der weiteren Pixelmatrix projiziert wird. Hierbei kann der weitere Bildsensor einen Polarisationsfilter zum Erfassen eines dem Matrixpunkt der weiteren Pixelmatrix zugeordneten Polarisationswertes aufweisen. Mittels des Polarisationswertes kann ein Bild mit verbessertem Kontrast erzeugt werden.
-
Hierbei kann der Polarisationsfilter ausgebildet sein, um Licht in zumindest zwei unterschiedlichen Polarisationsrichtungen zu filtern. Zu diesem Zweck kann der Polarisationsfilter etwa als Polarisationsmatrix mit zumindest einem Polarisationsfeld aus vier je einem Pixel der weiteren Pixelmatrix zugeordneten Polarisationselementen ausgebildet sein. Dadurch wird eine sehr genaue Erfassung des Polarisationswertes ermöglicht.
-
Ferner schafft der hier beschriebene Ansatz ein Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung gemäß einer der vorstehenden Ausführungsformen, wobei das Verfahren folgende Schritte umfasst:
Einlesen eines den Objektpunkt repräsentierenden Signals des Farbsensors und eines den Objektpunkt repräsentierenden Signals des Monochromsensors; und
Erzeugen des Bilds unter Verwendung des Signals des Farbsensors und des Signals des Monochromsensors.
-
Gemäß einer Ausführungsform kann im Schritt des Einlesens ferner ein von einem weiteren Bildsensor erfasster Polarisationswert eingelesen werden. Hierbei kann im Schritt des Erzeugens das Bild ferner unter Verwendung des Polarisationswertes erzeugt werden. Mithilfe des Polarisationswertes kann ein kontrastmindernder Effekt polarisationsdrehender Oberflächen reduziert werden und somit die Bildqualität des Bildes verbessert werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung einer Umfelderfassungseinrichtung gemäß einem Ausführungsbeispiel;
-
2 eine schematische Darstellung einer Superposition einer Farbpixelmatrix und einer Monochrompixelmatrix aus 1 gemäß einem Ausführungsbeispiel;
-
3 eine schematische Darstellung einer Superposition einer Farbpixelmatrix und einer Monochrompixelmatrix aus 1 gemäß einem Ausführungsbeispiel;
-
4 eine schematische Darstellung einer Umfelderfassungseinrichtung gemäß einem Ausführungsbeispiel;
-
5 eine schematische Darstellung einer Umfelderfassungseinrichtung mit einem weiteren Bildsensor gemäß einem Ausführungsbeispiel;
-
6 eine schematische Darstellung eines weiteren Bildsensors gemäß einem Ausführungsbeispiel;
-
7 eine schematische Darstellung einer Umfelderfassungseinrichtung gemäß einem Ausführungsbeispiel;
-
8 eine schematische Darstellung einer Superposition einer Farbpixelmatrix und einer Monochrompixelmatrix aus 7 gemäß einem Ausführungsbeispiel; und
-
9 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung einer Umfelderfassungseinrichtung 100 gemäß einem Ausführungsbeispiel. Die Umfelderfassungseinrichtung 100 umfasst einen Farbsensor 102 mit einer Farbpixelmatrix 103 sowie einen Monochromsensor 104 mit einer Monochrompixelmatrix 105. Gemäß diesem Ausführungsbeispiel sind die beiden Sensoren 102, 104 auf einem gemeinsamen Grundträger angeordnet. Die beiden Matrizen 103, 105 weisen jeweils eine schachbrettartige Struktur auf. Beispielhaft ist die Farbpixelmatrix 103 mit einer Mehrzahl quadratischer Farbpixelfelder 106 ausgeführt, die je aus vier Farbpixeln 108 zusammengesetzt sind. Die vier Farbpixel 108 eines jeden Farbpixelfelds 106 sind beispielsweise je einer anderen Farbe zugeordnet. Ebenso ist die Monochrompixelmatrix 105 aus einer Mehrzahl quadratischer Monochrompixelfelder 110 aus je vier Monochrompixeln 112 zusammengesetzt. Die beiden Matrizen 103, 105 weisen gemäß 1 das gleiche Format auf.
-
Beispielsweise ist der Farbsensor 102 mit einem für nahes Infrarot (NIR) empfindlichen RGBI-Pattern realisiert. Die Pixel des Monochromsensors 104 sind beispielsweise spektral breitbandig von Blau bis Infrarot ausgelegt.
-
Die beiden Matrizen 103, 105 sind derart auf dem Grundträger zueinander ausgerichtet, dass ein Objektpunkt eines zu erfassenden Objekts sowohl auf die Farbpixelmatrix 103 als auch auf die Monochrompixelmatrix 105 projiziert wird. Die Projektion des Objektpunkts auf die beiden Matrizen 103, 105 erfolgt beispielsweise mithilfe einer geeigneten Optik der Umfelderfassungseinrichtung 100, wie sie im Nachfolgenden näher beschrieben ist. Die Projektion erfolgt derart, dass der Objektpunkt auf eine Stelle der Monochrompixelmatrix 105 projiziert wird, die im Vergleich zu einer Stelle, auf die der Objektpunkt auf die Farbpixelmatrix 103 projiziert wird, um einen bestimmten Versatzwert versetzt ist, wie nachfolgend anhand von 2 näher beschrieben.
-
Gemäß diesem Ausführungsbeispiel ist die Umfelderfassungseinrichtung 100 mit einem Steuergerät 114 verbunden, das ausgebildet ist, um ein den Objektpunkt repräsentierendes Signal 116 des Farbsensors 102 sowie ein den Objektpunkt repräsentierendes Signal 118 des Monochromsensors 104 zu empfangen und unter Verwendung der beiden Signale 116, 118 ein Bild zu erzeugen.
-
2 zeigt eine schematische Darstellung einer Superposition einer Farbpixelmatrix 103 und einer Monochrompixelmatrix 105 aus 1 gemäß einem Ausführungsbeispiel. In 2 sind die beiden Matrizen 103, 105 überlagert dargestellt, um den Versatz zwischen den beiden Stellen, auf die der Objektpunkt jeweils projiziert wird, deutlich zu machen. So ist zu erkennen, dass der Objektpunkt gemäß diesem Ausführungsbeispiel auf einen Matrixpunkt 200 der Monochrompixelmatrix 105 projiziert wird, der gegenüber einem dem Objektpunkt zugeordneten Matrixpunkt 202 der Farbpixelmatrix 103 sowohl in x-Richtung als auch in y-Richtung versetzt ist. Beispielhaft entspricht der Versatzwert, um den die beiden Matrixpunkte 200, 202 zueinander in x- und y-Richtung versetzt sind, hier einem halben Abstand zwischen den Mittelpunkten zweier benachbarter Pixel der Farbpixelmatrix 103. Als Bezugspunkt zum Einstellen des Versatzes dient beispielsweise ein äußerer Rand der Farbpixelmatrix 103.
-
3 zeigt eine schematische Darstellung einer Superposition einer Farbpixelmatrix und einer Monochrompixelmatrix aus 1 gemäß einem Ausführungsbeispiel. In 3 ist eine mithilfe des Versatzes zwischen den beiden Matrizen 103, 105 erzielte Bildauflösung dargestellt.
-
Beispielsweise ergibt sich ein Bild mit vierfacher Auflösung in Luminanz, auch Superresolution genannt, und einfacher Auflösung in Chrominanz, wenn ein gewichteter Luminanzwert aus jeweils einem Quadrupel bestehend aus RGBI berechnet und auf einen Zwischengitterplatz gesetzt wird.
-
4 zeigt eine schematische Darstellung einer Umfelderfassungseinrichtung 100 gemäß einem Ausführungsbeispiel. Bei der Umfelderfassungseinrichtung 100 handelt es sich beispielsweise um eine Umfelderfassungseinrichtung, wie sie vorangehend anhand der 1 bis 3 beschrieben ist. Gemäß diesem Ausführungsbeispiel weist die Umfelderfassungseinrichtung 100 eine erste optische Einrichtung 400 zum Projizieren des Objektpunkts auf die Farbpixelmatrix 103 sowie eine zweite optische Einrichtung 402 zum Projizieren des Objektpunkts auf die Monochrompixelmatrix 105 auf. Hierbei weist die zweite optische Einrichtung 402 einen geringeren Öffnungswinkel als die erste optische Einrichtung 400 auf. Beispielhaft ist der Öffnungswinkel der ersten optischen Einrichtung 400 gemäß 4 doppelt so groß wie der Öffnungswinkel der zweiten optischen Einrichtung 402. Die beiden optischen Einrichtungen 400, 402 sind derart angeordnet, dass sich ihre durch ihre jeweiligen Öffnungswinkel definierten Erfassungsbereiche in einem Überlappungsbereich 404 überlappen, in dem die Auflösung um ein Mehrfaches höher ist als außerhalb des Überlappungsbereiches 404.
-
Die Umfelderfassungseinrichtung 100 kann eine bezüglich eines Feldwinkels variable Winkelauflösung aufweisen. Hierbei ist es besonders vorteilhaft, wenn der Farbsensor und der Monochromsensor unterschiedliche Auflösungen aufweisen und zwischen den jeweiligen Auflösungen ein geradzahliges Vielfaches eingehalten wird. Beispielsweise weist der Monochromsensor eine Winkelauflösung von 28 Pixeln pro Grad auf, während der Farbsensor eine Winkelauflösung von lediglich 14 Pixeln pro Grad aufweist.
-
Beispielsweise ist es möglich, einen Farbsensor mit 1980 mal 1200 Pixeln mit einem Monochromsensor mit 990 mal 600 Pixeln zu kombinieren. Die jeweiligen Blickachsen werden dabei so ausgerichtet, dass der Überlappungsbereich 404 in einem Winkelbereich liegt, in dem je nach Anwendung eine besonders hohe Auflösung zur Objekterkennung erforderlich ist.
-
Die erzielte Luminanzauflösung in diesem Bereich ergibt sich bei geeignet abgestimmter Optik zu 1980 mal 1200 Luminanzwerten und einer Winkelabdeckung von plus/minus 35 Grad mit 28 Pixeln pro Grad. Die Auflösung in dem nicht überlappten Bereich ergibt sich idealisiert zu 14 Pixeln pro Grad und einer Winkelabdeckung von etwa plus/minus 70 Grad.
-
5 zeigt eine schematische Darstellung einer Umfelderfassungseinrichtung 100 mit einem weiteren Bildsensor 500 gemäß einem Ausführungsbeispiel. Im Unterschied zu 4 weist die in 5 gezeigte Umfelderfassungseinrichtung 100 zusätzlich zum Farb- und Monochromsensor einen weiteren Bildsensor 500 mit einer weiteren Pixelmatrix 502 auf. Eine weitere optische Einrichtung 504 ist analog zur ersten optischen Einrichtung 400 und zur zweiten optischen Einrichtung 402 ausgebildet, um den Objektpunkt ferner auf die weitere Pixelmatrix 502 zu projizieren. Die weitere Pixelmatrix 502 weist einen Polarisationsfilter 506 auf, der dazu dient, beim Auftreffen eines den Objektpunkt repräsentierenden Lichtstrahls auf einen entsprechenden Matrixpunkt der weiteren Pixelmatrix 502 einen dem Objektpunkt zugeordneten Polarisationswert zu erfassen.
-
Gemäß einem Ausführungsbeispiel ist die Umfelderfassungseinrichtung 100 als Superresolution-Multicam-System mit einer M-Kamera realisiert, die den Monochromsensor und eine Normallinse als zweite optische Einrichtung 402 aufweist. Ein Öffnungswinkel der Normallinse beträgt beispielsweise ca. plus/minus 50 bis 60 Grad. Die M-Kamera ist gegenüber einer C-Kamera mit einem multispektralen Color Filter Array als Farbsensor und einer optionalen P-Kamera mit einem strukturierten Polfilter 506 und einem Normal- oder Weitwinkelobjektiv als weiterer optischer Einrichtung 504 ausgerichtet.
-
Die Auflösung in Pixel pro Grad der M-Kamera ist gleich oder höher als die der C-Kamera und der P-Kamera. Die C-Kamera ist beispielsweise mit einem multispektralen Farbsensor, insbesondere einem RGBI-Farbsensor, ausgeführt. Die M-Kamera ist hingegen breitbandig ausgelegt. Beispielsweise ist der Bildsensor der P-Kamera als polgefiltertes Array realisiert, dessen Filter Licht in vier unterschiedliche Polarisationsrichtungen filtern können. Hierbei können die vier Polarisationsrichtungen jeweils um 90 Grad zueinander gedreht sein.
-
Das so gestaltete Kamerasystem ist geeignet, um in einem eingeschränkten Winkelbereich Objekte in großer Entfernung zu differenzieren und über einen großen Winkelbereich nähere Objekte zu differenzieren.
-
Beim Zusammenbau der beiden Sensormodule in Form des Farbsensors und des Monochromsensors werden die jeweiligen Kameraköpfe der beiden Sensoren beispielsweise derart zueinander ausgerichtet, dass die Projektion der Pixelmatrix in einen Objektraum um eine halbe Gitterkonstante gegenüber der Farbpixelmatrix 103 verschoben ist.
-
Der Luminanzkanal des Farbsensors kann nun genutzt werden, um ein Signal des Monochromsensors in Zwischenwerten zu interpolieren und jeden Luminanzwert des Monochromsensors mit einem unterabgetasteten Chrominanzwert zu belegen. Das Ergebnis ist ein superaufgelöstes Luminanzbild mit gering aufgelöster Chrominanzinformation. Durch zusätzliche Zuordnung der Polarisationswerte kann ein nach Luminanz superaufgelöstes, in mehrere Spektralkanäle zerlegtes und nach Polarisationsrichtung aufgelöstes Bild erzeugt werden, das deutlich mehr differenzierende Objektmerkmale enthält als ein höher aufgelöstes RGB-Kamerabild.
-
Aufgrund der versetzten Abtastung kann bei gleicher Auflösung der beiden Sensoren durch Verdopplung der Pixelzahl ein deutlich höher aufgelöstes Bild erzeugt werden, als dies durch eine orthogonale Matrix mit doppelter Auflösung möglich wäre. Die beiden ineinandergeschobenen Gitter der Farbpixelmatrix 102 und der Monochrompixelmatrix 105 ergeben zusammen ein hexagonales Abtastmuster, das gegenüber einem orthogonalen Muster weniger anfällig für Moirée-Effekte ist und durch Interpolation der Pixelzwischenpositionen zur vierfachen Auflösung gebracht werden kann, indem der Mittelwert jeweils zweier benachbarter Pixel der Farbpixelmatrix 103 einen Zwischengitterplatz im Bild des Monochromsensors ergibt.
-
Sind die beiden Sensoren überdies miteinander synchronisiert, etwa durch eine gemeinsame Pixeltaktversorgung, und ist diese so gewählt, dass die Integrationszeit der beiden Sensoren um 90 Grad phasenverschoben erfolgt, so können Bewegungs- oder Modulationsartefakte, wie sie beispielsweise bei der Abtastung von Wechselverkehrszeichen auftreten können, durch eine geeignete Berechnung weitgehend korrigiert werden.
-
Bei der Erweiterung durch eine polgefilterte Kamera, die beispielsweise Sensoren mit einer Matrix aus um jeweils 90 Grad gedrehten Polfiltern aufweist, können Objekte differenzierter dargestellt werden, wenn jeweils die zum optimalen Kontrast beitragenden Pixel zur Verstärkung der Grauwerte eines Monochrombilds genutzt werden.
-
Eine derartige Superposition eines monochromen und eines spektral aufgelösten Kamerabilds ermöglicht somit eine deutlich höhere Kontrastauflösung als eine Kamera mit herkömmlichem Color Filter Array.
-
Je nach Ausführungsform ist jeder der Sensoren der Umfelderfassungseinrichtung 100 mit einer eigenen Optik ausgestattet. Alternativ erhält jeder Sensor über ein Prisma das gleiche Abbild eines gemeinsamen Objektivs.
-
Gemäß einem Ausführungsbeispiel stehen die Winkelauflösungen der beiden Sensormodule im Überlappungsbereich 404 zueinander in einem festen, insbesondere geradzahligen Verhältnis. Hierbei sind die Sensormodule, d. h. Sensor und Optik, so ausgerichtet, dass die jeweiligen Gitter der Sensoren um einen Wert G/n gegeneinander verschoben sind, wobei G eine Gitterkonstante der Sensoren, d. h. einen Abstand zwischen den Mittelpunkten benachbarter Pixel der Sensoren, repräsentiert und n geradzahlig ist.
-
Optional sind die Sensoren miteinander synchronisiert, insbesondere wobei sie in der Integrationszeit um 90 Grad phasenverschoben ansteuerbar sind.
-
Optional weist die Umfelderfassungseinrichtung 100 zusätzlich zur spektralen Filterung eine Polarisationsfilterung in Form des Polarisationsfilters 506 auf, die zur Detektion einer Polarisationsrichtung dient.
-
Somit weist ein aus den Einzelsignalen der Sensoren erzeugtes Bild eine Luminanzauflösung auf, die je nach Ausführungsform beispielsweise viermal so hoch wie eine jeweilige Einzelauflösung der Sensoren ist. Beispielsweise kann auf diese Weise mit zwei Sensoren mit einer Auflösung von jeweils 1280 mal 800 Pixeln (zusammen ca. 2 Megapixel) ein Bild erzeugt werden, das dem Bild eines orthogonalen 4-Megapixel-Sensors entspricht und darüber hinaus ein höheres Kontrastauflösungsvermögen aufweist.
-
6 zeigt eine schematische Darstellung eines weiteren Bildsensors 500 gemäß einem Ausführungsbeispiel. Gemäß diesem Ausführungsbeispiel ist die weitere Pixelmatrix 502 mit einem Polarisationsfilter aus einer Mehrzahl quadratischer Polarisationsfelder 600 aus je vier Polarisationselementen 602 realisiert. Hierbei ist beispielsweise jedem der Polarisationselemente 602 ein Pixel der weiteren Pixelmatrix 502 zugeordnet. Ferner können die einzelnen Positionen der Pixel der weiteren Pixelmatrix 502 den Positionen der Farbpixel der Farbpixelmatrix 103 entsprechen.
-
Gemäß einem Ausführungsbeispiel weist die weitere Pixelmatrix 502 pixelweise mikrostrukturierte Filterstrukturen als Polarisationsfilter auf, um zwischen vier unterschiedlichen Polarisationsrichtungen, etwa 45, 135, 225 oder 315 Grad, unterscheiden zu können. Auf diese Weise kann durch Superposition einer jeweils bestimmten dominanten Polarisationsrichtung mit den Luminanzwerten ein Bild erzeugt werden, das pro Gitterposition des superaufgelösten Gitters einen Luminanzwert, vier Spektralkennwerte sowie einen Hauptpolarisationswert ausgibt.
-
Mithilfe des Polarisationswertes kann insbesondere eine Reduktion eines kontrastmindernden Effekts polarisationsdrehender Oberflächen wie Wasser-, Glas- oder transluzenter Materialien erreicht werden, indem die Luminanzwerte des Farbsensors mit den jeweils kontrastreichsten Luminanzwerten des weiteren Bildsensors 500 entsprechend gewichtet werden.
-
7 zeigt eine schematische Darstellung einer Umfelderfassungseinrichtung 100 gemäß einem Ausführungsbeispiel. Im Unterschied zu 1 ist die Umfelderfassungseinrichtung 100 gemäß 7 mit einer Farbpixelmatrix 103 realisiert, die im Vergleich zur Monochrompixelmatrix 105 eine deutlich höhere Anzahl an Farbpixeln 108 und somit eine entsprechend höhere Auflösung aufweist.
-
8 zeigt eine schematische Darstellung einer Superposition einer Farbpixelmatrix 103 und einer Monochrompixelmatrix 105 aus 7 gemäß einem Ausführungsbeispiel.
-
9 zeigt ein Ablaufdiagramm eines Verfahrens 900 zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung gemäß einem Ausführungsbeispiel. Das 900 kann beispielsweise im Zusammenhang mit einer im Vorangegangenen beschriebenen Umfelderfassungseinrichtung durchgeführt werden. Das Verfahren 900 umfasst einen Schritt 910, in dem ein den Objektpunkt repräsentierendes Signal des Farbsensors und ein den Objektpunkt repräsentierendes Signal des Monochromsensors eingelesen werden. In einem Schritt 920 wird unter Verwendung der beiden Signale ein hoch aufgelöstes Bild erzeugt.
-
Gemäß einem optionalen Ausführungsbeispiel wird im Schritt 910 ferner ein von einem weiteren Bildsensor der Umfelderfassungseinrichtung erfasster Polarisationswert bezüglich des Objektpunkts eingelesen. Hierauf wird im Schritt 920 das Bild ferner unter Verwendung des Polarisationswertes erzeugt.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
