DE102015210536A1 - Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes - Google Patents

Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes Download PDF

Info

Publication number
DE102015210536A1
DE102015210536A1 DE102015210536.9A DE102015210536A DE102015210536A1 DE 102015210536 A1 DE102015210536 A1 DE 102015210536A1 DE 102015210536 A DE102015210536 A DE 102015210536A DE 102015210536 A1 DE102015210536 A1 DE 102015210536A1
Authority
DE
Germany
Prior art keywords
filter
lines
colored filter
pixels
pixel mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015210536.9A
Other languages
English (en)
Inventor
Konrad Rothenhäusler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102015210536.9A priority Critical patent/DE102015210536A1/de
Publication of DE102015210536A1 publication Critical patent/DE102015210536A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Die Erfindung betrifft eine Filterpixelmaske 6 zur Anordnung auf einem Bildsensor 5 einer Fahrerassistenzkamera 1 mit transparenten Filterzeilen 7, wobei die transparenten Filterzeilen 7 ausschließlich transparente Filterpixel 7a umfassen, mit farbigen Filterzeilen 8, wobei die farbigen Filterzeilen 8 jeweils mindestens drei verschiedenfarbige Filterpixel 8a, 8b, 8c, 8d, 8e aufweisen, wobei die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e der jeweiligen farbigen Filterzeile 8 in einer gleichbleibend alternierenden Farbwertreihenfolge 8abcde angeordnet sind, wobei mindestens 80 Prozent der farbigen Filterzeilen 8 die gleiche alternierende Farbwertreihenfolge 8abcde der mindestens drei verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e aufweisen, wobei sich die nächstliegenden farbigen Filterzeilen 8 in Richtung des senkrecht zum Filterzeilenverlauf angeordneten Filterspaltenverlaufs betrachtend dadurch unterscheiden, dass die gleichbleibend alternierende Farbwertreihenfolge 8abcde um mindestens einen Farbwert verschoben ist.

Description

  • Die vorliegende Erfindung betrifft eine Filterpixelmaske zur Anordnung auf einem Bildsensor einer Fahrerassistenzkamera nach dem Oberbegriff des Anspruchs 1. Ferner betrifft die Erfindung eine Fahrerassistenzkamera mit der Filterpixelmaske sowie ein Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes.
  • Fahrerassistenzsysteme für Kraftfahrzeuge dienen zum Unterstützung eines Kraftfahrzeugführers in unterschiedlichen Verkehrssituationen. Ein solches Fahrerassistenzsystem kann Fahrzeugkameras umfassen, die für verschiedene Funktionen wie z. B. Fahrspurerkennung, Verkehrszeichenerkennung oder für die Erkennung weiterer Verkehrsteilnehmern eingesetzt werden. Um Farb- und/oder Helligkeitsunterschiede im Bild erfassen zu können, werden auf den Bildsensoren der Fahrzeugkameras oftmals Farbmasken angeordnet, welche mittels Filterpixeln verschiedene Wellenlängenbereiche filtern können.
  • So beschreibt z. B. die Druckschrift DE 10 2007 040 114 B4 eine Farbmaske für einen Bildsensor einer Fahrzeugkamera, die eine Matrixanordnung aus ersten Filterpixeln und zweiten Filterpixeln aufweist, in der in jeder horizontalen Zeile und/oder jeder vertikalen Spalte erste und zweite Filterpixel angeordnet sind. Die ersten und zweiten Filterpixel weisen unterschiedliches Transmissionsverhalten für optisches Licht auf.
  • Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Filterpixelmaske zur Anordnung auf einem Bildsensor einer Fahrerassistenzkamera vorzuschlagen, die eine verbesserte Objekterkennung im Bild bereitstellt.
  • Diese Aufgabe wird durch eine Filterpixelmaske mit den Merkmalen des Anspruchs 1, durch eine Fahrerassistenzkamera mit den Merkmalen des Anspruchs 8 und durch ein Verfahren mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt.
  • Erfindungsgemäß wird somit eine Filterpixelmaske, welche zur Anordnung auf einem Bildsensor einer Fahrerassistenzkamera geeignet und/oder ausgebildet ist, vorgeschlagen. Die Filterpixelmaske umfasst Filterzeilen und hierzu senkrecht verlaufende Filterspalten mit jeweils mindestens drei Filterpixeln. Insbesondere ist die Filterpixelmaske eine Matrix-Anordnung aus den Filterpixeln.
  • Die Filterpixelmaske umfasst transparente Filterzeilen, wobei die transparenten Filterzeilen ausschließlich transparente Filterpixel aufweisen. Beispielsweise sind die transparenten Filterpixel jeweils ausgebildet, Lichtstrahlen von mindestens zwei, insbesondere mindestens drei, im Speziellen von mindestens fünf Farbwerten zu transmittieren. Rein beispielhaft seien hier die Farbwerte grün, blau, rot und gelb genannt. Durch den Transmissionsbereich von insbesondere mindestens zwei Farbwerten ist die für eine zuverlässige Kantenerkennung erforderliche Erfassung von Intensitätsunterschieden in einem durch den Bildsensor erfassbaren Bild möglich. Die Kantenerkennung erweist sich besonders nachts von Vorteil, da eine Objekterkennung trotz abnehmenden Farbwerten sichergestellt ist. Bevorzugt ist, dass jede der transparenten Filterpixel die gleichen Farbwerte transmittieren, sodass eine sachgerechte Auswertung der Intensitätsunterschiede umsetzbar ist.
  • Die Filterpixelmaske umfasst farbige Filterzeilen, wobei die farbigen Filterzeilen jeweils mindestens drei verschiedenfarbige Filterpixel aufweisen. Weiterhin ist bevorzugt, dass jede der farbigen Filterzeilen mindestens zwei, besonders bevorzugt mindestens drei gleichfarbige Filterpixel, somit mindestens zwei Filterpixel des gleichen Farbwerts umfasst.
  • Die verschiedenfarbigen Filterpixel sind insbesondere ausgebildet, Lichtstrahlen mit voneinander unterschiedlichen Farbwerten transmittieren. Bei einer besonders bevorzugten konstruktiven Umsetzung sind die mindestens drei verschiedenfarbigen Filterpixel ausgebildet, voneinander unterschiedliche Teilbereiche des Wellenlängenbereichs von 380 nm bis 780 nm, somit insbesondere Teilbereiche des für den Menschen sichtbaren Wellenlängenbereichs zu transmittieren. Somit setzen die farbigen Filterzeilen mit den farbigen Filterpixeln eine farbliche Differenzierung mit mindestens drei verschiedenen Farbwerten um. Vorzugsweise sind die farbigen Filterpixel ausgebildet, Lichtstrahlen genau eines Farbwerts zu transmittieren. Rein beispielhaft sei hier der grüne Farbwert mit einem Wellenlängenbereich von 490 nm bis 560 nm zu nennen.
  • Die farbigen Filterpixel sind aufgrund der Filterungsfunktion vergleichsweise zu den transparenten Filterpixeln mit einer reduzierten Ortsauflösung im Bild verbunden. Jedoch sind die farbigen Filterpixel ausschließlich zur Farberkennung vorgesehen, sodass die Ortsauflösung zur Aufnahme des Bilds ausreicht. Zugleich wird der Bedarf an Rechenleistung zur Bildverarbeitung und/oder -auswertung in vorteilhafterweise reduziert.
  • Die verschiedenfarbigen Filterpixel der jeweiligen farbigen Filterzeile sind in einer gleichbleibend alternierenden Farbwertreihenfolge angeordnet. Mit anderen Worten sind die verschiedenfarbigen Filterpixel in der jeweiligen farbigen Filterzeile iterativ, also in einer sich gleichbleibend wiederholenden Abfolge angeordnet. So sei hier rein beispielhaft die iterative Anordnung grün, gelb, rot, grün, gelb, rot zu nennen. Es ist vorgesehen, dass mindestens 80 Prozent, insbesondere mindestens 95 Prozent, im Speziellen jede der farbigen Filterzeilen die gleiche Farbwertreihenfolge der mindestens drei verschiedenfarbigen Filterpixel aufweisen.
  • Die nächstliegenden farbigen Filterzeilen unterscheiden sich in einer der Richtungen des senkrecht zum Filterzeilenverlauf angeordneten Filterspaltenverlaufs betrachtend dadurch, dass die gleichbleibend alternierende Farbwertreihenfolge um mindestens einen, besonders bevorzugt um genau einen Farbwert verschoben ist. Anders ausgedrückt sind die farbigen Filterzeilen zwar in ihrer iterativen Farbwertreihenfolge identisch, jedoch jede weitere nächstliegende farbige Filterzeile betrachtend ist die Farbwertreihenfolge um mindestens, insbesondere um genau einen Filterpixel versetzt. Unter den nächstliegenden farbigen Filterzeilen sind die in Richtung des Filterspaltenverlaufs betrachtend unmittelbar oder mittelbar angrenzende farbige Filterzeilen zu verstehen.
  • Betrachtet man nun die farbigen Filterpixel der verschiedenfarbigen Filterpixel mit der alternierende Farbwertreihenfolge in Richtung des Filterspaltenverlaufs, sind die verschiedenfarbigen Filterpixel aufgrund der Versetzung des mindestens, insbesondere des genau einen Farbwerts ebenfalls in einer alternierenden Farbreihenfolge angeordnet. Somit sind die mindestens drei verschiedenfarbigen Filterpixel zumindest nahezu in jeder der Filterspalten angeordnet. Hieraus ergibt sich der wesentliche Vorteil, dass eine Redundanz an farbigen Filterpixeln bis zur erreichten Anzahl der mindestens drei unterschiedlichen Filterpixel vermieden ist. Auf diese Weise sind sowohl im Richtungsverlauf der Filterzeilen als auch der -spalten möglichst viele Farbwerte auf dem Bildsensor abbildbar und damit eine zuverlässige Farberkennung von Objekten im Bild ermöglicht.
  • Bei einer besonders bevorzugten Ausführungsform umfassen die Filterzeilen ausschließlich farbige Filterpixel. Auf diese Weise wird sichergestellt, dass die mindestens drei verschiedenfarbigen Filterpixel sowohl in den Filterzeilen als auch den Filterspalten vorliegen. Folglich sind die verschiedenen Farbwerte für die Farbauflösung des Bildes in Spalten- und Zeilenrichtung abgedeckt. Weiterhin ist von Vorteil, dass der für die Bildverarbeitung erforderliche Rechenaufwand vergleichsweise zu den transparenten Filterpixeln reduziert ist.
  • Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass die Filterpixelmaske ausschließlich die transparenten und farbigen Filterzeilen umfasst. Durch das Ausschließen andersartiger Filterzeilen sind Filterpixelbereiche über die Filterpixelmaske verteilt redundant ausgebildet, sodass für zumindest nahezu jeden Bildbereich des aufzunehmenden Bildes eine Farb- und/oder Kantenauflösung generiert wird. Des Weiteren ist bevorzugt, dass jede der farbigen Filterzeilen die farbigen Filterpixel in der gleichbleibend alternierenden Farbwertreihenfolge umfasst. Auf diese Weise sind die verschiedenfarbigen Filterpixel in jeder der Filterspalten und -zeilen angeordnet, sodass eine gleichmäßig verteilte Farbauflösung des aufzunehmenden Bildes ermöglicht ist.
  • In einer möglichen konstruktiven Umsetzung der Erfindung sind die farbigen und transparenten Filterzeilen alternierend angeordnet, sodass zwischen zwei farbigen Filterzeilen genau eine transparente Filterzeile vorliegt. Bei dieser alternierenden Anordnung an transparenten und farbigen Filterpixeln liegt eine gleichmäßig verteilte Anordnung der transparenten und farbigen Filterzeilen vor.
  • Bei einer alternativen, bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass zwischen zwei farbigen Filterzeilen mindestens zwei, insbesondere mindestens drei, im Speziellen mindestens fünf der transparenten Filterzeilen angeordnet sind. Durch die Aneinanderreihung mehrerer transparenter Filterzeilen umfasst die Filterpixelmaske Bereiche ausschließlich mit transparenten Filterpixeln. Die transparenten Filterzeilen zeichnen sich vergleichsweise zu den farbigen Filterpixeln aufgrund der geringeren Filterung an Lichtstrahlen durch minimales Bildrauschen und folglich durch eine erhöhte Ortsauflösung aus. Durch die großflächige Abdeckung von Bildbereichen mit den transparenten Filterzeilen sind Intensitätsunterschiede großflächig ermittelbar und folglich eine Kantenerkennung umsetzbar. Zugleich ist die Farberkennung durch die Anordnung der farbigen Filterzeilen in regelmäßigen Abständen auf zuverlässige Weise umgesetzt.
  • In einer möglichen Ausgestaltung der Erfindung sind die transparenten Filterpixel ausgebildet, die Lichtstrahlen ungefiltert zu transmittieren. Jedoch ist für die Kantenerkennung die Erfassung und Auswertung z. B. von UV-Strahlung abdingbar. Vor diesem Hintergrund ist es bevorzugt, dass die transparenten Filterpixel Lichtstrahlen in einem Wellenlängenbereich von 350 nm bis 1150 nm transmittieren. Besonders bevorzugt sind die Filterpixel ausgebildet, Lichtstrahlen in einem Wellenlängenbereich von 380 nm bis 780 nm, somit für den Menschen sichtbare Lichtstrahlen zu transmittieren. Die Transmission im sichtbaren Lichtspektrum ist von Vorteil, da einerseits die Kantenerkennung ermöglicht, andererseits der für die Bildverarbeitung erforderliche Rechenaufwand auf das Nötigste beschränkt ist.
  • Ein weiterer Gegenstand der Erfindung betrifft eine Fahrerassistenzkamera zur Aufnahme des Bildes eines Umgebungsbereichs eines Kraftfahrzeugs wie z. B. ein PKW mit den Merkmalen des Anspruchs 8. Der Umgebungsbereich ist beliebig ausgebildet und kann beispielsweise durch eine oder mehrere Straßen, Kreuzungen, etc. verkörpert sein. Insbesondere ist die Fahrerassistenzkamera mit einem Fahrerassistenzsystem verbindbar oder verbunden, welches zur Überwachung mindestens eines Überwachungsziels des Umgebungsbereichs des aufgenommenen Bildes ausgebildet ist. Optional umfasst die Fahrerassistenzkamera eine Auswerteeinrichtung und/oder ist mit dieser verbindbar oder verbunden, welche zur Auswertung der durch die Fahrerassistenzkamera aufgenommenen Bilder, insbesondere zur Auswertung der durch den Bildsensor ausgegebenen Bildsignale ausgebildet ist.
  • Die Fahrerassistenzkamera umfasst eine Optik zur Projektion von Lichtstrahlen, den Bildsensor zur Ausgabe von Bildsignalen und die auf dem Bildsensor angeordneten Filterpixelmaske nach der vorhergehenden Beschreibung. Die von der Optik projizierten Lichtstrahlen sind über die Filterpixelmaske auf dem Bildsensor gefiltert abgebildet. Besonders bevorzugt ist die Filterpixelmaske mittel- oder unmittelbar auf einer gesamten für die Lichtstrahlung sensitiven Fläche des Bildsensors angeordnet. Insbesondere umfasst die sensitive Fläche Sensorpixel, wobei bevorzugt ist, dass die transparenten und farbigen Filterpixel jeweils einem der Sensorpixel des Bildsensors zugeordnet sind. Vorzugsweise weisen die Sensorpixel eine einheitliche Ausgestaltung und/oder eine einheitliche Größe auf. Insbesondere sind die Sensorpixel gleichmäßig über die gesamte Sensorfläche des Bildsensors verteilt. Bevorzugt ist die Filterpixelmaske direkt, somit insbesondere unmittelbar ohne ein zwischen dem Strahlengang angeordnetes Element auf dem Bildsensor angeordnet. Somit ist der Abstand zwischen der Filterpixelmaske und dem Bildsensor auf ein Minimum reduziert. Durch den sich hierdurch zwischen der Filterpixelmaske und dem Bildsensor ergebenen minimalen Strahlengang wird die Streubreite der Lichtstrahlung reduziert und folglich eine verbesserte Bildqualität erzielt.
  • Bei einer bevorzugten Umsetzung der Erfindung ist die Fahrerassistenzkamera eine Frontkamera. Unter der Frontkamera ist insbesondere eine im Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe anzuordnende und in Fahrtrichtung den Umgebungsbereich erfassende Fahrerassistenzkamera zu verstehen. Vorzugsweise ist die Filterpixelmaske derart auf dem Bildsensor angeordnet, dass die farbigen Filterzeilen und optional ergänzend die transparenten Filterzeilen die horizontale Ortsauflösung und/oder die senkrecht zu den farbigen Filterzeilen verlaufenden Filterspalten die vertikale Ortsauflösung bilden. Somit verlaufen die Filterspalten insbesondere parallel zur Fahrtrichtung des Kraftfahrzeugs. Angesichts des Farbwertversatzes in den farbigen Filterzeilen sind die Farbwerte der mindestens drei verschiedenfarbigen Filterpixel in zumindest nahezu jeder Filterspalte und somit in Fahrtrichtung des aufzunehmenden Bilds erfassbar. Durch die Anordnung von mindestens zwei der transparenten Filterzeilen zwischen zwei farbigen Filterzeilen ergibt sich weiterhin der Vorteil, dass die Intensitätswerte, insbesondere die Intensitätsunterschiede in Fahrtrichtung des aufzunehmenden Bildes erfassbar sind. Die Vorteile der erfindungsgemäßen Filterpixelmaske liegen somit in der Farb- und Kantenerkennung des aufzunehmenden Bilds des Umgebungsbereichs. Somit können beispielsweise weiße und gelbe Farbspurmarkierungen unterschieden werden.
  • Ein letzter Gegenstand der Erfindung betrifft ein Verfahren zur Auswertung eines mit einer Fahrerassistenzkamera mit den Merkmalen nach einem der Ansprüche 8 oder 9 aufgenommenen Bildes. Die Kantenerkennung von Objekten wie z. B. Fahrspurmarkierungen erfolgt mittels der durch die transparenten Filterpixel transmittierten und auf den Bildsensor abgebildeten Lichtstrahlen. Die Farberkennung von Objekten wie z. B. gelbe und weiße Fahrspurmarkierungen erfolgt mittels der durch die verschiedenfarbigen Filterpixel transmittierten und auf den Bildsensor abgebildeten Lichtstrahlen.
  • Bei einer bevorzugten Ausführungsform wird eine Mehrzahl von Bildern als Bildfolge in einem fahrenden Kraftfahrzeug aufgenommen und/oder ausgewertet. Somit erfolgen die Aufnahme und/oder die Auswertung der Bilder in einer dynamischen Fahrsituation. Hier erweist sich die Filterpixelmaske insbesondere bei der durch die Filterspalten umgesetzten vertikalen Ortsauflösung von Vorteil. So können beim Annähern oder Überfahren von Objekten wie z. B. von gelben und weißen Fahrspurmarkierungen durch das Kraftfahrzeug mittels der farbigen Filterpixel die Farb- und mittels der transparenten Filterpixel die Kantenerkennung unter einem optimalen Rechenaufwand erzielt werden.
  • Das aufzunehmende Bild umfasst bedingt durch die farbigen Filterzeilen, die vergleichsweise zu den transparenten Filterzeilen mit einem höheren Fix-Pattern-Noise belegt sind, Bereiche mit einer geringeren Ortsauflösung. Daher ist es eine Überlegung der Erfindung, dass für eine zuverlässige Kantenerkennung ein rauschfreies Bild bereitzustellen ist. Vor diesem Hintergrund ist insbesondere vorgesehen, dass das aufgenommene Bild in ein rauschfreies Bild aufbereitet wird, um eine zuverlässige Kantenerkennung sicherzustellen. Beispielsweise erfolgt die Aufbereitung durch die Auswerteeinrichtung.
  • Für die Aufbereitung des aufgenommenen Bildes sieht eine erste bevorzugte Ausgestaltung der Erfindung vor, dass die Bildsignale der verschiedenfarbigen Filterpixel zur Kantenerkennung ausgeschlossen und stattdessen die Bildsignale der beiden benachbarten transparenten Filterzeilen interpoliert werden. Auf diese Weise werden für die Aufbereitung ausschließlich Bildbereiche mit der höheren Ortsauflösung verwendet und Bildbereiche mit der geringeren Ortsauflösung durch Interpolation ersetzt.
  • Bei einer zweiten, alternativen Ausgestaltung der Erfindung ist bevorzugt vorgesehen, dass für die Aufbereitung des aufgenommenen Bildes die Bildsignale der verschiedenfarbigen Filterpixel zur Kantenerkennung umgewandelt werden in interpolierte Bildsignale eines transparenten Filterpixels an dieser Stelle, wobei bei der Umwandlung die Bildsignale der beiden benachbarten transparenten Filterzeilen einbezogen werden.
  • Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:
  • 1 eine schematische Darstellung einer Fahrerassistenzkamera;
  • 2 eine Filterpixelmaske zur Anordnung auf einem Bildsensor der Fahrerassistenzkamera aus 1;
  • 3 ein Diagramm zur Erläuterung von transparenten Filterpixeln der Filterpixelmaske aus 2;
  • 4 ein Diagramm zur Erläuterung von verschiedenfarbigen Filterpixeln der Filterpixelmaske aus 2.
  • Einander entsprechende Teile sind in allen Figuren jeweils mit den gleichen Bezugszeichen versehen.
  • 1 zeigt in einer schematischen Blockdarstellung eine Fahrerassistenzkamera 1, die in einem Fahrerassistenzsystem 2 eines Kraftfahrzeugs integrierbar ist und zur Aufnahme eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs ausgebildet ist. Beispielsweise handelt es sich bei dem Umgebungsbereich um das Umfeld des Kraftfahrzeugs, genauer um das Vorfeld des Kraftfahrzeugs. Die Fahrerassistenzkamera 1 ist mit einer Auswerteeinrichtung 3 signaltechnisch verbunden, welche die von der Fahrerassistenzkamera 1 aufgenommenen Bilder auswertet. Optional umfasst die Fahrerassistenzkamera 1 die Auswerteeinrichtung 3. Im Rahmen der Auswertung werden beispielsweise Objekte, Hindernisse oder andere Verkehrsteilnehmer mittels eines Objekterkennungs-Algorithmus erkannt.
  • Die Fahrerassistenzkamera 1 umfasst eine Optik 4 zur Projektion von Lichtstrahlen, einen Bildsensor 5, welcher die einfallenden Lichtstrahlen erfasst und als Bildsignale beispielsweise an die Auswerteeinrichtung 3 übermittelt. Die Fahrerassistenzkamera 1 weist eine Filterpixelmaske 6 auf, welche zwischen der Optik 4 und einer für die transmittierte Lichtstrahlung sensitive Fläche des Bildsensors 5 angeordnet ist, sodass die von der Optik 4 projizierten Lichtstrahlung über die Filterpixelmaske 6 gefiltert auf die sensitive Sensorfläche des Bildsensors 5 abgebildet ist.
  • In 2 ist die Filterpixelmaske 6 zur Anordnung auf einem Bildsensor 5 der Fahrerassistenzkamera 1 aus 1 als ein bevorzugtes Ausführungsbeispiel gezeigt. Die Filterpixelmaske 6 umfasst Filterzeilen 6a und hierzu vertikal verlaufende Filterspalten 6b umfassend jeweils Filterpixel. Rein beispielhaft umfasst die Filterpixelmaske 21 Filterzeilen × 12 Filterspalten.
  • Die Filterpixelmaske 6 ist derart auf dem Bildsensor 5 anzuordnen bzw. angeordnet, dass die Filterzeilen 6a die horizontale Ortsauflösung und die Filterspalten 6b die vertikale Ortsauflösung bilden oder vice versa.
  • Die Filterpixelmaske 6 umfasst als Filterzeilen 6a transparente und farbige Filterzeilen 7, 8. Die transparenten Filterzeilen 7 weisen ausschließlich transparente Filterpixel 7a auf, welche ausgebildet sind, die von der Optik 4 projizierten Lichtstrahlen auf die sensitive Fläche des Bildsensors 5 ungefiltert oder gefiltert zu transmittieren. Die transparenten Filterpixel 7a weisen den gleichen Transmissionsbereich auf. Wie in 3 näher erläutert wird, sind die transparenten Filterpixel 7a ausgebildet, Lichtstrahlen von jeweils mindestens zwei Farbwerten zu transmittieren.
  • Die Filterpixelmaske 6 umfasst farbige Filterzeilen 8, welche jeweils mindestens drei verschiedenfarbige Filterpixel aufweisen. Bei diesem Ausführungsbeispiel weisen die farbigen Filterzeilen 8 rein exemplarisch fünf farbige Filterpixel 8a, 8b, 8c, 8d, 8e auf, welche jeweils einen bestimmten Farbwert transmittieren, wie in 4 näher erläutert wird. Bei den Farbwerten handelt es sich beispielsweise um blau, rot, grün, orange und gelb. Die Filterpixelmaske 6 umfasst mindestens oder genauso viele farbige Filterzeilen 8 wie die Anzahl an verschiedenfarbigen Filterpixeln 8a, 8b, 8c, 8d, 8e.
  • Zwischen zwei farbigen Filterzeilen 8 sind transparente Filterzeilen 7 angeordnet. Rein exemplarisch sind hier jeweils vier transparente Filterzeilen 7 dargestellt. Vorteilhafterweise sind durch die Aneinanderreihung mehrerer transparenter Filterzeilen 7 Intensitätsunterschiede in dem des Bildsensors 5 erfassten Bild auswertbar.
  • Die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e der jeweiligen farbigen Filterzeile 8 sind iterativ, somit in einer gleichbleibend alternierenden Farbwertreihenfolge 8abcde angeordnet. Beispielsweise umfassen mindestens 80 Prozent der farbigen Filterzeilen 8 die gleiche alternierende Farbwertreihenfolge 8abcde der verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e. Bei diesem Ausführungsbeispiel umfassen alle der farbigen Filterzeilen 8 die gleiche alternierende Farbwertreihenfolge 8abcde. Die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e transmittieren jeweils Lichtstrahlen mit voneinander unterschiedlichen Farbwerten.
  • Die nächstliegenden farbigen Filterzeilen 8, bei diesem Ausführungsbeispiel die zwei an den transparenten Filterzeilen 8 mittelbar benachbarten farbigen Filterzeilen 8 unterscheiden sich in einer der beiden Spaltenrichtungen betrachtend dadurch, dass die gleichbleibend alternierende Farbwertreihenfolge 8abcde um genau einen Farbwert verschoben ist. Jedoch liegt es im Rahmen der Erfindung, dass die gleichbleibend alternierende Farbwertreihenfolge 8bcde ebenfalls um mehr als einen Farbwert verschoben sein kann, wobei die Anzahl an verschobenen Farbwerten stets unverändert bleibt.
  • Die erfindungsgemäße Anordnung der Filterpixel 7a, 8a, 8b, 8c, 8d, 8e erzielt sowohl im Filterzeilen- als auch im Filterspaltenverlauf eine Abdeckung jeder der verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e. Folglich ist die Farbredundanz sowohl in den Filterzeilen und -spalten reduziert. Auf diese Weise sollen bestimmte Objekte, beispielsweise weiße und gelbe Fahrbahnmarkierungen in Einzelbildern der Fahrerassistenzkamera wiedergegeben werden.
  • Die Filterpixelmaske 6 in einer Draufsicht betrachtend, wie in 2 dargestellt, ist der Farbwert bei jeder nächstkommenden Filterzeile um eine Filterpixelstelle nach rechts versetzt. Als Folge ist die Farbwertreihenfolge im Zeilenverlauf identisch zu der Farbwertreihenfolge im Spaltenverlauf. Alternativ ist es ebenso möglich, dass der Farbwert bei jeder nächstkommenden Filterzeile um eine Filterpixelstelle nach links versetzt ist. Die Farbwertreihenfolge im Zeilenverlauf wäre somit entgegengesetzt zur Farbwertreihenfolge im Spaltenverlauf, nämlich in der Farbwertreihenfolge 8aedcb. Auf diese Weise ist stets jede der verschiedenfarbigen Filterpixel in den Filterzeilen und -spalten 6a, 6b vertreten.
  • In 3 ist in einem Diagramm der Transmissionsbereich x1-x2 der transparenten Filterpixel 7a dargestellt. Auf der x-Achse ist die Wellenlänge x in Nanometern und auf der y-Achse das Transmissionsverhalten y der transparenten Filterpixel 7a aufgetragen. Bei diesem Ausführungsbeispiel umfassen die transparenten Filterpixel 7a einen Transmissionsbereich x1-x2 von 400 nm bis 1100 nm. Der Transmissionsbereich x1-x2 der transparenten Filterpixel 7a umfasst einerseits den für den Menschen sichtbaren Wellenlängenbereich, andererseits den Wellenlängenbereich der IR-Strahlung. Der Transmissionsbereich 400 nm bis 1100 nm ist beispielsweise bei schlechten Lichtverhältnissen wie z. B. bei Nacht für die Kantenerkennung besonders von Vorteil.
  • In 4 ist ein Diagramm mit den verschiedenen Transmissionsbereichen der in 2 exemplarisch fünf verschiedenfarbigen Filterpixeln 8a, 8b, 8c, 8d, 8e dargestellt. In dem Diagramm ist in der x-Achse die Wellenlänge x in Nanometern und auf der y-Achse das Transmissionsverhalten y der verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e aufgetragen. Die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e weisen voneinander unterschiedliche Transmissionsbereiche x1-x2 beispielsweise des Wellenlängenbereichs 380 nm bis 780 nm auf.
  • Somit transmittieren sie voneinander unterschiedliche Teilbereiche der Lichtstrahlen. Bei diesem Ausführungsbeispiel decken die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e gemeinsam eine Teilmenge des in 3 gezeigten Transmissionsbereichs der transparenten Filterpixel 7a ab.
  • Bezugszeichenliste
  • 1
    Fahrerassistenzkamera
    2
    Fahrerassistenzsystem
    3
    Auswerteeinrichtung
    4
    Optik
    5
    Bildsensor
    6
    Filterpixelmaske
    6a
    Filterzeile
    6b
    Filterspalte
    7
    Transparente Filterzeilen
    7a
    Transparente Filterpixel
    8
    Farbige Filterzeilen
    8a
    Farbiger Filterpixel eines ersten Farbwerts
    8b
    Farbiger Filterpixel eines zweiten Farbwerts
    8c
    Farbiger Filterpixel eines dritten Farbwerts
    8d
    Farbiger Filterpixel eines vierten Farbwerts
    8e
    Farbiger Filterpixel eines fünften Farbwerts
    8abcde
    Farbwertreihenfolge der farbigen Filterzeilen
    x
    Wellenlänge in Nanometern
    y
    Transmissionsverhalten der Filterpixel
    x1-x2
    Transmissionsbereich
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102007040114 B4 [0003]

Claims (13)

  1. Filterpixelmaske (6) zur Anordnung auf einem Bildsensor (5) einer Fahrerassistenzkamera (1) mit transparenten Filterzeilen (7), wobei die transparenten Filterzeilen (7) ausschließlich transparente Filterpixel (7a) umfassen, mit farbigen Filterzeilen (8), wobei die farbigen Filterzeilen (8) jeweils mindestens drei verschiedenfarbige Filterpixel (8a, 8b, 8c, 8d, 8e) aufweisen, wobei die verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) der jeweiligen farbigen Filterzeile (8) in einer gleichbleibend alternierenden Farbwertreihenfolge (8abcde) angeordnet sind, wobei mindestens 80 Prozent der farbigen Filterzeilen (8) die gleiche alternierende Farbwertreihenfolge (8abcde) der mindestens drei verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) aufweisen, wobei sich die nächstliegenden farbigen Filterzeilen (8) in Richtung des senkrecht zum Filterzeilenverlauf angeordneten Filterspaltenverlaufs betrachtend dadurch unterscheiden, dass die gleichbleibend alternierende Farbwertreihenfolge (8abcde) um mindestens einen Farbwert verschoben ist.
  2. Filterpixelmaske (6) nach Anspruch 1, wobei die farbigen Filterzeilen (8) ausschließlich farbige Filterpixel (8a, 8b, 8c, 8d, 8e) umfassen.
  3. Filterpixelmaske (6) nach Anspruch 1 oder 2, wobei die Filterpixelmaske (6) ausschließlich die transparenten Filterzeilen (7) und die farbigen Filterzeilen (8) mit den farbigen Filterpixeln (8a, 8b, 8c, 8d, 8e) in der gleichbleibend alternierenden Farbwertreihenfolge (8abcde) umfasst.
  4. Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die transparenten und farbigen Filterzeilen (7, 8) alternierend angeordnet sind.
  5. Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche 1 bis 3, wobei zwischen zwei farbigen Filterzeilen (8) mindestens zwei, insbesondere mindestens drei, im Speziellen mindestens fünf der transparenten Filterzeilen (7) angeordnet sind.
  6. Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die transparenten Filterpixel (7) ausgebildet sind, Lichtstrahlen in einem Wellenlängenbereich (x1-x2) von 350 nm bis 1150 nm zu transmittieren.
  7. Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die mindestens drei verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) ausgebildet sind, voneinander unterschiedliche Teilbereiche der sichtbaren Lichtstrahlung zu transmittieren.
  8. Fahrerassistenzkamera (1) zur Aufnahme eines Bildes eines Umgebungsbereichs eines Kraftfahrzeugs mit einer Optik (4) zur Projektion von Lichtstrahlen, mit einem Bildsensor (5) zur Ausgabe von Bildsignalen und einer auf dem Bildsensor (5) angeordneten Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die von der Optik (4) projizierten Lichtstrahlen über die Filterpixelmaske (6) auf dem Bildsensor (5) gefiltert abgebildet sind.
  9. Fahrerassistenzkamera (1) nach Anspruch 8, wobei die Fahrerassistenzkamera (1) als eine Frontkamera ausgebildet ist, wobei die Filterpixelmaske (6) derart auf dem Bildsensor (5) angeordnet ist, dass die senkrecht zu den farbigen Filterzeilen (8) verlaufenden Filterspalten (6b) die vertikale Ortsauflösung bilden.
  10. Verfahren zur Auswertung eines mit einer Fahrerassistenzkamera (1) nach Anspruch 8 oder 9 aufgenommenen Bildes, umfassend: – eine Kantenerkennung mittels der durch die transparenten Filterpixel (7a) transmittierten und auf den Bildsensor (5) abgebildeten Lichtstrahlen; – eine Farberkennung mittels der durch die verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) transmittierten und auf den Bildsensor (5) abgebildeten Lichtstrahlen.
  11. Verfahren nach Anspruch 10, wobei eine Mehrzahl von Bildern als Bildfolge in einem fahrenden Kraftfahrzeug aufgenommen und ausgewertet wird.
  12. Verfahren nach Anspruch 10 oder 11, wobei die Auswertung zur Kantenerkennung die Bildsignale der verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) ausgeschlossen und stattdessen die Bildsignale der beiden benachbarten transparenten Filterzeilen (7) interpoliert werden.
  13. Verfahren nach Anspruch 10 oder 11, wobei die Auswertung zur Kantenerkennung die Bildsignale der verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) umgewandelt werden in interpolierte Bildsignale eines transparenten Filterpixels (7a) an dieser Stelle, wobei bei der Umwandlung Bildsignale der beiden benachbarten transparenten Filterzeilen (7) einbezogen werden.
DE102015210536.9A 2015-06-09 2015-06-09 Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes Withdrawn DE102015210536A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015210536.9A DE102015210536A1 (de) 2015-06-09 2015-06-09 Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015210536.9A DE102015210536A1 (de) 2015-06-09 2015-06-09 Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes

Publications (1)

Publication Number Publication Date
DE102015210536A1 true DE102015210536A1 (de) 2016-12-15

Family

ID=57395262

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015210536.9A Withdrawn DE102015210536A1 (de) 2015-06-09 2015-06-09 Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes

Country Status (1)

Country Link
DE (1) DE102015210536A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007040114B4 (de) 2007-08-24 2010-10-28 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
US20110211109A1 (en) * 2006-05-22 2011-09-01 Compton John T Image sensor with improved light sensitivity
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211109A1 (en) * 2006-05-22 2011-09-01 Compton John T Image sensor with improved light sensitivity
DE102007040114B4 (de) 2007-08-24 2010-10-28 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIM, Jonghyun; PARK, Sang Wook; KANG, Moon Gi: Intermediate color interpolation for color filter array containing the white channel, Proc. SPIE 9399, Image Processing: Algorithms and Systems XIII, 93990B (March 16, 2015); *
SIEMENS: Silizium-PIN-Fotodiode mit sehr kurzer Schaltzeit SFH 216. Datenblatt, S. 410-413, 10.95. München: Siemens AG, Semiconductor Group, 1995. *

Similar Documents

Publication Publication Date Title
EP1018839B1 (de) Verfahren und Einrichtung zur Einsichtnahme des rückwärtigen Beobachtungsraumes bei Kraftfahrzeugen
DE102007040114B4 (de) Farbmaske für einen Bildsensor einer Fahrzeugkamera
WO2005066684A1 (de) Nachtsichtsystem für kraftfahrzeuge mit partiellem optischem filter
DE102009040252A1 (de) Vorrichtung zur Erfassung von Lichtsignalen von Lichtzeichenanlagen für ein Fahrzeug
DE102015009875A1 (de) Verfahren für ein autonomes Fahren eines Fahrzeuges
DE102006055905B4 (de) Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102016216795A1 (de) Verfahren zur Ermittlung von Ergebnisbilddaten
EP3256345A1 (de) Fahrerassistenzsystem
DE102008035428B4 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008042012A1 (de) Bildaufnahmevorrichtung und Fahrzeug mit einer Bildaufnahmevorrichtung
DE102007034608A1 (de) Kamera
DE102010000745A1 (de) Kalibrierungsmuster für Bildvorrichtung
DE102012110092A1 (de) Sensoranordnung zur Bilderfassung
DE102014218460B4 (de) Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor
DE102014224903A1 (de) Optischer Umfeldsensor für Fahrzeuge
DE102011083232A1 (de) Bilderfassungsvorrichtung für ein Fahrzeug
DE102016013861A1 (de) Optischer Sensor für ein Kraftfahrzeug und Kraftfahrzeug
DE102015210536A1 (de) Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes
WO2015074915A1 (de) Filteranordnung und verfahren zum herstellen einer filteranordnung
WO2015090997A1 (de) Optisches sensorsystem
DE102006010662A1 (de) Spurwechselwarnsystem
DE102013102207A1 (de) Kamerasystem für ein Fahrzeug
DE102016217282A1 (de) Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung
DE102017010307A1 (de) Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102016218949A1 (de) Kameravorrichtung sowie Verfahren zur Objektdetektion in einem Umgebungsbereich eines Kraftfahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination