DE102015210536A1

DE102015210536A1 - Filter pixel mask, driver assistance camera with the filter pixel mask and method for evaluating an image taken with the driver assistance camera

Info

Publication number: DE102015210536A1
Application number: DE102015210536.9A
Authority: DE
Inventors: Konrad Rothenhäusler
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2015-06-09
Filing date: 2015-06-09
Publication date: 2016-12-15

Abstract

Die Erfindung betrifft eine Filterpixelmaske 6 zur Anordnung auf einem Bildsensor 5 einer Fahrerassistenzkamera 1 mit transparenten Filterzeilen 7, wobei die transparenten Filterzeilen 7 ausschließlich transparente Filterpixel 7a umfassen, mit farbigen Filterzeilen 8, wobei die farbigen Filterzeilen 8 jeweils mindestens drei verschiedenfarbige Filterpixel 8a, 8b, 8c, 8d, 8e aufweisen, wobei die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e der jeweiligen farbigen Filterzeile 8 in einer gleichbleibend alternierenden Farbwertreihenfolge 8abcde angeordnet sind, wobei mindestens 80 Prozent der farbigen Filterzeilen 8 die gleiche alternierende Farbwertreihenfolge 8abcde der mindestens drei verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e aufweisen, wobei sich die nächstliegenden farbigen Filterzeilen 8 in Richtung des senkrecht zum Filterzeilenverlauf angeordneten Filterspaltenverlaufs betrachtend dadurch unterscheiden, dass die gleichbleibend alternierende Farbwertreihenfolge 8abcde um mindestens einen Farbwert verschoben ist.The invention relates to a filter pixel mask 6 for arrangement on an image sensor 5 of a driver assistance camera 1 with transparent filter lines 7, the transparent filter lines 7 comprising exclusively transparent filter pixels 7a with colored filter lines 8, the colored filter lines 8 each having at least three differently colored filter pixels 8a, 8b, 8c, 8d, 8e, wherein the differently colored filter pixels 8a, 8b, 8c, 8d, 8e of the respective colored filter line 8 are arranged in a constantly alternating color value order 8abcde, wherein at least 80% of the colored filter lines 8 have the same alternating color value order 8abcde of the at least three have differently colored filter pixels 8a, 8b, 8c, 8d, 8e, wherein the nearest colored filter lines 8 in the direction of the filter line profile arranged perpendicular to the filter column profile differ in that the constantly alternating color value sequence 8abc de is shifted by at least one color value.

Description

Die vorliegende Erfindung betrifft eine Filterpixelmaske zur Anordnung auf einem Bildsensor einer Fahrerassistenzkamera nach dem Oberbegriff des Anspruchs 1. Ferner betrifft die Erfindung eine Fahrerassistenzkamera mit der Filterpixelmaske sowie ein Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes.The present invention relates to a filter pixel mask for arrangement on an image sensor of a driver assistance camera according to the preamble of claim 1. Furthermore, the invention relates to a driver assistance camera with the filter pixel mask and a method for evaluating an image taken with the driver assistance camera image.

Fahrerassistenzsysteme für Kraftfahrzeuge dienen zum Unterstützung eines Kraftfahrzeugführers in unterschiedlichen Verkehrssituationen. Ein solches Fahrerassistenzsystem kann Fahrzeugkameras umfassen, die für verschiedene Funktionen wie z. B. Fahrspurerkennung, Verkehrszeichenerkennung oder für die Erkennung weiterer Verkehrsteilnehmern eingesetzt werden. Um Farb- und/oder Helligkeitsunterschiede im Bild erfassen zu können, werden auf den Bildsensoren der Fahrzeugkameras oftmals Farbmasken angeordnet, welche mittels Filterpixeln verschiedene Wellenlängenbereiche filtern können. Driver assistance systems for motor vehicles serve to support a motor vehicle driver in different traffic situations. Such a driver assistance system may include vehicle cameras that are responsible for various functions such. As lane detection, traffic sign recognition or used for the detection of other road users. In order to be able to detect color and / or brightness differences in the image, color masks are often arranged on the image sensors of the vehicle cameras, which can filter different wavelength ranges by means of filter pixels.

So beschreibt z. B. die Druckschrift DE 10 2007 040 114 B4 eine Farbmaske für einen Bildsensor einer Fahrzeugkamera, die eine Matrixanordnung aus ersten Filterpixeln und zweiten Filterpixeln aufweist, in der in jeder horizontalen Zeile und/oder jeder vertikalen Spalte erste und zweite Filterpixel angeordnet sind. Die ersten und zweiten Filterpixel weisen unterschiedliches Transmissionsverhalten für optisches Licht auf. So describes z. B. the publication DE 10 2007 040 114 B4 a color mask for an image sensor of a vehicle camera having a matrix arrangement of first filter pixels and second filter pixels, are arranged in each horizontal line and / or each vertical column first and second filter pixels. The first and second filter pixels have different transmission characteristics for optical light.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Filterpixelmaske zur Anordnung auf einem Bildsensor einer Fahrerassistenzkamera vorzuschlagen, die eine verbesserte Objekterkennung im Bild bereitstellt. The object of the present invention is to propose a filter pixel mask for arrangement on an image sensor of a driver assistance camera, which provides an improved object recognition in the image.

Diese Aufgabe wird durch eine Filterpixelmaske mit den Merkmalen des Anspruchs 1, durch eine Fahrerassistenzkamera mit den Merkmalen des Anspruchs 8 und durch ein Verfahren mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt.This object is achieved by a filter pixel mask having the features of claim 1, by a driver assistance camera having the features of claim 8 and by a method having the features of claim 10. Advantageous or preferred embodiments of the invention are set forth in the subclaims, the following description and by the figures.

Erfindungsgemäß wird somit eine Filterpixelmaske, welche zur Anordnung auf einem Bildsensor einer Fahrerassistenzkamera geeignet und/oder ausgebildet ist, vorgeschlagen. Die Filterpixelmaske umfasst Filterzeilen und hierzu senkrecht verlaufende Filterspalten mit jeweils mindestens drei Filterpixeln. Insbesondere ist die Filterpixelmaske eine Matrix-Anordnung aus den Filterpixeln. According to the invention, a filter pixel mask which is suitable and / or designed for arrangement on an image sensor of a driver assistance camera is thus proposed. The filter pixel mask comprises filter rows and perpendicular filter columns with at least three filter pixels each. In particular, the filter pixel mask is a matrix arrangement of the filter pixels.

Die Filterpixelmaske umfasst transparente Filterzeilen, wobei die transparenten Filterzeilen ausschließlich transparente Filterpixel aufweisen. Beispielsweise sind die transparenten Filterpixel jeweils ausgebildet, Lichtstrahlen von mindestens zwei, insbesondere mindestens drei, im Speziellen von mindestens fünf Farbwerten zu transmittieren. Rein beispielhaft seien hier die Farbwerte grün, blau, rot und gelb genannt. Durch den Transmissionsbereich von insbesondere mindestens zwei Farbwerten ist die für eine zuverlässige Kantenerkennung erforderliche Erfassung von Intensitätsunterschieden in einem durch den Bildsensor erfassbaren Bild möglich. Die Kantenerkennung erweist sich besonders nachts von Vorteil, da eine Objekterkennung trotz abnehmenden Farbwerten sichergestellt ist. Bevorzugt ist, dass jede der transparenten Filterpixel die gleichen Farbwerte transmittieren, sodass eine sachgerechte Auswertung der Intensitätsunterschiede umsetzbar ist. The filter pixel mask comprises transparent filter rows, the transparent filter rows having exclusively transparent filter pixels. For example, the transparent filter pixels are each designed to transmit light beams of at least two, in particular at least three, in particular of at least five color values. For example, here are the color values green, blue, red and yellow called. Due to the transmission range of, in particular, at least two color values, the detection of intensity differences necessary for reliable edge detection is possible in an image detectable by the image sensor. The edge detection proves to be particularly advantageous at night, since an object detection is ensured despite decreasing color values. It is preferred that each of the transparent filter pixels transmit the same color values, so that an appropriate evaluation of the intensity differences can be implemented.

Die Filterpixelmaske umfasst farbige Filterzeilen, wobei die farbigen Filterzeilen jeweils mindestens drei verschiedenfarbige Filterpixel aufweisen. Weiterhin ist bevorzugt, dass jede der farbigen Filterzeilen mindestens zwei, besonders bevorzugt mindestens drei gleichfarbige Filterpixel, somit mindestens zwei Filterpixel des gleichen Farbwerts umfasst. The filter pixel mask comprises colored filter lines, the colored filter lines each having at least three differently colored filter pixels. Furthermore, it is preferred that each of the colored filter lines comprises at least two, more preferably at least three, same-color filter pixels, thus at least two filter pixels of the same color value.

Die verschiedenfarbigen Filterpixel sind insbesondere ausgebildet, Lichtstrahlen mit voneinander unterschiedlichen Farbwerten transmittieren. Bei einer besonders bevorzugten konstruktiven Umsetzung sind die mindestens drei verschiedenfarbigen Filterpixel ausgebildet, voneinander unterschiedliche Teilbereiche des Wellenlängenbereichs von 380 nm bis 780 nm, somit insbesondere Teilbereiche des für den Menschen sichtbaren Wellenlängenbereichs zu transmittieren. Somit setzen die farbigen Filterzeilen mit den farbigen Filterpixeln eine farbliche Differenzierung mit mindestens drei verschiedenen Farbwerten um. Vorzugsweise sind die farbigen Filterpixel ausgebildet, Lichtstrahlen genau eines Farbwerts zu transmittieren. Rein beispielhaft sei hier der grüne Farbwert mit einem Wellenlängenbereich von 490 nm bis 560 nm zu nennen.The differently colored filter pixels are in particular designed to transmit light beams with different color values from each other. In a particularly preferred constructive implementation, the at least three differently colored filter pixels are formed to transmit mutually different subareas of the wavelength range from 380 nm to 780 nm, thus in particular subregions of the wavelength range visible to humans. Thus, the colored filter lines with the colored filter pixels convert a color differentiation with at least three different color values. The colored filter pixels are preferably designed to transmit light beams of exactly one color value. By way of example, the green color value with a wavelength range of 490 nm to 560 nm should be mentioned here.

Die farbigen Filterpixel sind aufgrund der Filterungsfunktion vergleichsweise zu den transparenten Filterpixeln mit einer reduzierten Ortsauflösung im Bild verbunden. Jedoch sind die farbigen Filterpixel ausschließlich zur Farberkennung vorgesehen, sodass die Ortsauflösung zur Aufnahme des Bilds ausreicht. Zugleich wird der Bedarf an Rechenleistung zur Bildverarbeitung und/oder -auswertung in vorteilhafterweise reduziert. Due to the filtering function, the colored filter pixels are comparatively connected to the transparent filter pixels with a reduced spatial resolution in the image. However, the colored filter pixels are intended solely for color detection, so that the spatial resolution is sufficient to capture the image. At the same time, the need for computing power for image processing and / or evaluation is advantageously reduced.

Die verschiedenfarbigen Filterpixel der jeweiligen farbigen Filterzeile sind in einer gleichbleibend alternierenden Farbwertreihenfolge angeordnet. Mit anderen Worten sind die verschiedenfarbigen Filterpixel in der jeweiligen farbigen Filterzeile iterativ, also in einer sich gleichbleibend wiederholenden Abfolge angeordnet. So sei hier rein beispielhaft die iterative Anordnung grün, gelb, rot, grün, gelb, rot zu nennen. Es ist vorgesehen, dass mindestens 80 Prozent, insbesondere mindestens 95 Prozent, im Speziellen jede der farbigen Filterzeilen die gleiche Farbwertreihenfolge der mindestens drei verschiedenfarbigen Filterpixel aufweisen.The differently colored filter pixels of the respective colored filter line are arranged in a constantly alternating color value sequence. In other words, the differently colored filter pixels in the respective colored filter line are iterative, ie in a constantly repeating one Sequence arranged. For example, here is the iterative arrangement of green, yellow, red, green, yellow, red. It is envisaged that at least 80 percent, in particular at least 95 percent, in particular each of the colored filter lines have the same color value order of the at least three differently colored filter pixels.

Die nächstliegenden farbigen Filterzeilen unterscheiden sich in einer der Richtungen des senkrecht zum Filterzeilenverlauf angeordneten Filterspaltenverlaufs betrachtend dadurch, dass die gleichbleibend alternierende Farbwertreihenfolge um mindestens einen, besonders bevorzugt um genau einen Farbwert verschoben ist. Anders ausgedrückt sind die farbigen Filterzeilen zwar in ihrer iterativen Farbwertreihenfolge identisch, jedoch jede weitere nächstliegende farbige Filterzeile betrachtend ist die Farbwertreihenfolge um mindestens, insbesondere um genau einen Filterpixel versetzt. Unter den nächstliegenden farbigen Filterzeilen sind die in Richtung des Filterspaltenverlaufs betrachtend unmittelbar oder mittelbar angrenzende farbige Filterzeilen zu verstehen. The closest colored filter lines differ in one of the directions of the filter column profile arranged perpendicular to the filter line profile in that the constantly alternating color value sequence is shifted by at least one, particularly preferably by exactly one color value. In other words, the colored filter lines are identical in their iterative color value order, but each further color filter line nearest the color value order is offset by at least, in particular by exactly one filter pixel. The nearest colored filter lines are to be understood as meaning the colored filter lines directly or indirectly contiguous in the direction of the filter column profile.

Betrachtet man nun die farbigen Filterpixel der verschiedenfarbigen Filterpixel mit der alternierende Farbwertreihenfolge in Richtung des Filterspaltenverlaufs, sind die verschiedenfarbigen Filterpixel aufgrund der Versetzung des mindestens, insbesondere des genau einen Farbwerts ebenfalls in einer alternierenden Farbreihenfolge angeordnet. Somit sind die mindestens drei verschiedenfarbigen Filterpixel zumindest nahezu in jeder der Filterspalten angeordnet. Hieraus ergibt sich der wesentliche Vorteil, dass eine Redundanz an farbigen Filterpixeln bis zur erreichten Anzahl der mindestens drei unterschiedlichen Filterpixel vermieden ist. Auf diese Weise sind sowohl im Richtungsverlauf der Filterzeilen als auch der -spalten möglichst viele Farbwerte auf dem Bildsensor abbildbar und damit eine zuverlässige Farberkennung von Objekten im Bild ermöglicht. If one now considers the colored filter pixels of the differently colored filter pixels with the alternating color value sequence in the direction of the filter column progression, the differently colored filter pixels are likewise arranged in an alternating color order due to the offset of the at least one color value. Thus, the at least three differently colored filter pixels are arranged at least almost in each of the filter columns. This results in the significant advantage that a redundancy of colored filter pixels is avoided until the number of at least three different filter pixels has been reached. In this way, as many color values as possible can be imaged on the image sensor both in the direction of the filter lines and the columns, thus enabling reliable color recognition of objects in the image.

Bei einer besonders bevorzugten Ausführungsform umfassen die Filterzeilen ausschließlich farbige Filterpixel. Auf diese Weise wird sichergestellt, dass die mindestens drei verschiedenfarbigen Filterpixel sowohl in den Filterzeilen als auch den Filterspalten vorliegen. Folglich sind die verschiedenen Farbwerte für die Farbauflösung des Bildes in Spalten- und Zeilenrichtung abgedeckt. Weiterhin ist von Vorteil, dass der für die Bildverarbeitung erforderliche Rechenaufwand vergleichsweise zu den transparenten Filterpixeln reduziert ist. In a particularly preferred embodiment, the filter lines comprise only colored filter pixels. This ensures that the at least three differently colored filter pixels are present both in the filter rows and in the filter columns. Consequently, the different color values for the color resolution of the image in the column and row direction are covered. Furthermore, it is advantageous that the computation required for the image processing is reduced relative to the transparent filter pixels.

Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass die Filterpixelmaske ausschließlich die transparenten und farbigen Filterzeilen umfasst. Durch das Ausschließen andersartiger Filterzeilen sind Filterpixelbereiche über die Filterpixelmaske verteilt redundant ausgebildet, sodass für zumindest nahezu jeden Bildbereich des aufzunehmenden Bildes eine Farb- und/oder Kantenauflösung generiert wird. Des Weiteren ist bevorzugt, dass jede der farbigen Filterzeilen die farbigen Filterpixel in der gleichbleibend alternierenden Farbwertreihenfolge umfasst. Auf diese Weise sind die verschiedenfarbigen Filterpixel in jeder der Filterspalten und -zeilen angeordnet, sodass eine gleichmäßig verteilte Farbauflösung des aufzunehmenden Bildes ermöglicht ist.According to a preferred embodiment, it is provided that the filter pixel mask comprises exclusively the transparent and colored filter lines. By excluding different types of filter lines, filter pixel areas are distributed redundantly over the filter pixel mask so that color and / or edge resolution is generated for at least virtually every image area of the image to be recorded. Furthermore, it is preferred that each of the colored filter lines comprises the colored filter pixels in the constantly alternating color value order. In this way, the differently colored filter pixels are arranged in each of the filter columns and rows, so that a uniformly distributed color resolution of the image to be recorded is made possible.

In einer möglichen konstruktiven Umsetzung der Erfindung sind die farbigen und transparenten Filterzeilen alternierend angeordnet, sodass zwischen zwei farbigen Filterzeilen genau eine transparente Filterzeile vorliegt. Bei dieser alternierenden Anordnung an transparenten und farbigen Filterpixeln liegt eine gleichmäßig verteilte Anordnung der transparenten und farbigen Filterzeilen vor. In a possible constructive implementation of the invention, the colored and transparent filter lines are arranged alternately, so that there is exactly one transparent filter line between two colored filter lines. In this alternating arrangement of transparent and colored filter pixels, there is a uniformly distributed arrangement of the transparent and colored filter lines.

Bei einer alternativen, bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass zwischen zwei farbigen Filterzeilen mindestens zwei, insbesondere mindestens drei, im Speziellen mindestens fünf der transparenten Filterzeilen angeordnet sind. Durch die Aneinanderreihung mehrerer transparenter Filterzeilen umfasst die Filterpixelmaske Bereiche ausschließlich mit transparenten Filterpixeln. Die transparenten Filterzeilen zeichnen sich vergleichsweise zu den farbigen Filterpixeln aufgrund der geringeren Filterung an Lichtstrahlen durch minimales Bildrauschen und folglich durch eine erhöhte Ortsauflösung aus. Durch die großflächige Abdeckung von Bildbereichen mit den transparenten Filterzeilen sind Intensitätsunterschiede großflächig ermittelbar und folglich eine Kantenerkennung umsetzbar. Zugleich ist die Farberkennung durch die Anordnung der farbigen Filterzeilen in regelmäßigen Abständen auf zuverlässige Weise umgesetzt. In an alternative, preferred embodiment of the invention, it is provided that at least two, in particular at least three, in particular at least five of the transparent filter lines are arranged between two colored filter lines. By juxtaposing several transparent filter lines, the filter pixel mask comprises areas exclusively with transparent filter pixels. The transparent filter lines are characterized by comparatively to the colored filter pixels due to the lower filtering of light beams by minimal image noise and consequently by an increased spatial resolution. Due to the large-area coverage of image areas with the transparent filter lines intensity differences can be determined over a large area and consequently an edge detection can be implemented. At the same time, the color detection is implemented by the arrangement of the colored filter lines in regular intervals in a reliable manner.

In einer möglichen Ausgestaltung der Erfindung sind die transparenten Filterpixel ausgebildet, die Lichtstrahlen ungefiltert zu transmittieren. Jedoch ist für die Kantenerkennung die Erfassung und Auswertung z. B. von UV-Strahlung abdingbar. Vor diesem Hintergrund ist es bevorzugt, dass die transparenten Filterpixel Lichtstrahlen in einem Wellenlängenbereich von 350 nm bis 1150 nm transmittieren. Besonders bevorzugt sind die Filterpixel ausgebildet, Lichtstrahlen in einem Wellenlängenbereich von 380 nm bis 780 nm, somit für den Menschen sichtbare Lichtstrahlen zu transmittieren. Die Transmission im sichtbaren Lichtspektrum ist von Vorteil, da einerseits die Kantenerkennung ermöglicht, andererseits der für die Bildverarbeitung erforderliche Rechenaufwand auf das Nötigste beschränkt ist.In one possible embodiment of the invention, the transparent filter pixels are designed to transmit the light beams unfiltered. However, for the edge detection, the detection and evaluation z. B. abradable from UV radiation. Against this background, it is preferable that the transparent filter pixels transmit light beams in a wavelength range of 350 nm to 1150 nm. Particularly preferably, the filter pixels are designed to transmit light beams in a wavelength range from 380 nm to 780 nm, thus transmitting visible light beams to humans. The transmission in the visible light spectrum is advantageous because, on the one hand, edge detection is possible, and, on the other hand, the computational effort required for image processing is limited to the bare necessities.

Ein weiterer Gegenstand der Erfindung betrifft eine Fahrerassistenzkamera zur Aufnahme des Bildes eines Umgebungsbereichs eines Kraftfahrzeugs wie z. B. ein PKW mit den Merkmalen des Anspruchs 8. Der Umgebungsbereich ist beliebig ausgebildet und kann beispielsweise durch eine oder mehrere Straßen, Kreuzungen, etc. verkörpert sein. Insbesondere ist die Fahrerassistenzkamera mit einem Fahrerassistenzsystem verbindbar oder verbunden, welches zur Überwachung mindestens eines Überwachungsziels des Umgebungsbereichs des aufgenommenen Bildes ausgebildet ist. Optional umfasst die Fahrerassistenzkamera eine Auswerteeinrichtung und/oder ist mit dieser verbindbar oder verbunden, welche zur Auswertung der durch die Fahrerassistenzkamera aufgenommenen Bilder, insbesondere zur Auswertung der durch den Bildsensor ausgegebenen Bildsignale ausgebildet ist.Another object of the invention relates to a driver assistance camera for receiving the Image of an environmental area of a motor vehicle such. As a car with the features of claim 8. The surrounding area is arbitrarily formed and may be embodied for example by one or more roads, intersections, etc. In particular, the driver assistance camera can be connected or connected to a driver assistance system, which is designed to monitor at least one monitoring target of the surrounding area of the recorded image. Optionally, the driver assistance camera comprises an evaluation device and / or can be connected or connected to it, which is designed for evaluating the images recorded by the driver assistance camera, in particular for evaluating the image signals output by the image sensor.

Die Fahrerassistenzkamera umfasst eine Optik zur Projektion von Lichtstrahlen, den Bildsensor zur Ausgabe von Bildsignalen und die auf dem Bildsensor angeordneten Filterpixelmaske nach der vorhergehenden Beschreibung. Die von der Optik projizierten Lichtstrahlen sind über die Filterpixelmaske auf dem Bildsensor gefiltert abgebildet. Besonders bevorzugt ist die Filterpixelmaske mittel- oder unmittelbar auf einer gesamten für die Lichtstrahlung sensitiven Fläche des Bildsensors angeordnet. Insbesondere umfasst die sensitive Fläche Sensorpixel, wobei bevorzugt ist, dass die transparenten und farbigen Filterpixel jeweils einem der Sensorpixel des Bildsensors zugeordnet sind. Vorzugsweise weisen die Sensorpixel eine einheitliche Ausgestaltung und/oder eine einheitliche Größe auf. Insbesondere sind die Sensorpixel gleichmäßig über die gesamte Sensorfläche des Bildsensors verteilt. Bevorzugt ist die Filterpixelmaske direkt, somit insbesondere unmittelbar ohne ein zwischen dem Strahlengang angeordnetes Element auf dem Bildsensor angeordnet. Somit ist der Abstand zwischen der Filterpixelmaske und dem Bildsensor auf ein Minimum reduziert. Durch den sich hierdurch zwischen der Filterpixelmaske und dem Bildsensor ergebenen minimalen Strahlengang wird die Streubreite der Lichtstrahlung reduziert und folglich eine verbesserte Bildqualität erzielt. The driver assistance camera comprises an optical system for projecting light beams, the image sensor for outputting image signals and the filter pixel mask arranged on the image sensor as described above. The light beams projected by the optics are filtered via the filter pixel mask on the image sensor. Particularly preferably, the filter pixel mask is arranged directly or indirectly on an entire area sensitive to the light radiation of the image sensor. In particular, the sensitive area comprises sensor pixels, wherein it is preferred that the transparent and colored filter pixels are each assigned to one of the sensor pixels of the image sensor. The sensor pixels preferably have a uniform configuration and / or a uniform size. In particular, the sensor pixels are distributed uniformly over the entire sensor surface of the image sensor. The filter pixel mask is preferably arranged directly on the image sensor, thus in particular directly without an element arranged between the beam path. Thus, the distance between the filter pixel mask and the image sensor is minimized. As a result of the minimal beam path that results between the filter pixel mask and the image sensor, the scattering range of the light radiation is reduced and consequently an improved image quality is achieved.

Bei einer bevorzugten Umsetzung der Erfindung ist die Fahrerassistenzkamera eine Frontkamera. Unter der Frontkamera ist insbesondere eine im Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe anzuordnende und in Fahrtrichtung den Umgebungsbereich erfassende Fahrerassistenzkamera zu verstehen. Vorzugsweise ist die Filterpixelmaske derart auf dem Bildsensor angeordnet, dass die farbigen Filterzeilen und optional ergänzend die transparenten Filterzeilen die horizontale Ortsauflösung und/oder die senkrecht zu den farbigen Filterzeilen verlaufenden Filterspalten die vertikale Ortsauflösung bilden. Somit verlaufen die Filterspalten insbesondere parallel zur Fahrtrichtung des Kraftfahrzeugs. Angesichts des Farbwertversatzes in den farbigen Filterzeilen sind die Farbwerte der mindestens drei verschiedenfarbigen Filterpixel in zumindest nahezu jeder Filterspalte und somit in Fahrtrichtung des aufzunehmenden Bilds erfassbar. Durch die Anordnung von mindestens zwei der transparenten Filterzeilen zwischen zwei farbigen Filterzeilen ergibt sich weiterhin der Vorteil, dass die Intensitätswerte, insbesondere die Intensitätsunterschiede in Fahrtrichtung des aufzunehmenden Bildes erfassbar sind. Die Vorteile der erfindungsgemäßen Filterpixelmaske liegen somit in der Farb- und Kantenerkennung des aufzunehmenden Bilds des Umgebungsbereichs. Somit können beispielsweise weiße und gelbe Farbspurmarkierungen unterschieden werden. In a preferred implementation of the invention, the driver assistance camera is a front camera. Under the front camera, in particular, to be arranged in the interior of the motor vehicle behind the windshield and in the direction of travel to detect the surrounding area driver assistance camera. The filter pixel mask is preferably arranged on the image sensor in such a way that the colored filter lines and optionally the transparent filter lines form the horizontal spatial resolution and / or the filter columns perpendicular to the colored filter lines form the vertical spatial resolution. Thus, the filter gaps are in particular parallel to the direction of travel of the motor vehicle. In view of the color value offset in the colored filter lines, the color values of the at least three differently colored filter pixels can be detected in at least virtually every filter column and thus in the direction of travel of the image to be recorded. By arranging at least two of the transparent filter lines between two colored filter lines, there is also the advantage that the intensity values, in particular the intensity differences in the direction of travel of the image to be recorded, can be detected. The advantages of the filter pixel mask according to the invention thus lie in the color and edge detection of the image to be recorded of the surrounding area. Thus, for example, white and yellow color track marks can be distinguished.

Ein letzter Gegenstand der Erfindung betrifft ein Verfahren zur Auswertung eines mit einer Fahrerassistenzkamera mit den Merkmalen nach einem der Ansprüche 8 oder 9 aufgenommenen Bildes. Die Kantenerkennung von Objekten wie z. B. Fahrspurmarkierungen erfolgt mittels der durch die transparenten Filterpixel transmittierten und auf den Bildsensor abgebildeten Lichtstrahlen. Die Farberkennung von Objekten wie z. B. gelbe und weiße Fahrspurmarkierungen erfolgt mittels der durch die verschiedenfarbigen Filterpixel transmittierten und auf den Bildsensor abgebildeten Lichtstrahlen. A final object of the invention relates to a method for evaluating a picture taken with a driver assistance camera having the features according to one of claims 8 or 9. The edge detection of objects such. B. lane markings by means of transmitted through the transparent filter pixels and imaged on the image sensor light beams. The color recognition of objects such. B. yellow and white lane markings by means of transmitted through the differently colored filter pixels and imaged on the image sensor light beams.

Bei einer bevorzugten Ausführungsform wird eine Mehrzahl von Bildern als Bildfolge in einem fahrenden Kraftfahrzeug aufgenommen und/oder ausgewertet. Somit erfolgen die Aufnahme und/oder die Auswertung der Bilder in einer dynamischen Fahrsituation. Hier erweist sich die Filterpixelmaske insbesondere bei der durch die Filterspalten umgesetzten vertikalen Ortsauflösung von Vorteil. So können beim Annähern oder Überfahren von Objekten wie z. B. von gelben und weißen Fahrspurmarkierungen durch das Kraftfahrzeug mittels der farbigen Filterpixel die Farb- und mittels der transparenten Filterpixel die Kantenerkennung unter einem optimalen Rechenaufwand erzielt werden. In a preferred embodiment, a plurality of images is taken as a sequence of images in a moving motor vehicle and / or evaluated. Thus, the recording and / or the evaluation of the images take place in a dynamic driving situation. Here, the filter pixel mask proves to be particularly advantageous in the case of the vertical spatial resolution converted by the filter columns. Thus, when approaching or driving over objects such. B. of yellow and white lane markings by the motor vehicle by means of the colored filter pixels, the color and the transparent filter pixels edge detection can be achieved under an optimal computational effort.

Das aufzunehmende Bild umfasst bedingt durch die farbigen Filterzeilen, die vergleichsweise zu den transparenten Filterzeilen mit einem höheren Fix-Pattern-Noise belegt sind, Bereiche mit einer geringeren Ortsauflösung. Daher ist es eine Überlegung der Erfindung, dass für eine zuverlässige Kantenerkennung ein rauschfreies Bild bereitzustellen ist. Vor diesem Hintergrund ist insbesondere vorgesehen, dass das aufgenommene Bild in ein rauschfreies Bild aufbereitet wird, um eine zuverlässige Kantenerkennung sicherzustellen. Beispielsweise erfolgt die Aufbereitung durch die Auswerteeinrichtung. Due to the colored filter lines, which are compared to the transparent filter lines with a higher fix pattern noise, the image to be recorded comprises areas with a lower spatial resolution. Therefore, it is a consideration of the invention to provide a noise free image for reliable edge detection. Against this background, provision is made in particular for the recorded image to be processed into a noise-free image in order to ensure reliable edge detection. For example, the processing is carried out by the evaluation device.

Für die Aufbereitung des aufgenommenen Bildes sieht eine erste bevorzugte Ausgestaltung der Erfindung vor, dass die Bildsignale der verschiedenfarbigen Filterpixel zur Kantenerkennung ausgeschlossen und stattdessen die Bildsignale der beiden benachbarten transparenten Filterzeilen interpoliert werden. Auf diese Weise werden für die Aufbereitung ausschließlich Bildbereiche mit der höheren Ortsauflösung verwendet und Bildbereiche mit der geringeren Ortsauflösung durch Interpolation ersetzt. For the preparation of the recorded image, a first preferred embodiment of the invention provides that the image signals of the differently colored filter pixels for edge detection excluded and instead the image signals of the two adjacent transparent filter lines are interpolated. In this way, exclusively image areas with the higher spatial resolution are used for the preparation and image areas with the lower spatial resolution are replaced by interpolation.

Bei einer zweiten, alternativen Ausgestaltung der Erfindung ist bevorzugt vorgesehen, dass für die Aufbereitung des aufgenommenen Bildes die Bildsignale der verschiedenfarbigen Filterpixel zur Kantenerkennung umgewandelt werden in interpolierte Bildsignale eines transparenten Filterpixels an dieser Stelle, wobei bei der Umwandlung die Bildsignale der beiden benachbarten transparenten Filterzeilen einbezogen werden. In a second, alternative embodiment of the invention, it is preferably provided that, for the processing of the recorded image, the image signals of the differently colored filter pixels for edge detection are converted into interpolated image signals of a transparent filter pixel at this point, the image signals of the two adjacent transparent filter lines being included in the conversion become.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:Further features, advantages and effects of the invention will become apparent from the following description of preferred embodiments of the invention. Showing:

1 eine schematische Darstellung einer Fahrerassistenzkamera; 1 a schematic representation of a driver assistance camera;

2 eine Filterpixelmaske zur Anordnung auf einem Bildsensor der Fahrerassistenzkamera aus 1; 2 a filter pixel mask for placement on an image sensor of the driver assistance camera 1 ;

3 ein Diagramm zur Erläuterung von transparenten Filterpixeln der Filterpixelmaske aus 2; 3 a diagram for explaining transparent filter pixels of the filter pixel mask 2 ;

4 ein Diagramm zur Erläuterung von verschiedenfarbigen Filterpixeln der Filterpixelmaske aus 2. 4 a diagram for explaining different-colored filter pixels of the filter pixel mask 2 ,

Einander entsprechende Teile sind in allen Figuren jeweils mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt in einer schematischen Blockdarstellung eine Fahrerassistenzkamera 1, die in einem Fahrerassistenzsystem 2 eines Kraftfahrzeugs integrierbar ist und zur Aufnahme eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs ausgebildet ist. Beispielsweise handelt es sich bei dem Umgebungsbereich um das Umfeld des Kraftfahrzeugs, genauer um das Vorfeld des Kraftfahrzeugs. Die Fahrerassistenzkamera 1 ist mit einer Auswerteeinrichtung 3 signaltechnisch verbunden, welche die von der Fahrerassistenzkamera 1 aufgenommenen Bilder auswertet. Optional umfasst die Fahrerassistenzkamera 1 die Auswerteeinrichtung 3. Im Rahmen der Auswertung werden beispielsweise Objekte, Hindernisse oder andere Verkehrsteilnehmer mittels eines Objekterkennungs-Algorithmus erkannt. 1 shows a schematic block diagram of a driver assistance camera 1 in a driver assistance system 2 a motor vehicle is integrated and is adapted to receive an image of an environmental region of the motor vehicle. For example, the surrounding area is the environment of the motor vehicle, more specifically the apron of the motor vehicle. The driver assistance camera 1 is with an evaluation device 3 signal technically connected, which the driver assistance camera 1 evaluated images taken. Optionally includes the driver assistance camera 1 the evaluation device 3 , In the context of the evaluation, for example, objects, obstacles or other road users are detected by means of an object recognition algorithm.

Die Fahrerassistenzkamera 1 umfasst eine Optik 4 zur Projektion von Lichtstrahlen, einen Bildsensor 5, welcher die einfallenden Lichtstrahlen erfasst und als Bildsignale beispielsweise an die Auswerteeinrichtung 3 übermittelt. Die Fahrerassistenzkamera 1 weist eine Filterpixelmaske 6 auf, welche zwischen der Optik 4 und einer für die transmittierte Lichtstrahlung sensitive Fläche des Bildsensors 5 angeordnet ist, sodass die von der Optik 4 projizierten Lichtstrahlung über die Filterpixelmaske 6 gefiltert auf die sensitive Sensorfläche des Bildsensors 5 abgebildet ist. The driver assistance camera 1 includes an optic 4 for projecting light rays, an image sensor 5 which detects the incident light rays and as image signals, for example to the evaluation device 3 transmitted. The driver assistance camera 1 has a filter pixel mask 6 on which between the optics 4 and a sensitive to the transmitted light radiation surface of the image sensor 5 is arranged so that of the optics 4 projected light radiation through the filter pixel mask 6 filtered on the sensitive sensor surface of the image sensor 5 is shown.

In 2 ist die Filterpixelmaske 6 zur Anordnung auf einem Bildsensor 5 der Fahrerassistenzkamera 1 aus 1 als ein bevorzugtes Ausführungsbeispiel gezeigt. Die Filterpixelmaske 6 umfasst Filterzeilen 6a und hierzu vertikal verlaufende Filterspalten 6b umfassend jeweils Filterpixel. Rein beispielhaft umfasst die Filterpixelmaske 21 Filterzeilen × 12 Filterspalten. In 2 is the filter pixel mask 6 for placement on an image sensor 5 the driver assistance camera 1 out 1 as a preferred embodiment. The filter pixel mask 6 includes filter lines 6a and this vertical filter columns 6b comprising each filter pixel. For example only, the filter pixel mask 21 comprises filter rows × 12 filter columns.

Die Filterpixelmaske 6 ist derart auf dem Bildsensor 5 anzuordnen bzw. angeordnet, dass die Filterzeilen 6a die horizontale Ortsauflösung und die Filterspalten 6b die vertikale Ortsauflösung bilden oder vice versa. The filter pixel mask 6 is so on the image sensor 5 to arrange or arranged that the filter lines 6a the horizontal spatial resolution and the filter columns 6b form the vertical spatial resolution or vice versa.

Die Filterpixelmaske 6 umfasst als Filterzeilen 6a transparente und farbige Filterzeilen 7, 8. Die transparenten Filterzeilen 7 weisen ausschließlich transparente Filterpixel 7a auf, welche ausgebildet sind, die von der Optik 4 projizierten Lichtstrahlen auf die sensitive Fläche des Bildsensors 5 ungefiltert oder gefiltert zu transmittieren. Die transparenten Filterpixel 7a weisen den gleichen Transmissionsbereich auf. Wie in 3 näher erläutert wird, sind die transparenten Filterpixel 7a ausgebildet, Lichtstrahlen von jeweils mindestens zwei Farbwerten zu transmittieren. The filter pixel mask 6 includes as filter lines 6a transparent and colored filter lines 7 . 8th , The transparent filter lines 7 have only transparent filter pixels 7a on which are formed by the optics 4 projected light rays onto the sensitive surface of the image sensor 5 to transmit unfiltered or filtered. The transparent filter pixels 7a have the same transmission range. As in 3 is explained in more detail, the transparent filter pixels 7a designed to transmit light beams of at least two color values.

Die Filterpixelmaske 6 umfasst farbige Filterzeilen 8, welche jeweils mindestens drei verschiedenfarbige Filterpixel aufweisen. Bei diesem Ausführungsbeispiel weisen die farbigen Filterzeilen 8 rein exemplarisch fünf farbige Filterpixel 8a, 8b, 8c, 8d, 8e auf, welche jeweils einen bestimmten Farbwert transmittieren, wie in 4 näher erläutert wird. Bei den Farbwerten handelt es sich beispielsweise um blau, rot, grün, orange und gelb. Die Filterpixelmaske 6 umfasst mindestens oder genauso viele farbige Filterzeilen 8 wie die Anzahl an verschiedenfarbigen Filterpixeln 8a, 8b, 8c, 8d, 8e. The filter pixel mask 6 includes colored filter lines 8th which each have at least three differently colored filter pixels. In this embodiment, the colored filter lines 8th purely exemplary five colored filter pixels 8a . 8b . 8c . 8d . 8e which each transmit a certain color value, as in 4 is explained in more detail. The color values are, for example, blue, red, green, orange and yellow. The filter pixel mask 6 includes at least or as many colored filter lines 8th like the number of different colored filter pixels 8a . 8b . 8c . 8d . 8e ,

Zwischen zwei farbigen Filterzeilen 8 sind transparente Filterzeilen 7 angeordnet. Rein exemplarisch sind hier jeweils vier transparente Filterzeilen 7 dargestellt. Vorteilhafterweise sind durch die Aneinanderreihung mehrerer transparenter Filterzeilen 7 Intensitätsunterschiede in dem des Bildsensors 5 erfassten Bild auswertbar. Between two colored filter lines 8th are transparent filter lines 7 arranged. By way of example, here are four transparent filter lines 7 shown. Advantageously, by the juxtaposition of several transparent filter lines 7 Intensity differences in that of the image sensor 5 evaluated image evaluated.

Die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e der jeweiligen farbigen Filterzeile 8 sind iterativ, somit in einer gleichbleibend alternierenden Farbwertreihenfolge 8abcde angeordnet. Beispielsweise umfassen mindestens 80 Prozent der farbigen Filterzeilen 8 die gleiche alternierende Farbwertreihenfolge 8abcde der verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e. Bei diesem Ausführungsbeispiel umfassen alle der farbigen Filterzeilen 8 die gleiche alternierende Farbwertreihenfolge 8abcde. Die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e transmittieren jeweils Lichtstrahlen mit voneinander unterschiedlichen Farbwerten. The different colored filter pixels 8a . 8b . 8c . 8d . 8e the respective colored filter line 8th are iterative, thus in a constantly alternating color value order 8abcde arranged. For example, at least 80 percent of the colored filter lines comprise 8th the same alternating color order 8abcde the different colored filter pixels 8a . 8b . 8c . 8d . 8e , In this embodiment, all of the colored filter lines include 8th the same alternating color order 8abcde , The different colored filter pixels 8a . 8b . 8c . 8d . 8e each transmit light beams with different color values from each other.

Die nächstliegenden farbigen Filterzeilen 8, bei diesem Ausführungsbeispiel die zwei an den transparenten Filterzeilen 8 mittelbar benachbarten farbigen Filterzeilen 8 unterscheiden sich in einer der beiden Spaltenrichtungen betrachtend dadurch, dass die gleichbleibend alternierende Farbwertreihenfolge 8abcde um genau einen Farbwert verschoben ist. Jedoch liegt es im Rahmen der Erfindung, dass die gleichbleibend alternierende Farbwertreihenfolge 8bcde ebenfalls um mehr als einen Farbwert verschoben sein kann, wobei die Anzahl an verschobenen Farbwerten stets unverändert bleibt. The nearest colored filter lines 8th in this embodiment, the two on the transparent filter lines 8th indirectly adjacent colored filter lines 8th differ in one of the two column directions considered by the fact that the constantly alternating color value order 8abcde shifted by exactly one color value. However, it is within the scope of the invention that the constantly alternating color value order 8bcde can also be shifted by more than one color value, whereby the number of shifted color values always remains unchanged.

Die erfindungsgemäße Anordnung der Filterpixel 7a, 8a, 8b, 8c, 8d, 8e erzielt sowohl im Filterzeilen- als auch im Filterspaltenverlauf eine Abdeckung jeder der verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e. Folglich ist die Farbredundanz sowohl in den Filterzeilen und -spalten reduziert. Auf diese Weise sollen bestimmte Objekte, beispielsweise weiße und gelbe Fahrbahnmarkierungen in Einzelbildern der Fahrerassistenzkamera wiedergegeben werden. The inventive arrangement of the filter pixels 7a . 8a . 8b . 8c . 8d . 8e achieves coverage of each of the differently colored filter pixels in both the filter row and filter column history 8a . 8b . 8c . 8d . 8e , As a result, the color redundancy is reduced both in the filter rows and columns. In this way, certain objects, such as white and yellow road markings in individual images of the driver assistance camera to be played.

Die Filterpixelmaske 6 in einer Draufsicht betrachtend, wie in 2 dargestellt, ist der Farbwert bei jeder nächstkommenden Filterzeile um eine Filterpixelstelle nach rechts versetzt. Als Folge ist die Farbwertreihenfolge im Zeilenverlauf identisch zu der Farbwertreihenfolge im Spaltenverlauf. Alternativ ist es ebenso möglich, dass der Farbwert bei jeder nächstkommenden Filterzeile um eine Filterpixelstelle nach links versetzt ist. Die Farbwertreihenfolge im Zeilenverlauf wäre somit entgegengesetzt zur Farbwertreihenfolge im Spaltenverlauf, nämlich in der Farbwertreihenfolge 8aedcb. Auf diese Weise ist stets jede der verschiedenfarbigen Filterpixel in den Filterzeilen und -spalten 6a, 6b vertreten.The filter pixel mask 6 looking in a top view, as in 2 is shown, the color value is offset by one filter pixel position to the right at each next filter line. As a result, the color order in the ruler is the same as the color order in the column history. Alternatively, it is also possible for the color value to be offset to the left by one filter pixel location for each next filter line. The color value order in the line progression would thus be opposite to the color value order in the column progression, namely in the color value order 8aedcb , In this way, each of the differently colored filter pixels is always in the filter rows and columns 6a . 6b represented.

In 3 ist in einem Diagramm der Transmissionsbereich x1-x2 der transparenten Filterpixel 7a dargestellt. Auf der x-Achse ist die Wellenlänge x in Nanometern und auf der y-Achse das Transmissionsverhalten y der transparenten Filterpixel 7a aufgetragen. Bei diesem Ausführungsbeispiel umfassen die transparenten Filterpixel 7a einen Transmissionsbereich x1-x2 von 400 nm bis 1100 nm. Der Transmissionsbereich x1-x2 der transparenten Filterpixel 7a umfasst einerseits den für den Menschen sichtbaren Wellenlängenbereich, andererseits den Wellenlängenbereich der IR-Strahlung. Der Transmissionsbereich 400 nm bis 1100 nm ist beispielsweise bei schlechten Lichtverhältnissen wie z. B. bei Nacht für die Kantenerkennung besonders von Vorteil. In 3 is a diagram of the transmission range x1-x2 of the transparent filter pixels 7a shown. On the x-axis is the wavelength x in nanometers and on the y-axis, the transmission behavior y of the transparent filter pixels 7a applied. In this embodiment, the transparent filter pixels comprise 7a a transmission range x1-x2 from 400 nm to 1100 nm. The transmission range x1-x2 of the transparent filter pixels 7a on the one hand comprises the visible wavelength range for humans, on the other hand, the wavelength range of the IR radiation. The transmission range 400 nm to 1100 nm, for example, in low light conditions such. B. at night for edge detection particularly advantageous.

In 4 ist ein Diagramm mit den verschiedenen Transmissionsbereichen der in 2 exemplarisch fünf verschiedenfarbigen Filterpixeln 8a, 8b, 8c, 8d, 8e dargestellt. In dem Diagramm ist in der x-Achse die Wellenlänge x in Nanometern und auf der y-Achse das Transmissionsverhalten y der verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e aufgetragen. Die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e weisen voneinander unterschiedliche Transmissionsbereiche x1-x2 beispielsweise des Wellenlängenbereichs 380 nm bis 780 nm auf. In 4 is a diagram with the different transmission ranges of in 2 exemplarily five different colored filter pixels 8a . 8b . 8c . 8d . 8e shown. In the diagram, the x-axis shows the wavelength x in nanometers and the y-axis the transmission behavior y of the differently colored filter pixels 8a . 8b . 8c . 8d . 8e applied. The different colored filter pixels 8a . 8b . 8c . 8d . 8e have mutually different transmission ranges x1-x2, for example, the wavelength range 380 nm to 780 nm.

Somit transmittieren sie voneinander unterschiedliche Teilbereiche der Lichtstrahlen. Bei diesem Ausführungsbeispiel decken die verschiedenfarbigen Filterpixel 8a, 8b, 8c, 8d, 8e gemeinsam eine Teilmenge des in 3 gezeigten Transmissionsbereichs der transparenten Filterpixel 7a ab. Thus, they transmit different parts of the light beams from each other. In this embodiment, the differently colored filter pixels cover 8a . 8b . 8c . 8d . 8e together a subset of in 3 shown transmission range of the transparent filter pixels 7a from.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrerassistenzkamera Driver assistance camera
22: Fahrerassistenzsystem Driver assistance system
33: Auswerteeinrichtung evaluation
44: Optik optics
55: Bildsensor image sensor
66: Filterpixelmaske Filter pixel mask
6a6a: Filterzeile filter row
6b6b: Filterspalte filter column
77: Transparente Filterzeilen Transparent filter lines
7a7a: Transparente Filterpixel Transparent filter pixels
88th: Farbige Filterzeilen Colored filter lines
8a8a: Farbiger Filterpixel eines ersten Farbwerts Colored filter pixel of a first color value
8b8b: Farbiger Filterpixel eines zweiten Farbwerts Colored filter pixel of a second color value
8c8c: Farbiger Filterpixel eines dritten Farbwerts Colored filter pixel of a third color value
8d8d: Farbiger Filterpixel eines vierten Farbwerts Colored filter pixel of a fourth color value
8e8e: Farbiger Filterpixel eines fünften Farbwerts Colored filter pixel of a fifth color value
8abcde8abcde: Farbwertreihenfolge der farbigen Filterzeilen Color value order of the colored filter lines
xx: Wellenlänge in Nanometern Wavelength in nanometers
yy: Transmissionsverhalten der Filterpixel Transmission behavior of the filter pixels
x1-x2x1-x2: Transmissionsbereich transmission range

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102007040114 B4 [0003] DE 102007040114 B4 [0003]

Claims

Filterpixelmaske (6) zur Anordnung auf einem Bildsensor (5) einer Fahrerassistenzkamera (1) mit transparenten Filterzeilen (7), wobei die transparenten Filterzeilen (7) ausschließlich transparente Filterpixel (7a) umfassen, mit farbigen Filterzeilen (8), wobei die farbigen Filterzeilen (8) jeweils mindestens drei verschiedenfarbige Filterpixel (8a, 8b, 8c, 8d, 8e) aufweisen, wobei die verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) der jeweiligen farbigen Filterzeile (8) in einer gleichbleibend alternierenden Farbwertreihenfolge (8abcde) angeordnet sind, wobei mindestens 80 Prozent der farbigen Filterzeilen (8) die gleiche alternierende Farbwertreihenfolge (8abcde) der mindestens drei verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) aufweisen, wobei sich die nächstliegenden farbigen Filterzeilen (8) in Richtung des senkrecht zum Filterzeilenverlauf angeordneten Filterspaltenverlaufs betrachtend dadurch unterscheiden, dass die gleichbleibend alternierende Farbwertreihenfolge (8abcde) um mindestens einen Farbwert verschoben ist. Filter pixel mask ( 6 ) for placement on an image sensor ( 5 ) a driver assistance camera ( 1 ) with transparent filter lines ( 7 ), the transparent filter lines ( 7 ) only transparent filter pixels ( 7a ), with colored filter lines ( 8th ), whereby the colored filter lines ( 8th ) at least three differently colored filter pixels ( 8a . 8b . 8c . 8d . 8e ), wherein the differently colored filter pixels ( 8a . 8b . 8c . 8d . 8e ) of the respective colored filter line ( 8th ) in a constantly alternating color value order ( 8abcde ), wherein at least 80 percent of the colored filter lines ( 8th ) the same alternating color order ( 8abcde ) of the at least three differently colored filter pixels ( 8a . 8b . 8c . 8d . 8e ), wherein the nearest colored filter lines ( 8th ) in the direction of the filter column course arranged perpendicular to the filter column profile, differing in that the constantly alternating color value sequence ( 8abcde ) is shifted by at least one color value.

Filterpixelmaske (6) nach Anspruch 1, wobei die farbigen Filterzeilen (8) ausschließlich farbige Filterpixel (8a, 8b, 8c, 8d, 8e) umfassen.Filter pixel mask ( 6 ) according to claim 1, wherein the colored filter lines ( 8th ) only colored filter pixels ( 8a . 8b . 8c . 8d . 8e ).

Filterpixelmaske (6) nach Anspruch 1 oder 2, wobei die Filterpixelmaske (6) ausschließlich die transparenten Filterzeilen (7) und die farbigen Filterzeilen (8) mit den farbigen Filterpixeln (8a, 8b, 8c, 8d, 8e) in der gleichbleibend alternierenden Farbwertreihenfolge (8abcde) umfasst. Filter pixel mask ( 6 ) according to claim 1 or 2, wherein the filter pixel mask ( 6 ) only the transparent filter lines ( 7 ) and the colored filter lines ( 8th ) with the colored filter pixels ( 8a . 8b . 8c . 8d . 8e ) in the constantly alternating color value order ( 8abcde ).

Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die transparenten und farbigen Filterzeilen (7, 8) alternierend angeordnet sind.Filter pixel mask ( 6 ) according to one of the preceding claims, wherein the transparent and colored filter lines ( 7 . 8th ) are arranged alternately.

Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche 1 bis 3, wobei zwischen zwei farbigen Filterzeilen (8) mindestens zwei, insbesondere mindestens drei, im Speziellen mindestens fünf der transparenten Filterzeilen (7) angeordnet sind. Filter pixel mask ( 6 ) according to one of the preceding claims 1 to 3, wherein between two colored filter lines ( 8th ) at least two, in particular at least three, in particular at least five of the transparent filter lines ( 7 ) are arranged.

Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die transparenten Filterpixel (7) ausgebildet sind, Lichtstrahlen in einem Wellenlängenbereich (x1-x2) von 350 nm bis 1150 nm zu transmittieren. Filter pixel mask ( 6 ) according to one of the preceding claims, wherein the transparent filter pixels ( 7 ) are adapted to transmit light beams in a wavelength range (x1-x2) of 350 nm to 1150 nm.

Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die mindestens drei verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) ausgebildet sind, voneinander unterschiedliche Teilbereiche der sichtbaren Lichtstrahlung zu transmittieren. Filter pixel mask ( 6 ) according to one of the preceding claims, wherein the at least three differently colored filter pixels ( 8a . 8b . 8c . 8d . 8e ) are formed to transmit mutually different portions of the visible light radiation.

Fahrerassistenzkamera (1) zur Aufnahme eines Bildes eines Umgebungsbereichs eines Kraftfahrzeugs mit einer Optik (4) zur Projektion von Lichtstrahlen, mit einem Bildsensor (5) zur Ausgabe von Bildsignalen und einer auf dem Bildsensor (5) angeordneten Filterpixelmaske (6) nach einem der vorhergehenden Ansprüche, wobei die von der Optik (4) projizierten Lichtstrahlen über die Filterpixelmaske (6) auf dem Bildsensor (5) gefiltert abgebildet sind. Driver assistance camera ( 1 ) for taking an image of an environmental region of a motor vehicle with an optical system ( 4 ) for projecting light rays, with an image sensor ( 5 ) for outputting image signals and one on the image sensor ( 5 ) arranged filter pixel mask ( 6 ) according to any one of the preceding claims, wherein the optics ( 4 ) projected light rays across the filter pixel mask ( 6 ) on the image sensor ( 5 ) are shown filtered.

Fahrerassistenzkamera (1) nach Anspruch 8, wobei die Fahrerassistenzkamera (1) als eine Frontkamera ausgebildet ist, wobei die Filterpixelmaske (6) derart auf dem Bildsensor (5) angeordnet ist, dass die senkrecht zu den farbigen Filterzeilen (8) verlaufenden Filterspalten (6b) die vertikale Ortsauflösung bilden. Driver assistance camera ( 1 ) according to claim 8, wherein the driver assistance camera ( 1 ) is designed as a front camera, wherein the filter pixel mask ( 6 ) on the image sensor ( 5 ) is arranged that the perpendicular to the colored filter lines ( 8th ) extending filter columns ( 6b ) form the vertical spatial resolution.

Verfahren zur Auswertung eines mit einer Fahrerassistenzkamera (1) nach Anspruch 8 oder 9 aufgenommenen Bildes, umfassend: – eine Kantenerkennung mittels der durch die transparenten Filterpixel (7a) transmittierten und auf den Bildsensor (5) abgebildeten Lichtstrahlen; – eine Farberkennung mittels der durch die verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) transmittierten und auf den Bildsensor (5) abgebildeten Lichtstrahlen.Method for evaluating a with a driver assistance camera ( 1 ) according to claim 8 or 9, comprising: - an edge detection by means of the transparent filter pixels ( 7a ) and transmitted to the image sensor ( 5 ) imaged light rays; A color recognition by means of the color filters ( 8a . 8b . 8c . 8d . 8e ) and transmitted to the image sensor ( 5 ) illustrated light rays.

Verfahren nach Anspruch 10, wobei eine Mehrzahl von Bildern als Bildfolge in einem fahrenden Kraftfahrzeug aufgenommen und ausgewertet wird.The method of claim 10, wherein a plurality of images is recorded and evaluated as a sequence of images in a moving motor vehicle.

Verfahren nach Anspruch 10 oder 11, wobei die Auswertung zur Kantenerkennung die Bildsignale der verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) ausgeschlossen und stattdessen die Bildsignale der beiden benachbarten transparenten Filterzeilen (7) interpoliert werden. Method according to claim 10 or 11, wherein the evaluation for edge detection comprises the image signals of the differently colored filter pixels ( 8a . 8b . 8c . 8d . 8e ) and instead the image signals of the two adjacent transparent filter lines ( 7 ) are interpolated.

Verfahren nach Anspruch 10 oder 11, wobei die Auswertung zur Kantenerkennung die Bildsignale der verschiedenfarbigen Filterpixel (8a, 8b, 8c, 8d, 8e) umgewandelt werden in interpolierte Bildsignale eines transparenten Filterpixels (7a) an dieser Stelle, wobei bei der Umwandlung Bildsignale der beiden benachbarten transparenten Filterzeilen (7) einbezogen werden.Method according to claim 10 or 11, wherein the evaluation for edge detection comprises the image signals of the differently colored filter pixels ( 8a . 8b . 8c . 8d . 8e ) are converted into interpolated image signals of a transparent filter pixel ( 7a ) at this point, wherein in the conversion image signals of the two adjacent transparent filter lines ( 7 ) be included.