DE102015200580A1

DE102015200580A1 - Assistance system of a motor vehicle and method for operating an assistance system of a motor vehicle

Info

Publication number: DE102015200580A1
Application number: DE102015200580.1A
Authority: DE
Inventors: Steffen Görmer
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2015-01-15
Filing date: 2015-01-15
Publication date: 2016-03-24

Abstract

Die Erfindung betrifft ein Assistenzsystem (2) eines Kraftfahrzeugs, insbesondere Dämmerlichtassistent, mit einer einen Bildsensor (10) aufweisenden Kamera (4), der eine Matrix-Anordnung aus Sensorelementen (16) aufweist, die mittels einer ein sich widerholendes Muster (26) aufweisenden Farbmaske (18) abgedeckt ist. Das Muster (26) weist einen Farbfilter für die Spektralfarbe Gelb (Y), einen Farbfilter für die Spektralfarbe Zyan (C) und zwei weiße Farbfilter (W) auf. Die Sensorelemente (16) sind mittels eines Infrarot-Sperrfilters (20) abgedeckt. Die Erfindung betrifft ferner ein Verfahren (28) zum Betrieb eines Assistenzsystems (2) eines Kraftfahrzeugs sowie eine Verwendung eines Bildsensors (10) als auch eine Kamera (4) eines Assistenzsystems (2) eines Kraftfahrzeugs.The invention relates to an assistance system (2) of a motor vehicle, in particular twilight light assistant, comprising a camera (4) having an image sensor (10) which has a matrix arrangement of sensor elements (16) having a pattern (26) repeating itself Color mask (18) is covered. The pattern (26) comprises a color filter for the spectral color yellow (Y), a color filter for the spectral color cyan (C) and two white color filters (W). The sensor elements (16) are covered by means of an infrared blocking filter (20). The invention further relates to a method (28) for operating an assistance system (2) of a motor vehicle and to a use of an image sensor (10) as well as a camera (4) of an assistance system (2) of a motor vehicle.

Description

Die Erfindung betrifft sowohl ein Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und ein Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs als auch eine Kamera eines Assistenzsystems eines Kraftfahrzeugs und die Verwendung eines Bildsensors. The invention relates both to an assistance system of a motor vehicle, to a camera and to a method for operating an assistance system of a motor vehicle and also to a camera of an assistance system of a motor vehicle and to the use of an image sensor.

Kraftfahrzeuge umfassen eine Vielzahl von Assistenzsystemen, wie z.B. Regensensoren, Spurhalteassistenten oder Müdigkeitswarnassistenten. Jedes derartige Assistenzsystem umfasst eine Kamera, mittels derer bei Betrieb die Frontscheibe, die Fahrbahn bzw. der Fahrer erfasst wird. Das erfasste Bild wird nach Abweichungen von einem bestimmten Soll-Zustand überprüft, und bei einem Vorhandensein desselben ein Aktor betätigt, wie ein Scheibenwischermotor, ein Motor zur Beeinflussung des Lenkeinschlags bzw. ein akustischer oder optischer Signalgeber. Motor vehicles include a variety of assistance systems, such as e.g. Rain sensors, lane departure warning or fatigue warning assistants. Each such assistance system comprises a camera, by means of which the windscreen, the road or the driver is detected during operation. The detected image is checked for deviations from a certain desired state, and in the presence of an actuator actuated, such as a windscreen wiper motor, a motor for influencing the steering angle or an acoustic or optical signal generator.

Die Erfassung der Bilder erfolgt üblicherweise mittels eines Bildsensors, der eine Matrix- oder rasterförmige Anordnung aus Sensorelementen aufweist. Die Sensorelemente selbst arbeiten in CCD- oder CMOS-Technik. Mittels einer derartigen Technik ist lediglich ein Helligkeitswert erfassbar. Um Farbinformationen zu erhalten, ist jedes der Sensorelemente mit einem Farbfilter abgedeckt, der lediglich für Licht einer bestimmten Wellenlänge transparent ist. Die Farbfilter sind in einer bestimmten Anordnung positioniert, um einerseits eine vergleichsweise hohe räumliche Auflösung und andererseits eine vergleichsweise hohe Farbinformationsqualität zu erhalten. Hierbei sind die Farbfilter stets im gleichen Muster angeordnet, beispielsweise in einem sogenannten Bayer-Muster. Eine Alternative hierzu ist die Verwendung von sogenannten Clearpixeln, also Sensorelementen, die farbfilterlos sind. Diese sind beispielsweise isoliert, folglich direkt benachbart zu Sensorelementen mit Farbfiltern, oder spaltenweise angeordnet, beispielsweise in einem sogenannten RGBW-Muster. Ein derartiger Sensor ist beispielsweise aus der WO 2005/115820 A1 bekannt. The capture of the images is usually carried out by means of an image sensor having a matrix or grid-like arrangement of sensor elements. The sensor elements themselves work in CCD or CMOS technology. By means of such a technique, only one brightness value can be detected. To obtain color information, each of the sensor elements is covered with a color filter that is transparent only to light of a particular wavelength. The color filters are positioned in a specific arrangement, on the one hand to obtain a comparatively high spatial resolution and, on the other hand, a comparatively high color information quality. Here, the color filters are always arranged in the same pattern, for example in a so-called Bayer pattern. An alternative to this is the use of so-called clear pixels, ie sensor elements that are colorless. These are for example isolated, thus directly adjacent to sensor elements with color filters, or arranged in columns, for example in a so-called RGBW pattern. Such a sensor is for example from the WO 2005/115820 A1 known.

Aus der US 2009/0206241 A1 ist eine Filteranordnung bekannt, wobei die einzelnen Filter in einer 2×2 Matrix angeordnet sind. Jede Matrix umfasst einen Cyan Farbfilter und einen Yellow Farbfilter sowie einen ersten Weißfilter und einen zweiten Weißfilter. Aufgrund der Verwendung von Yellow Farbfiltern und Cyan Farbfiltern ist die Sensitivität erhöht. From the US 2009/0206241 A1 For example, a filter arrangement is known wherein the individual filters are arranged in a 2 × 2 matrix. Each matrix includes a cyan color filter and a yellow color filter as well as a first white filter and a second white filter. Due to the use of yellow color filters and cyan color filters, the sensitivity is increased.

Der Erfindung liegt die Aufgabe zugrunde, ein besonders geeignetes Assistenzsystem mit einer Kamera und ein Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs als auch eine Kamera eines Assistenzsystems eines Kraftfahrzeugs und die Verwendung eines Bildsensors anzugeben, bei dem geeigneterweise eine Empfindlichkeit und eine Informationsqualität erhöht ist. The invention has for its object to provide a particularly suitable assistance system with a camera and a method for operating an assistance system of a motor vehicle and a camera of an assistance system of a motor vehicle and the use of an image sensor in which suitably sensitivity and information quality is increased.

Hinsichtlich des Assistenzsystems wird diese Aufgabe durch die Merkmale des Anspruchs 1, hinsichtlich des Verfahrens durch die Merkmale des Anspruchs 6, hinsichtlich der Verwendung durch die Merkmale des Anspruchs 9 und hinsichtlich der Kamera durch die Merkmale des Anspruchs 10 erfindungsgemäß gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der jeweiligen Unteransprüche. With regard to the assistance system, this object is achieved by the features of claim 1, with regard to the method by the features of claim 6, with respect to the use by the features of claim 9 and with respect to the camera by the features of claim 10 according to the invention. Advantageous developments and refinements are the subject of the respective subclaims.

Das Assistenzsystem ist Bestandteil eines Kraftfahrzeugs und weist eine Kamera auf. Beispielsweise wird mittels des Assistenzsystems ein Verkehrsfluss vor dem Kraftfahrzeug überwacht. Alternativ oder in Kombination hierzu wird mittels des Assistenzsystems eine Positionierung des Kraftfahrzeugs auf einer Straße, insbesondere auf einer Fahrbahn, ermittelt und/oder etwaige Verkehrszeichen erfasst. Besonders bevorzugt wird das Assistenzsystem bei einem Dämmerlicht eingesetzt, also wenn die Beleuchtung der Umgebung des Kraftfahrzeugs vergleichsweise schlecht ist, beispielsweise in den Abend- oder Morgenstunden. The assistance system is part of a motor vehicle and has a camera. For example, a traffic flow in front of the motor vehicle is monitored by means of the assistance system. Alternatively or in combination with this, by means of the assistance system, a positioning of the motor vehicle on a road, in particular on a road, determined and / or any traffic signs detected. Particularly preferably, the assistance system is used in a twilight, so when the lighting of the environment of the motor vehicle is relatively poor, for example, in the evening or morning.

Die Kamera weist einen Bildsensor auf, der eine Vielzahl Sensorelemente umfasst, die rasterförmig in Spalten und Zeilen angeordnet sind, die jeweils geeigneterweise direkt zueinander benachbart sind. Mit anderen Worten ist mittels der Sensorelemente eine Matrix-Anordnung geschaffen. Beispielsweise weist der Bildsensor eine Anzahl von 256, 512, 1024 oder ein ganzzahliges Vielfaches hiervon an Spalten und/oder Zeilen auf. Geeigneterweise sind sämtliche Sensorelemente baugleich. Der Bildsensor arbeitet beispielsweise nach CCD- oder besonders bevorzugt nach CMOS-Technik. Die Sensorelemente sind mittels einer Farbmaske abgedeckt. Mittels der Farbmaske wird ein Anteil an elektromagnetischer Strahlung an einem Einfall auf die Sensorelemente gehindert. Mit anderen Worten wird mittels der Farbmaske lediglich ein bestimmter Anteil an elektromagnetischer Strahlung transmittiert, der somit mittels der Sensorelemente erfasst wird. Hierbei ist jedem der Sensorelemente ein Farbfilter der Farbmaske zugeordnet. Die Farbmaske weist somit eine Anzahl an Farbfiltern auf. Mittels des jeweiligen Farbfilters wird somit bestimmt, welcher Anteil der elektromagnetischen Strahlung mittels des zugeordneten Sensorelements erfasst wird. The camera comprises an image sensor comprising a plurality of sensor elements arranged in grid form in columns and rows, each suitably directly adjacent to each other. In other words, a matrix arrangement is created by means of the sensor elements. For example, the image sensor has a number of 256, 512, 1024 or an integer multiple thereof on columns and / or rows. Suitably, all sensor elements are identical. The image sensor operates, for example, by CCD or particularly preferably by CMOS technology. The sensor elements are covered by means of a color mask. By means of the color mask, a proportion of electromagnetic radiation is prevented from incidence on the sensor elements. In other words, only a certain proportion of electromagnetic radiation is transmitted by means of the color mask, which is thus detected by means of the sensor elements. Here, each of the sensor elements associated with a color filter of the color mask. The color mask thus has a number of color filters. By means of the respective color filter is thus determined which portion of the electromagnetic radiation is detected by means of the associated sensor element.

Die Farbmaske weist eine Anzahl an Farbfiltern für die Spektralfarbe Gelb, eine Anzahl an Farbfilter für die Spektralfarbe Zyan und eine Anzahl an weißen Farbfiltern auf. Mittels der Farbfilter für die Spektralfarbe Gelb wird lediglich eine elektromagnetische Strahlung des sichtbaren Bereichs des Lichts transmittiert, die zu der Spektralfarbe Gelb korrespondiert. Insbesondere wird mittels dieser Farbfilter Licht mit einer Wellenlänge zwischen 500 nm und 690 nm im Wesentlichen ohne Abschwächung transmittiert, also im Wesentlichen nicht absorbiert, wohingegen die jeweils komplementären Bereiche mittels des Farbfilters absorbiert werden. Mittels der Farbfilter für die Spektralfarbe Zyan wird lediglich eine elektromagnetische Strahlung des sichtbaren Bereichs des Lichts transmittiert, die zu der Spektralfarbe Zyan korrespondiert. Insbesondere wird mittels dieser Farbfilter Licht mit einer Wellenlänge zwischen 390 nm und 550 nm oder 600 nm im Wesentlichen ohne Abschwächung transmittiert. Zusammenfassend sind diese beiden Arten an Farbfilter lediglich für elektromagnetische Strahlung mit einer Wellenlänge zwischen 500 nm und 690 nm bzw. 390 nm bis 600 nm transparent. The color mask comprises a number of color filters for the spectral color yellow, a number of color filters for the spectral color cyan and a number of white color filters. By means of the color filters for the spectral color yellow, only an electromagnetic radiation of the visible range of the light is transmitted, which to the spectral color yellow corresponds. In particular, by means of these color filters, light having a wavelength between 500 nm and 690 nm is transmitted substantially without attenuation, ie substantially not absorbed, whereas the respective complementary regions are absorbed by means of the color filter. By means of the color filters for the spectral color cyan, only an electromagnetic radiation of the visible range of the light is transmitted, which corresponds to the spectral color cyan. In particular, by means of these color filters, light having a wavelength between 390 nm and 550 nm or 600 nm is transmitted substantially without attenuation. In summary, these two types of color filters are transparent only to electromagnetic radiation having a wavelength between 500 nm and 690 nm and 390 nm to 600 nm.

Mittels der weißen Farbfilter wird im Wesentlichen keine elektromagnetische Strahlung abgeblockt, also an einem Einfall auf die jeweils den weißen Farbfiltern zugeordneten Sensorelementen gehindert. Zumindest jedoch wird mittels der weißen Farbfilter keine elektromagnetische Strahlung mit einer Wellenlänge zwischen 390 nm und 790 nm herausgefiltert. Folglich sind die mittels der weißen Farbfilter abgedeckten Sensorelemente für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv, wobei die Sensitivität beispielsweise konstant ist oder der jeweiligen physikalischen Vorgabe des Materials des Bildsensors selbst entspricht, also insbesondere abhängig von der Bandstruktur des verwendeten Halbleitermaterials ist. Somit sind die Sensorelemente für elektromagnetische Strahlung in unterschiedlichen Bereichen im sichtbaren Spektralbereich sensitiv. Vorzugsweise ist die Farbmaske, und insbesondere die Kamera, frei von einem Farbfilter für die Spektralfarbe Magenta. Mit anderen Worten ist die Kamera magenta farbfilterlos. By means of the white color filters, substantially no electromagnetic radiation is blocked, that is, prevented from incidence on the respective white color filters associated sensor elements. At least, however, no electromagnetic radiation with a wavelength between 390 nm and 790 nm is filtered out by means of the white color filters. Consequently, the electromagnetic radiation sensor elements covered by the white color filters are sensitive in the entire region of the visible spectral range, the sensitivity being, for example, constant or corresponding to the respective physical specification of the material of the image sensor itself, that is to say depending in particular on the band structure of the semiconductor material used. Thus, the sensor elements for electromagnetic radiation in different areas in the visible spectral range are sensitive. Preferably, the color mask, and in particular the camera, is free of a color filter for the spectral color magenta. In other words, the camera is magenta colorless.

Insbesondere sind die Farbfilter entsprechend der Sensorelemente in einer Matrix-Anordnung positioniert, wobei die Anzahl der Spalten/Zeilen der Matrix-Anordnung der Sensorelemente der Anzahl der Spalten/Zeilen der Matrix-Anordnung der Farbfilter entspricht. Die einzelnen Farbfilter sind zu einem sich wiederholenden Muster angeordnet, also nicht zufällig. Bei einer translatorischen und/oder rotatorischen Verschiebung um einen bestimmten Betrag wird die Farbmaske – mit Ausnahme von Artefakten im Randbereich der Farbmaske – auf sich selbst abgebildet. Dies führt zu einer vergleichsweise hohen Empfindlichkeit des Bildsensors und somit zu einer vergleichsweise hohen Auflösung der Kamera. In particular, the color filters corresponding to the sensor elements are positioned in a matrix arrangement, wherein the number of columns / rows of the matrix arrangement of the sensor elements corresponds to the number of columns / rows of the matrix arrangement of the color filters. The individual color filters are arranged in a repeating pattern, that is not random. In the case of a translatory and / or rotational shift by a certain amount, the color mask-with the exception of artifacts in the edge region of the color mask-is imaged onto itself. This leads to a comparatively high sensitivity of the image sensor and thus to a comparatively high resolution of the camera.

Die Sensorelemente sind mittels eines Infrarot-Sperrfilters abgedeckt, insbesondere der vollständige Bildsensor. Somit wird der Bestandteil elektromagnetischer Strahlung, der eine Wellenlänge größer als 720nm oder 790 nm aufweist, mittels des Infrarot-Sperrfilters absorbiert und an einem Einfall auf die Sensorelemente gehindert, und somit ein Erfassen mittels der Sensorelemente verhindert. Der Infrarot-Sperrfilter ist beispielsweise Bestandteil der Farbmaske oder aber zwischen der Farbmaske und den Sensorelementen angeordnet. Alternativ ist die Farbmaske zwischen den Sensorelementen und dem Infrarot-Sperrfilter angeordnet. Insbesondere ist der Infrarot-Sperrfilter an einem Objektiv der Kamera angebunden. Beispielsweise weist die Kamera ebenfalls einen Filter auf, mittels dessen Bestandteile elektromagnetischer Strahlung gefiltert werden, die Wellenlängen kleiner als 390 nm aufweisen. The sensor elements are covered by means of an infrared blocking filter, in particular the complete image sensor. Thus, the component of electromagnetic radiation having a wavelength greater than 720 nm or 790 nm, absorbed by the infrared blocking filter and prevented from incidence on the sensor elements, and thus prevents detection by means of the sensor elements. The infrared blocking filter is for example part of the color mask or arranged between the color mask and the sensor elements. Alternatively, the color mask is disposed between the sensor elements and the infrared cut filter. In particular, the infrared cut filter is connected to a lens of the camera. For example, the camera also has a filter by means of which components of electromagnetic radiation are filtered which have wavelengths smaller than 390 nm.

Mittels der Farbfiltern für die Spektralfarbe Gelb und der Farbfilter für die Spektralfarbe Zyan wird im Wesentlichen lediglich 30% des Spektrums des sichtbaren Lichts und mittels der weißen Farbfilter kein Anteil des Spektrums des sichtbaren Lichts herausgefiltert. Folglich ist eine Sensitivität der Kamera erhöht. Aufgrund der Verwendung der Farbfiltern für die Spektralfarbe Gelb und der Farbfilter für die Spektralfarbe Zyan sind hierbei auch Farbinformationen vorhanden, so dass bei einer geeigneten Aufbereitung der mittels der Sensorelemente erfassten Messdaten ein farbiges Abbild erstellt werden kann. Somit ist die Informationsqualität vergleichsweise hoch. Auch kann ein vergleichsweise kleiner Bildsensor verwendet werden, wobei dennoch die räumliche Auflösung erhöht ist. By means of the color filters for the spectral color yellow and the color filter for the spectral color cyan, essentially only 30% of the spectrum of visible light and by means of the white color filters no portion of the spectrum of visible light is filtered out. Consequently, a sensitivity of the camera is increased. Due to the use of the color filters for the spectral color yellow and the color filter for the spectral color cyan color information is also present, so that a color image can be created with a suitable preparation of the measured data recorded by the sensor elements. Thus, the information quality is comparatively high. Also, a comparatively small image sensor can be used, yet the spatial resolution is increased.

Aufgrund des vergleichsweise geringen Dynamikabstands zwischen den Farbfiltern, nämlich einer Transmission von 70% bzw. 100% des Spektrums des sichtbaren Lichts, ist eine Einstellung einer Belichtungszeit vereinfacht. Hierbei ist Übersättigung, also eine Überlichtung der den weißen Farbfiltern zugeordneten Sensorelemente, ausgeschlossen, wobei mittels der den Farbfiltern für die Spektralfarbe Gelb bzw. Zyan zugeordneten Sensorelemente ein Messwert mit einem vergleichsweise geringen Rauschen erstellt werden kann. Hierbei ist die Belichtungszeit zur Erstellung eines derartigen Messwerts im Wesentlichen um den Faktor 2 im Vergleich zu einem Farbfilter für die Spektralfarbe Rot, Grün oder Blau verringert. Folglich ist mittels der Kamera auch eine Erfassung von dunklen Objekten, beispielsweise Personen oder Tieren, an einem Fahrbahnrand ermöglicht, wenn eine vergleichsweise starke, punktuelle Beleuchtung vorherrscht, beispielsweise bei einer Ausfahrt aus einem Tunnel oder aber bei einem entgegenkommenden Fahrzeugs mit eingeschalteter Beleuchtung, insbesondere bei Dämmerung. Due to the comparatively small dynamic distance between the color filters, namely a transmission of 70% or 100% of the spectrum of the visible light, an adjustment of an exposure time is simplified. In this case, supersaturation, that is to say an over-clearing of the sensor elements assigned to the white color filters, is excluded, it being possible to produce a measured value with a comparatively low noise by means of the sensor elements associated with the color filters for the spectral color yellow or cyan. In this case, the exposure time for producing such a measured value is substantially reduced by a factor of 2 in comparison to a color filter for the spectral color red, green or blue. Consequently, by means of the camera, it is also possible to detect dark objects, for example persons or animals, at the edge of a lane when a comparatively strong, punctual illumination prevails, for example when leaving a tunnel or in the case of an oncoming vehicle with the lighting switched on, in particular Dusk.

Bevorzugt besteht das Muster aus dem Farbfilter für die Spektralfarbe Gelb, dem Farbfilter für die Spektralfarbe Zyan und den zwei weißen Farbfiltern. Mit anderen Worten weist das sich widerholende Muster der Farbmaske keine weiteren Farbfilter auf. Zweckmäßigerweise weist die Farbmaske lediglich die Farbfilter für die Spektralfarbe Gelb sowie für die Spektralfarbe Zyan als auch die weißen Farbfilter auf, wobei die Anzahl der weißen Farbfilter zweckmäßigerweise gleich der Anzahl der Farbfilter für die Spektralfarbe Gelb zuzüglich der für die Spektralfarbe Zyan entspricht. Insbesondere ist die Anzahl der weißen Farbfilter gleich dem Doppelten der Farbfilter für die Spektralfarbe Gelb. Folglich ist eine Transparenz der Farbmaske erhöht und ein Betreib der Kamera auch bei einer vergleichsweise dunklen Umgebung ermöglicht, ohne dass eine Beleuchtung erforderlich ist. Somit ist die Sensitivität des Bildsensors erhöht, wobei dennoch Farbinformationen vorhanden sind. The pattern preferably consists of the color filter for the spectral color yellow, the color filter for the spectral color cyan and the two white color filters. In other words, the repeating pattern of the color mask has no further color filters on. Expediently, the color mask has only the color filters for the spectral color yellow and for the spectral color cyan and the white color filters, wherein the number of white color filters expediently equal to the number of color filters for the spectral color yellow plus that for the spectral color cyan. In particular, the number of white color filters is equal to twice the color filters for the spectral color yellow. Consequently, transparency of the color mask is increased and operation of the camera is possible even in a comparatively dark environment without requiring illumination. Thus, the sensitivity of the image sensor is increased, yet color information is available.

Beispielsweise ist das Muster in einer Reihe angeordnet. Besonders bevorzugt jedoch ist mittels des Musters eine 2×2 Matrix gebildet. Mit anderen Worten ist das Muster eine 2×2-Matrix. Somit ist eine vergleichsweise freie Ausgestaltung des Farbfilters ermöglicht. Lediglich die Anzahl der Zeilen und Spalten des Farbfilters und insbesondere die Anzahl der Zeilen und Spalten der Matrix-Anordnung der Sensorelemente ist eine gerade Zahl. For example, the pattern is arranged in a row. Particularly preferably, however, a 2 × 2 matrix is formed by means of the pattern. In other words, the pattern is a 2 × 2 matrix. Thus, a comparatively free design of the color filter is possible. Only the number of rows and columns of the color filter and in particular the number of rows and columns of the matrix arrangement of the sensor elements is an even number.

Beispielsweise ist die erste Zeile der 2×2 Matrix durch den Farbfilter für die Spektralfarbe Zyan sowie einen der weißen Farbfilter gebildet. Die verbleibende Zeile der 2×2 Matrix ist folglich mittels des Farbfilters für die Spektralfarbe Gelb sowie mittels des anderen weißen Farbfilters gebildet. Auf diese Weise ist bei geeigneter Auswertung eine vergleichsweise hohe räumliche Auflösung mittels der Kamera ermöglicht, wobei die Farbinformationsqualität erhöht ist. For example, the first line of the 2 × 2 matrix is formed by the color filter for the spectral color cyan and one of the white color filters. The remaining line of the 2 × 2 matrix is thus formed by means of the color filter for the yellow spectral color and by means of the other white color filter. In this way, with a suitable evaluation, a comparatively high spatial resolution by means of the camera is made possible, wherein the color information quality is increased.

Beispielsweise ist hierbei eine der Spalten der 2×2 Matrix durch die Farbfilter für die Spektralfarbe Zyan und Gelb gebildet, und die verbleibende mittels der beiden weißen Farbfilter. Besonders bevorzugt jedoch ist die erste Spalte mittels des Farbfilters für die Spektralfarbe Zyan sowie einen der weißen Farbfilter gebildet. Die zweite Spalte der 2×2 Matrix ist durch den Farbfilter für die Spektralfarbe Gelb sowie den anderen weißen Farbfiltern gebildet ist. Folglich ist mittels der Farbfilter die Sequenz C-W-W-Y gebildet, wobei C für den Farbfilter für die Spektralfarbe Zyan, Y für den Farbfilter für die Spektralfarbe Gelb und W für die beiden weißen Farbfilter steht, und die Sequenz die Reihenfolge der Farbfilter der Matrix, reihenweise ausgelesen, angibt. Mittels dieser Musters ist die räumliche Auflösung sowie Farbinformationsqualität weiter erhöht. For example, one of the columns of the 2 × 2 matrix is formed by the color filters for the spectral cyan and yellow, and the remaining one by means of the two white color filters. Particularly preferably, however, the first column is formed by means of the color filter for the spectral color cyan and one of the white color filters. The second column of the 2 × 2 matrix is formed by the color filter for the yellow spectral color as well as the other white color filters. Consequently, by means of the color filters, the sequence CWWY is formed, where C stands for the color filter for the spectral color cyan, Y for the color filter for the spectral color yellow and W for the two white color filters, and the sequence reads the order of the color filters of the matrix, row by row, indicates. By means of this pattern, the spatial resolution and color information quality is further increased.

Das Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs mit einer einen Bildsensor aufweisenden Kamera, der eine Matrix-Anordnung aus Sensorelementen aufweist, die mittels einer ein sich widerholendes Muster aufweisenden Farbmaske abgedeckt ist, wobei das Muster einen Farbfilter für die Spektralfarbe Gelb, einen Farbfilter für die Spektralfarbe Zyan und zwei weiße Farbfilter aufweist, und wobei die Sensorelemente mittels eines Infrarot-Sperrfilters abgedeckt sind, sieht vor, dass in einem ersten Arbeitsschritt mittels jedes Sensorelements ein zu dem jeweiligen Farbfilter korrespondierender Messwert erfasst und als jeweiliger Farbwert verwendet wird. Folglich wird mittels jedes Sensorelements, das mittels eines der Farbfilter für die Spektralfarbe Zyan abgedeckt ist, ein zyan Farbwert, mittels jedes Sensorelements, das mittels eines der Farbfilter für die Spektralfarbe Gelb abgedeckt ist, ein gelber Farbwert und mittels jedes Sensorelements, das mittels eines der weißen Farbfilter abgedeckt ist, ein weißer Farbwert erstellt. Die in diesem Arbeitsschritt erstellten Farbwerte sind folglich Messwerte, die mittels Auswerten der Sensorelemente erstellt werden. Zusammenfassen ist jedem der Sensorelemente ein Farbwert zugeordnet, der mittels direkter Messung erstellt ist. The method of operating an assistance system of a motor vehicle with a camera having an image sensor having a matrix array of sensor elements, which is covered by a repeating pattern having color mask, the pattern a color filter for the spectral color yellow, a color filter for the Spectral color cyan and two white color filters, and wherein the sensor elements are covered by an infrared cut filter, provides that in a first step by means of each sensor element corresponding to the respective color filter measured value is detected and used as a respective color value. Consequently, by means of each sensor element covered by one of the color filters for the spectral color cyan, a cyan color value, by means of each sensor element, which is covered by one of the color spectral filter for the yellow spectral color, a yellow color value and by means of each sensor element by means of one of white color filter is covered, a white color value is created. The color values created in this step are therefore measured values that are created by evaluating the sensor elements. Combine each of the sensor elements associated with a color value, which is created by direct measurement.

In einem weiteren Arbeitsschritt werden jedem der Sensorelemente zwei weitere Farbewerte mittels Interpolation zugeordnet. Hierbei wird jedem mittels eines der Farbfilter für die Spektralfarbe Gelb abgedeckten Sensorelemente ein zyan und weißer Farbwert, jedem mittels eines der Farbfilter für die Spektralfarbe Zyan abgedeckten Sensorelemente mittels Interpolation ein gelber und weißer Farbwert, und jedem mittels eines der weißen Farbfilter abgedeckten Sensorelemente mittels Interpolation ein gelber und zyan Farbwert zugeordnet. Zur Interpolation werden insbesondere mindestens zwei mittels direkter Messung erstellte Farbwerte herangezogen. Zur Erstellung eines interpolierten gelben Farbwerts eines der Sensorelemente werden beispielsweise zunächst die zu diesem Sensorelemente benachbarten mittels direkter Messung erstellten gelben Farbwerte bestimmt. Insbesondere wird der Durchschnitt dieser Farbwerte als interpolierter gelber Farbwert verwendet. Besonders bevorzugt werden diese Farbwerte jedoch gewichtet, z.B. entsprechend des räumlichen Abstands. Besonders bevorzugt wird ein binomiales Filter hierfür herangezogen, also die benachbarten Messwerte werden entsprechend gewichtet. Ebenso werden die interpolierten weißen/zyan Farbwerte erstellt. Auf diese Weise ist die Erstellung eines farblichen Bildes ermöglicht, das somit insbesondere nicht als Druckraster vorliegt. Beispielsweise weist die Kamera eine Auswerteeinrichtung auf, mittels derer das Verfahren bei Betrieb des Assistenzsystems ausgeführt wird. In a further step, two further color values are assigned to each of the sensor elements by means of interpolation. Hereby, each sensor element covered by one of the color filters for the spectral color yellow is given a cyan and white color value, each by means of one of the color filters for the spectral color cyan covered sensor elements by interpolation a yellow and white color value, and each by means of one of the white color filter covered sensor elements by means of interpolation yellow and cyan color value assigned. In particular, at least two color values produced by direct measurement are used for the interpolation. To produce an interpolated yellow color value of one of the sensor elements, for example, first the yellow color values created by means of direct measurement are determined for this sensor elements. In particular, the average of these color values is used as the interpolated yellow color value. Most preferably, however, these color values are weighted, e.g. according to the spatial distance. Particularly preferably, a binomial filter is used for this purpose, ie the adjacent measured values are weighted accordingly. Likewise, the interpolated white / cyan color values are created. In this way, the creation of a color image is possible, which is therefore not available in particular as a print grid. For example, the camera has an evaluation device, by means of which the method is carried out during operation of the assistance system.

Geeigneterweise wird in einem weiteren Arbeitsschritt jedem der Sensorelemente ein magenta Farbwert zugeordnet. Hierfür wird von dem jeweiligen weißen Farbwert jedes Sensorelements der jeweilige gelbe und zyan Farbwert abgezogen. Folglich sind jedem der Sensorelemente drei Farbwerte mit unterschiedlichen Spektralfarben sowie ein Farbwert für die absolute Helligkeit zugeordnet, nämlich der weiße Farbwert. Folglich ist die Erstellung eines farbigen Bildes mittels Rekonstruktion aus den Messwerten ermöglicht, wobei zusätzlich die Helligkeit angepasst werden kann. Suitably, in a further step, each of the sensor elements is assigned a magenta color value. For this purpose, the respective yellow and cyan color value is subtracted from the respective white color value of each sensor element. Consequently, each of the sensor elements are three color values associated with different spectral colors and a color value for the absolute brightness, namely the white color value. Consequently, the creation of a colored image by means of reconstruction from the measured values is possible, in addition, the brightness can be adjusted.

Geeigneterweise wird mittels der Sensorelemente zunächst eine Anzahl von Messwerten und eine hierzu korrespondierende Anzahl an jeweiligen Farbwerten erstellt. Mit anderen Worten werden pro Sensorelement eine Anzahl an Messwerten und eine hierzu gleiche Anzahl an jeweiligen Farbwerten erstellt. Beispielsweise werden hierbei jedem der Sensorelemente weitere Farbewerte mittels Interpolation zugeordnet. Bei Erstellung der Anzahl an Messwerten wird insbesondere die Belichtungszeit, also die Zeit, in der mittels der Sensorelemente eine Messung erfolgt, variiert. Die Farbwerte werden zu einem HDR-Bild zusammengesetzt. Insbesondere wird eine Bilderserie mittels des Bildsensors erstellt, mit beispielsweise 3, 4, 5, 6, 7 oder 8 Einzelbildern. Insbesondere wird die Helligkeit jedes der einzelnen Einzelbilder der Bilderserie auf einen gleichen Wert angepasst. Hierfür werden insbesondere sämtliche Farbwerte jedes der Einzelbilder um einen bestimmten Faktor verändert. In einem weiteren Schritt werden die zu einer Über- und/oder Unterbelichtung korrespondierenden Farbwerte jedes der Einzelbilder gelöscht. In einem weiteren Arbeitsschritt wird das HDR-Bild erstellt, in dem der Mittelwert sämtlicher zu jedem Sensorelement korrespondierender Farbwerte der angepassten Einzelbilder erstellt wird. Suitably, a number of measured values and a corresponding number of respective color values are initially created by means of the sensor elements. In other words, a number of measured values and an equal number of respective color values are created per sensor element. For example, in this case, each of the sensor elements is assigned further color values by means of interpolation. When the number of measured values is established, in particular the exposure time, that is to say the time in which a measurement is carried out by means of the sensor elements, is varied. The color values are combined to form an HDR image. In particular, a series of images is created by means of the image sensor, with, for example, 3, 4, 5, 6, 7 or 8 individual images. In particular, the brightness of each of the individual frames of the series of images is adjusted to an equal value. In particular, all the color values of each of the individual images are changed by a specific factor for this purpose. In a further step, the color values corresponding to an over- and / or under-exposure of each of the individual images are deleted. In a further working step, the HDR image is created in which the mean value of all the color values of the matched individual images corresponding to each sensor element is created.

Ein Bildsensor, der eine Matrix-Anordnung aus Sensorelementen aufweist, die mittels einer ein sich widerholendes Muster aufweisenden Farbmaske abgedeckt ist, wobei das Muster einen Farbfilter für die Spektralfarbe Gelb, einen Farbfilter für die Spektralfarbe Zyan und zwei weiße Farbfilter aufweist, und wobei die Sensorelemente mittels eines Infrarot-Sperrfilters abgedeckt sind, wird für ein Assistenzsystem eines Kraftfahrzeugs verwendet. Mittels eines derartigen Bildsensors ist die Sensitivität und die Graustufenbild-Auflösung verbessert sowie der Dynamikabstand zwischen einzelnen Sensorelementen verringert. Somit ist auch bei einem Dämmerlicht, also bei vergleichsweise schlechten Beleuchtungsverhältnissen, eine Erstellung von Bildern der Umgebung des Kraftfahrzeugs ermöglicht. An image sensor comprising a matrix array of sensor elements covered by a repeating pattern color mask, the pattern comprising a color filter for the spectral color yellow, a color filter for the spectral color cyan and two white color filters, and wherein the sensor elements covered by an infrared cut filter is used for an assistance system of a motor vehicle. By means of such an image sensor, the sensitivity and the grayscale image resolution is improved and the dynamic distance between individual sensor elements is reduced. Thus, even with a twilight, so with comparatively poor lighting conditions, a creation of images of the environment of the motor vehicle allows.

Die Kamera ist Bestandteil eines Assistenzsystems eines Kraftfahrzeugs. Mittels des Assistenzsystems wird zweckmäßigerweise bei einem Dämmerlicht eine Umgebung des Kraftfahrzeugs erfasst, wobei das Assistenzsystem insbesondere keine Beleuchtung oder dergleichen aufweist. Mit anderen Worten arbeitet das Assistenzsystem passiv. Das Assistenzsystem ist somit insbesondere ein Dämmerlichtassistent. Die Kamera umfasst einen Bildsensor mit einer Matrix-Anordnung aus Sensorelementen. Die Sensorelemente sind mittels einer Farbmaske abgedeckt, die ein sich widerholendes Muster aufweist. Das Muster weist einen Farbfilter für die Spektralfarbe Gelb, einen Farbfilter für die Spektralfarbe Zyan und zwei weiße Farbfilter auf. Zudem sind die Sensorelemente mittels eines Infrarot-Sperrfilters abgedeckt. The camera is part of an assistance system of a motor vehicle. By means of the assistance system, an environment of the motor vehicle is expediently detected in a twilight light, wherein the assistance system in particular has no lighting or the like. In other words, the assistance system works passively. The assistance system is thus in particular a twilight light assistant. The camera comprises an image sensor with a matrix arrangement of sensor elements. The sensor elements are covered by a color mask having a repeating pattern. The pattern has a color filter for the spectral color yellow, a color filter for the spectral color cyan and two white color filters. In addition, the sensor elements are covered by means of an infrared blocking filter.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen: An embodiment of the invention will be explained in more detail with reference to a drawing. Show:

1 schematisch vereinfacht ein Assistenzsystem mit einer Kamera, 1 schematically simplifies an assistance system with a camera,

2 in einer seitlichen Schnittdarstellung ausschnittsweise die Kamera mit einem eine Farbmaske aufweisenden Bildsensor, 2 in a sectional side view of a detail of the camera with a color mask having image sensor,

3 ausschnittsweise den Bildsensor mit der Farbmaske mit einem sich wiederholenden Muster, 3 detail the image sensor with the color mask with a repeating pattern,

4 vergrößert das Muster gemäß 3, und 4 increases the pattern according to 3 , and

4 ein Verfahren zum Betrieb des Assistenzsystems. 4 a method for operating the assistance system.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen. Corresponding parts are provided in all figures with the same reference numerals.

In 1 ist schematisch vereinfacht ein Assistenzsystem 2 eines Kraftfahrzeugs dargestellt. Das Assistenzsystem 2 weist eine Kamera 4 sowie eine Signaleinrichtung 6 auf, die signaltechnisch miteinander gekoppelt sind. Mittels der Signaleinrichtung 6 wird dem Fahrer des Kraftfahrzeugs das Vorhandensein von Objekten an einem Fahrbahnrand mitgeteilt, welche mit Hilfe der mittels der Kamera 4 erstellten Abbilder ermittelt wurden. Die Signaleinrichtung 6 ist ein Head-up-Display, mittels dessen diese Informationen auf die Frontscheibe des Kraftfahrzeugs projiziert werden. In 1 is schematically simplified an assistance system 2 a motor vehicle shown. The assistance system 2 has a camera 4 and a signaling device 6 on, which are signal-technically coupled with each other. By means of the signaling device 6 the driver of the motor vehicle is informed of the presence of objects at a lane edge, which by means of the camera 4 created images were determined. The signaling device 6 is a head-up display, by means of which this information is projected onto the windscreen of the motor vehicle.

Die Kamera 4 weist ein Objektiv 8 mit einer Kunststofflinse auf, mittels dessen ein Bildsensor 10 abgedeckt ist. Die mittels des auf CMOS-Technik basierenden Bildsensors 10 erfassten Helligkeitswerte werden einer Auswerteeinrichtung 12 zugeführt und aus den mittels des Bildsensors 10 erfassten Helligkeitswerte, also aus den aufgenommenen Messdaten, ein Abbild rekonstruiert (5). The camera 4 has a lens 8th with a plastic lens, by means of which an image sensor 10 is covered. The image sensor based on CMOS technology 10 detected brightness values become an evaluation device 12 supplied and from the means of the image sensor 10 brightness values, ie from the recorded measurement data, reconstructs an image ( 5 ).

In 2 ist in einer schematischen Schnittdarstellung längs der optischen Achse die Kamera 4 mit dem Objektiv 8 und dem Bildsensor 10 ausschnittsweise dargestellt. Der Bildsensor 10 weist ein Substrat 14 auf, auf dem eine Anzahl an Sensorelementen 16 angebunden sind. Insbesondere sind das Substrat und die Sensorelemente einstückig und beispielsweise mittels Silizium erstellt. Zwischen dem Objektiv 8 und den Sensorelementen 16 ist eine Farbmaske 18 angeordnet und beispielsweis an dem Substrat 14 oder aber den Sensorelementen 16 befestigt. Zwischen der Farbmaske 18 und dem Objektiv 8 ist ein Infrarot-Sperrfilter 20 positioniert. Insbesondere ist die Abmessung des Infrarot-Sperrfilters 20 gleich der Abmessung der Farbmaske 18. Der Infrarot-Sperrfilter 20 ist entweder an dem Objektiv 8 oder dem Bildsensor 10 befestigt. Mittels des Infrarot-Sperrfilters 20 wird der Infrarotanteil des Sichtbaren Lichts an einem Einfall auf die Sensorelemente 16 gehindert. In 2 is a schematic sectional view along the optical axis of the camera 4 with the lens 8th and the image sensor 10 shown in detail. The image sensor 10 has a substrate 14 on which a number of sensor elements 16 are connected. In particular, the substrate and the sensor elements are in one piece and created, for example, by means of silicon. Between the lens 8th and the sensor elements 16 is a color mask 18 arranged and, for example, on the substrate 14 or the sensor elements 16 attached. Between the color mask 18 and the lens 8th is an infrared cut filter 20 positioned. In particular, the dimension of the infrared cut filter 20 equal to the size of the color mask 18 , The infrared cut filter 20 is either on the lens 8th or the image sensor 10 attached. By means of the infrared blocking filter 20 the infrared portion of the visible light is due to an incidence on the sensor elements 16 prevented.

In 3 ist in einer Draufsicht ausschnittsweise der Bildsensor 10 dargestellt, der eine Vielzahl an den Sensorelementen 16 umfasst. Die Sensorelemente 16 sind rasterartig in einer Matrix-Anordnung mit einer Anzahl an Spalten 22 und einer Anzahl an Zeilen 24 angeordnet, die hier lediglich ausschnittsweise dargestellt ist. Jedem der Sensorelemente 16 ist entweder ein Farbfilter für die Spektralfarbe Gelb Y, ein Farbfilter für die Spektralfarbe Zyan C oder ein weißer Farbfilter W zugeordnet Hierbei sind die Farbfilter für die Spektralfarbe Gelb Y und die Farbfilter für die Spektralfarbe Zyan C lediglich für elektromagnetische Strahlung mit einer zur Spektralfarbe Gelb bzw. Zyan korrespondierenden Wellenlänge durchlässig. Dahingegen sind die weißen Farbfilter W für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs transparent. In 3 is a partial plan view of the image sensor 10 shown having a plurality of the sensor elements 16 includes. The sensor elements 16 are raster-like in a matrix arrangement with a number of columns 22 and a number of lines 24 arranged, which is shown here only in part. Each of the sensor elements 16 is either a color filter for the spectral color yellow Y, a color filter for the spectral color cyan C or a white color filter W assigned Here are the color filter for the spectral color yellow Y and the color filter for the spectral color cyan C only for electromagnetic radiation with a yellow or spectral color Cyan corresponding wavelength permeable. On the other hand, the white color filters W are transparent to electromagnetic radiation in the entire region of the visible spectral range.

Die Farbfilter für die Spektralfarbe Gelb Y, die Farbfilter für die Spektralfarbe Zyan C und die weißen Farbfilter W sind in einem sich wiederholenden Muster 26 angeordnet, das in 4 näher dargestellt ist. Das Muster 26 ist eine 2×2-Matrix, die mittels eines der Farbfilter für die Spektralfarbe Gelb Y, eines der Farbfilter für die Spektralfarbe Zyan C und zweien der weißen Farbfilter W gebildet ist. Hierbei weist die erste Zeile 24a den Farbfilter für die Spektralfarbe Zyan C und einen der weißen Farbfilter W auf. Die zweite Zeile 24b ist mittels des Farbfilters für die Spektralfarbe Gelb Y und des verbleibenden weißen Farbfilter W gebildet. Die erste Spalte 22a weist den Farbfilter für die Spektralfarbe Zyan C und die zweite Spalte 22b den Farbfilter für die Spektralfarbe Gelb Y auf. The color filters for the spectral color yellow Y, the color filters for the spectral color cyan C and the white color filters W are in a repeating pattern 26 arranged in 4 is shown in more detail. The pattern 26 is a 2 × 2 matrix formed by one of the color filters for the yellow spectral color Y, one of the color filters for the spectral color cyan C, and two of the white color filters W. This is the first line 24a the color filter for the spectral color cyan C and one of the white color filter W on. The second line 24b is formed by means of the color filter for the spectral color yellow Y and the remaining white color filter W. The first column 22a indicates the color filter for the spectral color Cyan C and the second column 22b the color filter for the spectral color yellow Y on.

Zur Rekonstruktion eines Abbilds wird mittels der Auswerteeinrichtung 12 ein in 5 dargestelltes Verfahren ausgeführt. In einem ersten Arbeitsschritt 30 wird mittels jedes der Sensorelemente 16 ein Messwert 32 erstellt. Hierfür wird für eine Belichtungszeit t der Bildsensor 10 mittels des mit Hilfe des Objektivs 8 gebündelten Lichts bestrahlt. Der mittels jedes Sensorelements 16 erfasste elektrische Strom wird als Messwert 32 verwendet. Hierbei korrespondiert zu jedem mittels eines Farbfilters für die Spektralfarbe Gelb Y abgedeckten Sensorelement 16 ein Messwert 32 für die Spektralfarbe Gelb, zu jedem mittels eines Farbfilters für die Spektralfarbe Zyan C abgedeckten Sensorelement 16 ein Messwert 32 für die Spektralfarbe Zyan und zu jedem mittels eines weißen Farbfilters W abgedeckten Sensorelement 16 ein Messwert 32 für die Farbe Weiß. Diese Messwert 32 wird als jeweiliger gemessener Farbwert 34a jedes Sensorelements verwendet. To reconstruct an image is by means of the evaluation 12 a in 5 illustrated method executed. In a first step 30 is by means of each of the sensor elements 16 a measured value 32 created. For this purpose, the image sensor is used for an exposure time t 10 by means of the lens 8th bundled light irradiated. The by means of each sensor element 16 detected electric current is used as a measured value 32 used. In this case corresponds to each by means of a color filter for the spectral color yellow Y covered sensor element 16 a measured value 32 for the spectral color yellow, for each sensor element covered by a color filter for the spectral cyan C color 16 a measured value 32 for the spectral color cyan and for each covered by a white color filter W sensor element 16 a measured value 32 for the color white. This reading 32 is measured as the respective measured color value 34a each sensor element used.

In einem zweiten Arbeitsschritt 36 wird jedem der mittels der Farbfilter für die Spektralfarbe Gelb Y abgedeckten Sensorelemente 16 ein zyan und weißer interpolierter Farbwert 34b, jedem mittels eines der Farbfilter für die Spektralfarbe Zyan C abgedeckten Sensorelemente 16 ein gelber und weißer interpolierter Farbwert 34b und jedem mittels der weißen Farbfilter W abgedeckten Sensorelemente 16 ein gelber und zyan interpolierter Farbwert 34b zugeordnet. Folglich sind jedem der Sensorelemente 16 nach dem zweiten Arbeitsschritt 36 drei Farbwerte 34 zugeordnet, wovon einer der gemessene Farbwert 34a und die beiden verbleibenden die interpolierten Farbwerte 34b sind. Die interpolierten Farbwerte 34b werden mittels Interpolation erstellt. Hierfür wird beispielsweise bei einem mittels eines der weißen Farbfilter W abgedeckten Sensorelement 16 zunächst die beiden Sensorelemente 16 ermittelt, die mit einem Farbfilter für die Spektralfarbe Gelb Y abgedeckt sind, und die zu dem mittels des weißen Farbfilter W abgedeckten Sensorelement 16 direkt benachbart sind. Deren gemessenen Farbwerte 34a werden ermittelt und der Durchschnitt hieraus gebildet. Dieser Wert wird als der gelbe interpolierte Farbwert 34b des mit dem weißen Farbfilter W abgedeckten Sensorelements 16 verwendet. Das gleiche Verfahren wird für die den Zyan interpolierten Farbwert 34b und die übrigen Sensorelemente 16 durchgeführt. Anstatt des Durchschnitts wird beispielsweise ein binomiales Filter verwendet. In a second step 36 each of the sensor elements covered by the color filters for the spectral color Y is yellow 16 a cyan and white interpolated color value 34b each sensor element covered by one of the color filters for the cyan C spectral color 16 a yellow and white interpolated color value 34b and each sensor elements covered by the white color filters W 16 a yellow and cyan interpolated color value 34b assigned. Consequently, each of the sensor elements 16 after the second step 36 three color values 34 one of which is the measured color value 34a and the two remaining the interpolated color values 34b are. The interpolated color values 34b are created by means of interpolation. For this purpose, for example, in a covered by means of one of the white color filter W sensor element 16 first the two sensor elements 16 detected, which are covered with a color filter for the spectral color yellow Y, and to the covered by means of the white color filter W sensor element 16 are directly adjacent. Their measured color values 34a are determined and the average is formed from this. This value is considered the yellow interpolated color value 34b of the sensor element covered with the white color filter W 16 used. The same procedure is used for the cyan interpolated color value 34b and the other sensor elements 16 carried out. For example, instead of the average, a binomial filter is used.

In einem dritten Arbeitsschritt 38 wird jedem der Sensorelemente 16 ein magenta Farbwert 34c zugeordnet. Hierfür wird von dem weißen Farbwert 34 jedes Sensorelements 16, unabhängig ob dieser ein gemessener Farbwert 34a oder ein interpolierter Farbwert 34b ist, der jeweilige gelbe Farbwert und der jeweilige zyan Farbwert abgezogen, ebenfalls unabhängig, ob es sich hierbei um einen der gemessenen Farbwerte 34a oder einen der interpolierten Farbwerte 34b handelt. Mittels sämtlicher Farbwerte 34a, 34b, 34c wird ein Einzelbild 40 erstellt. In a third step 38 becomes each of the sensor elements 16 a magenta color value 34c assigned. This is by the white color value 34 each sensor element 16 , regardless of whether this is a measured color value 34a or an interpolated color value 34b is deducted, the respective yellow color value and the respective cyan color value, also independently, whether this is one of the measured color values 34a or one of the interpolated color values 34b is. By means of all color values 34a . 34b . 34c becomes a single picture 40 created.

Der erste, zweite und dritte Arbeitsschritt, 30, 36, 38 wird zur Erstellung einer Serie von Einzelbildern 40 drei, vier, fünf, sechs, sieben oder acht Mal wiederholt, wobei hierbei stets die Belichtungszeit t variiert wird. Mit anderen Worten weist keines der Einzelbilder 40 die gleiche Belichtungszeit t auf. In einem sich hieran anschließenden vierten Arbeitsschritt 42 wird ein HDR-Bild 44 anhand der Einzelbilder 40 erstellt. Hierfür werden zunächst pro Einzelbild 40 sämtliche zu einer Über- oder Unterbelichtung korrespondierenden Farbwerte 34a, 34b, 34c ermittelt und diese gelöscht sowie der Helligkeitswert sämtlicher Einzelbilder 40 auf einem gemeinsamen Wert angeglichen. Die überarbeiteten Einzelbilder werden zu dem HDR-Bild 44 zusammengefasst. The first, second and third work steps, 30 . 36 . 38 is used to create a series of frames 40 repeated three, four, five, six, seven or eight times, always varying the exposure time t. In other words, none of the frames 40 the same exposure time t. In a subsequent fourth step 42 becomes an HDR image 44 based on the individual images 40 created. For this are initially per single image 40 all color values corresponding to overexposure or underexposure 34a . 34b . 34c determined and deleted and the brightness value of all frames 40 adjusted to a common value. The revised frames become the HDR image 44 summarized.

Die Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit dem Ausführungsbeispiel beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen. The invention is not limited to the embodiment described above. Rather, other variants of the invention can be derived therefrom by the person skilled in the art without departing from the subject matter of the invention. In particular, all the individual features described in connection with the exemplary embodiment can also be combined with each other in other ways, without departing from the subject matter of the invention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

2 2: Assistenzsystem assistance system
4 4: Kamera camera
6 6: Signaleinrichtung signaling device
8 8th: Objektiv lens
10 10: Bildsensor image sensor
12 12: Auswerteeinrichtung evaluation
14 14: Substrat substratum
16 16: Sensorelement sensor element
18 18: Farbmaske color mask
20 20: Infrarot-Sperrfilter Infrared cut filter
22 22: Spalte column
22a 22a: erste Spalte first column
22b 22b: zweite Spalte second column
24 24: Zeile row
24a 24a: erste Zeile first line
24b 24b: zweite Zeile second line
26 26: Muster template
28 28: Verfahren method
30 30: erster Arbeitsschritt first step
32 32: Messwert reading
34 34: Farbwert chromaticity
34a 34a: gemessener Farbwert measured color value
34b 34b: interpolierter Farbwert interpolated color value
34c 34c: magenta Farbwert magenta color value
36 36: zweiter Arbeitsschritt second step
38 38: dritter Arbeitsschritt third step
40 40: Einzelbild frame
42 42: vierter Arbeitsschritt fourth step
44 44: HDR-Bild HDR image
t t: Belichtungszeit exposure time
C C: zyan Farbfilter cyan color filter
Y Y: gelber Farbfilter yellow color filter
W W: weißer Farbfilter white color filter

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2005/115820 A1 [0003] WO 2005/115820 A1 [0003]
US 2009/0206241 A1 [0004] US 2009/0206241 A1 [0004]

Claims

Assistenzsystem (2) eines Kraftfahrzeugs, insbesondere Dämmerlichtassistent, mit einer einen Bildsensor (10) aufweisenden Kamera (4), der eine Matrix-Anordnung aus Sensorelementen (16) aufweist, die mittels einer ein sich widerholendes Muster (26) aufweisenden Farbmaske (18) abgedeckt ist, wobei das Muster (26) einen Farbfilter für die Spektralfarbe Gelb (Y), einen Farbfilter für die Spektralfarbe Zyan (C) und zwei weiße Farbfilter (W) aufweist, und wobei die Sensorelemente (16) mittels eines Infrarot-Sperrfilters (20) abgedeckt sind. Assistance system ( 2 ) of a motor vehicle, in particular twilight light assistant, with an image sensor ( 10 ) camera ( 4 ) comprising a matrix arrangement of sensor elements ( 16 ) by means of a repeating pattern ( 26 ) having color mask ( 18 ), the pattern ( 26 ) has a color filter for the spectral color yellow (Y), a color filter for the spectral color cyan (C) and two white color filters (W), and wherein the sensor elements ( 16 ) by means of an infrared blocking filter ( 20 ) are covered.

Assistenzsystem (2) nach Anspruch 2, dadurch gekennzeichnet, dass das Muster (26) aus dem Farbfilter für die Spektralfarbe Gelb (Y), dem Farbfilter für die Spektralfarbe Zyan (C) und den zwei weißen Farbfiltern (W) besteht. Assistance system ( 2 ) according to claim 2, characterized in that the pattern ( 26 ) consists of the color filter for the spectral color yellow (Y), the color filter for the spectral color cyan (C) and the two white color filters (W).

Assistenzsystem (2) nach Anspruch 2, dadurch gekennzeichnet, dass das Muster (26) eine 2×2-Matrix ist. Assistance system ( 2 ) according to claim 2, characterized in that the pattern ( 26 ) is a 2 × 2 matrix.

Assistenzsystem (2) nach Anspruch 3, dadurch gekennzeichnet, dass die erste Zeile (24a) der Matrix durch den Farbfilter für die Spektralfarbe Zyan (C) sowie einen der weißen Farbfiltern (W) und die zweite Zeile (24b) der Matrix durch den Farbfilter für die Spektralfarbe Gelb (Y) sowie den anderen weißen Farbfiltern (W) gebildet ist. Assistance system ( 2 ) according to claim 3, characterized in that the first line ( 24a ) of the matrix through the color filter for the spectral color cyan (C) and one of the white color filters (W) and the second line ( 24b ) of the matrix is formed by the color filter for the yellow spectral color (Y) and the other white color filters (W).

Assistenzsystem (2) nach Anspruch 4, dadurch gekennzeichnet, dass die erste Spalte (22a) der Matrix durch den Farbfilter für die Spektralfarbe Zyan (C) sowie einen der weißen Farbfiltern (W) und die zweite Spalte (22b) der Matrix durch den Farbfilter für die Spektralfarbe Gelb (Y) sowie den anderen weißen Farbfiltern (W) gebildet ist. Assistance system ( 2 ) according to claim 4, characterized in that the first column ( 22a ) of the matrix through the color filter for the spectral color cyan (C) and one of the white color filters (W) and the second column ( 22b ) of the matrix is formed by the color filter for the yellow spectral color (Y) and the other white color filters (W).

Verfahren (28) zum Betrieb eines Assistenzsystems (2) eines Kraftfahrzeugs nach einem der Ansprüche 1 bis 5, bei dem – mittels jedes Sensorelements (16) ein zu dem jeweiligen Farbfilter (C, Y, W) korrespondierender Messwert (32) erfasst und als jeweiliger Farbwert (34a) verwendet wird, – jedem mittels eines der Farbfilter für die Spektralfarbe Gelb (Y) abgedeckten Sensorelemente (16) mittels Interpolation ein zyan und ein weißer Farbwert (34b), jedem mittels eines der Farbfilter für die Spektralfarbe Zyan (C) abgedeckten Sensorelemente (16) mittels Interpolation ein gelber und ein weißer Farbwert (34b), und jedem mittels eines der weißen Farbfilter (W) abgedeckten Sensorelemente (16) mittels Interpolation ein gelber und ein zyan Farbwert (34b) zugeordnet wird. Procedure ( 28 ) for operating an assistance system ( 2 ) of a motor vehicle according to one of claims 1 to 5, in which - by means of each sensor element ( 16 ) a corresponding to the respective color filter (C, Y, W) measured value ( 32 ) and as the respective color value ( 34a ) is used, - each sensor elements covered by one of the color filters for the spectral color yellow (Y) ( 16 ) by means of interpolation a cyan and a white color value ( 34b ), each of the sensor elements covered by one of the color filters for the spectral color cyan (C) ( 16 ) by means of interpolation a yellow and a white color value ( 34b ), and each sensor elements covered by one of the white color filters (W) ( 16 ) by means of interpolation a yellow and a cyan color value ( 34b ).

Verfahren (28) zum Betrieb eines Assistenzsystems (2) nach Anspruch 6, bei dem jedem Sensorelement ein magenta Farbwert (34c) zugeordnet wird, wofür von dem jeweiligen weißen Farbwert (34a, 34b) der jeweilige gelbe und jeweilige zyan Farbwert (34a, 34b) abgezogen wird. Procedure ( 28 ) for operating an assistance system ( 2 ) according to claim 6, wherein each sensor element has a magenta color value ( 34c ), for which of the respective white color value ( 34a . 34b ) the respective yellow and respective cyan color value ( 34a . 34b ) is deducted.

Verfahren (28) zum Betrieb eines Assistenzsystems (2) nach Anspruch 6 oder 7, bei dem eine Anzahl von Messwerten (32) erfasst und eine hierzu korrespondierende Anzahl an jeweiligen Farbwerten (34a, 34b, 34c) pro Sensorelement (16) erstellt wird, die zu einem HDR-Bild (44) zusammengesetzt werden. Procedure ( 28 ) for operating an assistance system ( 2 ) according to claim 6 or 7, wherein a number of measured values ( 32 ) and a corresponding number of respective color values ( 34a . 34b . 34c ) per sensor element ( 16 ) to an HDR image ( 44 ).

Verwendung eines Bildsensors (10), der eine Matrix-Anordnung aus Sensorelementen (16) aufweist, die mittels einer ein sich widerholendes Muster (26) aufweisenden Farbmaske (18) abgedeckt ist, wobei das Muster (26) einen Farbfilter für die Spektralfarbe Gelb (Y), einen Farbfilter für die Spektralfarbe Zyan (C) und zwei weiße Farbfilter (W) aufweist, und wobei die Sensorelemente (16) mittels eines Infrarot-Sperrfilters (20) abgedeckt sind, für ein Assistenzsystem (2) eines Kraftfahrzeugs. Using an image sensor ( 10 ) comprising a matrix arrangement of sensor elements ( 16 ) by means of a repeating pattern ( 26 ) having color mask ( 18 ), the pattern ( 26 ) has a color filter for the spectral color yellow (Y), a color filter for the spectral color cyan (C) and two white color filters (W), and wherein the sensor elements ( 16 ) by means of an infrared blocking filter ( 20 ) for an assistance system ( 2 ) of a motor vehicle.

Kamera (4) eines Assistenzsystems (2) eines Kraftfahrzeugs, insbesondere Dämmerlichtassistent, mit einem Bildsensor (10), der eine Matrix-Anordnung aus Sensorelementen (16) aufweist, die mittels einer ein sich widerholendes Muster (26) aufweisenden Farbmaske (18) abgedeckt ist, wobei das Muster (26) einen Farbfilter für die Spektralfarbe Gelb (Y), einen Farbfilter für die Spektralfarbe Zyan (C) und zwei weiße Farbfilter (W) aufweist, und wobei die Sensorelemente (16) mittels eines Infrarot-Sperrfilters (20) abgedeckt sind. Camera ( 4 ) of an assistance system ( 2 ) of a motor vehicle, in particular twilight light assistant, with an image sensor ( 10 ) comprising a matrix arrangement of sensor elements ( 16 ) by means of a repeating pattern ( 26 ) having color mask ( 18 ), the pattern ( 26 ) has a color filter for the spectral color yellow (Y), a color filter for the spectral color cyan (C) and two white color filters (W), and wherein the sensor elements ( 16 ) by means of an infrared blocking filter ( 20 ) are covered.