DE102014201181A1

DE102014201181A1 - Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zur Ermittlung von Bildinformationen einer zeitlich gepulsten Signalquelle

Info

Publication number: DE102014201181A1
Application number: DE102014201181.7A
Authority: DE
Inventors: Paul Ruhnau; Daniela Weiss; Dimitrios Bariamis; Frank Moesle
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-01-23
Filing date: 2014-01-23
Publication date: 2015-07-23
Also published as: CN104811614A; CN104811614B; US20150208005A1; US9832398B2

Abstract

Die Erfindung betrifft ein Kamerasystem (16), insbesondere für ein Fahrzeug (1), wobei das Kamerasystem (16) mindestens aufweist: eine Kamera (4), die einen Bildsensor (7) und eine Filtermaske (6) aufweist, und eine Steuer- und Auswertungseinrichtung (12), die von dem Bildsensor (7) ausgegebene Bildsignale (S1) aufnimmt, wobei der Bildsensor (7) eine Anordnung von Pixelsignale ausgebenden Sensorpixeln (11) und die Filtermaske (6) eine Anordnung von vor den Sensorpixeln (11) angeordneten Filtern mit unterschiedlichem wellenlängenselektiven Transmissionsverhalten aufweist, wobei ein Teil der Filter (R, G, B) Dämpfungs-Filter (B) sind und Sensorpixel (11b), vor denen jeweils eines der Dämpfungs-Filter (B) angeordnet ist, ein Dämpfungs-Pixelsignale (b) ausgeben. Die Dämpfungs-Filter dämpfen hierbei vorteilhafterweise weißes Licht stärker als die anderen Filter der Filtermaske; sie sind insbesondere Blaupixel (B). Hierbei ist vorgesehen, dass die von dem Bildsensor (7) ausgegebenen Bildsignale (S1) eine erste Subfolge (Ei) von mit einer ersten Belichtungszeit aufgenommenen ersten Frames (E1, E2, E3) und eine zweite Subfolge (Fi) von mit einer zweiten Belichtungszeit aufgenommenen zweiten Frames (F1, F2, F3) aufweisen, wobei die zweite Belichtungszeit größer als die erste Belichtungszeit ist, und die Steuer- und Auswertungseinrichtung (12) die Dämpfungs-Pixelsignale der zweiten Subfolge (Fi) auswertet.

Description

Die Erfindung betrifft ein Kamerasystem, das insbesondere in einem Fahrzeug einsetzbar ist, und ein Verfahren zum Ermitteln von Bildinformationen einer zeitlich gepulsten Signalquelle, insbesondere eines Wechselverkehrszeichens.
Stand der Technik
Kamerasysteme von Fahrzeugen dienen zum einen der Erstellung eines Bildes, das z. B. auf einer Anzeigeeinrichtung dargestellt werden kann. Weiterhin werden derartige Kamerasysteme auch dazu eingesetzt, selbsttätig Verkehrszeichen zu erfassen und auszuwerten, wobei so ermittelte Verkehrsinformationen dem Fahrer z. B. angezeigt oder auch selbsttätig in einer Fahrdynamikregelung oder Fahrerassistenzfunktion eingesetzt werden können.
Zur dynamischen Verkehrsleitung sind insbesondere an Autobahnen oft Wechselverkehrszeichen (WVZ, Variable Message Signs, VMS) installiert, die je nach Verkehrs- oder Umweltsituation unterschiedliche Verkehrszeichen, insbesondere Geschwindigkeitsbeschränkungen, anzeigen.
Um die Wechselverkehrszeichen an ihre Umgebungshelligkeit anzupassen, sind diese oftmals gepulst, d. h. sie werden mit einer Signalfrequenz f von z. B. 100 Hz bzw. einer Signalperiode T = 1/f ein- und ausgeschaltet (aktive Phasen und inaktive Phasen). Diese Schaltvorgänge laufen so schnell ab, dass sie für das menschliche Auge nicht erkennbar sind.
Kamerabasierte Fahrerassistenzsysteme nehmen jedoch Bilder zur Verringerung der Bewegungsunschärfe mit möglichst kurzer Belichtungszeit auf. Bei kurzen Belichtungszeiten von z. B. unter 1 ms und Ausleseraten (Aufnahmefrequenzen) von z. B. 30 Bildern pro Sekunde kann der gesamte Aufnahmezeitraum der Belichtung so liegen, dass das Wechselverkehrszeichen in dieser Zeit ausgeschaltet ist bzw. in einer aktiven Phase ist. Somit kann ein Wechselverkehrszeichen ggf. nicht von der Kamera erfasst werden. Zum Teil werden Wechselverkehrszeichen auch mit bereichsweise gepulst belichtet, so dass ein Kamera eventuell nur Teilbereiche des Wechselverkehrszeichens erfasst.
Um Wechselverkehrszeichen sicher zu erkennen, werden daher im Allgemeinen viele aufeinanderfolgende Aufnahmen gemacht, d. h. mit einer hohen Ausleserate des Bildsensors, um in einem der aufgenommenen Bilder das Wechselverkehrszeichen vollständig zu erkennen.
Es zeigt sich jedoch, dass auch bei hohen Ausleseraten zum Teil Probleme bei der Ermittlung von Wechselverkehrszeichen auftreten. Die Wechselverkehrszeichen können z. B. eine Periodendauer von 100 Hz aufweisen, so dass ein Bildsensor mit einer typischen Belichtungsdauer von ≤ 1 ms und einer Ausleserate oder Aufnahmefrequenz von z. B. 30 Bildern pro Sekunde, d. h. 30 Hz, oftmals ein Wechselverkehrszeichen nicht in dessen aktivem Zeitraum erfasst, insbesondere wenn das Wechselverkehrszeichen nur kurze Zeit im Sichtfeld der Kamera ist oder das Fahrzeug schnell bewegt ist.
Bei höheren Belichtungsdauern kann zwar die Wahrscheinlichkeit zum Erkennen eines Wechselverkehrszeichens gesteigert werden; das Bild wird jedoch auch heller, so dass der Bildsensor ggf. in Sättigung gehen kann, so dass keine Details mehr ermittelbar sind.
Die DE 10 2010 024 415 A1 schlägt vor, dass ein Bildsensor einfallendes Licht ständig oder kontinuierlich mit einer maximalen Auslesezeit erfasst; hierdurch soll das Flackern einer durch das Kamerasystem erfassten LED verhindert werden. Die Pausenzeit, in der der Bildsensor das auf ihn einfallende Licht nicht in elektrische Signale umwandelt oder nicht lichtempfindlich ist, wird geringer als eine Pulsdauer zu erfassender Lichtpulse gewählt, so dass kein Lichtpuls vom Sensor „übersehen“ wird. Damit der Sensor nicht überbelichtet wird bzw. nicht in Sättigung gerät, ist ein Dämpfungsfilter oder eine Blende vorgesehen, die entsprechend den Lichtverhältnissen, insbesondere Tag oder Nacht, angepasst werden kann.
Somit wird ein zusätzliches optisches Element eingesetzt, um hochfrequente Signalquellen zu erfassen. Bei hohen Frequenzen der Signalquelle ist jedoch eine entsprechend hohe Dämpfung erforderlich, die wiederum zu Qualitätseinbußen für die weitere Bilderfassung und Bildauswertung führen kann.
Die DE 10 2005 033 863 A1 zeigt ein Bildaufnahmesystem, in dem neben einer Kamera ein Strahlungssensor vorgesehen ist, der einen mittleren Helligkeitspegel einer Bildszene ermittelt und mit der Helligkeit eines durch die Kamera aufgenommenen Bildes vergleicht. Durch die längere Auslesezeit nimmt der Strahlungssensor auch gepulste Lichtquellen wahr. Ergibt sich eine Diskrepanz zwischen den beiden Helligkeiten, so wird ein Warnsignal ausgegeben, dass ein Mangel in der Displaydarstellung vorliegt; die Belichtungsphase der Kamera und die Einschaltphase der gepulsten Lichtquelle werden synchronisiert, oder Bereiche der auf dem Display dargestellten Bilder werden durch entsprechend länger belichtete Bereiche ersetzt.
Nachteilig bei dieser Lösung ist, dass eine weitere Strahlungsquelle benötigt wird, die mit der Kamera synchronisiert werden muss, wodurch sich der Herstellungs- und Kostenaufwand erhöht.
Weiterhin sind multimodale Kameraregelungen bekannt, insbesondere auch als High Dynamic Range(HDR)-Kamerasysteme, bei denen aufeinanderfolgend Bilder mit unterschiedlicher Parametereinstellungen erzeugt werden, insbesondere mit unterschiedlichen Belichtungszeiten. Die DE 698 08 024 B2 beschreibt ein derartiges System. Nachfolgend kann aus Bildbereichen unterschiedlicher Helligkeiten ein optimiertes Bild erstellt werden, indem z. B. dunkle Bereiche aus dem länger belichteten Bild und helle Bereiche aus dem kürzer belichteten Bild übernommen werden. Hierzu kann der Bildsensor derartig angesteuert werden, dass er alternierend in unterschiedlichen Belichtungszeiten aufnimmt und somit das ausgegebene Bildsignal mehrere alternierende Subfolgen von Frames mit unterschiedlichen Belichtungszeiten ausweist.
Offenbarung der Erfindung
Erfindungsgemäß ist der Bildsensor mit einer Filtermaske versehen. Somit sind auf den einzelnen Sensorpixel verschiedene Filter vorgesehen; hierbei weist die Filtermaske auch Dämpfungs-Filter auf, wobei Sensorpixel, vor denen ein Dämpfungs-Filter angeordnet ist, Dämpfungspixel bilden und ein Dämpfungs-Pixelsignal ausgeben; die Steuer- und Auswerteeinrichtung zieht diese Dämpfungs-Pixelsignale für eine Auswertung heran.
Die Dämpfungs-Filter können insbesondere einfallendes weißes Licht stärker dämpfen als die anderen Filter der Filtermaske; dies bedeutet, dass weißes Licht, das Intensitätsanteile im gesamten optisch sichtbaren Bereich aufweist, insbesondere mit im wesentlichen gleicher oder energiegleicher Intensitätsverteilung über den Spektralbereich, durch die Dämpfungsfilter stärker gedämpft wird als durch die anderen Filter der Filtermaske.
Die Dämpfungsfilter können insbesondere blaue Farbfilter, d.h. Blaufilter sein, die bevorzugt Licht eines unteren Wellenlängenbereichs bzw. mit kürzeren Wellenlängen durchlassen. Dieses Licht des unteren Wellenlängenbereichs wird daher nachfolgend als blaues Licht, die Sensorpixel hinter dem Blaufilter als Blaupixel und ihre Pixelsignale als blaue Pixelsignale bezeichnet. Derartige Blaufilter können insbesondere B-Filter eines RGB-Systems, aber z.B. auch Cyan-Filter eines CMY- oder CMYK-Systems sein, die in ihrem jeweiligen System die kurzwelligen Lichtanteile durchlassen.
Der Bildsensor wird mit unterschiedlichen Belichtungszeiten ausgelesen, insbesondere alternierend, so dass zwei oder mehr Subfolgen von Frames mit unterschiedlichen Belichtungszeiten gebildet werden. Hierbei werden die Dämpfungs-Pixelsignale einer mit einer längeren zweiten Belichtungszeit aufgenommen zweiten Subfolge ausgewertet.
Hierdurch werden einige Vorteile erreicht:
Der Erfindung liegt der Gedanke zugrunde, dass die Dämpfungspixel, insbesondere Blaupixel, d. h. mit einem blauen Filter versehene Sensorpixel, eine deutlich geringere Empfindlichkeit aufweisen als andere Sensorpixel. Bei einem Farbfilter weisen Blaufpixel eine deutlich geringere Empfindlichkeit auf als insbesondere Grün-Pixel oder transparente Pixel (Clear-Pixel, C-Pixel), weiterhin auch geringer als Rot-Pixel. Blaupixel werden im Allgemeinen für eine Bildauswertung kaum oder gar nicht herangezogen.
Indem nun erfindungsgemäß Frames mit unterschiedlichen Belichtungszeiten aufgenommen werden, kann eine Subfolge von Frames mit einer längeren Belichtungszeit gewählt werden, in denen die mit Dämpfungsfiltern versehenen Sensorpixel, insbesondere Blaupixel, noch nicht in Sättigung sind. Die weiteren Pixel werden hierbei insbesondere in Sättigung sein und werden daher vorzugsweise nicht weiter ausgewertet.
Blaupixel hingegen liefern ein Signal, das einen deutlichen Informationsgehalt besitzt. Durch die geringe Empfindlichkeit der Blaupixel für z.B. weißes Licht und die somit erreichbaren sehr langen Belichtungszeiten können Wechselverkehrszeichen bzw. Signalquellen mit hoher Signalfrequenz bzw. kurzen Signalperioden zuverlässig erkannt werden.
Somit kann aus den Dämpfungs-Pixelsignalen der zweiten Subfolge ein zweidimensionales Sub-Bild erstellt werden, das nachfolgend ausgewertet werden kann, z. B. zu einer Bilderkennung, um höherfrequente Signalquellen zu erfassen und vorzugsweise auch auszuwerten.
Hierbei wird erfindungsgemäß auch erkannt, dass Wechselverkehrszeichen im Allgemeinen weißes Licht enthalten, so dass die Dämpfungspixel, insbesondere Blaupixel, eine hinreichende Empfindlichkeit aufweisen, um durch größere Belichtungszeiten eine Bilderfassung und sichere Auswertung zu gewährleisten.
Als Filtermaske kann insbesondere eine Farb-Filtermaske, z. B. ein RGGB- oder Bayer-Pattern eingesetzt werden, oder auch eine Teilfarb-Filtermaske, die neben Blaufiltern und z. B. Rotfiltern auch z. B. Transparenzwerte oder Intensitätswerte aufweist.
Die lange Belichtungszeit wird insbesondere als zweite Subfolge zusätzlich zu einer ersten Subfolge gewählt, die eine kurze erste Belichtungszeit aufweist und in üblicher Weise für eine Bilderkennung und Bildauswertung herangezogen werden kann, insbesondere auch für eine farbige Bildauswertung.
Die mindestens zwei Subfolgen können hierbei abwechselnd alternieren. Es sind jedoch auch Ausbildungen möglich, in denen die Subfolgen nicht abwechselnd alternieren, so dass z. B. auf zwei Frames der ersten Subfolge für eine normale Bildauswertung ein Frame der zweiten Subfolge zur Erfassung von Wechselverkehrszeichen kommt.
Weiterhin kann das Verhältnis der Subfolgen auch in Abhängigkeit davon variieren, ob Wechselverkehrszeichen zu erwarten sind.
Ein weiterer Vorteil der Erfindung liegt darin, dass eine Bilderfassung und Bildauswertung für andere Zwecke, insbesondere Bilddarstellung und Fahrerassistenzsysteme, durch die zweite Subfolge nicht beeinträchtigt wird.
Ein deutlicher Vorteil liegt auch darin, dass grundsätzlich eine zusätzliche Hardware bzw. apparative Ergänzungen nicht erforderlich sind. Es reicht eine geeignete Ansteuerung des Bildsensors, insbesondere durch zwei oder auch mehr Subfolgen mit den unterschiedlichen Belichtungszeiten.
Ein weiterer Vorteil ist, dass multimodale Kameraregelungen, d.h. die Ausbildung mehrerer Subfolgen, als solche bereits bekannt sind, insbesondere aus HDR-Verfahren. Somit kann auf Regelalgorithmen bzw. Software-Blöcke zurückgegriffen werden, die lediglich entsprechend abzuändern sind. Somit ist ein kostengünstige Realisierung möglich. Anders als bei HDR-Verfahren ist erfindungsgemäß hierbei grundsätzlich keine Auswertung durch Vergleich sämtlicher Frames und Teilbereiche der Frames der Subfolgen erforderlich. Weiterhin ist es nicht erforderlich, ein zusammen gesetztes Bild zu erstellen. So ist eine Auswertung alleine der Blaupixelsignale der zweiten Subfolge ausreichend.
Erfindungsgemäß kann jedoch ergänzend auch ein Vergleich der Subfolgen vorgesehen sein, indem aus der Bilderfassung und Bildauswertung der ersten Subfolge die Position möglicher Wechselverkehrszeichen erkannt wird, z. B. als Verkehrszeichen-Brücke oberhalb der oder auch als Schild neben der Fahrbahn. Bei Erkennen einer höhen Wahrscheinlichkeit eines Wechselverkehrszeichens kann dann ggf. die zweite Subfolge insbesondere in diesen Bildbereichen ausgewertet werden oder der Anteil der zweiten Subfolge für einen gewissen Zeitraum erhöht werden.
Weiterhin ergibt sich auch der Vorteil, dass typischen Farbpattern, wie insbesondere das RGGB-Pattern (Bayern-Pattern) eingesetzt werden kann, da bereits der Anteil der Blaupixel von einen Viertel ausreichend ist, um ein Subbild aus blauen Pixelsignalen mit hinreichender Auflösung zu erreichen.
Die ersten und zweiten Belichtungszeiten können an die Umgebungshelligkeit, d.h. insbesondere Tag und Nacht angepasst werden.
So kann auch z.B. lediglich die erste Belichtungszeit geändert werden, um in Abhängigkeit der Tagesbedingungen die übliche Bilderfassung und Bildauswertung zu ermöglichen, ohne eine Änderung der zweiten Belichtungszeit, wenn keine Änderung der Wechselverkehrszeichen bei Nacht zu erwarten ist.
Gemäß einer weiteren Ausführungsform der Erfindung kann zusätzlich ein optisches Objekt im Strahlengang vorgesehen sein, insbesondere in der Kamera vor der Kameraoptik oder zwischen Kameraoptik und Filtermaske. Das optische Element ist hierbei in seiner Dämpfung oder Transmissivität einstellbar, um insbesondere für Wechselverkehrszeichen eine höhere Dämpfung bzw. geringere Transmissivität zu ermöglichen, damit längere Belichtungszeiten möglich sind.
Hierdurch ergibt sich der Vorteil, dass die Empfindlichkeit des Bildsensors dynamisch einstellbar ist, insbesondere auch dynamisch reduziert werden kann, um eine sichere Erkennung der Wechselverkehrszeichen zu ermöglichen.
Hierbei kann z. B. bei Tag eine längere Belichtungszeit ermöglicht werden, indem das optische Element stärker dämpft, und in dunkler Umgebung, d. h. insbesondere bei Nacht oder Dämmerung eine hohe Transmissivität bzw. vollständige Transmissivität erreicht werden. Somit können jeweils lange Belichtungszeiten erreicht werden, die die Erkennung eines Wechselverkehrszeichens in jedem aufgenommen Bild ermöglichen. Ein derartiges optisches Element kann insbesondere von außen ansteuerbar sein, d. h. insbesondere durch die Steuer- und Auswerteinrichtung. Die Steuer- und Auswerteinrichtung kann hierbei einteilig sein oder auch durch mehrere einzelne Steuereinrichtungen ausgebildet sein.
Die Hardwareausbildung des optischen Elementes kann z. B. mit einem Flüssigkristallpanel, mit ähnlicher Ausbildung wie ein LCD-Flachbildschirm erfolgen.
Weiterhin kann auch eine selbsttätige Abdunklung vorgesehen sein, z. B. durch chemische Effekte; derartige Hardwareausbildungen sind grundsätzlich bereits bekannt, z. B. bei selbsttönenden Sonnenbrillen. Hierdurch ergibt sich der Vorteil, dass keine zusätzliche Ansteuerung erforderlich ist, es kann jedoch ggf. eine Signalausgabe von dem optischen Element an die Steuer- und Auswerteeinrichtung erfolgen, um ihren Tranmissivitätsgrad bzw. ihre Dämpfung anzuzeigen.
Bei sämtlichen Ausbildungen kann das ganze optische Element zwischen zwei Stufen – Dämpfung ein und Dämpfung aus – verstellt werden, oder auch in mehreren Zwischenstufen, z. B. auch kontinuierlich; bei mehreren Zwischenstufen ist somit die Abstimmung genauer.
Ein weiterer Vorteil ergibt sich bei Unterteilung des optischen Elementes in mehrere Segmente. Somit können die unterschiedlichen Segmente des optischen Elementes unterschiedlich angesteuert werden. Somit kann insbesondere ein Bildbereich, in dem ein Wechselverkehrszeichen zu erwarten ist, stärker abgedunkelt werden, d. h. das Segment in diesem Bereich stärker dämpfend eingestellt werden. Die Wechselverkehrszeichen können hierbei durch Bilderkennung des erfassten Bildes oder auch aus Kartendaten erkannt werden. Weiterhin kann die segmentweise Ansteuerung auch ausgenutzt werden, um helle Bildbereiche wie den Himmel der Fahrzeugumgebung stärker zu dämpfen. Erfindungsgemäß ergibt sich hierbei eine vorteilhafte Wirkung, da Wechselverkehrszeichen üblicherweise in einem oberen Bildbereich, insbesondere an Verkehrszeichen-Brücken angebracht sind, in denen auch ein heller Himmel zu erwarten ist, so dass eine stärkere Dämpfung hier besonders vorteilhaft ist.
Die Unterteilung in Segmente kann z. B. obere Bildbereiche und seitliche Bildbereiche betreffen. Grundsätzlich ist auch eine Segmentierung bis auf Pixelauflösung möglich, so dass Bildpixel separat gedämpft werden können.
Figurenbeschreibung
1 zeigt ein Fahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
2 zeigt Aufsichten auf die Filtermaske und den Bildsensor aus 1;
3 zeigt ein Zeitdiagramm mit einer Darstellung der Ansteuerung eines Wechselverkehrszeichens und der Abtastung des Bildsensors;
4 ein Kamerasystem gemäß einer weiteren Ausführungsform; und
5 ein von dem Bildsensor erfasstes Bild mit Teilbereichen.
Beschreibung der Ausführungsformen
In einem Fahrzeug 1 mit Frontscheibe 2 und Fahrzeug-Innenraum 3 ist eine Kamera 4 vorgesehen, die eine Kameraoptik (Objektiv) 5 und einen Bildsensor 7 mit einer Farbmaske 6 aufweist. Die Kamera 4 erfasst einen Erfassungsbereich 9 der Fahrzeug-Umgebung 10 außerhalb des Fahrzeugs 1 durch die Frontscheibe 2; somit gelangt Licht 8 des Erfassungsbereichs 9 durch die Frontscheibe 2 zu der Kamera 4 und wird von der Kameraoptik 5 durch die Filtermaske 6 auf den Bildsensor 7 geworfen bzw. abgebildet. Der Bildsensor 7 gibt Bildsignale S1 an eine Steuer- und Auswerteeinrichtung 12 aus, die wiederum ein Kamera-Bildsignal S2 zur Darstellung auf z.B. einer Anzeigeeinrichtung und/oder für eine Fahrerassistenzfunktion und/oder für ein Fahrzeugregelsystem ausgibt.
Der Bildsensor 7 weist eine Matrixanordnung von Sensorpixeln 11 auf. Auf den Sensorpixeln 11 des Bildsensor 7 sind rote Farbfilter R, grüne Farbfilter G oder blaue Farbfilter B aufgetragen, die zusammen die Filtermaske 6 bilden, die hier ein RGGB-Muster bzw. Bayer-Pattern ausbildet. Die Sensorpixel 11 dienen somit je nach vorgesetztem Farbfilter R, G oder B als Rotpixel 11r, die rote Pixelsignale r, Grünpixel 11g, die grüne Pixelsignale g, oder als Blaupixel 11b, die blaue Pixelsignale b ausgeben. Das Bildsignal S1 des Bildsensors 7 setzt sich somit aus den roten, grünen und blauen Pixelsignalen r, g, b sämtlicher Sensorpixel 11 sämtlicher ausgegebener Bilder (Frames, Einzelbilder) zusammen.
Der Bildsensor 7 wird mit einer Abtastrate (Ausleserate, Aufnahmefrequenz) fa von z. B. fa = 30 Hz ausgelesen, so dass 30 Bilder E1, F1, E2, F2, E3, F3, ...pro Sekunde von dem Bildsensor 7 als Bildsignal S1 ausgegeben werden. Der Bildsensor 7 wird hierbei mit unterschiedlichen Belichtungszeiten τ1 und τ2 ausgelesen, wie in 3 dargestellt ist:
Der Bildsensor 7 wird zu einem ersten Auslesezeitpunkt t1 mit einer kürzeren ersten Belichtungszeit (Belichtungsdauer) τ1 von z. B. 1 ms und zu einem nachfolgenden zweiten Auslesezeitpunkt t2 mit einer längeren zweiten Belichtungszeit τ2 von z. B. 15 ms oder auch 20 ms ausgelesen. Somit enthält das Bildsignal S1 gemäß 1 zwei alternierende Subfolgen, nämlich eine erste Subfolge Ei mit ersten Bildern E1, E2, E3 und eine zweite Subfolge Fi mit zweiten Bildern F1, F2, F3. Jedes Bild E1, E2, E3 und F1, F2, F3 enthält jeweils sämtliche Pixelsignale r, g, b sämtlicher Sensorpixel 11 des Bildsensors 7.
Gemäß 1 erfasst die Kamera 4 in dem Erfassungsbereich 9 ein Wechselverkehrszeichen 15, das Lichtsignale 15a mit einer Frequenz f = 1/T von z. B. 100 Hz ausgibt, wobei in der Signalperiode T gemäß der obersten Zeile der 3 abwechselnd Licht ausgegeben wird, d. h. das Wechselverkehrszeichen 15 beleuchtet wird und somit ein aktives Signal z1 ausgegeben wird, und nachfolgend das Wechselverkehrszeichen nicht beleuchtet wird und somit ein inaktives Signal z2 ausgegeben wird. Bei einer Signalfrequenz von F = 100 Hz und somit einer Periodendauer T = 10 ms ergeben sich somit Periodendauern T/2 von 5 ms jeweils für das aktive Signal z1 und das inaktive Signal z2.
Aus der ersten Subfolge Ei, d. h. den mit der ersten Belichtungszeit τ1 aufgenommenen ersten Bildern E1, E2, E3 wird nachfolgend in üblicher Weise eine Bildverarbeitung sämtlicher Pixelsignale r, g, b, d. h. von sämtlichen Sensorpixel 11r, 11g und 11b, durchgeführt, so dass ein Farbbild des Erfassungsbereichs 9 ermittelt und dem Fahrer z. B. auf einer Anzeigeeinrichtung angezeigt werden kann, und auch weiterhin z. B. für Fahrdynamikregelungen und Bilderkennungs-Algorithmen eingesetzt werden kann. Da τ1 < T/2 ist, erfassen die einzelnen ersten Bilder E1, E2, E3 nicht immer die aktiven Signale z1 des Wechselverkehrszeichens 15. Gemäß 3 wird im ersten Auslesezeitpunkt t1 gerade ein aktives Signal z1 erfasst; beim nachfolgenden Auslesezeitpunkt t1 wird gerade lediglich ein inaktives Signal z2 erfasst, so dass das Wechselverkehrszeichen 15 nicht oder nicht korrekt ausgelesen wird.
Die zweite Subfolge Fi enthält jedoch zweite Bilder F1, F2, F3, die mit der zweiten Belichtungszeit τ2 ausgelesen sind, wobei τ2 > T/2, vorteilhafterweise sogar τ2 > T ist und somit immer auch ein aktives Signal z1 erfasst. Aufgrund der langen Belichtungszeit τ2 sind die grünen Pixelsignale g zumindest bei Aufnahmen am Tag deutlich überbelichtet; die Grünpixel 11g sind bei der langen Belichtungszeit τ2 weit in Sättigung und liefern somit keine verwertbare Information. Auch die Rotpixel R r sind weit in Sättigung, so dass die roten Pixelsignale keine verwertbare Information liefern. Die Steuer- und Auswerteeinrichtung 12 verwendet die zweite Subfolge Fi, um aus den zweiten Bildern F1, F2, F3 jeweils die blauen Pixelsignale b auszuwerten, so dass hier eine Bildauswertung der eine Untermatrix bildenden Sensorpixel 11b durchgeführt wird, die somit ein Sub-Bild liefern. Aus der zweiten Subfolge Fi werden somit keine Farbinformationen gewonnen, sondern es kann auf dem durch lediglich die blauen Pixelsignale b umfassenden Subbild 30-B zunächst eine Bildauswertung zur Ermittlung von Wechselverkehrszeichen 15 und zum Erkennen von deren Informationsgehalt durchgeführt werden.
Grundsätzlich kann eine Auswertung der zweiten Subfolge Fi ohne Vergleich mit der ersten Subfolge Ei durchgeführt werden. Ergänzend kann die Steuer- und Auswerteeinrichtung 12 aber auch durch Auswertung der ersten Subfolge Ei z. B. die Position einer Fahrbahn 17 und hieraus die Position oder mögliche Position von Wechselverkehrszeichen 15, d. h. neben der Fahrbahn 17 und/oder oberhalb der Fahrbahn 17 ermitteln, und dies als Bedingung zum Erkennen eines Wechselverkehrszeichens 15 ansetzen. Hierbei kann auf den ersten Bildern z. B. ein Algorithmus zur Formerkennung durchgeführt werden, um ein mögliches Wechselverkehrszeichen 15 zunächst zu detektieren, z. B. als Schild neben oder insbesondere oberhalb der Fahrbahn.
Die Steuer- und Auswerteeinrichtung 12 kann auch Kartendaten S3, z. B. aus einem Navigationssystem und/oder gespeicherten Karteninformationen aufnehmen, um die Position der Wechselverkehrszeichen 15, z. B. für Geschwindigkeitsbegrenzung, zu ermitteln. In 1 ist beispielhaft die Position eines Wechselverkehrszeichens 15 neben der Fahrbahn 17 gezeigt; 4 zeigt rein beispielhaft die Position eines Wechselverkehrszeichens 15 oberhalb der Fahrbahn 17.
4 zeigt eine weitere Ausführungsform, bei der ergänzend ein optisches Element 20 im Strahlengang der Kamera 4 vorgesehen ist. Das optische Element 20 kann wie in 4 gezeigt zwischen der Kameraoptik 5 und dem Bildsensor 7 mit Filtermaske 6, oder wie gestrichelt eingezeichnet vor der Kameraoptik 5 vorgesehen sein. Hierbei ist das optische Element 20 vorteilhafterweise derartig positioniert, dass es einen ersten Teilbereich 9a des Erfassungsbereichs 9 abdeckt oder filtert, der z. B. einen oberen Bildteil 30a des Bildes 30 erfasst, in dem im allgemeinen ein Wechselverkehrszeichen 15 positioniert ist.
Das optische Element 20 wirkt vorteilhafterweise dämpfend, d. h. die Intensität verringernd. Es kann somit als Graufilter ausgelegt sein, der wellenlängenunabhängig die Intensität dämpft oder die Intensität auch wellenlängenselektiv dämpft. Vorteilhafterweise ist die Dämpfung von der Intensität I abhängig; hierzu können insbesondere auch die grünen Pixelsignale g, oder bei einem anderen Farbpattern Signale der Sensorpixel hinter transparenten Farbfilter-Pixeln herangezogen werden. Somit wirkt das optische Element 20 bei Tag bzw. hoher Intensität dämpfend oder stark dämpfend, hingegen bei Nacht oder Dämmerung, d. h. dunkler Fahrzeugumgebung 10, nicht oder allenfalls gering dämpfend. Vorteilhafterweise ist das optische Element 20 in dunkler Umgebung wie Nacht oder Dämmerung vollständig transparent oder durchsichtig, so dass die Kamera 4 mit ihrem Bildsensor 7 eine Bilderfassung entsprechend 1, d. h. der Ausbildung ohne optisches Element 20 durchführen kann.
Abweichend von der Ausführungsform der 4 kann auch eine Ausführungsform vorgesehen sein, bei der das optische Element 20 sich vollständig über den Erfassungsbereich 9 erstreckt.
Weiterhin kann das optische Element 20 auch mehrere, separat ansteuerbare Segmente 20a, 20b aufweisen, um Bildbereiche 30a und 30b des Bildes 30 unterschiedlich zu dämpfen.
Die Größe der einzelnen ansteuerbaren Segmente 20a, 20b kann gleich der Größe eines Sensorpixels 11 sein, jedoch auch größer bis maximal der gesamten Größe des Bildes 30 bzw. des Bildsensors 7, so dass das optische Element 20 dann einteilig bzw. als einziges Segment ausgebildet ist. Bei Ausbildung kleinerer Segmente 20a, 20b ist es vorteilhaft, das optische Element 20 gemäß 4 zwischen Kameraoptik 5 und der Filtermaske 6 zu positionieren, bei Ausbildung von Segmenten 20a, 20b in Größe der Sensorpixel 11 können diese insbesondere direkt auf den Filtern R, B, G aufgetragen sein.
Erfindungsgemäß wird jedoch erkannt, dass auch die Ausbildung von Segmenten 20a, 20b zur Unterteilung des Bildes 30 in einige Bildbereiche, z. B. einen oberen Bildbereich 30a und einen unteren Bildbereich 30b, bereits vorteilhaft ist, da zum einen Wechselverkehrszeichen gem. 4 oberhalb der Fahrbahn 11, d. h. in einem oberen Bildbereich 30a angeordnet sind, und weiterhin in dem oberen Bildbereich 30a ohnehin der Himmel erfasst wird und somit die Intensität hoch ist, so dass hier eine Dämpfung bereits als nicht störend oder sogar vorteilhaft angesehen wird.
Bei Unterteilung des optischen Elementes 20 in mehrere Segmente 20a, 20b, insbesondere auch mehr als zwei Segmente 20a, 20b, können die relevanten Segmente oder Bereiche aufgrund von Algorithmen ermittelt werden. So kann z. B. eine Schilderbrücke detektiert werden oder aus Kartenmaterial eine Position eines Wechselverkehrszeichens 15 ermittelt werden. Weiterhin kann auch bei Erfassen eine Wechselverkehrszeichens 15 z. B. durch die Musterauswertung eine Kreisdetektion erfolgen, so dass dieser Bereich nachfolgend abgedunkelt wird, um eine genaue Auswertung, insbesondere qualitative Auswertung des Wechselverkehrszeichens 15 bzw. seiner aktiven Signale z1 vorzunehmen.
Bei pixelweiser Ausbildung der Segmente 20a, 20b kann das optische Element 20 somit direkt auf die Filtermaske 6 aufgebracht werden, oder auch mit der Filtermaske 6 kombiniert sein.
Das optische Element 20 kann insbesondere durch Steuersignale S4 von der Steuer- und Anzeigeeinrichtung 12 angesteuert werden, so dass die Steuer- und Anzeigeeinrichtung 12 direkt aus z. B. den grünen Pixelsignalen g eine Intensität bzw. eine Helligkeit der Fahrzeugumgebung 10, oder auch von Teilbereichen der Fahrzeugumgebung 10 entsprechend den Erfassungsbereichen 9a, 9b, ermitteln kann, und hieraus durch die Steuersignale S4 das optische Element 20 entsprechend ansteuern und in seiner Dämpfung einstellen kann.
Das optische Element 20 kann z. B. als Flüssigkristallpanel ausgebildet sein, so dass die Teilbereiche 20a, 20b als ein oder mehrere Flüssigkristalle ausgebildet sind, entsprechend einem LCD-Flachbildschirm.
Das von der Steuer- und Auswerteeinrichtung 12 ausgegebene Kamera-Bildsignal S2 ist in 5 zur Verdeutlichung gezeigt.
Auch ohne eine Ansteuerung durch die Steuersignale S4 kann z. B. durch das optische Element 20 ein oberer Bildbereich 30a abgedunkelt werden, so dass insbesondere die Straße und die Verkehrsteilnehmer durch das optische Element 20 nicht beeinträchtigt werden.
Hierbei kann der abzudunkelnde bzw. zu dämpfende Bildbereich 30a auch durch algorithmische Verfahren aus dem ermittelten Kamerabild 30 ermittelt werden, ggf. ergänzend durch Lagesensoren des Fahrzeugs 1, z. B. einen Rollwinkelsensor.
Gemäß einer weiteren Ausführungsform kann das optische Element 20 für das ganze Bild 30 dämpfend eingestellt werden. Dies kann vorteilhafterweise situationsabhängig erfolgen, z. B. jeweils tagsüber und/oder in der Nähe von Wechselverkehrszeichen 15. Somit entspricht das optische Element 20 einer mechanischen Blende in der Fotografie.
Gemäß einer weiteren Ausführungsform ist das optische Element 20 als elektrisch ansteuerbare Scheibe, entweder einteilig oder wiederum mit zwei oder mehr Segmenten 20a, 20b ausgebildet. Hierzu kann z. B. ein elektrochromes Glas verwendet werden, wie es auch in elektrisch abblendbaren Rückspiegeln eingesetzt wird.
Gemäß einer weiteren Ausführungsform kann das optische Element 20 auch eine sich selbst abdunkelnde Scheibe sein, die die Lichtdurchlässigkeit bei höherer Umgebungshelligkeit selbsttätig oder automatisch reduziert. Dies kann z. B. aufgrund chemischer Effekte erfolgen, wie z. B. bei abdunkelnden oder selbsttönenden Sonnenbrillen. Somit ist das optische Element 20 wiederum bei geringer Umgebungshelligkeit, wie z. B. nachts, näherungsweise vollständig lichtdurchlässig, und dämpft tagsüber die Intensität.
Auch bei einer Ausführungsform mit selbsttätig abdunkelndem optischen Element 20, d. h. ohne Ansteuerung durch die Steuer- und Auswerteeinrichtung 12 oder eine andere Einrichtung, kann das optische Element 20 Zustandssignale ausgeben, z. B. an die Steuer- und Auswerteeinrichtung 12 oder auch den Bildsensor 7, so dass die Empfindlichkeit des Bildsensors 7 oder die Belichtungszeiten τ1, τ2 eingestellt werden können.
Bei jeder der Ausführungsformen kann die Dämpfung des optischen Elementes 20 oder seiner Segmente 20a, 20b, sowohl in zwei Stufen schaltbar sein, d. h. an oder aus, als auch in mehreren Zwischenstufen, d. h. mit unterschiedlichen Dämpfungsfaktoren, einstellbar sein.
Somit können bei den Ausführungsformen gemäß 4 mit dem optischen Element 20 bei aktiver Dämpfung längere Belichtungszeiten eingestellt werden; gemäß dem Diagramm der 3 können längere erste Belichtungszeiten τ1 und/oder längere zweite Belichtungszeiten τ2 eingestellt werden. Somit ist grundsätzlich auch eine Wechselverkehrszeichen-Erkennung durch die erste Subfolge Ei möglich, indem τ1 > T/2, insbesondere τ1 ≥ T gesetzt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102010024415 A1 [0009]
DE 102005033863 A1 [0011]
DE 69808024 B2 [0013]

Claims

Kamerasystem (16), insbesondere für ein Fahrzeug (1), wobei das Kamerasystem (16) mindestens aufweist: eine Kamera (4), die einen Bildsensor (7) und eine Filtermaske (6) aufweist, und eine Steuer- und Auswertungseinrichtung (12), die von dem Bildsensor (7) ausgegebene Bildsignale (S1) aufnimmt, wobei der Bildsensor (7) eine Anordnung von Pixelsignale (r, g, b) ausgebenden Sensorpixeln (11) und die Filtermaske (6) eine Anordnung von vor den Sensorpixeln (11) angeordneten Filtern (R, G, B) mit unterschiedlichem wellenlängenselektiven Transmissionsverhalten aufweist, wobei ein Teil der Filter (R, G, B) Dämpfungs-Filter (B) sind und Sensorpixel (11b), vor denen jeweils eines der Dämpfungs-Filter (B) angeordnet ist, Dämpfungs-Pixelsignale (b) ausgeben, dadurch gekennzeichnet, dass die von dem Bildsensor (7) ausgegebenen Bildsignale (S1) eine erste Subfolge (Ei) von mit einer ersten Belichtungszeit (τ1) aufgenommenen ersten Frames (E1, E2, E3) und eine zweite Subfolge (Fi) von mit einer zweiten Belichtungszeit (τ2) aufgenommenen zweiten Frames (F1, F2, F3) aufweisen, wobei die zweite Belichtungszeit (τ2) größer als die erste Belichtungszeit (τ1) ist, und die Steuer- und Auswertungseinrichtung (12) die Dämpfungs-Pixelsignale (b) der zweiten Subfolge (Fi) auswertet.
Kamerasystem (16) nach Anspruch 1, dadurch kennzeichnet, dass die Dämpfungs-Filter (B) einfallendes weißes Licht stärker dämpfen als die anderen Filter (R, G) der Filtermaske (6).
Kamerasystem (16) nach Anspruch 1 oder 2, dadurch kennzeichnet, dass die Dämpfungs-Filter (B) (R, G, B) Blaufilter (B) zum Transmittieren von Licht in einem kurzwelligen Wellenlängenbereich sind, und Sensorpixel (11b), vor denen ein Blaufilter (B) angeordnet ist, ein blaues Pixelsignal (b) ausgeben, wobei die Steuer- und Auswertungseinrichtung (12) die blauen Pixelsignale (b) der zweiten Subfolge (Fi) auswertet.
Kamerasystem (16) nach Anspruch 3, dadurch kennzeichnet, dass die Filtermaske (6) zusätzlich zu den Blaufiltern (B) weiterhin einerseits Rotfilter (R) und zum anderen Grünfilter (G) und/oder Intensitätsfilter und/oder transparente Filter aufweist, insbesondere als RGGB-Pattern oder RIIB-Pattern.
Kamerasystem (16) nach einem der vorherigen Ansprüche, dadurch kennzeichnet, dass die Sensorpixel (11; 11r, 11g), vor denen keine Dämpfungs-Filter (B), insbesondere Grünfilter (G), Intensitätsfilter, transparente Filter oder Rotfilter (R), vorgesehen sind, in der zweiten Belichtungszeit (τ2) in Sättigung sind oder in Sättigung gehen.
Kamerasystem (16) nach einem der vorherigen Ansprüche, dadurch kennzeichnet, dass die Steuer- und Auswertungseinrichtung (12) in der zweiten Subfolge (Fi) aus lediglich den Dämpfungs-Pixelsignalen (b) ein zweidimensionales Sub-Bild erstellt und/oder eine Bildauswertung durchführt.
Kamerasystem (16) nach Anspruch 6, dadurch kennzeichnet, dass die Steuer- und Auswertungseinrichtung (12) bei der Auswertung der Dämpfungs-Pixelsignale (b) der zweiten Subfolge (Fi) Signalquellen, z. B. Wechselverkehrszeichen (15) ermittelt, deren Lichtsignale (15a) eine Signalperiode (T) aufweisen, die größer als die erste Belichtungszeit (τ1) ist und/oder deren Lichtsignale (15a) eine Signalfrequenz (f) aufweisen, die kleiner ist als eine Ausleserate des Bildsensors (7).
Kamerasystem (16) nach einem der vorherigen Ansprüche, dadurch kennzeichnet, dass die Steuer- und Auswertungseinrichtung (12) aus den ersten Frames (E1, E2, E3) der ersten Subfolge (Ei) sämtliche Pixelsignale (r, g, b) für eine Auswertung aufnimmt, insbesondere zur Darstellung auf einer Anzeigeeinrichtung und/oder für Fahrzeug-Regelungssysteme.
Kamerasystem (16) nach einem der vorherigen Ansprüche, dadurch kennzeichnet, dass die Steuer- und Auswertungseinrichtung (12) mit den ersten Frames (E1, E2, E3) der ersten Subfolge (Ei) eine Bilderkennung durchführt zur Ermittlung von Positionen von Signalquellen (15) in Sub-Bildern der zweiten Subfolge (Fi).
Kamerasystem (16) nach einem der vorherigen Ansprüche, dadurch kennzeichnet, dass in der Kamera (4) in einem Strahlengang vor der Filtermaske (6) ein optisches Element (20) vorgesehen ist, dessen Transparenz, Dämpfung oder Lichtdurchlässigkeit veränderbar ist.
Kamerasystem (16) nach Anspruch 10, dadurch kennzeichnet, dass das optische Element (20) durch die Steuer- und Auswerteeinrichtung (12) ansteuerbar ist zur Einstellung einer höheren Dämpfung bei einer hellen Fahrzeugumgebung (10) und geringeren oder keiner Dämpfung bei dunklerer Fahrzeugumgebung (10).
Kamerasystem (16) nach Anspruch 10 oder 11, dadurch kennzeichnet, dass das optische Element (20) selbstabdunkelnd oder selbsttätig seine Dämpfung einstellend ausgebildet ist und bei hoher Intensität des einfallenden Lichtes (8) und/oder hoher Helligkeit einer Fahrzeugumgebung (10) stärker dämpft.
Kamerasystem (16) nach Anspruch 12, dadurch kennzeichnet, dass das optische Element (20) ein Zustandssignal über seine Dämpfung ausgibt, z. B. zu der Steuer- und Auswerteeinrichtung (12).
Kamerasystem (16) nach einem der Ansprüche 9 bis 13, dadurch kennzeichnet, dass die unterschiedliche Transparenz, Dämpfung oder Lichtdurchlässigkeit in zwei oder mehrere Stufen einstellbar ist.
Kamerasystem (16) nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass das optische Element (20) mehrere Segmente (20a, 20b) aufweist, die einzeln ansteuerbar sind, zur unterschiedlichen Dämpfung der einfallenden Strahlung (8) in unterschiedlichen Bildbereichen (30a).
Kamerasystem (16) nach Anspruch 15, dadurch gekennzeichnet, dass das optische Element (20) in denjenigen Segmenten (20a) stärker dämpfend einstellbar ist, die Bildbereichen (30a) entsprechen, auf denen die Steuer- und Auwerteeinrichtung eine höhere Wahrscheinlichkeit für eine Signalquelle (15) für höherfrequentes Signallicht (15a) ermittelt.
Kamerasystem (16) nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass das optische Element (20) in einem Segment (20a) stärker dämpfend einstellbar ist, in dem ein oberer Bildbereich (30a) entsprechend einem Himmel der Fahrzeugumgebung (10) abzubilden ist.
Verfahren zum Ermitteln von Bildinformationen einer zeitlich gepulsten Signalquelle, insbesondere eines Wechselverkehrszeichens (15), bei dem Licht (8) durch eine Filtermaske (6) auf einen Bildsensor (7) einer Kamera (4) abgebildet wird, wobei vor Sensorpixeln (11) des Bildsensors (7) angeordnete Filter (R, G, B) der Filtermaske (6) einfallendes Licht in unterschiedlichen Wellenlängenbereichen filtern oder dämpfen und Sensorpixel (11b), vor denen Dämpfungfilter (B) angeordnet sind, Dämpfungs-Pixelsignale (b) ausgeben, wobei der Bildsensor (7) in einer multimodalen Kameraregelung mit mindestens einer ersten Subfolge (E1) mit einer kurzen ersten Belichtungszeit (τ1) und einer zweiten Subfolge (Fi) mit einer langen zweiten Belichtungszeit (τ2) ausgelesen wird, und Dämpfungs-Pixelsignale (b) der zweiten Subfolge (Fi) ausgewertet werden und aus den Dämpfungs-Pixelsignale (b) der zweiten Subfolge (Fi) ein zweidimensionales Sub-Bild erstellt wird und/oder eine Bilderkennung ausgeführt wird.
Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass aus den Dämpfungs-Pixelsignale (b) der zweiten Subfolge (Fi) Signalquellen, z. B. Wechselverkehrszeichen (15) ermittelt werden, deren Lichtsignale (15a) eine Signalperiode (T) aufweisen, die größer ist als die erste Belichtungszeit (τ1) ist und/oder deren Lichtsignale (15a) eine Signalfrequenz (f) aufweisen, die größer ist als eine Ausleserate des Bildsensors (7).