-
Die Erfindung betrifft einen Bildsensor sowie ein Verfahren zum Betreiben eines Bildsensors, wobei der Bildsensor eine Vielzahl von matrixförmig angeordneten Sensorelementen aufweist, denen Farbfilter zugeordnet und die in Gruppen eingeteilt sind.
-
In Fahrzeugen werden heutzutage vermehrt Fahrerassistenzsysteme mit Sensorvorrichtungen eingesetzt. Die Fahrerassistenzsysteme verwenden dabei häufig ein Kamerasystem als Umfeldsensor, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs. Bei den eingesetzten Kamerasystemen wird dabei in der Regel ein Bildsensor (z. B. ein CMOS- oder CCD-Bildchip) verwendet, der in einem Kameragehäuse hinter einem Abbildungssystem, z. B. einem Objektiv angeordnet ist.
-
Ein Kamerasystem dieser Art ist beispielsweise aus der
DE 30 21 470 C2 bekannt. Das dort beschriebene System weist einen Bildsensor mit einer Vielzahl von Bildelementen auf, die in Zeilen und Spaltenrichtung angeordnet sind und elektromagnetische Strahlung erfassen, die mittels eines Aufnahmeobjektivs auf den Bildsensor projiziert wird.
-
Darüber hinaus sind bereits Bildsensoren bekannt die in der Lage sind Farben zu erkennen, z. B. mittels Demosaicking/Demosaicing bei einem mit einer Mosaik-Farbfilter überlagerten Bildsensors. Ein solcher Bildsensor wird beispielsweise in der
DE 10 2005 047 127 A1 angegeben. Der dort beschriebene CMOS-Bildsensor umfasst eine Unterschicht bzw. ein Substrat mit Fotodiodenbereichen und Metallleitungen, die in einem Halbleitersubstrat gebildet sind, um auf einfallendes Licht hin Ladungen zu erzeugen, eine dielektrische Zwischenschicht, die auf der gesamten Oberfläche der Unterschicht gebildet ist, Farbfilterschichten von Rot, Grün und Blau, die auf der dielektrischen Zwischenschicht gebildet sind, um jeweils Licht von bestimmten Wellenlängen zu den Fotodiodenbereichen durchzulassen, eine Planarisierungsschicht, die auf den Farbfilterschichten gebildet ist, und konvexe Mikrolinsen, die eine bestimmte Krümmung aufweisen und die auf der Planarisierungsschicht gebildet sind, um Licht auf ihr entsprechendes Farbfilter in den Farbfilterschichten konvergieren zu lassen und um dadurch nach Farben getrenntes Licht auf den Fotodiodenbereichen konvergieren zu lassen.
-
Um zukünftigen Anforderungen für Anwendungen von Kamerasystemen, insbesondere für Fahrerassistenzfunktionen, gerecht zu werden – z. B. zur Erkennung von Verkehrszeichen bzw. Verkehrszusatzzeichen –, werden zunehmend Bildsensoren mit Farberkennung (Farbimager) und mit einer Auflösung (Pixelanzahl) von deutlich größer als ein Megapixel benötigt.
-
Für die Bildverarbeitung sind jedoch Bildgrößen von größer als einem Megapixel derzeit schwer handhabbar, da einerseits, insbesondere bei der Parallelverarbeitung für mehrere Anwendungen, die hierfür erforderliche Rechenleistung nicht zur Verfügung steht und andererseits die erzeugte Verlustwärme das Kamerasystem unzulässig aufheizt.
-
Bei bekannten Bildsensoren, die gewöhnlich mit einem Bayer-Farbfilter (Bayer-Pattern) versehen sind, können durch sogenanntes „binning” mehrere Pixel – typischerweise 2 oder 4 Pixel –, z. B. mittels Addition der Helligkeitswerte, entweder analog durch Ladungsaddition bzw. Ladungstransport oder digital durch Addition der digitalisierten Werte, zu einem Pixel zusammengeschaltet und somit zusammengefasst ausgewertet werden. Dadurch kann die Lichtempfindlichkeit des Bildsensors erhöht, die Auflösung und gleichzeitig die benötigte Rechenleistung reduziert sowie u. a. das Rauschverhältnis verbessert werden. Derartige Bildsensoren, die eine veränderliche Auflösung erlauben, werden üblicherweise komplett im hochauflösenden Modus (ohne binning) oder im niedrigauflösenden Modus (mit binning) betrieben. Nachteilig ist dabei, dass entweder im hochauflösenden Modus ständig eine stark erhöhte Rechenleistung zur Bildverarbeitung erforderlich ist oder im niedrigauflösenden Modus die Farbinformation verloren geht.
-
In einem „IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, 2001" wurde von K. Hara et al. eine Lösung vorgeschlagen, um bei Reduktion von CIF-Format auf QCIF die Farbinformation zu erhalten. Hierfür ist jedoch eine relativ aufwendige Schaltung erforderlich und die Empfindlichkeit des Bildsensors wird durch das Verfahren insgesamt herabgesetzt.
-
Darüber hinaus erlauben heutzutage beispielsweise standardisierte digitale Fotoapparate ebenfalls eine Reduktion der Auflösung, wobei diese jedoch in der Regel durch eine rechnerische Skalierung eines zunächst hochaufgelöst erfassten Bildes erfolgt. Somit ist ebenfalls die Verarbeitung eines hochaufgelösten Bildes erforderlich und es erfolgt somit grundsätzlich keine Reduktion der benötigten Rechenleistung.
-
Allen bekannten Systemen ist somit gemeinsam, dass diese bislang keine geeignete Lösung bieten, um sowohl die für zukünftige Anforderungen erforderliche erhöhte Bildauflösung zu erreichen und gleichzeitig Farbinformationen zu liefern, ohne dass dabei für die Bilderfassung und Bildverarbeitung benötigte Rechenleistung und die erforderlichen elektrischen Schaltungen übermäßig hoch bzw. komplex ausfallen.
-
Der Erfindung liegt demnach die Aufgabe zugrunde, eine Bildsensor sowie ein Verfahren zu dessen Betrieb anzugeben, um den künftigen Anforderungen von Kamerasystemen gerecht zu werden, insbesondere für die Anwendung als Sensorsysteme in Fahrzeugen, wobei die beschrieben Probleme und Nachteile von bekannten Systemen vermieden werden.
-
Diese Aufgabe wird durch einen Bildsensor mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren mit den Merkmalen nach Anspruch 7 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
-
Ein wesentlicher Gedanke der Erfindung besteht darin, einen hochauflösenden Bildsensor, d. h. einen Bildsensor der eine Vielzahl von lichtempfindlichen Sensorelementen umfasst, derart mit einem Farbfilter auszugestalten, dass jeweils Arrays von bevorzugt 2 × 2 Sensorelementen mit identischen Farbfiltern nebeneinander liegen. Je nach Bedarf wird der Bildsensor derart betrieben, dass im Normalbetrieb die Sensorelemente nach Gruppen (Arrays aus nebeneinander liegenden Sensorelementen mit jeweils identischen Filtereigenschaften) zusammengeschaltet werden und der Bildsensor damit eine gegenüber der absoluten Anzahl an Sensorelementen reduzierte Auflösung aufweist. Bei Arrays mit 2 × 2 Sensorelementen hat der Bildsensor folglich eine 4-fach reduzierte Auflösung. Dadurch kann mittels Demosaicing eine Farbauflösung wie bei bekannten Bildsensoren erreicht und gleichzeitig Rechenleistung eingespart werden, wenn keine hohe Auflösung erforderlich ist. Ist es hingegen beispielsweise für die Erkennung von Objektdetails erforderlich, z. B. bei der Erkennung von Verkehrszusatzzeichen, dass für den gesamten Bildsensor oder für bestimmte Bereiche eine höhere räumliche Auflösung erreicht wird, werden die Sensorelemente aller Gruppen oder ausgewählter Gruppen einzeln (ohne binning) ausgewertet. Der Bildsensor wird somit insbesondere derart betrieben, dass im Normalfall mit einer gegenüber der Anzahl an Sensorelementen verringerten Auflösung und nur bei Bedarf mit einer erhöhten bis maximalen räumlichen Auflösung des Bildsensors gearbeitet wird. Die Farbinformation bleibt insbesondere in beiden Fällen erhalten.
-
Der erfindungsgemäße Bildsensor umfasst eine Vielzahl von Bildpunkte bzw. Pixel bildenden und für elektromagnetische Strahlung sensitiven Sensorelementen, die nebeneinander liegend in Form einer Matrix, insbesondere spalten- und zeilenweise, angeordnet sind. Die Sensorelemente können beispielsweise derart ausgestaltet sein, dass diese elektromagnetische bzw. optische Strahlung in elektrische Energie umwandeln und/oder einen von der einfallenden elektromagentischen Strahlung abhängigen elektrischen Widerstand zeigen. Der Begriff elektromagnetische Strahlung bezieht sich dabei sowohl auf sichtbares Licht, als auch auf unsichtbares Infrarotlicht sowie auf ultraviolette Strahlung. Der Bildsensor kann beispielsweise als CCD-Bildsensor (CCD: Charge-Coupled Device) oder als CMOS-Bildsensor (CMOS: Complementary Metal Oxide Semiconductor), insbesondere als aktiver Pixelsensor (engl. Active Pixel Sensor, APS), ausgestaltet sein, mit lichtempfindlichen Fotodioden als Sensorelemente. Den Sensorelementen des Bildsensors sind Farbfilter zugeordnet, so dass jedes Sensorelement elektromagnetische Strahlung aus einem bestimmten Wellenlängenbereich erfasst. Die Farbfilter können beispielsweise als absorbierende Farbmasken insbesondere in den Grundfarben Rot, Grün und Blau und/oder in den Farben Gelb, Magenta und Cyan ausgestaltet sein, die vorzugsweise direkt über den Sensorelementen des Bildsensors angeordnet sind. Jedes Sensorelement liefert in dem Fall nur Informationen/Signale für eine einzige Farbkomponente des Lichts bzw. für elektromagnetische Strahlung aus dem entsprechenden Wellenlängenbereich. Der Farbfilter kann insbesondere auch als Dünnschichtfarbfilter ausgestaltet sein, mit einem Träger der über den Sensorelementen des Bildsensor angeordnet ist und auf dem ein Farbfilter aufgebracht ist, beispielsweise als Mischung aus organischen Farbpigmenten und anorganischen Materialien, z. B. Halogenide. Der Bildsensor kann auch mit einem Mikrolinsen-Farbfilter-System ausgestaltet sein, wobei zwischen den Sensorelementen und darüber angeordneten Mikrolinsen eine Farbfilterschicht ausgebildet ist. Alternativ oder zusätzlich kann auch ein System eingesetzt werden, dass die unterschiedliche Eindringtiefen von Licht, insbesondere von rotem und blauem Licht, in Silicium ausnutzt (Foveon-X3-Sensor). Die Sensorelemente des Bildsensors sind in Gruppen eingeteilt. Jede Gruppe umfasst dabei ein Array von n × m Sensorelementen, mit n ≥ 2 und m ≥ 2. Bevorzugt umfasst der Bildsensor mindestens vier Gruppen von Sensorelementen, wobei jede Gruppe mit der gleichen Anzahl und dem gleichen Verhältnis von n × m Sensorelementen ausgestaltet ist. Den Sensorelementen einer Gruppe sind erfindungsgemäß die gleichen oder derselbe Farbfilter zugeordnet, d. h. jede Gruppe liefert nur Informationen bzw. Signale für eine einzige Farbkomponente bzw. für einfallende elektromagnetische Strahlung aus einem bestimmten Wellenlängenbereich. Die Sensorelemente einer Gruppe können dabei entweder mit separaten (d. h. mit dem gleichen) Farbfiltern ausgestaltet sein, die identische Filtereigenschaften aufweisen, oder es kann für alle Sensorelemente einer Gruppe ein gemeinsamer (d. h. derselbe) Farbfilter ausgestaltet sein. Bei der Zusammenschaltung (binning) der Sensorelemente einer Gruppe funktioniert damit der erfindungsgemäße Bildsensor wie bekannte Bildsensoren und die Farberkennung (Demosaicing) kann insbesondere wie bei einem normalen Bildsensor in gewohnter Weise durchgeführt werden. Die räumliche Auflösung sowie die Farbauflösung des Bildsensors sind in diesem Fall gegenüber der gesamten Anzahl an Sensorelementen und damit gegenüber dem maximalen räumlichen Auflösungsvermögen des Bildsensors reduziert.
-
In einer bevorzugten Ausgestaltung umfasst jede Gruppe ein Array von n × n Sensorelementen. Dabei ist jede Gruppe mit der gleichen Anzahl von Sensorelementen mit n ≥ 2 ausgestaltet. Bevorzugt umfasst jede Gruppe genau 2 × 2 Sensorelemente.
-
In einer weiteren bevorzugten Ausgestaltung sind die Gruppen nebeneinander liegend und in Form einer Matrix in Zeilen- und Spaltenrichtung angeordnet.
-
In einer vorteilhaften Ausführung sind den Sensorelementen von aneinander grenzenden Gruppen unterschiedliche Farbfilter zugeordnet. Bevorzugt wechseln sich dabei in einer Zeile von nebeneinander liegenden Gruppen die Farbfilter der Sensorelemente gruppenweise ab, beispielsweise in der Folge Rot-Grün oder Grün-Blau.
-
In einer weiteren vorteilhaften Ausführung sind den Sensorelementen Farbfilter derart zugeordnet, dass der Bildsensor, aufgrund der matrixförmig nebeneinander angeordneten Gruppen, welche wiederum jeweils mindestens 2 × 2 Sensorelemente umfassen, wobei den Sensorelementen einer Gruppe der gleiche oder derselbe Farbfilter zugeordnet ist, eine Bayer-Matrix (Bayer-Pattern) aufweist. Der Bildsensor ist dabei ähnlich einem Schachbrett, mit einem regelmäßigen Farbfilterarray (überzogen, der bevorzugt zu 50% aus Grün und zu je 25% aus Rot und Blau besteht. Die Farbfilter sind bezogen auf die Gruppen beispielsweise in ungeraden Zeilen in der Folge Rot-Grün und in geraden Zeilen in der Folge Grün-Blau angeordnet.
-
In einer besonderen Ausbildung umfasst der Bildsensor mindestens zwei Betriebsarten bzw. kann der Bildsensor auf zumindest zwei Arten betrieben werden. In einer Betriebsart werden die Sensorelemente bevorzugt nach Gruppen zusammengeschaltet bzw. zusammengefasst ausgewertet. Dieser Vorgang wurde einleitend bereits beschrieben und wird allgemein als binning bezeichnet, insbesondere auch als on-chip-binning, wobei benachbarte Sensorelemente (in diesem Fall alle Sensorelemente einer Gruppe) zusammengefasst bzw. zusammengeschaltet werden und wodurch insbesondere das Auflösungsvermögen verändert wird. Die Zusammenfassung von mehreren Sensorelementen erfolgt beispielsweise durch Addition der erfasst Helligkeitswerte, entweder analog durch Ladungsaddition durch Ladungstransport oder digital durch Addition digitalisierten Helligkeitswerte. In einer weiteren Betriebsart werden die Sensorelemente einzeln ausgewertet, d. h. es erfolgt insbesondere keine Zusammenschaltung von benachbarten Sensorelementen mittels binning. Die Einzelauswertung kann auch nur für ausgewählt Gruppen erfolgen, wobei die Sensorelemente der restlichen Gruppen zusammengefasst oder gar nicht ausgewertet werden. Durch die Einzelauswertung von Sensorelementen ausgewählter Gruppen oder aller Gruppen kann für die betroffenen Bereiche des Bildsensors eine höhere räumliche Auflösung erreicht werden.
-
Das erfindungsgemäße Verfahren betrifft das Betreiben eines Bildsensors, vorzugsweise eines erfindungsgemäßen Bildsensors, nach einer der vorangegangenen Ausführungen. Das Verfahren betrifft damit insbesondere das Betreiben eines hochauflösenden Bildsensors vor dem bzw. vor dessen für elektromagnetische Strahlung sensitiven Sensorelementen eine Farbfilteranordnung ausgestaltet ist, so dass mehrere nebeneinander liegende Sensorelemente gleiche Filtereigenschaften aufweisen und im Normalbetrieb bzw. in einer Ausgangsbetriebsart gruppenweise zusammengeschaltet ausgewertet werden. Bevorzugt sind die Gruppen von Sensorelementen mit identischen Filtereigenschaften jeweils gleich groß, d. h. umfassen die gleiche Anzahl von n × m bzw. n × n Sensorelementen mit n ≥ 2 und m ≥ 2. Eine Ausgestaltung mit 2 × 2 oder 3 × 3 Sensorelementen je Gruppe wird dabei bevorzugt. Die Gruppen bilden insbesondere ein matrixförmiges Filterarray in Zeilen- und Spaltenrichtung, wobei die Sensorelemente der Gruppen vorzugsweise derart mit Farbfiltern ausgestaltet sind, dass durch die Gruppen eine Bayer-Matrix (Bayer-Pattern) aufgespannt wird. Im Normalbetrieb bzw. in einer Ausgangsbetriebsart hat der Bildsensor somit aufgrund der Gruppierung bzw. durch binning eine gegenüber seiner absoluten Anzahl an Sensorelementen verringerte Auflösung, beispielsweise bei Gruppen von 2 × 2 Sensorelemente eine 4-fach reduzierte Auflösung. Die Reduktion der Auflösung betrifft dabei insbesondere das räumliche Auflösungsvermögen des Bildsensors.
-
In einer vorteilhaften Ausführung des Verfahrens wird, insbesondere für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart gewählt, bei der alle Sensorelemente des Bildsensors einzeln (ohne binning) ausgewertet werden, d. h. bei der die Einteilung in Gruppen, insbesondere für die räumliche Darstellung, aufgelöst wird.
-
Dabei bleibt die Farbauflösung des Bildsensors unverändert, wohingegen sich die räumliche Auflösung gegenüber dem Normalbetrieb/Ausgangsbetrieb vervielfacht, insbesondere auf die Anzahl an insgesamt vorhandenen Sensorelementen.
-
In einer weiteren vorteilhaften Ausführung des Verfahrens wird, insbesondere für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart gewählt bei der betreffend ausgewählte Gruppen die einzelnen Sensorelemente der ausgewählten Gruppen einzeln (ohne binning) ausgewertet werden. Die Sensorelemente der restlichen, d. h. der nicht ausgewählten Gruppen, werden weiterhin nach Gruppen zusammengefasst (mit binning) ausgewertet. Dadurch wird für den Bereich/für die Bereiche des Bildsensors, in denen die ausgewählten Gruppen liegen, eine höhere räumliche Auflösung gegenüber dem Normalbetrieb/Ausgangsbetrieb sowie gegenüber den restlichen Gruppen erreicht, die weiterhin, insbesondere mittels binning, zusammengeschaltet werden.
-
In einer weiteren vorteilhaften Ausführung des Verfahrens wird, insbesondere für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart gewählt bei der betreffend ausgewählte Gruppen die einzelnen Sensorelemente der ausgewählten Gruppen einzeln (ohne binning) ausgewertet werden und betreffend die Sensorelemente der restlichen, d. h. der nicht ausgewählten Gruppen, gar keine Auswertung erfolgt. Hierdurch wird für den Bereich/für die Bereiche des Bildsensors, in denen die ausgewählten Gruppen liegen, eine höhere räumliche Auflösung gegenüber dem Normalbetrieb/Ausgangsbetrieb erreicht. Besonders vorteilhaft an dieser Ausführungsvariante ist, dass aufgrund der Tatsache, dass die restlichen Gruppen nicht ausgewertet werden, Rechenleistung bei der Bildverarbeitung mit erhöhter Auflösung gespart werden kann.
-
In einer vorteilhaften Ausführung des Verfahrens entspricht der Anteil an ausgewählten Gruppen, die mit erhöhter Auflösung (ohne binning) betrieben werden, höchstens einem Viertel oder einem Neuntel bezogen auf die gesamte Menge/Anzahl an Gruppen des Bildsensors, wobei in diesem Fall die Sensorelemente der restlichen Gruppen nicht ausgewertet werden. Bevorzugt wird dabei genau ein Viertel der Gruppen ausgewählt, insbesondere dann, wenn die Gruppen jeweils 2 × 2 Sensorelemente umfassen. In diesem Fall kann das Auslesetiming gegenüber dem Normalbetrieb/Ausgangsbetrieb beibehalten werden, da jedem Fall, d. h. sowohl im Normalbetrieb als auch im Betrieb mit erhöhter Auflösung, die gleiche Anzahl an Sensorelementen ausgewertet werden muss. Analog wird bei Ausgestaltung des Bildsensors mit Gruppen von 3 × 3 Sensorelementen genau ein Neuntel der Gruppen für die Betriebsart mit erhöhter räumlicher Auflösung ausgewählt, etc.
-
Das erfindungsgemäße Verfahren sowie der erfindungsgemäße Bildsensor kommen vorzugsweise in Fahrzeugen zum Einsatz, insbesondere in Verbindung mit Kameravorrichtungen und Bildverarbeitungssystemen, beispielsweise zur Erfassung des Innenraums und/oder des Umfeldes des Fahrzeugs. Bevorzugt erfolgt dabei der Einsatz im Rahmen von Funktionen eines oder mehrerer Fahrerassistenzsysteme, die eine bildverarbeitende Sensoreinheit verwenden. Bekannte Fahrerassistenzsysteme sind beispielsweise Antriebsschlupfregelung bzw. Traktionskontrolle wie ABS (Antiblockiersystem), ASR (Antriebs-Schlupf-Regelung), ESP (Elektronisches Stabilitätsprogramm), EDS (Elektronische Differentialsperre), sowie adaptives Kurvenlicht, Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsysteme (englisch: night vision), Tempomat, Einparkhilfe, Bremsassistent, ACC (Adaptive Cruise Control) bzw. Abstandsregeltempomat, Abstandswarner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent, Spurhalteunterstützung, Spurwechselassistent, ISA (Intelligent Speed Adaption), ANB (Automatische Notbremsung), Kurvenassistent, Reifendruckkontrollsystem, Fahrerzustandserkennung, Verkehrszeichenerkennung, Platooning.
-
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und der Zeichnung hervor. Ausführungsbeispiele sind in der Zeichnung vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
In 1 ist ein Ausführungsbeispiel des erfindungsgemäßen Bildsensors 1 dargestellt. Die Darstellung ist dabei stark vereinfacht und zeigt im Prinzip nur schematisch die Farbfilteranordnung über lichtempfindlichen Sensorelementen 2 des Bildsensors 1, der beispielsweise als Bildaufnahmeelement in einer Kameravorrichtung hinter einem Abbildungssystem, z. B. einem Objektiv mit einer oder mit mehreren Linsen, auf einer Leiterplatte angeordnet sein kann. Der Bildsensor 1 umfasst eine Vielzahl von matrixförmig nebeneinander angeordneten und für elektromagnetische Strahlung sensitiven Sensorelementen 2, z. B. lichtempfindliche Fotodioden, denen Farbfilter R, G, B zugeordnet sind. Die Farbfilter entsprechen in diesem Fall den drei Grundfarben Rot (R), Grün (G) und Blau (B). Jeder der Sensorelemente 2 erfasst dementsprechend nur elektromagnetische Strahlung aus dem der jeweiligen Farbkomponente entsprechenden Wellenlängenbereich. Der Bildsensor 1 aus 1 kann beispielsweise als CMOS-Bildchip aufgebaut sein, mit einer unteren Schicht matrixförmig angeordneter und lichtempfindlicher Fotodioden, einer darüber liegenden Zwischenschicht mit einzelnen den Fotodioden zugeordneten Farbfiltern und einer darüber liegenden Mikrolinsenstruktur. Grundsätzlich ist jede mögliche und bekannter Aufbau eines Bildsensors, insbesondere eines CCD- oder CMOS-Bildchips möglich, wobei der Bildsensor mit einer Farbfilteranordnung entsprechend 1 und mit einer beliegen Auflösung (Anzahl an Sensorelementen 2) ausgestaltet sein kann. Die Sensorelemente 2 des Bildsensors aus 1 sind in Gruppen 3 eingeteilt. Jede Gruppe 3 besteht aus einem Array von 2 × 2 Sensorelementen 2. Den Sensorelementen 2 einer Gruppe 3 ist dabei jeweils der gleiche Farbfilter R, G, B zugeordnet. Hierzu kann entweder für jedes Sensorelement 2 ein separater Farbfilter R, G, B oder es kann für eine Gruppe 3 von Sensorelementen 2 ein gemeinsamer Farbfilter R, G, B angeordnet sein. Im Ausführungsbeispiel des erfindungsgemäßen Bildsensors 1 aus 1 wird durch die Gruppen 3 des Bildsensors 1, eine Bayer-Matrix aufgespannt. Wobei sich, bezogen auf die Gruppen 3, in ungeraden Zeilen die Farbfilter in der Folge Rot(R)-Grün(G) und in geraden Zeilen die Farbfilter in der Folge Grün (G)-Blau(B) abwechseln. Erfindungsgemäß wird der Bildsensor 1 aus 1 im Normalbetrieb bzw. in einer Ausgangsbetriebsart derart betrieben, dass die Sensorelemente 2 nach Gruppen 3 zusammengefasst ausgewertet werden, insbesondere mittels binning. Hierdurch ergibt sich eine um den Faktor Vier reduzierte Auflösung des Bildsensors 1 gegenüber seinem maximalen Auflösungsvermögen bezogen auf die absolute Anzahl an Sensorelementen 2. Erfordern beispielweise bestimmte Bildverarbeitungsaufgaben, ganzheitlich oder bestimmte Bereiche des Bildsensors 1 betreffend, eine höhere räumliche Auflösung, kann für alle Gruppen 3 oder für ausgewählte Gruppen 3 das binning aufgehoben und die Sensorelemente 2 dieser Gruppen 3 einzeln ausgewertet werden. Bei Anordnung des Bildsensors 1 in einer Kamera in einem Fahrzeug zur Überwachung der in Fahrtrichtung vorausliegenden Fahrzeugumgebung, beispielsweise zur Verkehrszeichenerkennung, kann bei Bedarf, insbesondere wenn Objekte wie z. B. Verkehrszeichen und deren Zusatzzeichen erkannt wurden, die nach Gruppen 3 zusammengefasste Auswertung der Sensorelemente 2 aufgehoben werden, um dadurch die räumliche Auflösung zu steigern. Die Farbauflösung muss, insbesondere im Falle der Verkehrszeichenerkennung, in der Regel nicht erhöht werden, da für die Erkennung von Verkehrszeichen und deren Zusatzzeichen nur eine höhere räumliche Auflösung erforderlich ist. Durch einen entsprechend 1 ausgestalteten Bildsensor 1 kann somit die für die Bildverarbeitung bzw. für Erkennung von Objekten benötigte Rechenleistung optimiert werden, in dem eine Aufhebung des binning und damit verbundene erhöhte Rechenleistung auf Zeiten beschränkt wird, wenn tatsächlich relevante bzw. interessierende Objekte im Bild detektiert werden, deren Details nur mit erhöhter Auflösung erkennbar sind. Gemäß einer weiteren Ausgestaltung des Bildsensors 1 sowie einer bevorzugten Ausführungsvariante des erfindungsgemäßen Verfahrens zum Betreiben des Bildsensors 1, lässt sich die Aufhebung des binning auf den interessierenden Bereich des Bildsensors 1, d. h. auf ausgewählte Gruppen 3, beschränken, wodurch sich nochmals eine erhebliche Reduktion der zu verarbeitenden Zahl an Sensorelementen 2 bzw. Pixel erreichen lässt. In einer besonders vorteilhaften Ausgestaltung hat der interessierende Bereich, indem das binning aufgehoben wird, einen Viertel der Größe des Bildsensors 1 bzw. es umfasst der Anteil an ausgewählten Gruppen 3 einen Viertel aller Gruppen 3, insbesondere wenn jede Gruppe 3 genau 2 × 2 Sensorelemente 2 umfasst. Die restlichen Gruppen 3 werden in diesem Fall vorübergehend nicht ausgewertet. Dabei kann das Auslesetiming gegenüber dem Betrieb des Bildsensors 1 im Normalbetrieb beibehalten werden. Hierdurch lässt sich die elektronische Beschaltung einfacher gestalten und die Bildverarbeitung kann mit gleicher Zeittaktung durchlaufen, wie bei niedriger aufgelöstem Bild, d. h. wie bei Normalbetrieb.
-
Bezugszeichenliste
-
- 1
- Bildsensor
- 2
- Sensorelement
- 3
- Gruppe
- R
- Rot
- G
- Grün
- B
- Blau
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 3021470 C2 [0003]
- DE 102005047127 A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- „IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, 2001” wurde von K. Hara et al. [0008]
