-
Die vorliegende Erfindung betrifft ein Frontkamerasystem für ein Fahrzeug, das Frontkamerasystem aufweisend eine Kamera, die eine Kameraelektronik mit einem Bildsensor enthält, wobei der Bildsensor ein Detektorarray enthält und wobei die Kameraelektronik dazu eingerichtet ist, einen originären Bilddatenstrom zu erzeugen. Die Erfindung betrifft ferner ein Fahrzeug mit einem solchen Frontkamerasystem und ein Verfahren zum Betreiben eines Frontkamerasystems eines Fahrzeugs.
-
Viele Fahrzeuge sind mit Frontkamerasystemen ausgestattet, die zum Computersehen verwendet werden, um dadurch Fahrerassistenzfunktionen oder sonstige Funktionen zum teilweise automatischen oder vollautomatischen Führen des Fahrzeugs zu realisieren, beispielsweise eine automatische Notbremsfunktion, wenn die Gefahr eines drohenden Zusammenstoßes mit einem vorausfahrenden Fahrzeug besteht. Diese Frontkamerasysteme umfassen in der Regel ein Kameramodul mit einer Objektiveinheit und einem Bildsensor auf, das an der Innenseite der Windschutzscheibe angebracht ist und hauptsächlich nach vorne gerichtet ist, so dass der vom Bildsensor ausgegebene Bilddatenstrom die Szene vor dem Fahrzeug abbildet. Eine Videoverarbeitungseinheit analysiert den Bilddatenstrom durchführt, um einen Algorithmus zum Computersehen durchzuführen, beispielsweise Objekte zu erkennen und zu klassifizieren, wie etwa Fahrzeuge, Fußgänger, Fahrbahnmarkierungen, Verkehrszeichen und so weiter.
-
Darüber hinaus kann es wünschenswert sein, Bilddaten, welche die vor dem Fahrzeug liegende Szene darstellen auf einem Display anzuzeigen, beispielsweise für den Fahrer des Fahrzeugs oder zur späteren Anzeige zu speichern, beispielsweise in einem Ereignisdatenspeicher zur nachträglichen Unfallanalyse. Dazu kann eine weitere Kamera in der Nähe der Kamera zum Computersehen angebracht werden.
-
Eine solche zweite Kamera stellt jedoch einen erheblichen Kostenfaktor dar und verbraucht sowohl zusätzlich Platz als auch Energie.
-
Es ist eine Aufgabe der folgenden Erfindung mit einem Frontkamerasystem für ein Fahrzeug mit derselben Kamera sowohl Daten zum Computersehen als auch Daten zur Anzeige auf einem Display bereitzustellen.
-
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung beruht auf der Idee, einen originären Bilddatenstrom mittels eines Verteilermoduls in einen ersten und einen zweiten Bilddatenstrom aufzuteilen, wobei der erste Bilddatenstrom für einen Algorithmus zum Computersehen verwendet wird und der zweite Bilddatenstrom zum Erzeugen von Anzeigedaten zur Anzeige auf einem Display.
-
Gemäß einem Aspekt der Erfindung wird ein Frontkamerasystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Frontkamerasystem weist eine Kamera auf, die eine Kameraelektronik mit einem Bildsensor enthält. Der Bildsensor enthält ein Detektorarray und die Kameraelektronik ist dazu eingerichtet, einen originären Bilddatenstrom zu erzeugen. Das Frontkamerasystem weist ein Verteilermodul auf, das dazu eingerichtet ist, basierend auf dem originären Bilddatenstrom einen ersten Bilddatenstrom und eine zweiten Bilddatenstrom zu erzeugen. Das Frontkamerasystem weist wenigstens eine Recheneinheit und eine erste Datenverbindung auf, wobei die erste Datenverbindung derart angeordnet und dazu eingerichtet ist, den ersten Bilddatenstrom an die wenigstens eine Recheneinheit zu übermitteln. Die wenigstens eine Recheneinheit ist dazu eingerichtet, abhängig von dem ersten Bilddatenstrom einen Algorithmus zum Computersehen durchzuführen. Das Frontkamerasystem weist eine zweite Datenverbindung auf, die derart angeordnet und dazu eingerichtet ist, den zweiten Bilddatenstrom an die wenigstens eine Recheneinheit zu übermitteln. Die wenigstens eine Recheneinheit ist dazu eingerichtet, abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf einem Display zu erzeugen.
-
Die Kamera enthält insbesondere ein Objektiv und kann derart an dem Fahrzeug angebracht werden, dass ein Sichtfeld der Kamera einen Teil einer in Fahrtrichtung vor dem Fahrzeug liegenden äußeren Umgebung des Fahrzeugs abdeckt, so dass der originäre Bilddatenstrom diese abbildet, wenn die Kamera entsprechend an dem Fahrzeug angebracht ist. Insbesondere kann die Kamera an einer Windschutzscheibe, insbesondere an einer vorderen Windschutzscheibe, beispielsweise an einer Innenseite der Windschutzscheibe, oder in der Nähe der Windschutzscheibe angeordnet sein.
-
Der originäre Bilddatenstrom kann als Sequenz aufeinanderfolgender Einzelbilder oder Einzelbilddatensätze, auch als Frames bezeichnet, verstanden werden. Dabei entspricht jedes Einzelbild beispielsweise einem einzigen Aufnahmezeitraum oder Belichtungszeitraum. Ein Einzelbild oder Einzelbilddatensatz beinhaltet insbesondere für eine Vielzahl von Bildpunkten oder Pixel jeweils einen entsprechenden Pixelwert für einen oder mehrere Kanäle. Die Kanäle können beispielsweise verschiedenen Farbkanälen entsprechen.
-
Das Verteilermodul, das beispielsweise auch als Splitter bezeichnet werden kann, kann als Hardware und/oder Software implementiert sein. Der erste Bilddatenstrom und der zweite Bilddatenstrom sind insbesondere im Wesentlichen identisch zueinander, beispielsweise identisch. Mit anderen Worten dupliziert das Verteilermodul den originären Bilddatenstrom, so dass aus dem originären Bilddatenstrom der erste und der zweite Bilddatenstrom entstehen, die sich voneinander nicht oder nicht wesentlich unterscheiden. Insbesondere gehen sowohl der erste Bilddatenstrom als auch der zweite Bilddatenstrom auf den originären Bilddatenstrom zurück, und dementsprechend auf dieselben Aufnahmeparameter oder Einstellungen der Kameraelektronik, wie etwa Belichtungszeit, Blendenöffnung, Detektorempfindlichkeit und so weiter.
-
Die erste Datenverbindung ist insbesondere mit einem ersten Ausgang des Verteilermoduls sowie mit der wenigstens einen Recheneinheit, beispielsweise einer ersten Recheneinheit zum Computersehen, verbunden. Die zweite Datenverbindung ist insbesondere mit einem zweiten Ausgang des Verteilermoduls und mit der wenigstens einen Recheneinheit, beispielsweise einer zweiten Recheneinheit zum menschlichen Sehen oder zur Anzeige der Anzeigedaten auf dem Display, verbunden.
-
Das Detektorarray beinhaltet insbesondere eine Anordnung, beispielsweise eine Anordnung in Zeilen und Spalten, von Detektorzellen, die jeweils mindestens einen optischen Detektor beinhalten. Das Detektorarray kann gemäß einem CMOS-Sensor oder einem CCD-Sensor oder dergleichen ausgestaltet sein. Die einzelnen Detektorzellen können auch als Sensorpixel bezeichnet werden. Die Anzahl der Sensorpixel entspricht jedoch nicht notwendigerweise exakt der Anzahl von Bildpunkten der Einzelbilder des originären Bilddatenstroms, beispielsweise wenn verschiedene Detektorzellen zur Erfassung verschiedener Farbkanäle vorgesehen sind.
-
Der Algorithmus zum Computersehen kann auch als Computer-Vision-Algorithmus oder Algorithmus zum maschinellen Sehen oder Machine-Vision-Algorithmus oder Algorithmus zur automatischen visuellen Wahrnehmung bezeichnet werden. Solche Algorithmen können als Computeralgorithmen zur automatischen Durchführung einer oder mehrerer visueller Wahrnehmungsaufgaben betrachtet werden. Eine visuelle Wahrnehmungsaufgabe kann beispielsweise als Aufgabe zur Extraktion von visuellen Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe in einigen Fällen prinzipiell von einem Menschen ausgeführt werden, der in der Lage ist, ein den Bilddaten entsprechendes Bild visuell wahrzunehmen. Im vorliegenden Zusammenhang werden visuelle Wahrnehmungsaufgaben jedoch automatisch durchgeführt, ohne dass die Unterstützung eines Menschen erforderlich ist, insbesondere durch den Algorithmus zum Computersehen.
-
Der Algorithmus zum Computersehen kann beispielsweise einen Bildverarbeitungsalgorithmus oder einen Algorithmus zur Bildanalyse enthalten, der durch maschinelles Lernen trainiert wird oder wurde und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netzwerk, basieren kann. Der Algorithmus zum Computersehen kann beispielsweise einen Objekterkennungsalgorithmus, einen Objektverfolgungsalgorithmus, einen Klassifikationsalgorithmus, einen semantischen Segmentierungsalgorithmus und so weiter beinhalten.
-
Die Anzeigedaten zur Anzeige auf dem Display können direkt auf dem Display, beispielsweise einem Display des Fahrzeugs, angezeigt werden oder zunächst auf einem Datenspeicher, insbesondere des Fahrzeugs, gespeichert werden, um zu einem späteren Zeitpunkt auf dem Display oder einem sonstigen Display angezeigt zu werden. Die Anzeigedaten können daher auch als Anzeigedaten zum menschlichen Sehen bezeichnet werden.
-
Durch das erfindungsgemäße Frontkamerasystem wird also mit nur einer Kamera sowohl der erste Bilddatenstrom zum Computersehen als auch der zweite Bilddatenstrom zum menschlichen Sehen bereitgestellt. Es kann somit auf eine zweite Kamera verzichtet werden, wodurch Bauraum und Energie sowie letztendlich Kosten eingespart werden können.
-
In dem erfindungsgemäßen Frontkamerasystem ist es auch nicht erforderlich, zwei verschiedene originäre Bilddatenströme zu erzeugen, wobei einer zum Computersehen und einer zum menschlichen Sehen vorgesehen ist, wobei sich die beiden originären Bilddatenströme durch Bildaufnahmeparameter oder sonstige Parameter wie eine Einzelbildrate und so weiter voneinander unterscheiden. Erfindungsgemäß wird vielmehr der einzige originäre Bilddatenstrom als Grundlage sowohl zum Computersehen als auch zum menschlichen Sehen verwendet.
-
Gemäß zumindest einer Ausführungsform des Frontkamerasystems ist die wenigstens eine Recheneinheit dazu eingerichtet, die Anzeigedaten zur Anzeige auf dem Display an das Display zu übermitteln.
-
Beispielsweise kann das Frontkamerasystem das Display beinhalten und die wenigstens eine Recheneinheit ist dazu eingerichtet, die Anzeigedaten auf dem Display anzuzeigen.
-
Der Inhalt der Anzeigedaten ist nicht notwendigerweise identisch zum Inhalt des zweiten Bilddatenstroms. Insbesondere können die Anzeigedaten zusätzlich zu den Inhalten des zweiten Bilddatenstroms weitere Inhalte aufweisen.
-
Beispielsweise kann die wenigstens eine Recheneinheit in manchen Ausführungsformen dazu eingerichtet sein, den zweiten Bilddatenstrom eines oder mehrere grafische Elemente zu überlagern, um die Anzeigedaten zu erzeugen. Die Anzeigedaten können dann also als Anzeigedaten zur erweiterten Realität (Englisch: „augmented reality“) erzeugt werden. Hierdurch lassen sich vielfältige Funktionen beispielsweise zur Fahrerassistenz oder Funktionen eines Navigationssystems des Fahrzeugs realisieren. Beispielsweise können die grafischen Elemente eine Geschwindigkeitsbeschränkung oder eine sonstige Verkehrsregel visualisieren oder Navigationsanweisungen in Form von Pfeilen oder dergleichen enthalten, die den entsprechenden Fahrspuren, wie sie vom zweiten Bilddatenstrom möglicherweise abgebildet werden, überlagert dargestellt werden können.
-
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Recheneinheit dazu eingerichtet, die Anzeigedaten auf einem Datenspeicher, insbesondere des Fahrzeugs oder der wenigstens einen Recheneinheit, zu speichern.
-
Die Anzeigedaten können dann beispielsweise zu einem späteren Zeitpunkt auf dem Display oder einem anderen Display angezeigt werden. Der Datenspeicher kann also beispielsweise als Ereignisdatenspeicher oder EDR (Englisch: „event data recorder“) ausgestaltet sein.
-
Gemäß zumindest einer Ausführungsform weist der Bildsensor ein Farbfilter-Array auf, das auf dem Detektor-Array angeordnet ist. Das Farbfilter-Array enthält Filterzellen entsprechend wenigstens drei verschiedener Farben.
-
Mit anderen Worten enthalten die Filterzellen des Farbfilter-Arrays eine erste Vielzahl erster Filterzellen entsprechend einer ersten Farbe, eine zweite Vielzahl zweiter Filterzellen entsprechend einer zweiten Farbe und eine dritte Anzahl dritter Filterzellen entsprechend einer dritten Farbe. Optional können die Filterzellen eine vierte Vielzahl farbloser Zellen beinhalten. Jede der Detektorzellen ist insbesondere von einer, beispielsweise genau einer, der Filterzellen bedeckt.
-
Das Farbfilter-Array kann beispielsweise als Bayer-Filter-Matrix ausgestaltet sein. Die erste, die zweite und die dritte Farbe können beispielsweise rot, grün beziehungsweise blau sein oder in anderen Ausführungsformen rot, gelb beziehungsweise cyan oder in anderen Ausführungsformen magenta, gelb beziehungsweise cyan und so weiter. Dabei kann die Ausführung einer Filterzelle entsprechend einer bestimmten Farbe derart verstanden werden, dass die Filterzelle Licht dieser Farbe passieren lässt.
-
Dementsprechend sind die Einzelbilder des originären Bilddatenstroms Einzelbilder mit wenigstens drei verschiedenen Farbkanälen. Auf diese Weise kann der originäre Bilddatenstrom zum einen uneingeschränkt zum Computersehen verwendet werden, zum anderen lässt sich auch eine für menschliches Sehen qualitativ hochwertige Bilddarstellung erreichen.
-
Insbesondere beinhaltet der zweite Bilddatenstrom Einzelbilder mit wenigstens drei verschiedenen Farbkanälen. Dies kann ebenso für den ersten Bilddatenstrom gelten. Alternativ können einer oder mehrere Farbkanäle des originären Bilddatenstroms nicht im ersten Bilddatenstrom enthalten sein, um die Komplexität des Algorithmus zum Computersehen verringern zu können.
-
Gemäß zumindest einer Ausführungsform weist der Bildsensor einen Dynamikumfang von 110 db oder mehr auf, beispielsweise 115 db oder mehr, vorzugsweise 120 db oder mehr. Der Dynamikumfang ist dabei gegeben durch 20*log(K), wobei K das maximal pro einzelnem Belichtungszeitraum darstellbare Kontrastverhältnis bezeichnet.
-
Das Kontrastverhältnis kann insbesondere als Quotient einer maximal darstellbaren Leuchtdichte zu einer minimal darstellbaren Leuchtdichte sein. Die maximal darstellbare Leuchtdichte entspricht dabei insbesondere einer Sättigungsleuchtdichte der Detektorzellen und die minimal darstellbare Leuchtdichte entspricht einer unteren Rauschgrenze der Detektorzellen. Die Rauschgrenze kann beispielsweise gegeben sein durch ein Hintergrundrauschen im Dunkelfall, beispielsweise also wenn kein Licht auf das Detektor-Array fällt.
-
Dass das Kontrastverhältnis ein maximal pro einzelnem Belichtungszeitraum darstellbares Kontrastverhältnis ist, kann derart verstanden werden, dass sich der Dynamikumfang beziehungsweise das Kontrastverhältnis nicht erst aus der Kombination von zwei oder mehr Belichtungszeiträumen mit unterschiedlichen Aufnahmeparametern, insbesondere unterschiedlicher Detektorempfindlichkeiten oder Belichtungszeiten, ergibt. Bildsensoren mit entsprechend großem Dynamikumfang lassen sich beispielsweise durch Verwendung einer so genannten Dual-Conversion-Gain-Technologie erreichen.
-
Durch einen derart großen Dynamikumfang lässt sich insbesondere sicherstellen, dass ein ausreichend hoher Detailgrad des originären Bilddatenstroms erreicht wird, um den Algorithmus zum Computersehen mit ausreichender Zuverlässigkeit und Genauigkeit durchführen zu können. Dies ist insbesondere vorteilhaft, wenn die Empfindlichkeit des Bildsensors beispielsweise durch das Farbfilter-Array tendenziell reduziert ist. Insbesondere lassen sich durch die Kombination des Farbfilter-Arrays mit einem entsprechend hohen Dynamikumfang die Anforderungen für das menschliche Sehen und das Computersehen besonders gut gleichzeitig erreichen.
-
Gemäß zumindest einer Ausführungsform beinhaltet das Detektor-Array die Vielzahl von Detektorzellen, wobei jede Detektorzelle einem Bildpunkt der Einzelbilder des originären Bilddatenstroms entspricht.
-
Wie oben erwähnt, bedeutet die Zuordnung der Detektorzellen zu den Bildpunkten der einzelnen Bilder nicht notwendigerweise, dass jede Detektorzelle einen Beitrag zu jedem Kanal der Einzelbilder liefert. Vielmehr kann es derart verstanden werden, dass jede Detektorzelle einen Beitrag zu mindestens einem Kanal der Einzelbilder liefert.
-
Gemäß zumindest einer Ausführungsform enthält jede der Detektorzellen zwei optische Detektoren mit unterschiedlicher Lichtempfindlichkeit.
-
Die Lichtempfindlichkeit kann beispielsweise durch ein mittels des entsprechenden optischen Detektors erzeugtes Ausgabesignal, beispielsweise Spannungs- oder Stromsignal, bei einer vordefinierten eingestrahlten Lichtintensität gegeben sein. Je stärker die Antwort des optischen Detektors bei gegebenem Lichteinfall ist, je größer also insbesondere das Detektorsignal ist, desto höher ist beispielsweise die Lichtempfindlichkeit.
-
Die Kameraelektronik kann dann beispielsweise feststellen, wenn der optische Detektor mit der höheren Lichtempfindlichkeit einer bestimmten Detektorzelle gesättigt ist und dem entsprechend zur Erzeugung des originären Bilddatenstroms die Ausgabe des optischen Detektors mit der geringeren Lichtempfindlichkeit verwenden. Falls keine solche Sättigung vorliegt, kann zur Erzeugung des originären Bilddatenstroms die Ausgabe des optischen Detektors mit der höheren Bildempfindlichkeit verwendet werden. Es sind jedoch auch komplexere Vorgehensweisen möglich. Es ist auch möglich, dass der originäre Bilddatenstrom für alle Detektorzellen die jeweilige Ausgabe beider optischer Detektoren enthält und die wenigstens eine Recheneinheit eine entsprechende Verarbeitung vornimmt.
-
Auf diese Weise kann insbesondere vermieden werden, dass Vorgänge in der Umgebung, die mit einer sehr hohen Frequenz stattfinden oder nur für einen sehr kurzen Zeitraum stattfinden, von dem originären Bilddatenstrom nicht erfasst werden können. Solche Effekte können beispielsweise auftreten, wenn Lichtquellen, etwa LEDs, in der Umgebung mit einer Pulsweitenmodulation betrieben werden, also mit hoher Frequenz ein- und ausgeschaltet werden. Dieses Flackern ist aufgrund der hohen Frequenz für das menschliche Auge nicht auflösbar. Bei hochempfindlichen optischen Detektoren und dementsprechend sehr geringen Belichtungszeiten kann ein solches Flackern jedoch in dem resultierenden Bilddatenstrom auftreten. Dies wird durch die optischen Detektoren mit zwei verschiedenen Lichtempfindlichkeiten vermieden.
-
Gemäß zumindest einer Ausführungsform ist die Kameraelektronik dazu eingerichtet, den originären Bilddatenstrom mit einer Einzelbildrate zu erzeugen, die einem ganzzahligen Bruchteil einer Bildwiederholfrequenz des Displays entspricht.
-
Dementsprechend sind insbesondere auch die entsprechenden Einzelbildraten des ersten und des zweiten Bilddatenstroms durch den ganzzahligen Bruchteil der Bildwiederholfrequenz des Bilddisplays gegeben. Dadurch lässt sich die Anzeige auf dem Display mit geringem Aufwand und hoher Qualität erreichen und gleichzeitig eine ausreichende Einzelbildrate für das Computersehen erreichen.
-
Beispielsweise kann die Bildwiederholfrequenz des Displays 50 Hz sein. Dementsprechend kann die Einzelbildrate des originären Bilddatenstroms beispielsweise 25 oder 50 Einzelbildern pro Sekunde entsprechen. Alternativ kann die Bildwiederholfrequenz des Displays 60 Hz sein. Dementsprechend kann die Einzelbildrate des originären Bilddatenstroms beispielsweise 15, 30 oder 60 Einzelbildern pro Sekunde bei einer Bildwiederholfrequenz von 60 Hz entsprechen. Dies lässt sich entsprechend auch auf andere Bildwiederholfrequenzen des Displays übertragen.
-
Gemäß zumindest einer Ausführungsform weist der Bildsensor eine Auflösung von vier Millionen Bildpunkten oder mehr auf.
-
Dies kann insbesondere derart verstanden werden, dass pro Farbkanal wenigstens vier Millionen Detektorzellen vorgesehen sind. Auf diese Weise lässt sich eine ausreichend hohe Bildqualität zum menschlichen Sehen beziehungsweise zur Anzeige auf dem Display erreichen.
-
Gemäß zumindest einer Ausführungsform weist die Kamera, insbesondere das Objektiv in Kombination mit dem Bildsensor, ein horizontales Sichtfeld von 115 Grad oder mehr, vorzugsweise 120 Grad oder mehr, auf.
-
Das horizontale Sichtfeld entspricht beispielsweise einem Winkelbereich in einer Ebene senkrecht zu einer Fahrzeughochachse des Fahrzeugs, wenn die Kamera entsprechend montiert ist. Mit anderen Worten kann die Kamera ein gesamtes Sichtfeld aufweisen, das durch zwei Winkelbereiche in zueinander senkrechten Ebenen spezifiziert ist. In entsprechenden Ausführungsformen ist wenigstens einer dieser Winkelbereiche 115 Grad oder größer.
-
Auf diese Weise lässt sich ein besonders großes Sichtfeld für die Anwendungen zum menschlichen Sehen realisieren.
-
Gemäß zumindest einer Ausführungsform enthält das Frontkamerasystem eine Montagevorrichtung zum Befestigen der Kamera an einer Innenseite der Windschutzscheibe des Fahrzeugs.
-
In verschiedenen Ausführungsformen kann das Frontkamerasystem auch die Windschutzscheibe enthalten und die Kamera ist mittels der Montagevorrichtung an der Innenseite der Windschutzscheibe befestigt.
-
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen Frontkamerasystems, insbesondere die wenigstens eine Recheneinheit des Frontkamerasystems, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
-
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
-
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
-
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
-
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug mit einem erfindungsgemäßen Frontkamerasystem angegeben.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Betreiben eines Frontkamerasystems eines Fahrzeugs, insbesondere eines erfindungsgemäßen Frontkamerasystems, angeben. Dabei wird mittels einer Kamera des Frontkamerasystems, wobei die Kamera an einer Innenseite, also zum Fahrzeuginnenraum zugewandten Seite, einer Windschutzscheibe des Fahrzeugs befestigt ist, ein originärer Bilddatenstrom erzeugt, der insbesondere eine äußere Umgebung des Fahrzeugs darstellt. Basierend auf dem originären Bilddatenstrom werden mittels eines Verteilermoduls des Frontkamerasystems ein erster und ein zweiter Bilddatenstrom erzeugt. Mittels wenigstens einer Recheneinheit des Fahrzeugs, insbesondere des Frontkamerasystems, wird abhängig von dem ersten Bilddatenstrom ein Algorithmus zum Computersehen durchgeführt. Mittels der wenigstens einen Recheneinheit werden abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf einem Display, insbesondere des Fahrzeugs oder des Frontkamerasystems, erzeugt.
-
Gemäß zumindest einer Ausführungsform des Verfahrens zum Betreiben des Frontkamerasystems wird dem zweiten Bilddatenstrom ein grafisches Element überlagert, um die Anzeigedaten zu erzeugen. Die Anzeigedaten werden, insbesondere mittels der wenigstens einen Recheneinheit, auf dem Display angezeigt.
-
Gemäß zumindest einer Ausführungsform werden die Anzeigedaten, insbesondere mittels der wenigstens einen Recheneinheit, auf dem Display angezeigt oder die Anzeigedaten werden, insbesondere mittels der einen Recheneinheit, auf einem Datenspeicher gespeichert.
-
Weitere Ausführungsformen des erfindungsgemäßen Verfahrens folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Frontkamerasystems und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen Frontkamerasystem analog auf entsprechende Ausführungsformen des erfindungsgemäßen Verfahrens übertragen. Insbesondere ist das erfindungsgemäße Frontkamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet. Insbesondere führt das erfindungsgemäße Frontkamerasystem das erfindungsgemäße Verfahren durch.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren zeigen:
- 1 schematisch eine beispielhafte Ausführungsform eines erfindungsgemäßen Fahrzeugs mit einer beispielhaften Ausführungsform eines erfindungsgemäßen Frontkamerasystems; und
- 2 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Betreiben eines Frontkamerasystems eines Fahrzeugs.
-
In 1 ist schematisch ein Fahrzeug 1 mit einer beispielhaften Ausführungsform eines erfindungsgemäßen Frontkamerasystems 2 dargestellt.
-
Das Frontkamerasystem 2 weist eine Kamera 3 auf, die beispielsweise an einer Windschutzscheibe 6 des Fahrzeugs 1 befestigt ist und deren Sichtfeld daher einen vor dem Fahrzeug 1 liegenden Teil der äußeren Umgebung des Fahrzeugs 1 abdeckt. Die Kamera 3 enthält ein Objektiv 4 und eine Kameraelektronik 5 mit einem Bildsensor, der wiederum ein Detektorarray enthält.
-
Das Frontkamerasystem 2 weist ein Verteilermodul 7 auf, das eingangsseitig mit der Kameraelektronik 5, insbesondere dem Bildsensor, verbunden ist und ausgangsseitig über eine erste Datenverbindung 12 mit einer ersten Recheneinheit 8 des Frontkamerasystems 2, sowie über eine zweite Datenverbindung 13 mit einer zweiten Recheneinheit 9 des Frontkamerasystems 2. Die Recheneinheiten 8, 9 können beispielsweise als elektronische Steuergeräte, ECUs (englisch: „electronic control units“) ausgestaltet sein. Die Recheneinheiten 8, 9 können in manchen Ausführungsformen auch kombiniert sein. Je nach Ausführungsform kann das Verteilermodul 7 Teil der Kameraelektronik 5 sein oder Teil einer der Recheneinheiten 8, 9 oder separat dazu implementiert sein.
-
Die zweite Recheneinheit 9 ist beispielsweise mit einem Display 10 des Fahrzeugs 1 oder des Frontkamerasystems 2 verbunden und/oder mit einem Datenspeicher 11 des Fahrzeugs 1 oder des Frontkamerasystems 2. Der Datenspeicher 11 kann auch Teil der zweiten Recheneinheit 9 sein.
-
2 zeigt schematisch ein Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zum Betreiben des Frontkamerasystems 2, wie es beispielsweise in 1 dargestellt ist.
-
In Schritt S1 erzeugt die Kameraelektronik 5 einen originären Bilddatenstrom. In Schritt S2 erzeugt das Verteilermodul 7 basierend auf dem originären Bilddatenstrom einen ersten Bilddatenstrom und einen zweiten Bilddatenstrom, die beispielsweise im Wesentlichen identisch sein können. Der erste Bilddatenstrom wird über die erste Datenverbindung 12 der ersten Recheneinheit 8 zugeführt und der zweite Bilddatenstrom wird über die zweite Datenverbindung 13 der zweiten Recheneinheit 9 zugeführt.
-
In Schritt S3 führt die erste Recheneinheit 8 abhängig von dem ersten Bilddatenstrom einen Algorithmus zum Computersehen durch. Als Ausgabe können dadurch beispielsweise Informationen erzeugt werden, die Objekte in der Umgebung des Fahrzeugs 1 beschreiben, etwa Informationen über erkannte weitere Fahrzeuge oder Verkehrszeichen. Abhängig von der Ausgabe des Algorithmus zum Computersehen kann die erste Recheneinheit 8 oder eine weitere Rechen- und/oder Steuereinheit des Fahrzeugs 1 Steuersignale zum wenigstens teilweise automatischen Führen des Fahrzeugs 1 erzeugen. Diese Steuersignale können beispielsweise an entsprechende Aktuatoren des Fahrzeugs 1 übermittelt werden, welche abhängig von den Steuersignalen eine Quer- und/oder Längssteuerung des Fahrzeugs 1 beeinflussen oder durchführen können. So können etwa Funktionen wie eine automatisierte Notbremsung oder Spurhalteassistenz realisiert werden. Alternativ oder zusätzlich können abhängig von der Ausgabe des Algorithmus zum Computersehen auch sonstige Fahrerassistenzsysteme, etwa eine Scheinwerferautomatik, gespeist werden.
-
Beispielsweise parallel zu Schritt S3 erzeugt die zweite Recheneinheit 9 in Schritt S4 abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf dem Display 10 zu erzeugen und zeigt sie auf dem Display 10 an oder speichert sie auf dem Datenspeicher 11.
-
Wie beschrieben, insbesondere unter Bezug auf die Figuren, wird durch die Erfindung ein Frontkamerasystem bereitgestellt, das mit einer Kamera sowohl Funktionen zum Computersehen, als auch zum menschlichen Sehen, etwa zur Augmented-Reality-Navigation oder zur Ereignisdatenaufzeichnung, mit hoher Qualität realisieren kann.
-
Dazu wird ein Verteilermodul eingesetzt, das den vom Bildsensor kommenden originären Bilddatenstrom in zwei Bilddatenströme aufteilen kann, von denen einer zum Computersehen und der andere zum menschlichen Sehen weiterverwendet wird, also insbesondere verarbeitet und in Anzeigedaten umgewandelt, die an ein Display gesendet und von einem menschlichen Betrachter als qualitativ hochwertige Ansicht der vorausliegenden Szene wahrgenommen werden können.
-
In verschiedenen Ausführungsformen kann ein Objektivsystem mit einem horizontalen Sichtfeld von etwa 120° oder mehr verwendet werden, um ein ausreichendes Sichtfeld für die Anwendungen zum menschlichen Sehen zu erreichen.
-
In verschiedenen Ausführungsformen kann ein Bildsensor mit einer Auflösung von etwa 4 Millionen Pixeln oder mehr verwendet werden, um eine ausreichende Auflösung für eine qualitativ hochwertige Anzeige zum menschlichen Sehen zu erreichen.
-
In verschiedenen Ausführungsformen kann ein Farbfilterarray auf Pixelebene auf dem Detektorarray des Bildsensors verwendet werden, das mindestens drei verschiedenen Arten von Filtern enthält, die jeweils verschiedene Teile des für den Menschen sichtbaren Spektrums zu dem Detektorarray passieren lassen, etwa eine Kombination aus roten, gelben und cyanfarbenen Filtern, um die Erzeugung qualitativ hochwertige Farbdarstellungen zum menschlichen Sehen zu ermöglichen.
-
In verschiedenen Ausführungsformen kann ein Bildsensor verwendet werden, der basierend auf einer Einzelbelichtung eines Pixels einen sehr hohen dynamischen Bereich, insbesondere 110 db oder mehr, des Pixelauslesewertes erzielt, beispielsweise durch Verwendung der Dual-Conversion-Gain-Technologie, so dass ein hoher dynamischer Bereich erreicht wird, ohne dass mehrere aufeinanderfolgende Belichtungen durchgeführt werden müssen oder sodass weniger aufeinanderfolgende Belichtungen durchgeführt werden müssen, sodass Bewegungsartefakte oder Doppelkonturen, wie sie aus solchen aufeinanderfolgenden Mehrfachbelichtungen resultieren können, vermieden werden können.
-
In verschiedenen Ausführungsformen kann ein Bildsensor mit einer Split-Pixel-Architektur verwendet werden, also einer Kombination aus mindestens einem empfindlicheren und einem weniger empfindlichen Lichtsensor in jedem Pixel, was eine Langzeitbelichtung des weniger empfindlichen Lichtsensors von etwa 8 ms oder mehr ohne Sättigung selbst bei hellen Tageslichtszenen ermöglicht, so dass durch den Vergleich oder die Kombination der Messwerte beider Lichtsensoren die Auswirkungen von LED-Flackern auf die menschliche Wahrnehmung reduziert werden können.
-
In verschiedenen Ausführungsformen kann eine einzige statische oder dynamische Konfiguration beispielsweise für Belichtungszeiten, Verstärkung, Empfindlichkeit, und/oder die Kombination von verschiedenen Read-Outs des Bildsensors, verwendet werden, die sowohl für den Algorithmus zum Computersehen, als auch für die Anwendungen zum menschlichen Sehen geeignet ist, so dass es nicht notwendig ist, zwischen weitgehend verschiedenen Einstellungen umzuschalten, um den notwendigen Dynamikbereich für zu erreichen, was zu einem schwer zu kompensierenden Flimmereffekten führen könnte.
-
In verschiedenen Ausführungsformen kann der Bildsensor mit einer Einzelbildrate betrieben werden, die gut zu Bildverarbeitungsanwendungen passt, zum Beispiel 15 Einzelbilder pro Sekunde, 30 Einzelbilder pro Sekunde oder 60 Einzelbilder pro Sekunde.
-
In verschiedenen Ausführungsformen kann ein Linsendesign des Objektivs verwendet werden, das die erforderliche Bildqualität für das menschliche Sehen in hoher Qualität ermöglicht, beispielsweise mit einer Kompensation der chromatischen Aberration über das gesamte sichtbare Spektrum hinweg, auch wenn dies für den Algorithmus zum Computersehen möglicherweise nicht erforderlich wäre.
-
In verschiedenen Ausführungsformen kann eine Verzeichnungskorrektur durchgeführt und/oder ein Teilbereich der Einzelbilder ausgewählt werden, insbesondere für die Anwendungen zum menschlichen Sehen.
-
Beispielsweise kann der zweite Bilddatenstrom bei Bedarf in ein digitales Datenformat umgewandelt werden, das über ein Kabel übertragen werden kann, sodass diese Daten dann, möglicherweise in Kombination mit anderen digitalen Daten, über einen Stecker weiter übertragen werden können, insbesondere an die wenigstens einen Recheneinheit.
-
Die Erfindung ermöglicht es, mit einer einzigen Kamera hochleistungsfähiges Computersehen in Fahrzeugen und hochqualitative Funktionen zum menschlichen Sehen zu realisieren, ohne dass dazu zwei Kameras erforderlich wären oder signifikante Qualitätseinschränkungen für die Funktionen zum menschlichen Sehen und/oder die Funktionen zum Computersehen resultieren würden.
