-
Die Erfindung betrifft ein Verfahren zum Betreiben einer Kameraanordnung, bei welchem eine erste Kamera und eine zweite Kamera Bilder erfassen. Jeweilige Sichtfelder der beiden Kameras überlappen zumindest in einem Teilbereich, zumindest in einem mit der ersten Kamera erfassten Bild wird innerhalb des Teilbereichs wenigstens ein Verschmutzungsbereich detektiert, welcher eine Mehrzahl von Bildpunkten umfasst. Des Weiteren betrifft die Erfindung eine zur Durchführung des Verfahrens ausgelegte Kameraanordnung und ein Fahrerassistenzsystem.
-
Heutzutage wird es mehr und mehr üblich, für ein Fahrerassistenzsystem eines Fahrzeugs eine Kameraanordnung mit wenigstens zwei Kameras zu verwenden. Dadurch können aus der Umgebung des Fahrzeugs Informationen extrahiert werden, welche für den Fahrer von Bedeutung sind. Dies gilt insbesondere, wenn die komplette Umgebung des Fahrzeugs von den wenigstens zwei Kameras erfasst wird. Durch Verschmutzungen auf einer äußeren Linse einer der Kameras oder beider Kameras kann es hierbei zu Beeinträchtigungen kommen. Eine solche Verschmutzung kann nämlich das Sichtfeld der jeweiligen Kamera zumindest teilweise einschränken. Die Verschmutzung kann beispielsweise von Dreck, Wassertropfen oder Eis auf der Linse der jeweiligen Kamera herrühren. Eine solche Verschmutzung äußert sich dann im Auftreten eines entsprechenden Verschmutzungsbereichs in dem von der verschmutzten Kamera erfassten Bild.
-
Bei einer zwei Kameras umfassenden Kameraanordnung sieht der Benutzer ein Gesamtbild, welches aus den von den beiden Kameras erfassten Bildern derart zusammengesetzt ist, dass die beiden Bilder in dem Teilbereich überlappen, in welchem sich die Sichtfelder der Kameras überschneiden. Ist nun in dem überlappenden Teilbereich ein Verschmutzungsbereich – etwa ein Fleck – vorhanden, so kann es für den Nutzer nicht oder nur schwer möglich sein, festzustellen welche Kamera verschmutzt ist. Folglich kann sich der Nutzer veranlasst sehen, die Linsen beider Kameras zu reinigen. Dies ist für den Nutzer unkomfortabel.
-
Die
US 2009/0315723 A1 beschreibt ein optisches System, welches dazu ausgelegt ist, eine Verschmutzung der optischen Komponenten des Systems zu detektieren. Hierfür werden Kontrasteigenschaften innerhalb des von einer Kamera erfassten Bildes ausgewertet, um eine Änderung des Kontrastes zu ermitteln. Wenn in dem Bild eine Stufe identifiziert wird, an welcher ein Übergang von einer stochastischen Grauwertverteilung zu einem großflächigen Graustufenbereich mit einem homogenen, kohärenten Graustufenanteil vorliegt, wird von einer Verschmutzung einer Linse des optischen Systems ausgegangen. Ein Vergleich mit einem zweiten Bild, welches von einem zweiten Bildsensor erfasst wurde, erhöht hierbei die Verlässlichkeit der Entscheidung.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie eine Kameraanordnung der eingangs genannten Art zu schaffen, mittels welches bzw. mittels welcher sich auf besonders einfache Weise dem Vorhandensein einer Verschmutzung begegnen lässt.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, durch eine Kameraanordnung mit den Merkmalen des Patentanspruchs 9 und durch ein Fahrerassistenzsystem mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
-
Bei dem erfindungsgemäßen Verfahren werden Datenwerte, welche die jeweilige Transparenz der Bildpunkte in dem wenigstens einen Verschmutzungsbereich angeben, gegenüber jeweiligen Referenzwerten der Transparenz in dem Teilbereich verändert. Die Referenzwerte der Transparenz sind hierbei die Transparenz von Bildpunkten angebende Werte, welche beim Überlagern der Bilder in dem Teilbereich zu einem Rand des jeweiligen Bildes hin zunehmen. Die Referenzwerte entsprechen also Werten der Transparenz, welche beim so genannten Alpha-Blending (= Alpha-Vermischen) verwendet werden. Beim Alpha-Blending werden zwei Bilder mit einem überlappenden Teilbereich zu einem Gesamtbild überlagert, wobei mit zunehmender Annäherung an den Rand des Sichtfelds und somit an den Rand des von der jeweiligen Kamera erfassten Bildes die Lichtdurchlässigkeit der Bildpunkte zunimmt. Wenn eine vollständige Transparenz oder Lichtdurchlässigkeit des Bildpunkts gegeben ist, so liegt beim Alpha-Blending ein Wert von α = 0 vor. Entsprechend steht ein Wert von α = 1 für völlige Lichtundurchlässigkeit, es liegt also Opazität des Bildpunkts vor. Ein hinter dem opaken Bildpunkt des ersten Bildes angeordneter Bildpunkt des zweiten Bildes ist dann nicht mehr erkennbar.
-
Während also beim üblichen Überlagern der beiden Bilder in dem Teilbereich, in welchem die Sichtfelder der beiden Kameras überlappen, die Transparenz-Referenzwerte der Bildpunkte auf eine vorbestimmte und in der Regel kontinuierliche Art und Weise hin zum Rand des jeweiligen Bildes zunehmen, werden vorliegend die Transparenz-Datenwerte der jeweiligen Bildpunkte gegenüber diesen Referenzwerten verändert. Dadurch lässt sich auf das Vorhandensein einer Verschmutzung auf der Linse zumindest einer der beiden Kameras reagieren. Hierfür wird das Auftreten des wenigstens einen Verschmutzungsbereichs in einer Art und Weise geschwächt, dass ein Betrachter des aus den überlagerten Bildern generierten Gesamtbildes im Teilbereich die Verschmutzung nicht mehr oder kaum noch wahrnimmt. Dies führt dazu, dass der Nutzer der Kameraanordnung nicht mühselig die Linsen der wenigstens zwei Kameras zu reinigen braucht, um die Verschmutzung zu beseitigen.
-
In einer vorteilhaften Ausgestaltung der Erfindung werden in dem mit der ersten Kamera erfassten Bild die Datenwerte, welche die jeweilige Transparenz von Bildpunkten in dem wenigstens einem Verschmutzungsbereich angeben, gegenüber den jeweiligen Referenzwerten vergrößert. Dadurch, dass der jeweilige Transparenz-Datenwert von Bildpunkten, welche sich in dem Verschmutzungsbereich befinden, vergrößert wird, ist der Verschmutzungsbereich für einen Betrachter kaum wahrnehmbar, welcher den Teilbereich betrachtet, in welchem sich die beiden Bilder überlappen. Die Bildpunkte in dem Verschmutzungsbereich sind nämlich dann stärker durchsichtig als dies bei Verwendung der Transparenz-Referenzwerte für diese Bildpunkte der Fall wäre.
-
Als weiter vorteilhaft hat es gezeigt, wenn in dem mit der zweiten Kamera erfassten Bild die Datenwerte, welche die jeweilige Transparenz von Bildpunkten in einem mit dem wenigstens einen Verschmutzungsbereich überlagerten Bildbereich angeben, gegenüber den jeweiligen Referenzwerten verringert werden. In dem Bildbereich des mit der zweiten Kamera erfassten Bildes, welcher mit dem wenigstens einen Verschmutzungsbereich überlagert ist, liegt nämlich die vollständige Bildinformation vor, und zwar ohne dass diese durch eine Verschmutzung der Linse der zweiten Kamera beeinträchtigt wäre. Wenn nun die Transparenz-Datenwerte im Vergleich zu den Transparenz-Referenzwerten verringert werden, so werden die Bildpunkte in dem mit dem Verschmutzungsbereich überlagerten Bildbereich stärker gewichtet. Das durch Überlagerung der Einzelbilder entstandene Gesamtbild entspricht dann in diesem Bildbereich in stärkerem Maße dem von der zweiten Kamera erfassten Bild. Es kann so auf besonders einfache Weise die durch die Verschmutzung der ersten Kamera verloren gegangene Information durch Nutzung der mittels der zweiten Kamera erfassten Bildinformation wiederhergestellt werden.
-
Hierbei hat es sich als vorteilhaft gezeigt, wenn der die Transparenz angebende Datenwert eines Bildpunkts in dem mit der ersten Kamera erfassten Bild um einen Betrag vergrößert wird, um welchen der Datenwert eines mit diesem Bildpunkt überlagerten Bildpunkts in dem mit der zweiten Kamera erfassten Bild verringert wird. Dann liegt nämlich insgesamt in dem Bildpunkt eine Transparenz vor, wie sie bei der Verwendung der Transparenz-Referenzwerte in diesem Bildpunkt gegeben wäre. Zudem lässt sich eine solche symmetrische Aufteilung der Transparenz auf die dem ersten Bild und dem zweiten Bild zugeordneten Bildpunkte bei der Bildverarbeitung besonders leicht umsetzen.
-
Bevorzugt ist es, wenn in dem Teilbereich, in welchem das von der ersten Kamera erfasste Bild und das von der zweiten Kamera erfasste Bild überlappen, die Datenwerte, welche die Opazität von miteinander überlagerten Bildpunkten der beiden Bilder angeben, in einer von 0 bis 1 reichenden Skala in der Summe den Wert 1 ergeben. Dann ist sichergestellt, dass im überlappenden Teilbereich des Gesamtbilds alle Bildpunkte vollständig deckend, also nicht-transparent dargestellt sind. Dies führt zu einem harmonischen Eindruck des Gesamtbildes auch in dem Teilbereich, in welchem die beiden Bilder überlagert sind.
-
Von Vorteil ist es weiterhin, wenn in dem mit der ersten Kamera erfassten Bild in wenigstens einem Randbereich des Verschmutzungsbereichs die Datenwerte, welche die jeweilige Transparenz von Bildpunkten angeben, gegenüber den jeweiligen Referenzwerten verringert werden. Die unmittelbare Umgebung des Verschmutzungsbereichs ist dann also etwas weniger lichtdurchlässig als dies bei Verwendung der Transparenz-Referenzwerte der Fall wäre. Eine solche Art der Bildverarbeitung ist dann besonders vorteilhaft, wenn ein sehr geringer Abstand zwischen der Verschmutzung auf der Linse und dem Bildsensor der Kamera vorliegt. In solchen Fällen kann nämlich ein vergleichsweise heller Kranz um den Verschmutzungsbereich herum auftreten, welcher weniger stark erkennbar ist, wenn die Transparenzwerte wie vorstehend beschrieben geändert werden.
-
Im Gegenzug werden in dem mit der zweiten Kamera erfassten Bild in dem wenigstens einen Randbereich die Datenwerte gegenüber den jeweiligen Referenzwerten vergrößert. Die Ränder um den Verschmutzungsbereich werden also in dem nicht von Verschmutzung betroffenen Bild, welches die zweite Kamera erfasst, etwas stärker durchsichtig dargestellt als dies bei Verwendung der Transparenz-Referenzwerte der Fall wäre. Dies führt außerdem zu einem besonders sanften Übergang hin zu den veränderten Transparenz-Datenwerten im Verschmutzungsbereich.
-
Bei der Detektion des wenigstens einen Verschmutzungsbereichs in dem mit der ersten Kamera erfassten Bild kann berücksichtigt werden, ob in dem mit der zweiten Kamera erfassten Bild in einem mit dem wenigstens einen Verschmutzungsbereich überlagerten Bildbereich eine Struktur vorliegt, welche mit dem wenigstens einen Verschmutzungsbereich korrespondiert. Eine solche mit dem Verschmutzungsbereich korrespondierende Struktur kann insbesondere dann vorliegen, wenn die Form und/oder die Größe der Struktur der Form und/oder der Größe des Verschmutzungsbereichs entsprechen. Zusätzlich oder alternativ kann vorgesehen sein, dass bildbeschreibende Parameterwerte – beispielsweise die Helligkeit – im Verschmutzungsbereich und in der Struktur einander entsprechen müssen, damit die Struktur als mit dem Verschmutzungsbereich korrespondierend eingestuft wird. Hierbei kann für die Parameterwerte insbesondere ein bestimmtes Toleranzintervall berücksichtigt werden.
-
Wenn in dem mit der zweiten Kamera erfassten Bild keine mit dem Verschmutzungsbereich korrespondierende Struktur vorliegt, so ist mit einer besonders großen Wahrscheinlichkeit der als Verschmutzungsbereich eingestufte Bereich in dem mit der ersten Kamera erfassten Bild tatsächlich auf eine Verschmutzung der Linse der Kamera zurückzuführen. Im umgekehrten Fall liegt auch in dem mit der zweiten Kamera erfassten Bild eine Struktur vor, welche mit dem wenigstens ein Verschmutzungsbereich korrespondiert. Dann ist die Wahrscheinlichkeit verringert, dass es sich bei dem als Verschmutzungsbereich eingestuften Bereich im ersten Bild tatsächlich um einen Bildbereich handelt, dessen Aussehen ursächlich auf eine Verschmutzung der Linse der ersten Kamera zurückzuführen ist. Vielmehr ist dann davon auszugehen, dass die Linse der ersten Kamera nicht verschmutzt ist.
-
Es kann also durch das Berücksichtigen des mit der zweiten Kamera erfassten Bildes die Sicherheit bei der Detektion des Verschmutzungsbereichs erhöht werden. Dies erleichtert Entscheidungen im Rahmen anderer Auswertungen der von den beiden Kameras erfassten Bilder, welche auf dem Vorhandensein eines Verschmutzungsbereichs beruhen.
-
Schließlich hat es sich als vorteilhaft gezeigt, wenn mittels einer ersten Auswerteeinrichtung, welche der ersten Kamera zugeordnet ist, auf das Vorliegen des wenigstens einen Verschmutzungsbereichs in dem mit der ersten Kamera erfassten Bild geprüft wird und mittels einer zweiten Auswerteeinrichtung, welche der zweiten Kamera zugeordnet ist, diese Überprüfung für das mit der zweiten Kamera erfasste Bild vorgenommen wird. Dies erleichtert die Zuordnung des Verschmutzungsbereichs zu dem mit der jeweiligen Kamera erfassten Bild. Außerdem können so die Kameras das Vorhandensein einer Verschmutzung auf der jeweiligen Linse unabhängig voneinander überprüfen, und es kann ein besonders gut an die jeweilige Kamera angepasster Algorithmus zum Detektieren einer Verschmutzung zum Einsatz kommen.
-
Die erfindungsgemäße Kameraanordnung, welche insbesondere zur Anwendung in einem Fahrzeug vorgesehen ist, umfasst eine erste Kamera und eine zweite Kamera, mittels welcher jeweilige Bilder erfassbar sind. Jeweilige Sichtfelder der beiden Kameras überlappen zumindest in einem Teilbereich. Die Kameraanordnung umfasst zumindest eine Auswerteeinrichtung, mittels welcher zumindest in einem mit der ersten Kamera erfassten Bild innerhalb des Teilbereichs wenigstens ein Verschmutzungsbereich detektierbar ist, wobei der Verschmutzungsbereich eine Mehrzahl von Bildpunkten umfasst. Des Weiteren umfasst die Kameraanordnung eine Bildverarbeitungseinrichtung, mittels welcher Datenwerte, welche die jeweilige Transparenz der Bildpunkte in dem wenigstens einen Verschmutzungsbereich angeben, gegenüber jeweiligen Referenzwerten veränderbar sind, welche beim Überlagern der Bilder in dem Teilbereich zu einem Rand des jeweiligen Bildes hin zunehmen. Mit einer solchen Kameraanordnung lässt sich auf besonders einfache Weise dem Vorhandensein einer Verschmutzung begegnen. Die Verschmutzung ist dann für einen Betrachter eines Gesamtbildes, welches die sich in dem Teilbereich überlappenden Bilder umfasst, kaum oder nicht mehr wahrnehmbar.
-
Die für das erfindungsgemäße Verfahren zum Betreiben einer Kameraanordnung beschriebenen Vorteile und bevorzugten Ausführungsformen gelten auch für die erfindungsgemäße Kameraanordnung und/oder das Fahrerassistenzsystem und umgekehrt. Ein erfindungsgemäßes Fahrzeug kann mit der Kameraanordnung und/oder dem Fahrerassistenzsystem ausgestattet sein.
-
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnungen, in welchen gleiche oder funktionsgleiche Elemente mit identischen Bezugszeichen versehen sind. Dabei zeigen:
-
1 zwei von einer jeweiligen Kamera einer Kameraanordnung aufgenommene Bilder, welche zu einem Gesamtbild überlagert werden, wobei in dem Gesamtbild randliche Teilbereiche der beiden Bilder miteinander überlappen und wobei in dem jeweiligen Bild die Transparenz der Bildpunkte zu dem Rand des überlappenden Teilbereichs hin abnimmt;
-
2 einen Graphen, in dem zwei Kurven, welche Referenzwerte für die Transparenz von Bildpunkten angeben, das Abnehmen derselben im überlappenden Teilbereich hin zum Rand des mit der jeweiligen Kamera aufgenommenen Bildes gemäß 1 veranschaulichen;
-
3 die beiden zu einem Gesamtbild zu überlagernden Einzelbilder in einer Situation, bei welcher auf der Linse einer der beiden Kameras eine Verschmutzung vorhanden ist, welche in dem mit dieser Kamera aufgenommen Bild als Verschmutzungsbereich erkennbar ist;
-
4 Kurven, welche das Verändern der Transparenz-Datenwerte gegenüber den in 2 gezeigten Referenzwerten darstellen, wobei in dem von der verschmutzten Kamera aufgenommen Bild im Verschmutzungsbereich die Transparenz vergrößert und in dem mit der anderen Kamera aufgenommenen Bild in demselben Bereich die Transparenz in gleichem Maße verringert wird;
-
5 das aus den beiden sich im Teilbereich überlappenden Einzelbildern gemäß 3 zusammengesetzte Gesamtbild, in welchem die Verschmutzung nicht mehr erkennbar ist; und
-
6 stark schematisiert eine Kameraanordnung, welche die beiden Kameras umfasst, und welche zum Ausgeben des in 5 gezeigten Gesamtbildes ausgelegt ist.
-
1 zeigt ein von einer ersten Kamera 10 einer Kameraanordnung 12 (vgl. 6) genommenes erstes Bild 14. Ein zweites Bild 16 ist von einer zweiten Kamera 18 der Kameraanordnung 12 aufgenommen. Die Kameraanordnung 12 ist beispielsweise für ein Fahrzeug vorgesehen und dient der Umfeldbeobachtung des Fahrzeugs. Die Kameraanordnung 12 kann hierbei insbesondere Bestandteil eines Fahrerassistenzsystems sein, wobei eine Funktionseinheit des Fahrerassistenzsystems eine Ausgabe der Kameraanordnung 12 verwertet.
-
Die beiden Kameras 10, 18 weisen jeweilige Sichtfelder 20, 22 auf (vgl. 6), welche in einem Teilbereich 24 überlappen. Entsprechend stimmt in diesem Teilbereich 24 das erste Bild 14 mit dem zweiten Bild 16 überein. Die beiden Bilder 14, 16 werden zu einem Gesamtbild 26 (vgl. 5) zusammengefügt, in welchem die beiden Bilder 14, 16 in dem Teilbereich 24 übereinander liegen. Die in 1 gezeigten Bilder 14, 16 sind hierbei für die Erstellung des Gesamtbilds 26 bereits derart bearbeitet, dass die Transparenz der Bildpunkte in dem Teilbereich 24 zu einem Rand 28 des jeweiligen Bildes 14, 16 hin abnimmt.
-
Aus 2 ist anhand einer ersten Kurve 30 das Zunehmen der Transparenz der Bildpunkte des ersten Bildes 14 zu seinem Rand 28 hin ersichtlich, wobei das Zunehmen gleichbedeutend ist mit dem Abnehmen der Opazität der Bildpunkte dieses ersten Bildes 14 in dem Teilbereich 24. In analoger Weise ist durch eine weitere Kurve 32 das Zunehmen der Transparenz der Bildpunkte des ersten Bildes 16 in dem überlappenden Teilbereich 24 veranschaulicht. Diese Art des Überlagerns der beiden Bilder 14, 16 in dem überlappenden Teilbereich 24 wird auch als Alpha-Blending bezeichnet, da der Alpha-Wert eines Bildpunktes oder Pixels ein Maß für die Transparenz bzw. Opazität des jeweiligen Bildpunktes angibt.
-
Ein Alpha-Wert von 0 steht hierbei für völlige Transparenz, bei welcher der Bildpunkt unsichtbar wird. Ein Alpha-Wert von 1 steht hingegen für eine völlige Lichtundurchlässigkeit oder Opazität des Bildpunkts. Ein Bildpunkt, welcher einen Alpha-Wert von 1 aufweist, überdeckt somit einen hinter diesem angeordneten Bildpunkt. Für einen durch die Koordinaten X und Y in dem Teilbereich 24 definierten Bildpunkt im Gesamtbild 26 gilt hierbei: P(X, Y) = α(X, Y)Pcam1(X, Y) + (1 – α(X, Y))Pcam2(X, Y), wobei α(X, Y)Pcam1(X, Y) die Transparenz eines von der ersten Kamera 10 aufgenommenen Bildpunkts angibt und (1 – α(X, Y))Pcam2(X, Y) die Transparenz des von der zweiten Kamera 18 aufgenommenen Bildpunkts an dieser Stelle des Teilbereichs 24.
-
Wie aus 2 ersichtlich ist, werden beim gewöhnlichen Alpha-Blending die Bildpunkte in dem von der erste Kamera 10 aufgenommenen Bild 14 in dem Maße ausgeblendet, wie die Bildpunkte in dem von der zweiten Kamera 18 aufgenommenen Bild 16 eingeblendet werden. In 2 ist zudem durch eine Linie 34 die Opazität des Gesamtbilds 26 (vergleiche 5) dargestellt.
-
Durch die Kurven 30, 32 sind Referenzwerte der Transparenz definiert, welche zum Festlegen der Transparenz für die einzelnen Bildpunkte im Teilbereich 24 herangezogen werden, sofern keine der beiden Kameras 10, 18 eine Verschmutzung auf der jeweiligen Linse aufweist.
-
Anhand von 3 ist nun eine Situation veranschaulicht, bei welcher die Linse der ersten Kamera 10 an einer Stelle verschmutzt ist, etwa weil sich Dreck, ein Wassertropfen oder Eis an dieser Stelle befindet. Ein solche Verschmutzung hat in einem von der ersten Kamera 10 aufgenommenen Bild 36 das Auftreten eines Verschmutzungsbereichs 38 zur Folge, welcher sich vorliegend in dem Teilbereich 24 befindet. Das Vorliegen dieses Verschmutzungsbereichs 38 wird mittels einer der ersten Kamera 10 zugeordneten Auswerteeinrichtung 40 festgestellt (vergleiche 6).
-
In einem von der zweiten Kamera 18 aufgenommenen Bild 42 tritt hingegen in einem mit dem Verschmutzungsbereich 38 überlagerten Bildbereich 44 keine Beeinträchtigung der Bildinformation auf, da die Linse der zweiten Kamera 18 nicht verschmutzt ist.
-
Da beide Kameras 10, 18 im überlappenden Teilbereich 24 ihrer Sichtfelder 20, 22 ein vollständiges Bild erfassen, sofern keine Verschmutzung der Linse vorliegt, wird vorliegend die im Verschmutzungsbereich 38 verloren gegangene Bildinformation durch die im Bildbereich 44 vorhandene Bildinformation ausgeglichen. Hierfür wird beim Alpha-Blending in dem Teilbereich 24 von den durch die Kurven 30, 32 veranschaulichten Referenzwerten der Transparenz abgewichen. Wie dies geschieht, ist aus 4 ersichtlich.
-
In 4 veranschaulicht eine Kurve 46 die Transparenz der Bildpunkte in dem Teilbereich 24 des von der ersten Kamera 10 aufgenommenen Bilds 36. Entsprechend tritt im Verschmutzungsbereich 38 ein Abfall 48 in der Kurve 46 auf. Dieser Abfall 48 bedeutet eine Vergrößerung der Transparenz in dem Verschmutzungsbereich 38 bzw. eine Verringerung der Opazität der Bildpunkte in diesem Verschmutzungsbereich 38. Die Veränderung der Transparenz-Datenwerte gemäß der Kurve 46 im Bereich des Abfalls 48 bezieht sich hierbei auf die Kurve 30 in 2, welche die Transparenz-Referenzwerte angibt.
-
Dieser Informationsverlust im Bild 36 wird durch eine Verringerung der Transparenz bzw. eine Vergrößerung der Opazität in dem Bildbereich 44 kompensiert, welcher sich im mit der zweiten Kamera 18 aufgenommenen Bild 42 zwangsläufig ebenfalls innerhalb des Teilbereichs 24 befindet. Dieses – auf die Transparenz-Referenzwerte gemäß der Kurve 32 in 2 bezogene – lokale Vergrößern der Opazität in dem Teilbereich 44 ist in einer Kurve 50, welche den Verlauf der Transparenz im Teilbereich 24 für das mit der zweiten Kamera 18 aufgenommene Bild 42 angibt, durch eine Spitze oder Kuppe 52 veranschaulicht. Im Bereich dieser Kuppe 52 liegt also eine gegenüber den Referenzwerten der Kurve 32 (vergleiche 2) verringerte Transparenz bzw. vergrößerte Opazität vor.
-
Vorliegend sind der Abfall 48 und die Kuppe 52 bezüglich einer gedachten Waagrechten, welche parallel zu der Linie 34 verläuft, symmetrisch. Mit anderen Worten wird im Bereich des Abfalls 48 die Transparenz in dem Maße vergrößert, wie sie im Bereich der Kuppe 52 verringert wird. Dadurch ergänzen sich die Datenwerte der Transparenz, welche durch die Kurven 46, 50 angegeben sind stets in der Summe zum Wert 1, welcher auch durch die Linie 34 veranschaulicht ist.
-
Es wird also das von der zweiten Kamera 18 erfasste Bild 42 so hinsichtlich der Transparenz der einzelnen Bildpunkte bearbeitet, dass es den Verlust von Bildinformationen im von der ersten Kamera 10 aufgenommenen Bild 36 kompensiert. Dieser Verlust ist durch das Verringern der Transparenz der Bildpunkte im Verschmutzungsbereich 38 hervorgerufen.
-
An jeweiligen Rändern des Verschmutzungsbereichs 38 sind die Datenwerte, welche die jeweilige Transparenz von Bildpunkten in Bereich des Randes angeben, gegenüber den jeweiligen Referenzwerten verringert. Dies äußert sich in der Kurve 46 in lokalen Erhebungen 54, welche der Richtung des Abfalls 48 entgegengesetzt sind. In analoger Weise sind in den Randbereichen des Bildbereichs 44 die Transparenz-Datenwerte gegenüber den jeweiligen Referenzwerten vergrößert. Dies äußert sich in lokalen Vertiefungen 56 in der Kurve 50, welche jeweils beidseitig neben der Kuppe 52 ausgebildet sind. Diese lokalen Erhebungen 54 und Vertiefungen 56 sind nur optional und sie können dann bevorzugt sein, wenn zwischen dem Fleck oder der Verschmutzung auf der Linse der ersten Kamera 10 und dem Bildsensor dieser Kamera 10 ein sehr geringer Abstand vorliegt. Das Wiederherstellen der Bildinformation welche in dem mit der ersten Kamera 10 aufgenommenen Bild 36 verloren gegangen ist durch die Bildinformation von dem mit der zweiten Kamera 18 aufgenommenen Bild 42 kann auch vorgenommen werden, wenn lediglich der Abfall 48 und die Kuppe 52 vorliegen.
-
Das Resultat der Überlagerung der beiden Bilder 36, 42, bei welchen im Verschmutzungsbereich 38 die Transparenz vergrößert und im Gegenzug im mit dem Verschmutzungsbereich 38 korrespondierenden Bildbereich 44 verringert wurde, ist in dem in 5 gezeigten Gesamtbild 26 veranschaulicht. Dementsprechend ist der Verschmutzungsbereich 38 in dem Gesamtbild 26 nicht erkennbar, sondern das Gesamtbild 26 zeigt an dieser Stelle die Bildinformationen, welche vorwiegend aus dem zweiten Bild 42 stammen.
-
Das Auswerten der beiden von der jeweiligen Kamera 10, 18 aufgenommenen Bilder 36, 42 kann vorteilhaft auch für die Feststellung herangezogen werden, ob in dem Teilbereich 24 überhaupt ein Verschmutzungsbereich 38 vorliegt. Hierfür wird mittels eines Algorithmus durch die Auswerteeinrichtung 40 zunächst geprüft, ob in dem Teilbereich 24 des Bildes 36 eine solche als Verschmutzungsbereich 38 interpretierbare Struktur vorliegt, in welcher ein plötzlicher Wechsel von Parametern des Bildes 36 gegeben ist. Es wird außerdem geprüft, ob in dem korrespondierenden Bildbereich 44 in dem von der zweiten Kamera 18 aufgenommenen Bild 42 ebenfalls eine solche Struktur vorliegt. Ist dies nicht der Fall, liegt also im Bildbereich 44 keine von den Bildeigenschaften her mit dem Verschmutzungsbereich 38 korrespondierende Struktur vor, so deutet dies darauf hin, dass der Verschmutzungsbereich 38 zu Recht als auf einer Verschmutzung der Linse der ersten Kamera 10 beruhend eingestuft wurde.
-
Im gegenteiligen Fall, in welchem sowohl im zunächst als Verschmutzungsbereich 38 eingestuften Bildbereich im Bild 36 als auch in dem mit diesem korrespondierenden Bildbereich 44 im Bild 42 gleichartige Strukturen vorliegen, kann darauf geschlossen werden, dass im Bildbereich im Bild 36 fälschlicherweise auf das Vorliegen eines Verschmutzungsbereichs 38 erkannt wurde.
-
Wie aus 6 ersichtlich ist, weist die erste Kamera 10 der Kameraanordnung 12 eine eigene Auswerteeinrichtung 40 auf, welche zum Detektieren eines Verschmutzungsbereichs 38 in dem von der ersten Kamera 10 erfassten Bild 36 ausgebildet ist. Die zweite Kamera 18 weist ebenfalls eine solche Auswerteeinrichtung 58 auf, mittels welcher das Vorliegen eines Verschmutzungsbereichs in mittels dieser Kamera 18 aufgenommenen Bildern geprüft wird.
-
Die Kameraanordnung 12 umfasst des Weiteren eine Bildverarbeitungseinrichtung 60, welche dazu ausgelegt ist, bei Erfassung eines Verschmutzungsbereichs 38 in dem von einer der beiden Kameras 10, 18 aufgenommenen Bild 36, 42 die Datenwerte, welche die Transparenz der Bildpunkte in dem Teilbereich 24 angeben, gegenüber den in 2 anhand der Kurven 30, 32 veranschaulichten Referenzwerte zu verändern. Diese von der Bildverarbeitungseinrichtung 60 geänderten Datenwerte der Transparenz sind in 4 durch die Kurven 46, 50 veranschaulicht. Dadurch ist die Kameraanordnung 12 dazu ausgelegt, die Auswirkungen von Verschmutzungen auf der Linse einer der beiden Kameras 10, 18 in der Art abzuschwächen, dass für den Betrachter des Gesamtbilds 26 im Teilbereich 24 keine Verschmutzung erkennbar ist.
-
Die Kameraanordnung 12 kann auch mehr als die vorliegend beispielhaft gezeigten zwei Kameras 10, 18 umfassen, solange die Sichtfelder der Kameras zumindest bereichsweise überlappen. Das Abschwächen der Verschmutzung einer Linse einer dieser Kameras im Überlappungsbereich bedient sich hierbei der vorliegend beschriebenen, speziellen Art des Alpha-Blendings in dem überlappenden Teilbereich 24. Das Alpha-Blending wird nämlich so vorgenommen, dass die Information, welche von der nicht von Verschmutzung betroffenen Kamera 18 im Bildbereich 44 geliefert wird, starker gewichtet wird. Demgegenüber wird die Information, welche von der durch Verschmutzung betroffenen Kamera 10 in dem Verschmutzungsbereich 38 geliefert wird, weniger stark gewichtet. Mit diesen unterschiedlichen Gewichtungen der Bildinformationen werden die Bilder 36, 42 dann zu dem Gesamtbild 26 zusammengefügt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2009/0315723 A1 [0004]
