-
Die Erfindung betrifft ein Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes basierend auf von zumindest zwei fahrzeugseitigen Kameras erfassten, zumindest bereichsweise überlappenden Rohbildern. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug.
-
Es ist bereits aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs mittels Kameras eines fahrzeugseitigen Kamerasystems, beispielsweise eines Rundumsichtkamerasystems, zu überwachen. Die durch die Kameras aufgenommenen Rohbilder bzw. Eingangsbilder können einem Fahrer des Kraftfahrzeugs auf einer Anzeigeeinrichtung, beispielsweise einem Display in einer Fahrgastzelle des Kraftfahrzeugs, angezeigt werden. Dabei werden aus den Rohbildern der verschiedenen Kameras zunehmend auch Ausgangsbilder erzeugt, welche das Kraftfahrzeus sowie den Umgebungsbereich in einer vorbestimmten Zielansicht bzw. aus einer vorbestimmten Zielperspektive darstellen. Eine solche vorbestimmte Zielansicht bzw. Zielperspektive kann eine sogenannten Dritte-Person-Ansicht bzw. Dritte-Person-Perspektive sein, durch welche der Umgebungsbereich des Kraftfahrzeugs sowie das Kraftfahrzeug selbst aus einer Sicht eines fahrzeugexternen Beobachters, einer sogenannten virtuellen Kamera, in dem Ausgangsbild dargestellt wird. Eine solche Dritte-Person-Ansicht kann beispielsweise eine Draufsicht sein. Das aus den Rohbildern erzeugte Ausgangsbild ist also ein Draufsichtbild, auch als Vogelperspektive-Darstellung bezeichnet, welches eine Oberseite des Kraftfahrzeugs sowie den das Kraftfahrzeug umgebenden Umgebungsbereich abbildet.
-
Zum Erzeugen des Ausgangsbildes werden die Rohbilder auf eine Zieloberfläche, beispielsweise eine zweidimensionale Ebene oder eine gekrümmte Fläche, projiziert. Anschließend werden die Rohbilder zu dem Ausgangsbild derart kombiniert und gerendert, dass das Ausgangsbild von der virtuellen Kamera aus einer beliebig wählbaren Zielperspektive erfasst worden zu sein scheint und somit einen beliebig wählbaren Anzeigebereich bzw. Viewport aufweist. Anders ausgedrückt können die Rohbilder kombiniert und zu einem mosaikartigen Ausgangsbild zusammengefügt („Merging“) werden, welches letztendlich den Eindruck erweckt, dass es von einer einzelnen, realen Kamera an einer Position der virtuellen Kamera aufgenommen worden wäre. Bei einem Ausgangsbild in Form von einem Draufsichtbild wird die virtuelle Kamera beispielsweise in Richtung einer Fahrzeughochachse direkt über dem Kraftfahrzeug und parallel zu dem Kraftfahrzeug positioniert, sodass der Anzeigebereich einen Untergrund, beispielsweise einen Fahrbahnbereich, aufweist.
-
Um dabei ein qualitativ hochwertiges Ausgangsbild zu erhalten, sollten zueinander korrespondierende Bildbereiche in den Rohbildern, welche von den verschiedenen Kameras erfasst wurden, aber denselben aus dem Umgebungsbereich stammenden dreidimensionalen Inhalt aufweisen, ähnliche Eigenschaften haben. Beispielsweise sollten sie eine ähnliche Helligkeit, Farbe, Auflösung, Schärfe und Rauschen haben. Ist dies nicht der Fall und werden beispielsweise Bildbereiche mit unterschiedlichen Schärfen kombiniert bzw. zusammengefügt, so kann es vorkommen, dass das kombinierte Ausgangsbild Ausgangsbildbereiche mit merklichen Schärfeunterschieden und Schärfeübergängen aufweist. Diese Schärfeunterschiede setzen die Bildqualität des dem Fahrer angezeigten Ausgangsbildes herab, insbesondere wenn sich das Kraftfahrzeug bewegt, und können störend für den Fahrer sein.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, wie ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigende Ausgangsbilder mit hoher Qualität erzeugt werden können, um sie einem Fahrer des Kraftfahrzeugs anzuzeigen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind der Gegenstand der abhängigen Ansprüche, der Beschreibung sowie der Figuren.
-
Gemäß einem Aspekt eines Verfahrens zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes basierend auf von zumindest zwei fahrzeugseitigen Kameras erfassten, zumindest bereichsweise überlappenden Rohbildern werden insbesondere jeweilige kameraspezifische Punktdichtekarten vorgegeben, welche jeweils eine bildregionsabhängige Verteilung einer Anzahl von zur Erzeugung des Ausgangsbildes beitragenden Bildpunkten des von der zugehörigen Kamera erfassten Rohbildes beschreiben. Basierend auf der für die zugehörige Kamera spezifischen Punktdichtekarte, welche ein bildregionsabhängiges Ausmaß der Filterung angibt, können die Rohbilder räumlich adaptiv gefiltert werden. Insbesondere werden zueinander korrespondierende Bildbereiche in den zumindest bereichsweise überlappenden Rohbildern der zumindest zwei Kameras identifiziert, der Bildbereich des Rohbildes der einen Kamera basierend auf der für die jeweils andere Kamera spezifischen Punktdichtekarte zum Reduzieren einer Schärfedifferenz zwischen den zueinander korrespondierenden Bildbereichen räumlich adaptiv gefiltert und die gefilterten Rohbilder werden auf eine zu der Zielansicht korrespondierende Bildoberfläche zum Erzeugen von rückabgebildeten gefilterten Rohbildern rückabgebildet. Das Ausgangsbild kann durch Kombinieren der rückabgebildeten gefilterten Rohbilder erzeugt werden.
-
Besonders bevorzugt werden bei einem Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes basierend auf von zumindest zwei fahrzeugseitigen Kameras erfassten, zumindest bereichsweise überlappenden Rohbildern jeweilige kameraspezifische Punktdichtekarten vorgegeben, welche jeweils eine bildregionsabhängige Verteilung einer Anzahl von zur Erzeugung des Ausgangsbildes beitragenden Bildpunkten des von der zugehörigen Kamera erfassten Rohbildes beschreiben. Basierend auf der für die zugehörige Kamera spezifischen Punktdichtekarte, welche ein bildregionsabhängiges Ausmaß der Filterung angibt, werden die Rohbilder räumlich adaptiv gefiltert. Darüber hinaus werden zueinander korrespondierende Bildbereiche in den zumindest bereichsweise überlappenden Rohbildern der zumindest zwei Kameras identifiziert, der Bildbereich des Rohbildes der einen Kamera basierend auf der für die jeweils andere Kamera spezifischen Punktdichtekarte zum Reduzieren einer Schärfedifferenz zwischen den zueinander korrespondierenden Bildbereichen räumlich adaptiv gefiltert und die gefilterten Rohbilder werden auf eine zu der Zielansicht korrespondierende Bildoberfläche zum Erzeugen von rückabgebildeten gefilterten Rohbildern rückabgebildet. Das Ausgangsbild wird durch Kombinieren der rückabgebildeten gefilterten Rohbilder erzeugt.
-
Mit anderen Worten bedeutet dies, dass für zumindest ein erstes Rohbild, welches von einer ersten Kamera erfasst wird, eine erste Punktdichtekarte vorgegeben wird, welche die bildregionsabhängige Verteilung der Anzahl von zur Erzeugung des Ausgangsbildes beitragenden Bildpunkten des zumindest einen von der ersten Kamera erfassten ersten Rohbildes beschreiben. Für zumindest ein zweites Rohbild, welches von einer zur ersten Kamera unterschiedlichen zweiten Kamera erfasst wird, wird eine zweite Punktdichtekarte vorgegeben, welche die bildregionsabhängige Verteilung der Anzahl von zur Erzeugung des Ausgangsbildes beitragenden Bildpunkten des zumindest einen von der zweiten Kamera erfassten zweiten Rohbildes beschreiben. Dabei wird das zumindest eine erste Rohbild basierend auf der ersten Punktdichtekarte räumlich adaptiv gefiltert und das zumindest eine zweite Rohbild basierend auf der zweiten Punktdichtekarte räumlich adaptiv gefiltert. Darüber hinaus wird der Bildbereich in dem zumindest einen ersten Rohbild basierend auf der zweiten Punktdichtekarte gefiltert und der korrespondierende Bildbereich in dem zumindest einen zweiten Bild basierend auf der ersten Punktdichtekarte gefiltert.
-
Das Verfahren dient zum Erzeugen von qualitativ hochwertigen Ausgangsbildern, die das Kraftfahrzeug und den das Kraftfahrzeug umgebenden Umgebungsbereich in der vorbestimmten Zielansicht bzw. aus einer vorbestimmten Zielperspektive zeigen. Die Ausgangsbilder können einem Fahrer des Kraftfahrzeugs in Form einer Videosequenz, insbesondere eines Echtzeitvideos, auf einer fahrzeugseitigen Anzeigeeinrichtung angezeigt werden. Die Ausgangsbilder werden, beispielsweise von einer fahrzeugseitigen Bildverarbeitungseinrichtung, basierend auf den Rohbildern bzw. Eingangsbildern erzeugt, die durch die zumindest zwei fahrzeugseitigen Kameras aufgenommen werden. Die Rohbilder werden dabei auf die Bildoberfläche bzw. Zieloberfläche rückabgebildet bzw. projiziert, beispielsweise eine zweidimensionale Fläche, und die rückabgebildeten bzw. projizierten Rohbilder werden zum Erzeugen des Ausgangsbildes kombiniert. Mittels der Anzeige der Ausgangsbilder auf der fahrzeugseitigen Anzeigeeinrichtung kann der Fahrer beim Manövrieren des Kraftfahrzeugs unterstützt werden. Der Fahrer kann den Umgebungsbereich durch Blick auf die Anzeigeeinrichtung erfassen. Das Rundumsichtkamerasystem und die Anzeigeeinrichtung bilden ein Kamera-Monitor-System (CMS- Camera Monitor System).
-
Insbesondere werden die Ausgangsbilder anhand von zumindest vier Rohbildern von zumindest vier Kameras eines fahrzeugseitigen Rundumsichtkamerasystems erzeugt. Die Kameras sind dabei insbesondere an unterschiedlichen Anbringungsorten am Kraftfahrzeug angeordnet und weisen somit unterschiedliche Perspektiven bzw. unterschiedlich gerichtete Erfassungsbereiche auf. Daher zeigen die verschiedenen Rohbilder auch unterschiedliche Teilbereiche des Umgebungsbereiches. Beispielsweise kann zumindest ein erstes Rohbild aus dem Umgebungsbereich vor dem Kraftfahrzeug von einer Frontkamera, zumindest ein zweites Bild aus dem beifahrerseitigen Umgebungsbereich von einer beifahrerseitigen Seitenspiegelkamera, zumindest ein drittes Bild aus dem Umgebungsbereich hinter dem Kraftfahrzeug von einer Heckkamera und zumindest ein viertes Bild aus dem fahrerseitigen Umgebungsbereich von einer fahrerseitigen Seitenspiegelkamera erfasst werden. Vorzugsweise ist das Ausgangsbild ein Draufsichtbild bzw. eine vogelperspektivische Darstellung des Umgebungsbereiches. Die vorbestimmte Zielansicht entspricht also vorzugsweise einer Draufsicht.
-
Für jede Kamera wird eine Punktdichtekarte vorgegeben, basierend auf welcher die Rohbilder der jeweiligen Kamera räumlich adaptiv gefiltert werden. Die Punktdichtekarten können einmalig bestimmt werden und beispielsweise in einer fahrzeugseitigen Speichereinrichtung für die Bildverarbeitungseinrichtung hinterlegt werden, welche die Rohbilder einer Kamera basierend auf der zugehörigen Punktdichtekarte räumlich adaptiv filtern kann. Die Punktdichtekarte bzw. Pixeldichtekarte („pixel density map“) entspricht einer räumlichen Verteilung von Punktdichten, welche eine Anzahl der Bildpunkte bzw. Bildelementen der Rohbilder beschreibt, die zur Erzeugung von bestimmten Bildregionen innerhalb des Ausgangsbildes beitragen. Die bestimmten Bildregionen bilden bestimmte Teilbereiche bzw. sogenannte Regionen von Interesse (ROI-„region of interest“) in dem Umgebungsbereich ab. Die Verteilung kann beispielsweise durch Unterteilen des Umgebungsbereichs, z. B. einer Bodenoberfläche bzw. Fahrbahnoberfläche, in Teilbereiche und Bestimmen eines Maßes für jeden Teilbereich bestimmt werden. Das Maß beschreibt dabei ein Verhältnis zwischen Anzahlen von Bildelementen der Rohbilder und des Ausgangsbildes, die für die Darstellung des jeweiligen Teilbereichs im Ausgangsbild verwendeten werden. Anders ausgedrückt wird der Umgebungsbereich unterteilt, ein bestimmter Teilbereich in dem Umgebungsbereich wird ausgewählt und die Punktdichten werden bestimmt. Es wird also bestimmt, wie viele Pixel dieser bestimmte Teilbereich in den Rohbildern bzw. Ausgangsbildern belegt. Die Punktdichtekarte ist also eine Metrik, um das Pixelverhältnis von den Rohbildern zu den kombinierten Ausgangsbildern zu messen. Einerseits gibt die Punktdichtekarte Aufschluss über eine bildregionsabhängige Schwere von Störsignalen, beispielsweise künstlichen Flackereffekten bzw. Aliasing-Artefakten, in dem Ausgangsbild. Andererseits gibt die Punktdichtekarte Aufschluss über ein Ausmaß bzw. eine Größe einer bildregionsabhängigen Unterabtastung (Subsampling) oder Abtastratenerhöhung (Upsampling).
-
Aufgrund der Punktdichtekarten können Bildregionen identifiziert werden, welche einem signifikanten Ausmaß an Aufwärtsabtastung unterzogen werden und somit in das Ausgangsbild eine Unschärfe einführen. Zum Bestimmen der jeweiligen Punktdichtekarte können die bestimmten Punktdichten anhand ihrer Größe zu zumindest zwei Dichtezonen gruppiert werden. Mit anderen Worten können die Punktdichten, welche einen bestimmten, innerhalb eines vorbestimmten Wertebereiches liegenden Wert aufweisen, zu einer Dichtezone gruppiert werden. Dabei kann vorgesehen sein, dass insbesondere mehr als fünf Dichtezonen bzw. Pixeldichtecluster bestimmt werden. Jeder Dichtezone ist also ein korrespondierendes Anzahlverhältnis an Bildelementen bzw. ein korrespondierendes Subsampling-Verhältnis zugeordnet. Die Pixeldichtekarten können beispielsweise in Abhängigkeit von einer Position der Kamera am Kraftfahrzeug bestimmt werden. Je näher sich ein Teilbereich des Umgebungsbereiches nämlich an der Kamera befindet, desto größer ist der Wert der Pixeldichte in der zugehörigen Bildregion. Dabei weisen die Bildregionen, welchen eine niedrigere Punktdichte zugeordnet ist, üblicherweise eine stärkere räumliche Unschärfe auf. Durch die Unterteilung der Pixeldichtekarten in die Dichtezonen können diejenigen Bildregionen mit großen Störsignalen besonders einfach und schnell identifiziert und entsprechend gefiltert werden.
-
Außerdem werden die zueinander korrespondierenden Bildbereiche in den Rohbildern bestimmt, welche jeweils den gleichen Bildinhalt aufweisen. Anders ausgedrückt zeigen die zueinander korrespondierenden Bildbereiche denselben Teilbereich des Umgebungsbereiches, sind aber von unterschiedlichen Kameras aufgenommen worden. Die Kameras sind insbesondere Weitwinkelkameras und weisen Weitwinkelobjektive, beispielsweise Fischaugenobjektive, auf. Dadurch können sich die Erfassungsbereiche zweier benachbarter Kameras bereichsweise überlappen, sodass die Kameras bereichsweise denselben Teilbereich des Umgebungsbereiches erfassen. Diese zueinander korrespondierenden Bildbereiche zweier Rohbilder überlappen sich beim Kombinieren der rückabgebildeten Rohbilder zu dem Ausgangsbild und werden somit beide bei der Erzeugung des Ausgangsbildes berücksichtigt. Die zueinander korrespondierenden Bildbereiche sind also Überlappungsbereiche. Dabei kann es vorkommen, dass die Bildbereiche unterschiedliche Schärfen aufweisen. Dies kann daraus resultieren, dass der Teilbereich, welcher von zwei benachbarten Kameras erfasst wird, unterschiedliche Abstände zu den Kameras aufweist. Aufgrund dieser überlappenden Bildbereiche mit unterschiedlicher Schärfe würde das resultierende Ausgangsbild in dem resultierenden Ausgangsbildbereich Störeffekte in Form von einer merklichen Schärfediskrepanz und einen nicht harmonischer Schärfeübergang zu einem benachbarten Ausgangsbildbereich aufweisen. Dadurch verschlechtert sich die Bildqualität des Ausgangsbildes.
-
Um dies zu verhindern, werden die jeweiligen Rohbilder basierend auf der zugehörigen Punktdichtekarte sowie basierend auf der Punktdichtekarte des jeweils anderen, benachbarten Rohbildes räumlich adaptiv gefiltert. Aufgrund der Punktdichtewerte innerhalb der Punktdichtekarte können diejenigen Bildregionen mit hoher Unschärfe besonders einfach und schnell identifiziert und entsprechend gefiltert werden. Insbesondere können diese Bildregionen über die Punktdichtekarten identifiziert werden, bei welchen es keine Unterabtastung gibt. Nur in Bildregionen ohne Unterabtastung oder mit nur Aufwärtsabtastung wird erwartet, dass aufgrund der Rückabbildung, d.h. einer perspektivischen Projektion, zusätzliche Unschärfe in das Ausgangsbild eingeführt wird. In diesen Bildregionen kann eine Schärfung durchgeführt werden, wobei dann die Punktdichtewerte der zugeordneten Kamera und ihrer benachbarten Kamera verwendet werden, um das Ausmaß an Filterung, Verstärkung oder Trübung zu definieren. Dadurch können unterschiedliche Schärfen der Bildbereiche aneinander angeglichen werden und Schärfeunterschiede reduziert werden.
-
Zusammenfassend werden die jeweiligen Rohbilder basierend auf den zugehörigen und benachbarten Punktdichtekarten räumlich adaptiv gefiltert. Die Punktdichtekarten können das anzuwendende räumlich adaptive Filter führen. Die räumlich adaptive Filterung kann als räumlicher Glättungs- bzw. Trübungsvorgang und als Schärfungs- oder Verstärkungsvorgang (Peakingvorgang) in Abhängigkeit von der kameraspezifischen Punktdichtekarte sowie der Punktdichtekarte der benachbarten Kamera, welche die gleichen überlappenden Bildbereiche teilen, fungieren. Insbesondere können eine räumliche Tiefpassfilterung zur Verringerung von Störsignalen und eine Peakingstärke räumlich adaptiv an die Punktdichtekarten ausgebildet werden, wobei die Filterung in beiden Fällen räumlich adaptiv ist. Durch die räumlich adaptive Filterung der Rohbilder auf Basis der Punktdichtekarten der zugehörigen Kamera und der benachbarten Kamera können verschwommene Bildbereiche geschärft werden, beispielsweise durch Gradientenverstärkung (Gradientenpeaking). Darüber hinaus kann gegebenenfalls ein überlappender Bildbereich in einem Rohbild räumlich geglättet werden, falls der entsprechende überlappende Bildbereich im anderen Rohbild nicht ausreichend geschärft werden kann.
-
Die gefilterten Rohbilder werden dann auf die zu der Zielansicht korrespondierende Bildoberfläche oder Zielfläche rückabgebildet. Zum Rückabbilden der Rohbilder werden eine geometrische Transformation der Rohbilder und eine Interpolation der Rohbildpixel durchgeführt. Diese rückabgebildeten gefilterten Rohbilder werden dann zum Erzeugen des Ausgangsbildes zusammengefügt. Da die vorbestimmte Zielperspektive insbesondere eine Dritte-Person-Perspektive ist, welche das Kraftfahrzeug sowie den Umgebungsbereich um das Kraftfahrzeug herum aus Sicht eines fahrzeugexternen Beobachters zeigt, und das Kraftfahrzeug selbst nicht durch die fahrzeugseitigen Kameras erfasst werden kann, wird zum Erzeugen des Ausgangsbildes ein Modell des Kraftfahrzeugs eingefügt.
-
Durch das Berücksichtigen der Punktdichtekarten benachbarter Kameras kann ein harmonischer Schärfeverlauf in dem resultierenden Ausgangsbild erreicht werden und somit ein qualitativ hochwertiges Ausgangsbild erzeugt werden, welches arm an störenden Übergängen von Schärfe und Unschärfe innerhalb von Bildinhalten, welche denselben Teilbereich in dem Umgebungsbereich zeigen, und welches dem Fahrer des Kraftfahrzeugs auf der Anzeigeeinrichtung angezeigt werden kann.
-
Vorzugsweise wird für jede Kamera jeweils eine horizontale und jeweils eine vertikale Punktdichtekarte zum Angeben von jeweiligen, zu filternden Bildregionen der Rohbilder bestimmt. Dies bedeutet, dass die Rohbilder einer Kamera mit der horizontalen Punktdichtekarte und der vertikalen Punktdichtekarte der zugehörigen Kamera räumlich adaptiv gefiltert werden. Außerdem werden die korrespondierenden Bildbereiche der Rohbilder mit den horizontalen und vertikalen Punktdichtekarten der benachbarten Kamera räumlich adaptiv gefiltert.
-
In einer besonders bevorzugten Ausführungsform der Erfindung wird für jede Kamera eine kameraspezifische Schärfemaske in Abhängigkeit von der für die zugeordnete Kamera spezifischen Punktdichtekarte sowie in Abhängigkeit von der für die jeweils andere Kamera spezifischen Punktdichtekarte definiert, wobei die Rohbilder in Abhängigkeit von der jeweiligen Schärfemaske der das jeweilige Rohbild erfassenden Kamera räumlich adaptiv gefiltert werden. Es kann vorgesehen sein, dass für jede Kamera jeweils eine horizontale und eine vertikale Schärfemaske bestimmt werden. Die horizontalen Schärfemasken können in Abhängigkeit von den horizontalen Punktdichtekarten bestimmt werden, die spezifisch für die zugehörige und spezifisch für die jeweilige andere Kamera sind. Die vertikalen Schärfemasken können in Abhängigkeit von den vertikalen Pixeldichtekarten bestimmt werden, die spezifisch für die zugehörige und spezifisch für die jeweilige andere Kamera sind.
-
Insbesondere werden die kameraspezifischen Schärfemasken zusätzlich in Abhängigkeit von zumindest einer Kameraeigenschaft der zugehörigen Kamera bestimmt. Vorzugsweise wird als die zumindest eine Kameraeigenschaft eine Linseneigenschaft der jeweiligen Kamera und/oder zumindest ein extrinsischer Kameraparameter der jeweiligen Kamera und/oder zumindest ein intrinsischer Kameraparameter der jeweiligen Kamera vorgegeben. Die zumindest eine Kameraeigenschaft kann auch Voreinstellungen der Kamera beinhalten, durch die die Kamera bereits bestimmte, kamerainterne Bildverarbeitungsschritte ausführt.
-
Mit anderen Worten wird die jeweilige Schärfemaske für eine spezifische Kamera basierend auf der Punktdichtekarte der spezifischen Kamera, der Punktdichtekarte der benachbarten Kamera, und der zumindest einen Kameraeigenschaft der spezifischen Kamera bestimmt. Zur Bestimmung der kameraspezifischen Schärfemasken können für jedes Rohbild die Punktdichtekarten, insbesondere die vertikalen und horizontalen Pixeldichtekarten, zunächst in den überlappenden Bereichen auf der Basis der benachbarten Kamerapunktdichtekarten modifiziert werden. Danach wird die erhaltene modifizierte Punktdichtekarte dann mit einem Kameraabbildungsmodell kombiniert, das die zumindest eine Kameraeigenschaft beinhaltet, beispielsweise Optiken und spezifische Kameravoreinstellungen, die die Kamerabildschärfe und die räumliche Diskontinuität in der Schärfe beeinflussen könnten. Die Schärfemasken sind zweidimensionale Masken, durch welche ein von Bildregion zu Bildregion variierendes Ausmaß der durchzuführenden Schärfung vorgegeben wird. Dabei ist insbesondere jedem Element in der Schärfemaske ein Bildpunkt zugeordnet, wobei das Element in der Schärfemaske angibt, in welchem Ausmaß der zugehörige Bildpunkt gefiltert wird. Mittels der Schärfemasken können Kameraeigenschaften, welche die Qualität des Ausgangsbildes beeinflussen, berücksichtigen werden, welche durch die Punktdichtekarte allein nicht abgebildet werden können.
-
Besonders bevorzugt wird für jede Kamera ein kameraspezifisches, räumlich adaptives Filterschema zum räumlichen adaptiven Filtern des jeweiligen Rohbildes in Abhängigkeit von der zugehörigen kameraspezifischen Schärfemaske bestimmt. Es wird also ein kameraspezifisches Filterschema bestimmt, welches abhängig ist von der kameraspezifischen Punktdichtekarte, der Punktdichterkarte der benachbarten Kamera(s) sowie der kamerabezogenen Eigenschaften, also von der kameraspezifischen Schärfemaske. Auf diese Weise können qualitativ hochwertige Ausgangsbilder erzeugt werden.
-
In einer Weiterbildung der Erfindung wird zum räumlich adaptiven Filtern der korrespondierenden Bildbereiche in den zumindest zwei, sich bereichsweise überlappenden Rohbildern ein Bildinhalt des Bildbereiches in einem ersten der Rohbilder mittels des Filterschemas, welches für die das erste Rohbild erfassende Kamera spezifisch ist, geschärft und ein Bildinhalt des korrespondierenden Bildbereiches in einem zweiten der Rohbilder mittels des Filterschemas, welches für die das zweite Rohbild erfassende Kamera spezifisch ist, getrübt oder nicht gefiltert. Insbesondere wird basierend auf den kameraspezifischen Schärfemasken dasjenige Rohbild als das erste, zu schärfende Rohbild identifiziert, dessen Bildbereich eine im Vergleich zum Bildbereich des anderen, zweiten Rohbildes geringere Schärfe aufweist. Dieser Weiterbildung liegt die Erkenntnis zugrunde, dass die Bildbereiche eine gewisse Schärfediskrepanz aufweisen, je nachdem wie weit der zugehörige Teilbereich des Umgebungsbereiches von der Kamera entfernt liegt. Um nun zu verhindern, dass durch diese Schärfediskrepanz eine Bildqualität des resultierenden Ausgangsbildbereiches herabgesetzt wird, wird diese Schärfediskrepanz vor der Erzeugung des Ausgangsbildes reduziert. Anders ausgedrückt werden die Schärfen der Bildbereiche der unterschiedlichen Rohbilder harmonisiert. Dazu kann zunächst eine Schärfe der jeweiligen Bildbereiche mit dem gleichen Bildinhalt, also eine Schärfe der Überlappungsbereiche, bestimmt werden. Dabei wird der Bildbereich in dem einen Rohbild, in welchem der Bildbereich eine niedrige erste Schärfe aufweist, geschärft und in dem anderen Rohbild, in welchem der Bildbereich eine im Vergleich zur ersten Schärfe höhere zweite Schärfe aufweist, getrübt oder überhaupt nicht gefiltert. Die Bestimmung der Filterschemata und damit die Bestimmung eines Grads der Schärfeanpassung erfolgt dabei insbesondere in Abhängigkeit von der Schärfediskrepanz, welche anhand der kameraspezifischen Schärfemasken bestimmt werden kann.
-
Es erweist sich als vorteilhaft, wenn das kameraspezifische, räumlich adaptive Filterschema basierend auf einem Multiskalen- und Multiorientierungs-Gradientenansatz bestimmt wird. Dabei kann vorgesehen sein, dass die Filterart und die Filterstärke für die Filterschemata zum Filtern der einander entsprechenden Bildbereiche für jeden Bildpunkt im jeweiligen Bildbereich separat bestimmt werden. Unter Verwendung eines Multiskalen-Gradientenansatzes können in dem zu schärfenden Bildbereich der Rohbilder können die Gradienten können verstärkt (gepeaked) werden und in dem zu trübenden Bildbereich können die Gradienten geglättet werden. Dabei wird das Filterschema für jede Pixelposition, entsprechende Gradientengröße und jedes Kamerabild innerhalb des Überlappungsbereichs bestimmt, um den optimalen Grad der Schärfeanpassung in den Überlappungsbereichen zu erreichen.
-
In einer Weiterbildung der Erfindung wird das räumlich adaptive Filterschema basierend auf einer nicht-dezimierten Wavelet-Transformation bestimmt, wobei Wavelet-Koeffizienten adaptiv basierend auf der kameraspezifischen Schärfemaske modifiziert werden. Insbesondere werden die Wavelet-Koeffizienten adaptiv basierend auf einer Transfer-Tone-Mapping-Funktion modifiziert, welche basierend auf der kameraspezifischen Schärfemaske angewendet wird. Es wird also eine Wavelet-basierte Filterung der Rohbilder durchgeführt. Im einfachsten Fall kann die Ton-Mapping-Funktion oder -Kurve eine feste Form haben und wird auf der Grundlage der Schärfe-Masken angewendet. Vorteilhafterweise ist die Tone-Mapping-Kurve für jedes Wavelet-Band unterschiedlich ausgebildet und kann auf der Grundlage der entsprechenden Schärfemaske umgeformt werden.
-
Innerhalb des auf der Wavelet-Transformation basierenden Multiskalenansatzes wird das Rohbild insbesondere zunächst in Multiskalendarstellungen zerlegt, wobei in jeder Auflösungsstufe das Rohbild in verschiedenen Gradientenorientierungsbänder weiter zerlegt wird. Die Wavelet-Koeffizienten werden adaptiv basierend auf der Transfer-Tone-Mapping-Funktion bzw. Dynamikkompressionsfunktion bestimmt, welcher wiederum in Abhängigkeit von der kameraspezifischen Schärfemaske angepasst wird. Schließlich wird nach dem Anwenden der Tone-Mapping-Funktion auf Wavelet-Koeffizienten die inverse Wavelet-Transformation angewendet, um das gefilterte Rohbild zu erhalten, auf dessen Grundlage ein Teil der Zielansicht erzeugt werden kann.
-
Es erweist sich als vorteilhaft, wenn zum Bestimmen des kameraspezifischen, räumlich adaptiven Filterschemas zumindest zwei kameraspezifische Schärfemasken für zumindest zwei Wavelet-Bänder der Wavelet-Transformation in Abhängigkeit von der für die zugeordnete Kamera spezifischen Punktdichtekarte und in Abhängigkeit von der für die jeweils andere Kamera spezifischen Punktdichtekarte definiert werden. Beispielsweise können horizontale Schärfemasken auf der Basis von horizontalen Punktdichtekarten bestimmt werden, die für horizontal orientierte Wavelet-Bänder verwendet werden können, und vertikale Schärfemasken können basierend auf vertikalen Punktdichtekarten bestimmt werden, die für vertikal orientierte Wavelet-Bänder verwendet werden können.
-
In einer Ausführungsform der Erfindung wird die zumindest eine Schärfemaske mit räumlich benachbarten Bereichsstatistiken in Wavelet-Bändern kombiniert. Die Statistik betrifft die Korrelation der Wavelet-Koeffizienten in räumlich benachbarten Bereichen in jedem Wavelet-Band separat. Zusätzlich kann eine Zwischenskalen-Korrelation der Wavelet-Koeffizienten innerhalb derselben Orientierung zur Bestimmung eines Einflusskegels verwendet werden. Dieser Einflusskegel gibt Auskunft darüber, wie sich die Wavelet-Koeffizienten in jeder Orientierung durch die Skalierung entwickeln. Beispielsweise wird eine räumliche Nachbarposition im Rohkamerabild als signifikant angesehen, wenn sich die Progression der entsprechenden Wavelet-Koeffizienten innerhalb dieser Nachbarschaft durch viele Auflösungsskalen ausbreitet. Somit kann die Progression entweder für die Schätzung einer absoluten Schärfe oder für die Schätzung eines Ortes verwendet werden, an dem die Schärfeverstärkung einen größtmöglichen Unterschied in Bezug auf die visuelle Qualität macht. Auf je mehr Skalen sich die Wavelet-Koeffizienten erstrecken, desto wichtiger ist er. Dann erweist es sich als vorteilhaft, wenn die Schärfemaske in vollem Umfang angewendet wird oder die höchsten Schärfeparameter verwendet werden. Umgekehrt entspricht eine kleine Progression einem Bereich, der ein Rauschen umfasst, das nicht verstärkt werden sollte. Diese räumlich benachbarten Bereichsstatistiken kombiniert mit Schärfemasken ermöglichen ein höheres Maß an Anpassungsfähigkeit der angewandten Schärfemaske an räumlich lokale Wavelet-Koeffizienten-Nachbarschaften und liefern so ein genaues Wavelet-Verarbeitungsschema. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug aufweisend zumindest zwei Kameras zum Erfassen von Rohbildern aus einem Umgebungsbereich des Kraftfahrzeugs und eine Bildverarbeitungseinrichtung, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine Ausführungsform davon durchzuführen. Das Kamerasystem ist insbesondere als ein Rundumsichtkamerasystem ausgebildet, welches eine Frontkamera zum Erfassen des Umgebungsbereiches vor dem Kraftfahrzeug, eine Heckkamera zum Erfassen des Umgebungsbereiches hinter dem Kraftfahrzeug und zwei Seitenspiegelkameras zum Erfassen des Umgebungsbereiches neben dem Kraftfahrzeug aufweist. Die Bildverarbeitungseinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein und ist dazu ausgebildet, das Ausgangsbild basierend auf den Rohbildern bzw. Eingangsbildern des Rundumsichtkamerasystems zu generieren.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Die Kameras sind dabei insbesondere verteilt am Kraftfahrzeug angeordnet, sodass der Umgebungsbereich rund um das Kraftfahrzeug überwacht werden kann. Außerdem kann das Kraftfahrzeug eine Anzeigeeinrichtung zum Anzeigen des Ausgangsbildes aufweisen, welche beispielsweise in einer Fahrgastzelle des Kraftfahrzeugs angeordnet ist.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Mit Angaben von „vor“, „hinter“, „neben“, „über“, „links“, „rechts“, „seitlich“, usw. sind die bei einem vor dem Kraftfahrzeug stehenden und in einer Richtung einer Längsachse des Kraftfahrzeugs blickenden Beobachter gegebenen Positionen und Orientierungen angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs;
- 2a bis 2d schematische Darstellungen von vier Rohbildern, welche von vier Kameras des Kraftfahrzeugs aus einem Umgebungsbereich des Kraftfahrzeugs erfasst wurden,
- 3a eine schematische Darstellung von rückabgebildeten Rohbildern aus einem Umgebungsbereich des Kraftfahrzeugs;
- 3b eine schematische Darstellung eines aus den rückabgebildeten Rohbildern erzeugten Draufsichtbildes;
- 4 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Verfahrensablaufes;
- 5a, 5b schematische Darstellungen von horizontalen und vertikalen Punktdichtekarten von Seitenspiegelkameras des Kraftfahrzeugs; und 6 eine schematische Darstellung eines Rohbildes einer Seitenspiegelkamera.
-
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1, welches im vorliegenden Fall als ein Personenkraftwagen ausgebildet ist. Das Kraftfahrzeug 1 weist hier ein Fahrerassistenzsystem 2 auf, welches einen Fahrer des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1 unterstützen kann. Das Fahrerassistenzsystem 2 weist ein Rundumsichtkamerasystem 3 zum Überwachen eines Umgebungsbereichs 4a, 4b, 4c, 4d des Kraftfahrzeugs 1 auf. Vorliegend umfasst das Kamerasystem 3 vier am Kraftfahrzeug 1 angeordnete Kameras 5a, 5b, 5c, 5d. Eine erste Kamera 5a ist als eine Frontkamera ausgebildet und in einem Frontbereich 6 des Kraftfahrzeugs 1 angeordnet. Die Frontkamera 5a ist dazu ausgelegt, erste Rohbilder RC1 (siehe 2a) aus dem Umgebungsbereich 4a vor dem Kraftfahrzeug 1 zu erfassen. Eine zweite Kamera 5b ist als eine rechte Seitenspiegelkamera ausgebildet und an einem oder anstelle eines rechten Seitenspiegels 7 am Kraftfahrzeug 1 angeordnet. Die rechte Seitenspiegelkamera 5b ist dazu ausgelegt, zweite Rohbilder RC2 (siehe 2b) aus dem Umgebungsbereich 4b rechts neben dem Kraftfahrzeug 1 zu erfassen. Eine dritte Kamera 5c ist als eine Heckkamera ausgebildet und in einem Heckbereich 8 des Kraftfahrzeugs 1 angeordnet. Die Heckkamera 5c ist dazu ausgelegt, dritte Rohbilder RC3 (siehe 2c) aus dem Umgebungsbereich 4c hinter dem Kraftfahrzeug 1 zu erfassen. Eine vierte Kamera 5d ist als eine linke Seitenspiegelkamera ausgebildet und an einem oder anstelle eines linken Seitenspiegels 9 am Kraftfahrzeug 1 angeordnet. Die linke Seitenspiegelkamera 5d ist dazu ausgelegt, vierte Rohbilder RC4 (siehe 2d, 6) aus dem Umgebungsbereich 4d links neben dem Kraftfahrzeug 1 zu erfassen. Die in 2a, 2b, 2c, 2d gezeigten Rohbilder RC1, RC2, RC3, RC4 sind dabei auf eine Zieloberfläche S, beispielsweise eine zweidimensionale Ebene, projiziert bzw. rückabgebildet, um rückabgebildete Rohbilder R1, R2, R3, R4, wie in 3a gezeigt, zu erzeugen.
-
Außerdem weist das Kamerasystem 3 eine Bildverarbeitungseinrichtung 10 auf, welche dazu ausgelegt ist, die Rohbilder RC1, RC2, RC3, RC4 zu verarbeiten und aus den Rohbildern RC1, RC2, RC3, RC4 ein Ausgangsbild durch Kombinieren der rückabgebildeten Rohbilder R1, R2, R3, R4 zu erzeugen. Das Ausgangsbild stellt das Kraftfahrzeug 1 und den Umgebungsbereich 4 rund um das Kraftfahrzeug 1 in einer vorbestimmten Zielansicht dar. Eine solche Zielansicht kann eine Draufsicht sein, sodass als das Ausgangsbild ein Draufsichtbild erzeugt werden kann, welches das Kraftfahrzeug 1 sowie den Umgebungsbereich 4 aus Sicht eines Beobachters bzw. einer virtuellen Kamera über dem Kraftfahrzeug 1 zeigt. Dieses Ausgangsbild kann auf einer fahrzeugseitigen Anzeigeeinrichtung 11 angezeigt werden. Das Kamerasystem 3 und die Anzeigeeinrichtung 11 bilden hier also ein Fahrerassistenzsystem 2 in Form von einem Kamera-Monitor-System aus, welches den Fahrer durch Anzeigen des Umgebungsbereiches 4 des Kraftfahrzeugs 1 in einer beliebigen, beispielsweise von dem Fahrer frei wählbaren, Zielansicht auf der Anzeigeeinrichtung 11 unterstützt.
-
Die Rohbilder RC1, RC2, RC3, RC4 sowie die rückabgebildeten Rohbilder R1, R2, R3, R4 zweier benachbarter Kameras 5a, 5b, 5c, 5d weisen dabei zueinander korrespondierende Bildbereiche B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b auf. Beispielsweise befindet sich der Bildbereich B1a in dem ersten rückabgebildeten Rohbild R1, welches von der Frontkamera 5a erfasst wurde. Der zu dem Bildbereich B1a korrespondierende Bildbereich B1b befindet sich in dem zweiten rückabgebildeten Rohbild R2, welches von der rechten Seitenspiegelkamera 5b erfasst wurde. Der Bildbereich B2a befindet sich in dem zweiten Rohbild R2, welches von der rechten Seitenspiegelkamera 5b erfasst wurde und der dazu korrespondierende Bildbereich B2b befindet sich in dem dritten rückabgebildeten Rohbild R3, welches von der Heckkamera 5c erfasst wurde, usw. Die zueinander korrespondierende Bildbereiche B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b weisen jeweils den gleichen Bildinhalt auf. Dies bedeutet, dass die zueinander korrespondierenden Bildbereiche B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b den gleichen Teilbereich des Umgebungsbereiches 4 darstellen. Dies resultiert aus zumindest bereichsweise überlappenden Erfassungsbereichen zweier benachbarter Kameras 5a, 5b, 5c, 5d.
-
Insbesondere in den Rohbildern RC2, RC4 sowie in den rückabgebildeten Rohbildern R2, R4 der Seitenspiegelkameras 5b, 5d sind die Bildbereiche B1b, B2a, B3b, B4a unscharf, da der Bildinhalt dieser Bildbereiche B1b, B2a, B3b, B4a hier aus einem Randbereich der Erfassungsbereiche der Kameras 5b, 5d stammt und durch Weitwinkelobjektive der Kameras 5b, 5d verzerrt ist. Werden diese unscharfen Bildbereiche B1b, B2a, B3b, B4a nun mit den korrespondierenden, jedoch deutlich schärferen Bildbereichen B1a, B2b, B3a, B4b zum Erzeugen des Ausgangsbildes kombiniert, so ergeben sich deutlich sichtbare Schärfediskrepanzen und sprunghafte Schärfeübergänge in dem erzeugten Ausgangsbild. In 3b ist beispielhaft ein Ausgangsbild in Form von einem Draufsichtbild T gezeigt. Das Draufsichtbild T wird aus den rückabgebildeten Rohbildern R1, R2, R3, R4 erzeugt, wobei ein Modell 1' des Kraftfahrzeugs 1 eingefügt wird, da das Kraftfahrzeug 1 selbst nicht durch die Kameras 5a, 5b, 5c, 5d erfasst werden kann. Das Draufsichtbild T weist aufgrund der Kombination der unterschiedlich scharfen korrespondierenden Bildbereiche B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b jeweilige einen eine Schärfediskrepanz aufweisende Ausgangsbildbereiche A1, A2, A3, A4 auf. Das in 3b gezeigte Draufsichtbild T weist also eine herabgesetzte Bildqualität in Form von dem merklichen Schärfeübergang innerhalb des Draufsichtbildes T auf.
-
Um diesen deutlich sichtbaren Schärfeübergang zumindest abzuschwächen und damit eine Bildqualität der Ausgangsbilder zu erhöhen, ist die Bildverarbeitungseinrichtung 10 des Kamerasystems 3 dazu ausgebildet, ein Verfahren durchzuführen, welches schematisch anhand eines Ablaufdiagramms 12 in 4 gezeigt ist. Durch das Verfahren kann eine Schärfeharmonisierung in dem resultierenden Ausgangsbild erreicht werden, indem die auf die Zieloberfläche S zu projizierenden Rohbilder RC1, RC2, RC3, RC4 räumlich adaptiv gefiltert und die projizierten gefilterten Rohbilder R1, R2, R3, R4 zu dem Ausgangsbild interpoliert werden.
-
Dazu wird hier in einem ersten Schritt 13 für jede Kamera 5a bis 5d eine kameraspezifische Punktdichtekarte vorgegeben. Die jeweilige kameraspezifische Punktdichtekarte repräsentiert ein Verhältnis eines Abstands zwischen zwei benachbarten Bildpunktpositionen in den Rohbildern RC1, RC2, RC3, RC4 oder den entsprechenden rückabgebildeten Rohbild R1, R2, R3, R4, welche in dem Ausgangsbild mit der Zielansicht verwendet werden sollen. Da in der Zielsicht der Abstand einen bestimmten Referenzwert aufweist, wird die Pixeldichteabbildung auf der Grundlage der Distanz der entsprechenden benachbarten Bildpunkte in dem Rohbild RC1, RC2, RC3, RC4 berechnet, die zur Erzeugung eines Bildpunktes in dem Ausgangsbild mit der Zielansicht an einer bestimmten Position verwendet werden. In Abhängigkeit von dem Referenzwert entspricht dies einer räumlich variablen Unterabtastung (Subsampling) oder ein Abtastratenerhöhung (Upsampling). Im Falle einer horizontalen Punktdichte ist der Abstand ein horizontaler Nachbarabstand in horizontaler Richtung, und im Falle einer vertikalen Punktdichte ist der Abstand ein vertikaler Nachbarabstand in vertikaler Richtung. Mittels der Punktdichtekarten können Positionen von jeweiligen Bildregionen bzw. Regionen von Interesse (ROI) der Rohbilder R1 bis R4 angegeben werden, auf welche ein Filter angewendet werden soll sowie ein Ausmaß des Filters, das auf diese Bildregionen angewendet werden soll.
-
Dabei wird insbesondere für jede Kamera 5a bis 5d jeweils eine horizontale Punktdichtekarte und jeweils eine vertikale Punktdichtekarte als die Punktdichtekarte bestimmt. In 5a sind horizontale Punktdichtekarten PDM1a, PDM2a für eine räumlich adaptive Filterung in horizontaler Bildrichtung gezeigt, wobei eine erste horizontale Punktdichtekarte PDM1a der linken Seitenspiegelkamera 5d und eine zweite horizontale Punktdichtekarte PDM2a der rechten Seitenspiegelkamera 5b zugeordnet ist. In 5b sind vertikale Punktdichtekarten PDM1b, PDM2b für eine räumlich adaptive Filterung in vertikaler Bildrichtung gezeigt, wobei eine erste vertikale Punktdichtekarte PDM1b der linken Seitenspiegelkamera 5d und eine zweite vertikale Punktdichtekarte PDM2b der rechten Seitenspiegelkamera 5b zugeordnet ist. Die Punktdichtekarten für die Frontkamera 5a und die Heckkamera 5b sind der Übersichtlichkeit halber hier nicht dargestellt.
-
Hier sind in der jeweiligen Punktdichtekarte PDM1a, PDM2a, PDM1b, PDM2b die Punktdichten in Abhängigkeit von einer Größe ihrer Werte in Dichtezonen Z1, Z2, Z3, Z4, Z5 gruppiert bzw. geclustert. Jeder Dichtezone Z1, Z2, Z3, Z4, Z5 sind also bestimmte korrespondierende Anzahlverhältnisse an Bildelementen bzw. korrespondierende Subsampling-Verhältnisse, zugeordnet. Dabei sind in der ersten Dichtezone Z1 Punktdichten mit den höchsten Werten gruppiert, wobei die Dichtewerte graduell in Richtung der fünften Dichtezone Z5 abnehmen. In der fünften Dichtezone Z5 sind also Punktdichten mit den niedrigsten Werten gruppiert. Durch die Dichtezonen Z1, Z2, Z3, Z4, Z5 kann eine Schwere von Störeffekten, sogenannten Aliasing- Artefakten, in den Rohbildern RC1, RC2, RC3, RC4 bildregionsabhängig angegeben werden, welche beispielsweise aufgrund des hohen Grades einer Texturunterabtastung, beispielsweise bei einer kiesbehafteten Fahrbahnoberfläche, in den Rohbildern RC1, RC2, RC3, RC4 auftreten können. Je höher dabei eine Punktdichte, desto schwerer sind die Störeffekte in den zu den Dichtezonen Z1, Z2, Z3, Z4, Z5 gehörigen Bildregionen in den Rohbildern RC1, RC2, RC3, RC4.
-
Um außerdem das Problem der Schärfediskrepanz in dem Ausgangsbild aufgrund der unterschiedlich scharfen korrespondierenden Überlappungsbereiche bzw. Bildbereiche B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b zu beheben, werden in einem zweiten Schritt 14 die zueinander korrespondierenden Bildbereiche B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b identifiziert. In einem dritten Schritt 15 werden für jede Kamera 5a, 5b, 5c, 5d kameraspezifische Schärfemasken bestimmt. Die Schärfemasken werden in Abhängigkeit von der jeweiligen kameraspezifischen Punktdichtekarte, von welchen hier lediglich die Punktdichtekarten PDM1a, PDM2a, PDM1b, PDM2b gezeigt sind, sowie von den Punktdichtekarten der benachbarten Kameras 5a, 5b, 5c, 5d bestimmt. Beispielsweise wird die Schärfemaske, insbesondere eine horizontale und eine vertikale Schärfemaske, der Frontkamera 5a basierend auf der Punktdichtekarte der Frontkamera 5a, der Punktdichtekarte PDM2a, PDM2b der rechten Seitenspiegelkamera 5b und der Punktdichtekarte PDM1a, PDM1b der linken Seitenspiegelkamera 5d bestimmt. Die Schärfemaske, insbesondere eine horizontale und eine vertikale Schärfemaske, der rechten Seitenspiegelkamera 5b wird basierend auf der Punktdichtekarte PDM2a, PDM2b der rechten Seitenspiegelkamera 5b, der Punktdichtekarte der Frontkamera 5a und der Punktdichtekarte der Heckkamera 5c bestimmt, etc. Darüber hinaus werden die kameraspezifischen Schärfemasken basierend auf zumindest einer Kameraeigenschaft, beispielsweise einem Kameralinsenmodell, einem Bildsensor der Kamera 5a, 5b, 5c, 5d, Kameravoreinstellungen sowie Bildpositionen der Bildregionen von Interesse bestimmt. Jedes Kamerarohbild RC1, RC2, RC3, RC4 wird also unabhängig betrachtet, indem die Kameraeigenschaften der das betreffende Rohbild RC1, RC2, RC3, RC4 erfassenden Kamera 5a, 5b, 5c, 5d anhand der kameraspezifischen Schärfemaske berücksichtigt werden. Durch die Schärfemasken können beispielsweise Deformationen in den Rohbildern RC1, RC2, RC3, RC4, welche beispielsweise durch Weitwinkelobjektive der Kameras 5a, 5b, 5c, 5d verursacht werden, pixelweise modelliert werden.
-
Anhand des Rohbildes RC4 der linken Seitenspiegelkamera 5d, welches in 6 gezeigt ist, ist visualisiert, dass das Rohbild RC4 in einer Bildmitte M am schärfsten ist und je verschwommener wird, desto weiter eine Bildregion, beispielsweise die Bildbereiche B3b, B4a, von der Bildmitte M entfernt ist. Diese Verzerrung resultiert hier beispielsweise aus dem Weitwinkelobjektiv in Form von einem Fischaugenobjektiv der linken Seitenspiegelkamera 5d. Die kameraspezifische Schärfemaske, welche eine solche Degradierung in dem Rohbild RC4 örtlich abbildet bzw. beschreibt, wird in einem vierten Schritt 16 benutzt, um einen Filtertyp und eine Filterstärke für die auf die Zielansicht projizierten Bildregionen der Rohbilder RC1, RC2, RC3, RC4 zum räumlich adaptiven Filtern zu bestimmen. Das Filterschema ist insbesondere ein räumlich adaptives Filterschema, das auf einem Multiskalen- und Multiorientierungs-Gradientenansatz basiert, wie etwa Wavelets. Insbesondere kann eine nicht dezimierte Wavelet-Transformation verwendet werden, bei welcher Wavelet-Koeffizienten adaptiv mit einer speziell ausgelegten Transfer-Tone-Mapping-Funktion modifiziert werden. Die Transfer-Tone-Mapping-Funktion kann basierend auf den kameraspezifischen Schärfemasken angepasst werden.
-
In einem fünften Schritt 17 werden die Rohbilder RC1, RC2, RC3, RC4 räumlich adaptiv basierend auf der Schärfemaske der jeweiligen Kamera 5a, 5b, 5c, 5d unter Verwendung des bestimmten Filterschemas gefiltert. Dazu wird jedes Rohbild RC1, RC2, RC3, RC4 basierend auf der Schärfemaske der zugehörigen Kamera 5a, 5b, 5c, 5d, insbesondere horizontal und vertikal, gefiltert. Das Rohbild RC1 der Frontkamera 5a wird basierend auf der Schärfemaske der Frontkamera 5a gefiltert, das Rohbild RC2 der rechten Seitenspiegelkamera 5b wird basierend auf der Schärfemaske der rechten Seitenspiegelkamera 5b gefiltert, das Rohbild RC3 der Heckkamera 5c wird basierend auf der Schärfemaske der Heckkamera 5c gefiltert und das Rohbild RC4 der linken Seitenspiegelkamera 5d wird basierend auf der Schärfemaske der rechten Seitenspiegelkamera 5d gefiltert. Die Schärfemasken fungieren dabei insbesondere als Führungsbilder, welche beispielsweise eine Filterstärke eines Filters, beispielsweise eines Tiefpassfilters oder eines Gradientenverstärkers, räumlich begrenzen können. Je höher beispielsweise der Wert der Punktdichte ist, desto höher kann eine Tiefpassfilterstärke gewählt werden, um die Störeffekte, welche beispielsweise als Flackereffekte in den Rohbildern RC1, RC2, RC3, RC4 auftreten können, zu reduzieren. Durch die Filterung, welche abhängig von der kameraspezifischen bzw. rohbildspezifischen Schärfemaske und damit von der bildregionsabhängigen Schwere der Störsignale in den Rohbildern R1, R2, R3, R4 erfolgt, kann verhindert werden, dass ein Rohbild RC1, RC2, RC3, RC4 in bestimmten Bildregionen unnötig stark oder zu schwach gefiltert wird.
-
Durch die doppelte Filterung in den korrespondierenden Bildbereichen bzw. Überlappungsbereichen B1a und B1b, B2a und B2b, B3a und B3b, B4a und B4b können weichere Schärfeübergänge von einem Rohbild RC1, RC2, RC3, RC4 zu einem anderen Rohbild R1, R2, R3, R4 innerhalb des Ausgangsbildes erreicht werden. Dabei kann eine reduzierte Filterstärke für Bildbereiche B1b, B2a, B3b, B4a derjenigen Rohbilder RC2, RC4 reduziert werden, in welchen die Bildbereiche B1b, B2a, B3b, B4a weniger scharf sind als die korrespondierenden Bildbereiche B1a, B2b, B3a, B4b der jeweils benachbarten Rohbilder RC1, RC3, mittels der jeweiligen Schärfemasken bereitgestellt werden. Beispielsweise werden die Bildbereiche B1b, B2a, B3b, B4a durch die Seitenspiegelkameras 5b, 5d erfasst und unterliegen dabei einer größeren Verzerrung als die Bildbereiche B1a, B2b, B3a, B4b, welche von der Frontkamera 5a und der Heckkamera 5c erfasst wurden. Durch das Reduzieren der Filterstärke in den verschwommenen, unscharfen Bildbereiche B1b, B2a, B3b, B4a werden diese geschärft. Dies wird auch als „Up-Sampling“ bezeichnet. Umgekehrt werden die schärferen Bildbereiche B1a, B2b, B3a, B4b getrübt, indem eine Filterstärke für diese Bildbereiche B1a, B2b, B3a, B4b erhöht wird. Dies wird auch als „Down-Sampling“ bezeichnet. Die jeweiligen Punktdichtekarten PDM1a, PDM1b, PDM2a, PDM2b dienen somit sowohl zum Schärfen bzw. „Up-Sampling“ als auch zum Trüben bzw. „Down-Sampling“. Dadurch wird verhindert, dass ein Rohbild RC1, RC2, RC3, RC4 nur einer starken oder nur einer schwachen Filterung unterzogen wird.
-
In einem sechsten Schritt 18 werden die gefilterten Rohbilder RC1, RC2, RC3, RC4 auf die Bildoberfläche S rückabgebildet, um rückabgebildete gefilterte Rohbilder R1, R2, R3, R4 zu erzeugen. In einem siebten Schritt 19 werden die rückabgebildeten gefilterten Rohbilder R1, R2, R3, R4 zu dem Ausgangsbild kombiniert, welches das Kraftfahrzeug 1 und den Umgebungsbereich 4 in der vorbestimmten Zielansicht, beispielsweise der Draufsicht, zeigt.
-
Zusammenfassend können also Pixeldichtekarten, insbesondere jeweilige vertikale und horizontale Pixeldichtekarten PDM1a, PDM1b, PDM2a, PDM2b, für jede Kamera 5a, 5b, 5c, 5d individuell bestimmt und die Pixeldichtekarten PDM1a, PDM1b, PDM2a, PDM2b in Abhängigkeit von benachbarten Pixeldichtekarten PDM1a, PDM1b, PDM2a, PDM2b angepasst werden. Basierend darauf kann eine zweidimensionale örtliche Schärfemaske für jede Kamera 5a, 5b, 5c, 5d in Abhängigkeit von Kameraeinstellungen und einer Linsenanordnung der jeweiligen Kamera 5a, 5b, 5c, 5d bestimmt werden und für jede Kamera 5a, 5b, 5c, 5d ein spezifisches Filterschema zum räumlich adaptiven Filtern in Abhängigkeit von den Punktdichtekarten PDM1a, PDM1b, PDM2a, PDM2b und den Schärfemasken bestimmt werden. Dadurch kann ein Ausgangsbild mit einem harmonischen Schärfeverlauf und damit mit einer hohen Bildqualität bestimmt werden.
