DE102011010859B4

DE102011010859B4 - Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, Kamerasystem und Kraftfahrzeug

Info

Publication number: DE102011010859B4
Application number: DE102011010859.9A
Authority: DE
Inventors: Patrick Denny
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2021-05-06
Anticipated expiration: 2031-02-11
Also published as: DE102011010859A1; EP2487651A1

Abstract

Verfahren zum Betreiben eines Kamerasystems (2) mit einer Kamera (5 bis 10) und einer Anzeigeeinrichtung (4) in einem Kraftfahrzeug (1) durch- Erfassen eines Bildes (17) einer Umgebung (11) des Kraftfahrzeugs (1) durch die Kamera (5 bis 10) und Anzeigen des Bildes (17) auf der Anzeigeeinrichtung (4),- Bestimmen einer voraussichtlichen Trajektorie (19) des Kraftfahrzeugs (1) und- Überlagern einer Bilddarstellung (18), welche die voraussichtliche Trajektorie (19) repräsentiert, mit dem Bild (17) der Umgebung (11) zu einem Gesamtbild auf der Anzeigeeinrichtung (4), gekennzeichnet durch- Bestimmen einer möglichen Abweichung einer unbekannten Ist-Position von einer bekannten Soll-Position der Kamera (5 bis 10) am Kraftfahrzeug (1) anhand einer Einbautoleranz der Kamera (5 bis 10) und- Festlegen zumindest einer Eigenschaft der Bilddarstellung (18) der Trajektorie (19) anhand der möglichen Abweichung.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems mit einer Kamera und einer Anzeigeeinrichtung in einem Kraftfahrzeug. Es wird ein Bild einer Umgebung des Kraftfahrzeugs durch die Kamera erfasst und auf der Anzeigeeinrichtung angezeigt. Eine voraussichtliche Trajektorie des Kraftfahrzeugs wird bestimmt, und eine Bilddarstellung, welche die voraussichtliche Trajektorie repräsentiert, wird mit dem Bild der Umgebung zu einem Gesamtbild auf der Anzeigeeinrichtung überlagert. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, wie auch ein Kraftfahrzeug mit einem derartigen Kam erasystem.
Kamerasysteme für Kraftfahrzeuge sind bereits Stand der Technik. In einem Kraftfahrzeug kann bekanntlich eine Vielzahl von Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Auf einer Anzeigeeinrichtung - etwa einem LCD-Display - kann dann ein Bild der Umgebung angezeigt werden. Beispielsweise kann ein Bereich der Umgebung hinter dem Kraftfahrzeug (so genanntes „Rear View“) oder aber ein Bereich der Umgebung vor dem Kraftfahrzeug („Front View“) auf der Anzeigeeinrichtung dargestellt werden. Um den Fahrer beim Führen des Kraftfahrzeugs zu unterstützen, kann auch eine voraussichtliche Trajektorie - also zukünftige Fahrbahn - des Kraftfahrzeugs ermittelt werden, nämlich mithilfe einer Recheneinrichtung. Die voraussichtliche Trajektorie kann anhand des jeweils augenblicklichen Lenkwinkels des Kraftfahrzeugs ermittelt werden. Wird nun auf der Anzeigeeinrichtung das Bild der Umgebung angezeigt, so kann dieses Bild mit einer Bilddarstellung überlagert werden, welche die ermittelte voraussichtliche Trajektorie des Kraftfahrzeugs darstellt. Mit anderen Worten kann die voraussichtliche Trajektorie auf das Bild der Umgebung projiziert werden, sodass auf der Anzeigeeinrichtung ein Gesamtbild angezeigt wird, welches eine Überlagerung des Bildes der Umgebung und der Bilddarstellung der Trajektorie darstellt. Der Fahrer kann sich dann anhand der Anzeigeeinrichtung darüber informieren, wie der momentan eingestellte Lenkwinkel die voraussichtliche Trajektorie des Kraftfahrzeugs bezüglich seiner Umgebung beeinflusst. Dies kann beispielsweise beim Durchführen von Parkvorgängen besonders hilfreich sein.
In DE 10 2005 063 445 B4 wird ein Beispiel gezeigt, wie dies als Rangierhilfe für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen verwendet wird. In EP 1 170 172 B1 wird eine Einrichtung zur Anzeige von Bildern aus einer Rückfahrkamera vorgeschlagen, bei der abgeschätzte Pfade einer Rückwärtsbewegung eingeblendet werden kann.
Die Position der Trajektorie in dem Gesamtbild ist jedoch nie hundertprozentig präzise. Durch Einbautoleranzen der Kameras am Kraftfahrzeug entstehen Abweichungen der nominalen - also berechneten - Position der angezeigten Trajektorie von einer unbekannten tatsächlichen Position, in welcher die Trajektorie idealerweise angezeigt werden sollte. Es entsteht also ein Versatz bzw. eine Fehlanpassung zwischen der angezeigten Trajektorie und dem Bild der Umgebung, also eine Fehlanpassung zwischen der Trajektorie und in der Umgebung befindlichen Objekten. Eine Abhilfe schaffen hier Kalibrierungsverfahren, welche jedoch besonders aufwändig zu implementieren sind.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung die Bilddarstellung der voraussichtlichen Trajektorie mit dem Bild der Umgebung besonders zuverlässig ohne viel Aufwand überlagert werden kann, insbesondere ohne dass aufwendige Kalibrierungsverfahren angewendet werden müssen.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des

Patentanspruchs 1 gelöst, wie auch durch ein Kamerasystem mit den Merkmalen des
Patentanspruchs 15 sowie durch ein Kraftfahrzeug mit den Merkmalen des
Patentanspruchs 16 Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung.

Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems in einem Kraftfahrzeug. Das Kamerasystem umfasst eine Kamera und eine Anzeigeeinrichtung. Die Kamera erfasst ein Bild einer Umgebung des Kraftfahrzeugs. Das Bild der Umgebung wird auf der Anzeigeeinrichtung angezeigt. Es wird eine voraussichtliche Trajektorie des Kraftfahrzeugs - beispielsweise anhand des aktuellen Lenkwinkels - bestimmt. Es wird eine Bilddarstellung, welche die voraussichtliche Trajektorie repräsentiert, mit dem Bild der Umgebung zu einem Gesamtbild auf der Anzeigeeinrichtung überlagert. Erfindungsgemäß ist vorgesehen, dass eine mögliche Abweichung einer unbekannten Ist-Position von einer bekannten Soll-Position der Kamera am Kraftfahrzeug bestimmt wird, und dass zumindest eine Eigenschaft der Bilddarstellung der Trajektorie anhand der möglichen Abweichung festgelegt wird.
Die Erfindung geht also den Weg, eine mögliche Abweichung der unbekannten Ist-Position von der bekannten Soll-Position der Kamera am Kraftfahrzeug zu bestimmen und beim Überlagern der Bilddarstellung der Trajektorie mit dem Bild der Umgebung zu berücksichtigen. Die Erfindung beruht auf der Erkenntnis, dass die Einbautoleranzen der Kamera auch einen Einfluss auf die Position der voraussichtlichen Trajektorie im Gesamtbild gegenüber dem Bild der Umgebung beeinflusst und somit die angezeigte nominale Position der Trajektorie nicht genau der tatsächlichen bzw. idealen Position entspricht. Wird nun - beispielsweise anhand einer Einbautoleranz der Kamera - die mögliche Abweichung der unbekannten Ist-Position von der bekannten, vorgegebenen Soll-Position der Kamera am Kraftfahrzeug ermittelt, so kann diese Information bei der Überlagerung der Bilddarstellung der Trajektorie mit dem Bild der Umgebung berücksichtigt werden. Die mögliche Abweichung der Ist-Position von der Soll-Position der Kamera am Kraftfahrzeug ist nämlich ein Maß für die mögliche Abweichung der Position der angezeigten Trajektorie von einer unbekannten idealen Position, in welcher die Trajektorie im Gesamtbild bei der gegebenen Ist-Position der Kamera angezeigt werden soll, bzw. ein Maß für einen möglichen Versatz bzw. Fehlanpassung zwischen der angezeigten Trajektorie und dem Bild der Umgebung. Die beiden Abweichungen - nämlich die Abweichung der Ist-Position der Kamera von der Soll-Position der Kamera einerseits und die Abweichung der Position der im Gesamtbild angezeigten Trajektorie von ihrer idealen Position im Gesamtbild bzw. der Versatz (Fehlanpassung) andererseits

- sind miteinander korreliert und hängen unmittelbar zusammen. Das Verfahren hat somit den Vorteil, dass trotz der Einbautoleranzen der Kamera die Bilddarstellung der Trajektorie mit dem Bild der Umgebung mit einer sinnvollen Präzision zu einem Gesamtbild überlagert werden kann, ohne dass eine aufwändige Kalibrierung vorgenommen werden muss. Ein weiterer Vorteil besteht darin, dass die Kamera nicht mit einer verringerten Einbautoleranz am Kraftfahrzeug montiert werden muss, was insbesondere bei Kraftfahrzeugen besonders aufwändig und kostenintensiv wäre.

Also wird zumindest eine Eigenschaft der Bilddarstellung der Trajektorie anhand der möglichen Abweichung der unbekannten Ist-Position von der bekannten Soll-Position festgelegt. Als Eigenschaft kann beispielsweise eine Breite der Bilddarstellung der Trajektorie - also die Breite eines Trajektorienstreifens - anhand der möglichen Abweichung eingestellt werden. Es kann zum Beispiel die Bedingung gelten, dass, je größer die mögliche Abweichung ist, desto breiter die angezeigte Trajektorie ist. Auf diesem Wege gelingt es, den gegebenenfalls vorhandenen Versatz zwischen der angezeigten Trajektorie und dem Bild der Umgebung zu retuschieren, sodass der Fahrer insgesamt eine präzise Position der Trajektorie in dem Gesamtbild wahrnimmt.
Ergänzend oder alternativ kann als Eigenschaft eine Transparenz der Bilddarstellung der Trajektorie gegenüber dem Bild der Umgebung anhand der möglichen Abweichung eingestellt werden. Auch hierdurch kann der gegebenenfalls vorhandene Versatz zwischen der angezeigten Trajektorie und dem Bild der Umgebung sinnvoll „verdeckt“ werden, sodass der Fahrer insgesamt eine plausible Position der angezeigten Trajektorie wahrnimmt. Diese Ausführungsform hat jedoch auch weitere Vorteile, welche insbesondere bei Anwendung des Alpha-Blending-Verfahrens zum Tragen kommen: Durch die Variation der Transparenz der angezeigten Trajektorie gegenüber dem Bild der Umgebung kann der Verlauf der Luminanz und der Chrominanz des Gesamtbildes geglättet werden, sodass keine sprunghaften Verläufe der Luminanz und der Chrominanz im Gesamtbild gegeben sind. Es kann also die so genannte „Cross Luminance“ (auch unter der Bezeichnung „dot crawl“ bekannt) verhindert werden.
Es erweist sich als besonders vorteilhaft, wenn die Transparenz der Bilddarstellung der Trajektorie zumindest in Querrichtung der Trajektorie variiert wird, nämlich anhand der möglichen Abweichung der Ist-Position von der Soll-Position der Kamera. Diese Ausführungsform macht sich die Tatsache zunutze, dass die mögliche Abweichung der unbekannten Ist-Position von der bekannten Soll-Position der Kamera am Kraftfahrzeug und somit auch der mögliche Versatz zwischen der nominalen Position der Trajektorie im Gesamtbild durch eine von der Einbautoleranz der Kamera abhängige Wahrscheinlichkeitsverteilung dargestellt werden kann. Diese Wahrscheinlichkeitsverteilung gibt gleichzeitig an, wie sich die Wahrscheinlichkeiten auf die möglichen Positionen der voraussichtlichen Trajektorie im Gesamtbild verteilen. Ausgehend von der bekannten Soll-Position der Kamera am Kraftfahrzeug und somit von der nominalen (für die Soll-Position der Kamera berechneten) Position der Trajektorie im Gesamtbild kann somit durch Vorgabe der Wahrscheinlichkeitsverteilung die Transparenz der Bilddarstellung der Trajektorie in Querrichtung der Trajektorie derart variiert werden, dass die Positionen mit der größten Wahrscheinlichkeit weniger transparent als die mit einer geringeren Wahrscheinlichkeit sind. Der Fahrer nimmt dann eine Trajektorie wahr, deren Transparenz gegenüber dem Bild der Umgebung in Querrichtung bzw. Breitenrichtung der Trajektorie unterschiedlich ist, nämlich insbesondere gemäß einer vorgegebenen Wahrscheinlichkeitsverteilung. Es kann somit ein angemessenes Maß an Genauigkeit bei der Darstellung des Gesamtbilds gewährleistet werden.
Also kann die mögliche Abweichung der Ist-Position von der Soll-Position der Kamera - zumindest oder ausschließlich - in Querrichtung des Kraftfahrzeugs bestimmt werden. Somit ist auch der mögliche Versatz zwischen der überlagerten Trajektorie und dem Bild der Umgebung in Querrichtung des Kraftfahrzeugs bestimmt. Dann können auch die Transparenz der Bilddarstellung der Trajektorie in Querrichtung variiert und/oder die Breite der angezeigten Trajektorie eingestellt werden.
Die mögliche Abweichung der unbekannten Ist-Position von der bekannten Soll-Position der Kamera am Kraftfahrzeug und somit der mögliche Versatz zwischen der Trajektorie und dem Bild der Umgebung wird bevorzugt anhand einer mechanischen Einbautoleranz der Kamera am Kraftfahrzeug bestimmt. Diese Einbautoleranz kann in einer Entwicklungsphase des Kraftfahrzeugs ermittelt und in dem Kamerasystem abgespeichert werden. Die Einbautoleranz lässt sich beispielsweise mithilfe eines CADbasierten Computerprogramms besonders präzise ermitteln. Dabei kann für die Einbautoleranz der Kamera die gesamte Toleranzkette ausgehend von den Rädern des Kraftfahrzeugs hin zur Einbauposition der Kamera am Kraftfahrzeug ermittelt werden. Ist die Kamera beispielsweise an einem Außenspiegel des Kraftfahrzeugs montiert, so kann die Toleranzkette durch die Addition der folgenden Einzeltoleranzen ermittelt werden: einer mechanischen Toleranz zwischen der Position und der Orientierung des Kraftfahrzeugs bezüglich der Straße; einer Toleranz zwischen dem Außenspiegel und der Fahrzeugtür; einer Toleranz zwischen dem Außenspiegel und der Kamera (also zwischen Befestigungsschrauben und einem Gehäuse der Kamera); und einer Toleranz zwischen einem internen Bildsensor (imager) und dem Gehäuse der Kamera.
Wie bereits ausgeführt, kann für die mögliche Abweichung der Ist-Position von der Soll-Position eine Wahrscheinlichkeitsverteilung vorgegeben werden, welche - insbesondere unter Berücksichtigung der Einbautoleranz der Kamera - die Verteilung der Wahrscheinlichkeit für die unbekannte Ist-Position der Kamera und somit für die Fehlanpassung der Bilddarstellung der Trajektorie mit dem Bild der Umgebung repräsentiert. Diese Wahrscheinlichkeitsverteilung gibt also auch an, wie die Wahrscheinlichkeiten für die möglichen Positionen der voraussichtlichen Trajektorie im Gesamtbild verteilt sind. Dann kann zumindest eine Eigenschaft der Bilddarstellung der Trajektorie - insbesondere die Breite und/oder die Transparenz - anhand der Wahrscheinlichkeitsverteilung festgelegt werden. Als Wahrscheinlichkeitsverteilung kann beispielsweise eine Gauß-Kurve verwendet werden, also eine glockenförmige Kurve, welche einen bezüglich eines Mittelpunkts spiegelsymmetrischen Verlauf aufweist. Die Wahrscheinlichkeitsverteilung kann dahingehend verwendet werden, dass die anhand der bekannten Soll-Position der Kamera am Kraftfahrzeug ermittelte Position der Trajektorie im Gesamtbild als wahrscheinlichste Position interpretiert wird und neben dieser nominalen Position anhand der Wahrscheinlichkeitsverteilung weitere, weniger wahrscheinliche Positionen definiert werden. Dann kann die Transparenz der Bilddarstellung der Trajektorie in Querrichtung der Trajektorie auf die Art und Weise variiert werden, dass die Position mit der großen Wahrscheinlichkeit weniger transparent als die weiteren Positionen ist. Es kann hier die Bedingung gelten, dass, je kleiner die Wahrscheinlichkeit für die jeweilige Position ist, desto größer die Transparenz der Trajektorie an dieser Position ist.
Wird also als Eigenschaft eine Transparenz der Bilddarstellung der Trajektorie eingestellt, so kann die Transparenz der Bilddarstellung der Trajektorie in Querrichtung der Trajektorie entsprechend der Wahrscheinlichkeitsverteilung eingestellt werden. Die Transparenz der Bilddarstellung der Trajektorie wird in Querrichtung vorzugsweise stetig bzw. kontinuierlich variiert, nämlich gemäß der Wahrscheinlichkeitsverteilung.
Folgende Vorgehensweise erweist sich als besonders vorteilhaft: Es wird eine nominale Position der Trajektorie im Gesamtbild für die bekannte Soll-Position der Kamera am Kraftfahrzeug bestimmt. Anhand der Einbautoleranz der Kamera wird eine von der nominalen Position abweichende Toleranzposition der Trajektorie im Gesamtbild bestimmt. Die Transparenz der Bilddarstellung der Trajektorie in ihrer Querrichtung wird dann entsprechend der Wahrscheinlichkeitsverteilung derart eingestellt, dass in der nominalen Position die Transparenz minimal - beispielsweise null - ist und in der Toleranzposition die Transparenz einen vorbestimmten Wert annimmt, nämlich insbesondere aus einem Wertebereich von 60% bis 90%. Einerseits kann somit anhand der bekannten Soll-Position der Kamera am Kraftfahrzeug die nominale Position für die Trajektorie im Gesamtbild bestimmt werden, und andererseits kann anhand der Einbautoleranz der Kamera die abweichende Toleranzposition für die Trajektorie im Gesamtbild ermittelt werden. Ist die Transparenz der Bilddarstellung der Trajektorie an den beiden ermittelten Positionen bekannt, so kann die Transparenz auch an anderen Positionen der Bilddarstellung der Trajektorie in Querrichtung entsprechend der Wahrscheinlichkeitsverteilung eingestellt werden.
Die Transparenz der Bilddarstellung der Trajektorie kann in Querrichtung der Trajektorie symmetrisch variiert werden, nämlich stetig entsprechend einer Gauß-Verteilung. Die angezeigte Bilddarstellung der Trajektorie kann somit in ihrer Mitte die geringste Transparenz aufweisen, und die Transparenz kann ausgehend von der Mitte nach außen hin kontinuierlich erhöht werden. Der Fahrer nimmt somit eine Bilddarstellung wahr, die in ihrer Mitte das Bild der Umgebung quasi vollständig verdeckt und an ihren jeweiligen Rändern überwiegend transparent ist.
Die Präzision bei dem Überlagern der Bilddarstellung der Trajektorie mit dem Bild der Umgebung kann weiterhin erhöht werden, indem für unterschiedliche Werte eines Lenkwinkels des Kraftfahrzeugs jeweils unterschiedliche Toleranzpositionen für die Trajektorie gegenüber der nominalen Position der Trajektorie bestimmt werden. Für unterschiedliche Werte des aktuellen Lenkwinkels werden somit unterschiedliche Verteilungen der Transparenz der Bilddarstellung der Trajektorie in Querrichtung eingestellt.
Es ist weiterhin sinnvoll, für unterschiedliche Bereiche des Gesamtbilds jeweils unterschiedliche Toleranzpositionen für die Trajektorie zu bestimmen. Somit wird auch die Tatsache berücksichtigt, dass das Bild der Umgebung an seinen Rändern üblicherweise eine größere Verzerrung als in der Mitte aufweist. An den Rändern des Gesamtbilds kann somit die Abweichung der Toleranzposition von der nominalen Position größer als in der Mitte des Gesamtbilds sein. Auf diesem Wege gelingt es, die Genauigkeit bei der Erzeugung des Gesamtbilds weiterhin zu erhöhen.
Wie bereits ausgeführt, kann das Bild der Umgebung und die Bilddarstellung der Trajektorie gemäß dem Alpha-Blending-Verfahren zu dem Gesamtbild überlagert werden. Dieses Verfahren hat den besonderen Vorteil, dass sprunghafte Verläufe der Luminanz und der Chrominanz im Gesamtbild verhindert werden können.
Das Gesamtbild wird vorzugsweise anhand der folgenden Funktion berechnet: $OP (x,y) = α (x,y) \cdot TP (x,y) + [1 - α (x,y)] \cdot BP (x,y) .$
Dabei bezeichnen x, y die Koordinaten des Gesamtbilds, OP(x,y) einen Bildpunkt des Gesamtbilds für die Koordinaten x und y, α(x,y) einen α-Parameter des Alpha-Blending-Verfahrens für die Koordinaten x und y, TP(x,y) einen Bildpunkt eines vollständigen bzw. nicht-transparenten Trajektorienbilds für die Koordinaten x und y sowie BP(x,y) einen Bildpunkt des Bildes der Umgebung für die Koordinaten x und y. Durch die Anwendung der obigen Formel kann die Überlagerung der Bilddarstellung der Trajektorie mit dem Bild der Umgebung besonders aufwandsarm erfolgen. Der α-Parameter a(x,y) kann in Querrichtung der Trajektorie eine Verteilung entsprechend der genannten Wahrscheinlichkeitsverteilung aufweisen.
Es erweist sich als besonders vorteilhaft, wenn die mögliche Abweichung - und insbesondere die genannte Wahrscheinlichkeitsverteilung - auch unter Berücksichtigung zumindest eines der folgenden Parameter bestimmt wird:

- eines Alters des Kraftfahrzeugs und/oder
- eines Luftdrucks in einem Reifen des Kraftfahrzeugs und/oder
- eines Gewichts einer Beladung des Kraftfahrzeugs und/oder der Verteilung der Beladung im Kraftfahrzeug und/oder
- eines Neigungswinkels des Kraftfahrzeugs, sei es um die Fahrzeuglängsachse und/oder um die Fahrzeugquerachse und/oder um die Fahrzeughochachse, und/oder
- eines Versatzes eines bekannten Bildpunktes, insbesondere eines Fluchtpunktes, im Bild der Umgebung.

Durch die Berücksichtigung der oben genannten Parameter kann die mögliche Abweichung der unbekannten Ist-Position von der bekannten Soll-Position der Kamera am Kraftfahrzeug bzw. die Wahrscheinlichkeitsverteilung für diese Abweichung jeweils situationsabhängig und bedarfsgerecht bestimmt werden.
Die voraussichtliche Trajektorie wird bevorzugt in Abhängigkeit von einem aktuellen Lenkwinkel des Kraftfahrzeugs bestimmt.
Erfindungsgemäß wird darüber hinaus ein Kamerasystem für ein Kraftfahrzeug bereitgestellt. Das Kamerasystem umfasst eine Kamera zum Erfassen eines Bilds einer Umgebung des Kraftfahrzeugs, wie auch eine Recheneinrichtung zum Bestimmen einer voraussichtlichen Trajektorie des Kraftfahrzeugs und zum Überlagern einer Bilddarstellung, welche die voraussichtliche Trajektorie repräsentiert, mit dem Bild der Umgebung zu einem Gesamtbild. Das Kamerasystem umfasst außerdem eine Anzeigeeinrichtung zum Anzeigen des Gesamtbilds. Die Recheneinrichtung kann anhand einer möglichen Abweichung einer unbekannten Ist-Position von einer bekannten Soll-Position der Kamera am Kraftfahrzeug zumindest eine Eigenschaft der Bilddarstellung der Trajektorie festlegen.
Ein erfindungsgemäßes Kraftfahrzeug weist ein erfindungsgemäßes Kamerasystem auf. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand einzelner bevorzugter Ausführungsbeispiele näher erläutert, wie auch unter Bezugnahme auf die beigefügten Zeichnungen.
Es zeigen:

1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
2 eine Darstellung, anhand welcher ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird;
3 eine Wahrscheinlichkeitsverteilung, anhand welcher die Transparenz einer auf einer Anzeigeeinrichtung angezeigten Trajektorie eingestellt wird; und
4 in schematischer Darstellung ein auf der Anzeigeeinrichtung angezeigtes Gesamtbild.

Ein in 1 gezeigtes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Es weist ein Kamerasystem 2 auf, welches folgende Komponenten umfasst: eine Recheneinrichtung 3, eine Anzeigeeinrichtung 4 sowie eine Vielzahl von Kameras 5 bis 10. Die Kameras 5 bis 10 sind am Kraftfahrzeug 1 derart angebracht, dass sie eine gesamte Umgebung 11 um das Kraftfahrzeug 1 herum erfassen. Die Kamera 5 ist im vorderen Bereich der linken Seitenflanke angeordnet, etwa im linken Randbereich des vorderen Stoßfängers. Die Kamera 6 ist an der Frontseite des Kraftfahrzeugs 1 angeordnet, nämlich beispielsweise zentral am vorderen Stoßfänger. Die Kamera 7 ist spiegelsymmetrisch zur Kamera 5 an der gegenüberliegenden Seite des Kraftfahrzeugs 1 angeordnet. Die Kamera 8 ist im hinteren Bereich der linken Seitenflanke des Kraftfahrzeugs 1 angeordnet, nämlich beispielsweise im linken Randbereich eines hinteren Stoßfängers. Die Kamera 9 ist am Heck des Kraftfahrzeugs 1 angeordnet, etwa mittig am hinteren Stoßfänger. Schließlich ist die Kamera 10 spiegelsymmetrisch zur Kamera 8 an der gegenüberliegenden Seite des Kraftfahrzeugs 1 angeordnet.
Die Anzahl sowie die Anordnung der Kameras 5 bis 10 sind in 1 lediglich beispielhaft dargestellt. Sowohl die Anzahl als auch die Anordnung der Kameras 5 bis 10 kann je nach Ausführungsform des Kamerasystems 2 variieren.
Die Anzeigeeinrichtung 4 kann beispielsweise ein LCD-Display oder aber ein Head-Up-Display sein.
Die Recheneinrichtung 3 empfängt die Bilddaten aller Kameras 5 bis 10 und verarbeitet sie. Die Recheneinrichtung 3 kann auf der Anzeigeeinrichtung 4 verschiedenste Bilder der Umgebung 11 anzeigen, nämlich beispielsweise ein Bild eines Bereichs der Umgebung 11 hinter dem Kraftfahrzeug 1 („Rear View“) oder aber ein Bild eines Bereichs der Umgebung 11 vor dem Kraftfahrzeug 1 („Front View“).
Die Recheneinrichtung 3 empfängt auch Daten mit Informationen über den jeweils aktuellen Lenkwinkel γ des Kraftfahrzeugs 1. Die Recheneinrichtung 3 kann in Abhängigkeit von dem aktuellen Lenkwinkel y eine voraussichtliche Trajektorie, also die zukünftige Fahrbahn, des Kraftfahrzeugs 1 ermitteln. Beispielsweise kann die Recheneinrichtung 3 die voraussichtliche Trajektorie des Kraftfahrzeugs 1 jeweils bis zu einer Entfernung von 4 m oder 5 m oder 6 m oder 7 m ermitteln. Wird der Lenkwinkel y verändert, so wird die voraussichtliche Trajektorie korrigiert bzw. von neuem bestimmt.
Die Recheneinrichtung 3 kann eine Bilddarstellung erzeugen, die die ermittelte voraussichtliche Trajektorie repräsentiert. Die Recheneinrichtung 3 kann aus einem Bild der Umgebung 11 und der Bilddarstellung der Trajektorie ein Gesamtbild erzeugen, welches auf der Anzeigeeinrichtung 4 angezeigt werden kann. Das Gesamtbild zeigt eine Überlagerung der Bilddarstellung der Trajektorie mit dem Bild der Umgebung 11. Dabei soll die Position der voraussichtlichen Trajektorie bezüglich des Bilds der Umgebung im Gesamtbild der tatsächlichen Position dieser Trajektorie in der tatsächlichen Umgebung 11 des Kraftfahrzeugs 1 entsprechen. Mit anderen Worten soll die voraussichtliche Trajektorie im Gesamtbild realitätsgetreu angezeigt werden.
Das realitätsgetreue Anzeigen der voraussichtlichen Trajektorie im Gesamtbild ist jedoch ohne eine aufwändige Kalibrierung nicht möglich. Aufgrund der Einbautoleranzen der Kameras 5 bis 10 ergeben sich nämlich Abweichungen der nominalen Position der angezeigten Trajektorie von der unbekannten „idealen“ Position. Man spricht von einem Versatz bzw. einer Fehlanpassung zwischen der angezeigten Trajektorie und dem Abbild der Umgebung. Diese Abweichungen ergeben sich aufgrund einer Abweichung einer tatsächlichen Ist-Position der Kameras 5 bis 10 von einer geplanten Soll-Position aufgrund von mechanischen Toleranzen und Einbautoleranzen.
Die Einbautoleranzen der Kameras 5 bis 10 sind bekannt - sie können beispielsweise in einem Entwicklungsprozess des Kraftfahrzeugs 1 ermittelt werden. Diese mechanischen Einbautoleranzen können in der Recheneinrichtung 3 abgespeichert werden, nämlich in einem Speicher. Im Entwicklungsprozess können diese Toleranzen mithilfe eines CADbasierten Computerprogramms ermittelt werden. Eine Einbautoleranz gibt an, wie stark die tatsächliche Ist-Position einer Kamera 5 bis 10 von der geplanten Soll-Position im ungünstigsten Fall abweichen darf. Sind diese Einbautoleranzen bekannt, so kann auch die mögliche Abweichung der Ist-Position von der Soll-Position der Kameras 5 bis 10 als eine Wahrscheinlichkeitsverteilung bestimmt werden. Folglich kann auch die mögliche Abweichung der nominalen Position der Trajektorie im Gesamtbild von der „idealen“ Position - also die mögliche Fehlanpassung - als Wahrscheinlichkeitsverteilung ermittelt werden.
Bezugnehmend nun auf 2 wird erläutert, wie die Bilddarstellung der Trajektorie mit dem Bild der Umgebung 11 zu einem Gesamtbild auf der Anzeigeeinrichtung 4 überlagert wird. In 2 ist für die beiden Seiten des Kraftfahrzeugs 1 jeweils eine nominale Position 12 für die voraussichtliche Trajektorie dargestellt, die sich für die geplante Soll-Position der Kameras 5 bis 10 ergibt. Des Weiteren sind Toleranzpositionen 13a, 13b dargestellt, die sich für die bekannte Einbautoleranz der Kameras 5 bis 10 ergeben. Dies bedeutet, dass die Toleranzpositionen 13a, 13b wenig wahrscheinlich sind, während die nominale Position 12 am wahrscheinlichsten ist. Es wird nun eine Wahrscheinlichkeitsverteilung V für die möglichen Positionen der Trajektorie im Gesamtbild definiert, wie sie in 3 beispielhaft dargestellt ist. Die Wahrscheinlichkeitsverteilung V ist im Ausführungsbeispiel eine Gauß-Verteilung. Diese Wahrscheinlichkeitsverteilung V gibt auch an, wie sich die Wahrscheinlichkeiten auf die möglichen Positionen der Kameras 5 bis 10 und somit auf die möglichen Fehlanpassungen der angezeigten Trajektorie verteilen. Mit anderen Worten wird durch diese Wahrscheinlichkeitsverteilung V auch angegeben, wie sich die Wahrscheinlichkeiten auf die möglichen Abweichungen der Ist-Position von der geplanten Soll-Position einer Kamera 5 bis 10 verteilen. Die in 3 dargestellte Wahrscheinlichkeitsverteilung V hat ihr Maximum bei der nominalen Position 12 (siehe 2). Die Wahrscheinlichkeitsverteilung V kann zum Beispiel so aussehen, dass die Toleranzpositionen 13a, 13b mit einer Wahrscheinlichkeit aus einem Wertebereich von 10% bis 30% auftreten können. Die Wahrscheinlichkeitsverteilung V ist in mehrere Bereiche 14a, 14b, 15a, 15b, 16a, 16b unterteilt, die jeweils unterschiedliche Wahrscheinlichkeitsbereiche darstellen: Die Bereiche 14a, 14b stellen eine relativ hohe Wahrscheinlichkeit dar, die Bereiche 15a, 15b eine geringere Wahrscheinlichkeit, und die Bereiche 16a, 16b eine relativ geringe Wahrscheinlichkeit.
Die Erzeugung der Bilddarstellung für die voraussichtliche Trajektorie erfolgt folgendermaßen: Die voraussichtliche Trajektorie wird in Form von zwei parallel zueinander verlaufenden Streifen angezeigt, nämlich ein Streifen für die linken Räder und ein Streifen für die rechten Räder des Kraftfahrzeugs. Die Breite der jeweiligen Streifen wird unter Berücksichtigung der Wahrscheinlichkeitsverteilung V festgelegt. Beispielsweise können die Streifen jeweils eine Breite aufweisen, die durch die Toleranzpositionen 13a, 13b begrenzt ist. Diese Breite kann aber auch ein wenig größer sein. Die Transparenz der Trajektorie - also der beiden Streifen - wird in Querrichtung der jeweiligen Streifen variiert. Die Transparenz wird dabei entsprechend der Wahrscheinlichkeitsverteilung V stetig eingestellt, und zwar derart, dass an der nominalen Position 12 die Transparenz minimal ist, insbesondere null beträgt, und nach außen hin stetig zunimmt. An den Toleranzpositionen 13a, 13b kann die Transparenz beispielsweise 80% betragen.
Ein Beispiel für ein Gesamtbild, welches durch eine Überlagerung eines Bildes der Umgebung 11 und der Bilddarstellung der Trajektorie erzeugt wird, ist in 4 dargestellt. Das Gesamtbild wird auf der Anzeigeeinrichtung 4 angezeigt. Das Gesamtbild beinhaltet ein Bild 17 der Umgebung 11 des Kraftfahrzeugs 1, wie auch eine Bilddarstellung 18 einer voraussichtlichen Trajektorie 19 des Kraftfahrzeugs 1. Die voraussichtliche Trajektorie 19 besteht hier aus zwei Streifen 20, 21, welche jeweils einer Seite des Kraftfahrzeugs 1 zugeordnet sind. Wie aus 4 hervorgeht, befindet sich das Lenkrad des Kraftfahrzeugs 1 in der Ausgangsstellung, sodass die voraussichtliche Trajektorie 19 gerade ist. Die Transparenz der beiden Streifen 20, 21 variiert in Querrichtung 22, die hier gleichzeitig die Fahrzeugquerrichtung darstellt. Wie aus 4 hervorgeht, ist die Transparenz an den jeweiligen Rändern der beiden Streifen 20, 21 am größten und in der Mitte am geringsten.
Zur Erzeugung des Gesamtbilds, wie es in 4 dargestellt ist, wird das Alpha-Blending-Verfahren verwendet. Bei diesem Verfahren werden das Bild 17 der Umgebung 11 sowie die Bilddarstellung 18 der Trajektorie 19 zu dem Gesamtbild überlagert, nämlich unter Berücksichtigung des so genannten Alphakanals. Es gilt hier folgende Beziehung: $OP (x,y) = α (x,y) \cdot TP (x,y) + [1 - α (x,y)] \cdot BP (x,y) .$
Dabei bezeichnen:

- OP(x,y) einen Bildpunkt des Gesamtbilds für die Koordinaten x und y,
- a(x,y) einen α-Parameter für die Koordinaten x und y, wobei a(x,y) in einem Wertebereich von null (volle Transparenz) bis eins (volle Undurchlässigkeit) liegt,
- TP(x,y) einen Bildpunkt eines Trajektorienbilds für die Koordinaten x und y zur Erzeugung der Bilddarstellung 18, und
- BP(x,y) einen Bildpunkt des Bildes 17 der Umgebung 11 für die Koordinaten x und y.

Der α-Parameter a(x,y) hat dabei in Querrichtung der Trajektorie 19 eine Verteilung, die der Wahrscheinlichkeitsverteilung V entspricht, so dass auch der Verlauf der Transparenz entsprechend der Wahrscheinlichkeitsverteilung V eingestellt wird.
Mit erneutem Bezug auf 2 können die Toleranzpositionen 13a, 13b auch in Abhängigkeit von dem jeweils aktuellen Lenkwinkel y bestimmt werden. Und zwar können für unterschiedliche Lenkwinkel γ jeweils unterschiedliche Toleranzpositionen 13a, 13b für die Trajektorie 19 bestimmt werden. Diese Toleranzpositionen 13a, 13b können auch in Abhängigkeit von der Position im Gesamtbild variieren; denn die Verzerrung des Bildes ist größer an seinen Rändern als in der Mitte.
Zur Beeinflussung der Wahrscheinlichkeitsverteilung V bzw. der Toleranzposition 13a, 13b können auch weitere Parameter verwendet werden, die die Recheneinrichtung 3 empfängt:

- eine Information A über das aktuelle Alter des Kraftfahrzeugs 1 und/oder
- eine Information über einen Luftdruck D der jeweiligen Reifen des Kraftfahrzeugs 1 und/oder
- eine Information über ein Gewicht G einer Beladung des Kraftfahrzeugs 1 und/oder über eine Verteilung W der Beladung und/oder
- eines Neigungswinkels β des Kraftfahrzeugs 1, nämlich um die Fahrzeughochachse und/oder die Fahrzeuglängsachse und/oder die Fahrzeugquerachse.

Unter Berücksichtigung der genannten Parameter kann die Wahrscheinlichkeitsverteilung V bzw. die Toleranzposition 13a, 13b plausibilisiert werden, sodass auch die Überlagerung der Bilddarstellung 18 der Trajektorien 19 mit dem Bild der Umgebung 11 zum Gesamtbild 17 präzise erfolgen kann. Beispielsweise kann anhand der genannten Parameter die Breite der Wahrscheinlichkeitsverteilung V variiert werden und/oder es kann beispielsweise eine unsymmetrische Wahrscheinlichkeitsverteilung V definiert werden.

Claims

Verfahren zum Betreiben eines Kamerasystems (2) mit einer Kamera (5 bis 10) und einer Anzeigeeinrichtung (4) in einem Kraftfahrzeug (1) durch - Erfassen eines Bildes (17) einer Umgebung (11) des Kraftfahrzeugs (1) durch die Kamera (5 bis 10) und Anzeigen des Bildes (17) auf der Anzeigeeinrichtung (4), - Bestimmen einer voraussichtlichen Trajektorie (19) des Kraftfahrzeugs (1) und - Überlagern einer Bilddarstellung (18), welche die voraussichtliche Trajektorie (19) repräsentiert, mit dem Bild (17) der Umgebung (11) zu einem Gesamtbild auf der Anzeigeeinrichtung (4), gekennzeichnet durch - Bestimmen einer möglichen Abweichung einer unbekannten Ist-Position von einer bekannten Soll-Position der Kamera (5 bis 10) am Kraftfahrzeug (1) anhand einer Einbautoleranz der Kamera (5 bis 10) und - Festlegen zumindest einer Eigenschaft der Bilddarstellung (18) der Trajektorie (19) anhand der möglichen Abweichung.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Eigenschaft eine Breite der Bilddarstellung (18) der Trajektorie (19) anhand der möglichen Abweichung eingestellt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Eigenschaft eine Transparenz der Bilddarstellung (18) der Trajektorie (19) gegenüber dem Bild (17) der Umgebung (11) anhand der möglichen Abweichung eingestellt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Transparenz der Bilddarstellung (18) der Trajektorie (19) zumindest in Querrichtung (22) der Trajektorie (19) variiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mögliche Abweichung in Querrichtung des Kraftfahrzeugs (1) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die mögliche Abweichung eine Wahrscheinlichkeitsverteilung (V) vorgegeben wird, welche, insbesondere unter Berücksichtigung der Einbautoleranz der Kamera (5 bis 10), die Verteilung der Wahrscheinlichkeit für die unbekannte Ist-Position repräsentiert, wobei zumindest eine Eigenschaft der Bilddarstellung (18) der Trajektorie (19) anhand der Wahrscheinlichkeitsverteilung (V) festgelegt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als Wahrscheinlichkeitsverteilung (V) eine Gauß-Kurve vorgegeben wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass als Eigenschaft eine Transparenz der Bilddarstellung (18) der Trajektorie (19) eingestellt wird, und dass die Transparenz der Bilddarstellung (18) der Trajektorie (19) in Querrichtung (22) der Trajektorie (19) entsprechend der Wahrscheinlichkeitsverteilung (V) eingestellt wird.
Verfahren nach einem der Ansprüche 6 bis 8, gekennzeichnet durch - Bestimmen einer nominalen Position (12) der Trajektorie (19) im Gesamtbild für die Soll-Position der Kamera (5 bis 10), - anhand der Einbautoleranz der Kamera (5 bis 10) Bestimmen einer von der nominalen Position (12) abweichenden Toleranzposition (13a, 13b) der Trajektorie (19) im Gesamtbild und - Einstellen der Transparenz der Bilddarstellung (18) der Trajektorie (19) in Querrichtung (22) der Trajektorie (19) entsprechend der Wahrscheinlichkeitsverteilung (V) derart, dass in der nominalen Position (12) die Transparenz minimal ist und in der Toleranzposition (13a, 13b) die Transparenz einen vorbestimmten Wert annimmt, insbesondere aus einem Wertebereich von 60% bis 90%.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass für unterschiedliche Werte eines Lenkwinkels (γ) des Kraftfahrzeugs (1) jeweils unterschiedliche Toleranzpositionen (13a, 13b) bestimmt werden.
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass für unterschiedliche Bereiche des Gesamtbildes jeweils unterschiedliche Toleranzpositionen (13a, 13b) bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (17) der Umgebung (11) und die Bilddarstellung (18) der Trajektorie (19) gemäß dem Alpha-Blending-Verfahren zu dem Gesamtbild überlagert werden.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Gesamtbild anhand der folgenden Funktion berechnet wird: $OP (x,y) = α (x,y) \cdot TP (x,y) + [1 - α (x,y)] \cdot BP (x,y),$
wobei x, y die Koordinaten des Gesamtbildes, OP(x,y) einen Bildpunkt des Gesamtbildes für die Koordinaten x und y, a(x,y) einen Alpha-Parameter für die Koordinaten x und y, TP(x,y) einen Bildpunkt eines Trajektorienbildes für die Koordinaten x und y und BP(x,y) einen Bildpunkt des Bildes (17) der Umgebung (11) für die Koordinaten x und y bezeichnen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mögliche Abweichung auch unter Berücksichtigung zumindest eines der folgenden Parameter bestimmt wird: - eines Alters (A) des Kraftfahrzeugs (1) und/oder - eines Luftdrucks (D) in einem Reifen des Kraftfahrzeugs (1) und/oder - eines Gewichts (G) einer Beladung des Kraftfahrzeugs (1) und/oder - eines Neigungswinkels (β) des Kraftfahrzeugs (1) und/oder - eines Versatzes eines bekannten Bildpunktes, insbesondere eines Fluchtpunktes, im Bild (17) der Umgebung (11).
Kamerasystems (2) für ein Kraftfahrzeug (1), mit: - einer Kamera (5 bis 10) zum Erfassen eines Bildes (17) einer Umgebung (11) des Kraftfahrzeugs (1), - einer Recheneinrichtung (3) zum Bestimmen einer voraussichtlichen Trajektorie (19) des Kraftfahrzeugs (1) und zum Überlagern einer Bilddarstellung (18), welche die voraussichtliche Trajektorie (19) repräsentiert, mit dem Bild (17) der Umgebung (11) zu einem Gesamtbild und - einer Anzeigeeinrichtung (4) zum Anzeigen des Gesamtbildes, dadurch gekennzeichnet, dass die Recheneinrichtung (3) dazu ausgelegt ist, anhand einer möglichen Abweichung einer unbekannten Ist-Position von einer bekannten Soll-Position der Kamera (5 bis 10) am Kraftfahrzeug (1) zumindest eine Eigenschaft der Bilddarstellung (18) der Trajektorie (19) unter Berücksichtigung einer Einbautoleranz der Kamera (5 bis 10) festzulegen.
Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 15.