DE102015208345A1

DE102015208345A1 - Fortbewegungsmittel, Fahrerassistenzsystem und Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems gefügten Bildes

Info

Publication number: DE102015208345A1
Application number: DE102015208345.4A
Authority: DE
Inventors: Jose Domingo Esparza Garcia; David Liepelt; Matthias Mayerle; Raphael Cano; Milica Vujicic
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-05-06
Filing date: 2015-05-06
Publication date: 2016-11-10

Abstract

Es werden ein Fortbewegungsmittel, ein Fahrerassistenzsystem sowie ein Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems für ein Fortbewegungsmittel (10) gefügten Bildes vorgeschlagen. Das Verfahren umfasst die Schritte: – Erkennen eines ungültigen ersten Sensorsignals und im Ansprechen darauf – Neupositionieren einer zwischen mit den Sensorsignalen korrespondierenden Bildbereichen (8, 9) des gefügten Bildes angeordneten Fügelinie (13) in Richtung eines zum ersten Sensor (2) korrespondierenden Bildbereiches (9).

Description

Stand der Technik
Die vorliegende Erfindung betrifft ein Fortbewegungsmittel, ein Fahrerassistenzsystem sowie ein Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems für ein Fortbewegungsmittel gefügten Bildes. Insbesondere betrifft die vorliegende Erfindung eine Möglichkeit zur verbesserten Visualisierung einer Fahrzeugumgebung nach einem Ausfall eines Umgebungssensors.
Im Stand der Technik sind Fahrerassistenzsysteme bekannt, welche die Fahrzeugumgebung zweidimensional (2D) oder dreidimensional (3D) abbilden. Eine solche Abbildung wird bedarfsweise als graphische Darstellung dem Fahrer angezeigt, damit dieser einen besseren Überblick über die Umgebung seines Fahrzeugs hat, was zu einer sicheren und einfacheren Fahrzeugführung beiträgt. Die Umgebungsansicht kann unter der Verwendung der Signale mehrerer Kameras (z.B. vier Kameras), welche am Fahrzeug befestigt sind, synthetisiert werden. Beispielsweise werden eine Frontkamera, eine Rückfahrkamera und zwei Seitenkameras als Bildquellsignale verwendet, wobei die Seitenkameras häufig in der Fahrer- bzw. der Beifahrertür angeordnet sind. Beispielsweise sind die Kameras in den Rückspiegeln/Außenspiegeln des Fahrzeugs angeordnet. Für eine dreidimensionale Abbildung der Fahrzeugumgebung werden die Bilder der vier Kameras an sog. Fügelinien (englisch: „stitching line“ oder „seam“) miteinander verknüpft. Anschließend kann das zusammengefügte Bild auf eine muldenförmige Oberfläche projiziert werden, in deren Mittelpunkt z.B. ein virtuelles Modell des Ego-Fahrzeugs angezeigt wird.
Für den Fall, dass eine der Kameras in den Rückspiegeln aufgrund einer geöffneten Tür aus ihrer Ruhelage gebracht wird, ist die Ausrichtung bzw. der Erfassungsbereich der Kamera mitunter derart verändert, dass die Kalibrierung des Bildsignals ungültig ist und das Bildsignal nicht mehr zur Erstellung des Umgebungsabbildes verwendbar ist. Im Stand der Technik ist es bekannt, dem zur Erstellung des Umgebungsbildes verwendeten System ein Signal repräsentierend eine oder mehr geöffnete Türen, zukommen zu lassen, im Ansprechen worauf der zur bewegten Kamera gehörige ungültige Bildbereich auch in der Abbildung der Fahrzeugumgebung als „ungültig“ erkennbar wird. Beispielsweise werden gestreifte Texturen in dem betreffenden Bildbereich angezeigt, um dem Anwender klar zu machen, dass für diesen Bereich keine gültigen Bildsignale verfügbar sind. Eine solche Textur ist aus 2 ersichtlich, welche in Verbindung mit der Figurenbeschreibung eingehend diskutiert wird.
DE 10 2007 017 038 A1 beschreibt ein System und ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs mittels Kamerabildern, aus welchen eine Rundumsicht erzeugt wird. Sofern bestimmt wird, dass eine Kamera, welche an einem beweglichen Bauteil angeordnet ist, aus einer vordefinierten Position geschwenkt wurde, werden zu einem vorherigen Zeitpunkt abgespeicherte Bilder zum Synthetisieren einer Rundumsicht verwendet und beispielsweise die Bildschärfe reduziert, um die nun nicht mehr gegebene Aktualität der in dem statischen Bildabschnitt enthaltenen Informationen zu veranschaulichen.
DE 10 2009 057 336 A1 offenbart eine Vorrichtung zur Überwachung eines Raumbereiches außerhalb eines Fahrzeugs mittels Kameras. Die Bilder der Kamera werden zur Detektion eines Hindernisses vor einer Fahrzeugtüre verwendet, um Einrichtungen zur Vermeidung von Schäden aufgrund einer Kollision mit dem Hindernis zu vermeiden.
Es ist eine Aufgabe der vorliegenden Erfindung, auch nach dem Entfall eines Quellsignals bestmögliche gefügte Abbilder einer Fahrzeugumgebung bereitstellen zu können.
Offenbarung der Erfindung
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems für ein Fortbewegungsmittel gefügten Bildes gelöst. Das Fahrerassistenzsystem kann eine Rundumsicht (englisch: „bird view“) erstellen und dem Fahrer auf einem Anzeigeelement (z.B. des Fortbewegungsmittels) präsentieren. In einem ersten Schritt wird die Ungültigkeit des ersten Sensorsignals erkannt, welches zur Erstellung des gefügten Bildes üblicherweise verwendet wird. Im Ansprechen darauf wird eine zwischen mit den Sensorsignalen korrespondierenden Bildbereichen des gefügten Bildes angeordnete Fügelinie in Richtung eines zum ersten Sensor korrespondierenden Bildbereiches neu positioniert. Mit anderen Worten wird aufgrund der Tatsache, dass das erste Sensorsignal keine gültigen Daten mehr liefert, die Fügelinie derart verschoben, dass benachbarte Bildbereiche aufnehmende Sensoren nun einen Teil des bislang mittels des ersten Sensorsignals erstellten Umgebungsabbildes repräsentieren. Die Fügelinie wird also in Richtung des ausgefallenen ersten Sensors bewegt, um das Umgebungsabbild entsprechend den weiterhin verfügbaren Bildsignalen mit einem bestmöglichen Informationsgehalt darstellen zu können. Im Unterschied zum Stand der Technik ermöglicht die vorliegende Erfindung eine Verkleinerung desjenigen Bildbereiches eines gefügten Bildes, welcher auf Daten eines ungültig gewordenen Sensorsignals erstellt worden ist.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
Beispielsweise kann das erste Sensorsignal mittels eines gegenüber einem zur Erzeugung des zweiten Sensorsignals verwendeten zweiten Sensor schwenkbaren ersten Sensors erzeugt werden. Mit anderen Worten ist der erste Sensor beweglich am Fortbewegungsmittel angeordnet oder kann durch ein bewegliches Teil des Fortbewegungsmittels hinsichtlich der Güte seiner Signale beeinträchtigt werden. Beispielsweise kann das bewegliche Teil in den Erfassungsbereich des Sensors geraten, wodurch dessen Bilder teilweise oder gänzlich unrepräsentativ für die Geschehnisse in der Umgebung werden. Sofern der erste Sensor selbst oder das bewegliche Teil verschwenkt werden, kann in Abhängigkeit des Schwenkwinkels bestimmt werden, ob die Signale weiterhin gültig und daher zur Erstellung des gefügten Bildes verwendbar sind, oder ob der Schwenkwinkel die Datengüte derart vermindert, dass die erfindungsgemäße Neupositionierung der Fügelinie zugunsten der Daten des zweiten Sensors vorgenommen werden soll. Die Entscheidung kann im Ansprechen auf ein Überschreiten eines vordefinierten Schwellenwertes für den Schwenkwinkel des ersten Sensors gefällt werden.
Das Verschwenken des ersten Sensors kann temporär erfolgen, wie es beispielsweise beim Einsteigen in ein Fahrzeug durch Öffnen einer Tür oder durch Beladen eines Fahrzeugs durch Öffnen eines Kofferraumdeckels erfolgt. Entsprechend kann auch das Öffnen einer Motorhaube einen in der Motorhaube angeordneten ersten Sensor derart temporär und reversibel schwenken, dass sein Bildsignal für ungültig zu erklären ist.
Eine andere Ursache für ein ungültiges Signal des ersten Sensors kann eine Bildstörung (z.B. durch Interferenz) oder eine Signalunterbrechung (z.B. durch Unterbrechung einer Signalleitung zwischen dem Sensor und einer ihm zugeordneten Auswerteeinheit) bedingt sein. Bis die Verwendbarkeit des ersten Sensorsignals wieder hergestellt ist, kann die vorliegende Erfindung eine bestmögliche Informationslage mittels des gefügten Bildes bereitstellen.
In denjenigen Bildbereich des gefügten Bildes, welche auch nicht durch das erfindungsgemäße Neupositionieren der Fügelinie mit aktuellen Bildsignalen erstellt werden kann, kann eine Streifentextur den Bildfehler und die unrepräsentativen Bildbereiche kennzeichnen. Bevorzugt kann ein bis zur Ungültigkeit des ersten Sensorsignals erfolgreich aufgenommenes Bildsignal durch ein Filter (englisch: „blurring filter“) in einem dem ersten Sensorsignal zugeordneten Bildbereich unscharf dargestellt werden. Dies hat den Vorteil, dass die Helligkeit und der Kontrast in dem ungültigen Bereich weniger stark verändert werden, als dies durch im Stand der Technik bekannte Signaltexturen der Fall ist, so dass die Erkennbarkeit der nach wie vor gültigen Bildbereiche im gefügten Bild nicht beeinträchtigt wird.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Fahrerassistenzsystem zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal gefügten Bildes vorgeschlagen. Das Fahrerassistenzsystem kann also beispielsweise zur Erzeugung einer Rundumsicht eines Fortbewegungsmittels eingerichtet sein, dessen Signale auf einer Vielzahl von Umgebungssensoren basiert. Die Umgebungssensoren können beispielsweise optische Kameras oder andere, berührungslos die Umgebung abbildende Sensoren (z.B. Laser, Lidar, Ultraschall, Radar etc.) sein. Die Bildsignale können vor dem Fügen entzerrt werden. Nach dem Fügen können die Bildsignale auf eine gemeinsame Projektionsebene gelegt werden. Entsprechend weist das Fahrerassistenzsystem einen ersten Umgebungssensor zur Erzeugung eines ersten Sensorsignals und einen zweiten Umgebungssensor zur Erzeugung eines zweiten Sensorsignals auf. Eine Auswerteeinheit ist eingerichtet, ein ungültiges erstes Sensorsignal zu erkennen und im Ansprechen darauf eine zwischen mit den Sensorsignalen korrespondierenden Bildbereichen des gefügten Bildes angeordnete Fügelinie in Richtung eines zum ersten Sensor korrespondierenden Bildbereiches neu zu positionieren bzw. zu bewegen. Die Auswerteeinheit kann beispielsweise die Signale des ersten Sensors analysieren und eine vordefinierte Drehung des Sensors anhand der Signale erkennen. Beispielsweise kann die Auswerteeinheit auch ein vordefiniertes Fahrzeugbauteil in dem Sensorsignal identifizierten und im Ansprechen darauf das erste Sensorsignal für ungültig erklären. Derart ausgestaltet ist das erfindungsgemäße Fahrerassistenzsystem imstande, die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile des erfindungsgemäßen Verfahrens in entsprechender Weise zu verwirklichen, so dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
Bevorzugt kann das Fahrerassistenzsystem einen Sensor zur Erkennung einer Verschwenkung des ersten Umgebungssensors und/oder eines in einem Erkennungsbereich des ersten Umgebungssensors schwenkbaren Teils des Fortbewegungsmittels umfassen. In einer einfachen Ausgestaltung kann der Sensor als Mikroschalter in der Fahrer- oder Beifahrertür ausgestaltet sein, so dass das Sensorsignal bereits beim Öffnen der Tür für ungültig erklärt wird. Höher auflösende Sensoren zur Erkennung der Verschwenkung können das Maß der Verschwenkung erkennen und ab einem solchen Winkel, ab welchem keine sinnvolle Verwendung des ersten Sensorsignals mehr möglich ist, eine das erste Sensorsignal für ungültig erklären lassen.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches ein Fahrerassistenzsystem gemäß dem zweitgenannten Erfindungsaspekt umfasst. Das Fortbewegungsmittel kann beispielsweise ein PKW, ein Transporter, ein LKW, ein Luft- und/oder Wasserfahrzeug sein. Durch das erfindungsgemäße Fahrerassistenzsystem ermöglicht das Fortbewegungsmittel eine verbesserte Rundumsicht bei Ausfall eines zur Erstellung eines gefügten Umgebungsbildes verwendeten Sensors. Im Ergebnis verwirklicht auch das Fortbewegungsmittel die Merkmale, Merkmalskombinationen und Vorteile des erfindungsgemäßen Verfahrens bzw. Fahrerassistenzsystems.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist:
1 eine Prinzipskizze einer Draufsicht auf ein erfindungsgemäß ausgestaltetes Fortbewegungsmittel mit einem Ausführungsbeispiel eines erfindungsgemäß ausgestalteten Fahrerassistenzsystems;
2 eine Veranschaulichung ungültiger Bildbereiche und deren Verkleinerung durch ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens;
3 eine perspektivische Ansicht eines erfindungsgemäß ausgestalteten Fortbewegungsmittels und eines durch Erhöhung einer Unschärfe für ungültig erklärten Bildbereiches; und
4 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
Ausführungsformen der Erfindung
1 zeigt einen PKW 10 als Fortbewegungsmittel, welcher über vier Umgebungssensoren in Form einer Frontkamera 1, einer Rückfahrkamera 3 und zweier seitwärts gerichteter Kameras 2, 4 in den Außenspiegeln verfügt. Die Kameras 1 bis 4 sind mit einem elektronischen Steuergerät 5 als Auswerteeinheit informationstechnisch verbunden, welches zusätzlich an einem Datenspeicher 7 angeschlossen ist. Über einen Bildschirm 6 als Anzeigeeinrichtung ist die Umgebung des PKWs 10 aus der Vogelperspektive darstellbar. Die Kameras 1 bis 4 erfassen jeweilige Bildbereiche 8, 9, 11, 12, welche sich in ihren Randbereichen überlappen. Die Randbereiche sind durch mögliche Positionen für Fügelinien 13 bis 20 hervorgehoben. Auch zwischen den jeweiligen Paaren von Fügelinien 13, 17; 14, 18; 15, 19; 16, 20 liegen also jeweils redundante Informationen vor, so dass die Informationen jeweils des einen korrespondierenden Sensors oder des anderen korrespondierenden Sensors oder eine gemischte Verwendung der Sensorsignale möglich ist.
2 zeigt eine Draufsicht (links) und eine korrespondierende perspektivische Ansicht (rechts) eines PKWs 10 als Fortbewegungsmittel und einen aufgrund einer geöffneten Seitentür ungültige Signale bereitstellenden Sensor in Form einer im Seitenspiegel angeordneten Kamera (nicht dargestellt). Während der Bildbereich 8 durch die Frontkamera nach wie vor mittels aktueller Sensordaten dargestellt werden kann, führt der Ausfall des Sensors im Seitenspiegel dazu, dass der Bildbereich 9 durch eine gestreifte Textur im gefügten Umgebungsabbild für ungültig erklärt wird. Um den ungültigen Bereich im gefügten Umgebungsabbild erfindungsgemäß möglichst gering zu halten, werden bislang verwendete Fügelinien 13, 14 in Richtung zweier Pfeile P1, P2 derart verschoben bzw. geschwenkt, dass sie mit den Fügelinien 17, 18 und damit den Randbereichen der Bildsignale der Frontkamera bzw. der Rückfahrkamera zusammenfallen. Im Ergebnis ist der durch die ungültigen Bildsignale des ersten Sensors (im Seitenspiegel) ungültige Bildbereich kleiner. Mit anderen Worten liegen im fortan dargestellten gefügten Bild mehr Informationen vor, als dies nach im Stand im Stand der Technik bekannten Verfahren der Fall wäre.
3 zeigt eine perspektivische Darstellung eines PKWs 10, dessen fahrerseitige Kamera im Außenspiegel keine gültigen Daten mehr in einem Bildbereich 12‘ liefert. Während ein vor der Fügelinie 20 angeordneter Bildbereich 8 aktuelle Daten repräsentiert und daher scharf dargestellt ist, wird der hinter der Fügelinie 20 angeordnete Bildbereich 12‘ unscharf bzw. verschwommen dargestellt, um die Ungültigkeit der in diesem Bildbereich 12‘ dargestellten Informationen zu veranschaulichen.
4 zeigt Schritte eines Verfahrens zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems für ein Fortbewegungsmittels gefügten Bildes. In Schritt 100 wird eine Tür des Fortbewegungsmittels geöffnet, wodurch ein in der Tür angeordneter erster Sensor aus einer normierten Position bewegt wird und fortan für eine gefügte Abbildung der Fahrzeugumgebung unbrauchbare Signale liefert. Entsprechend wird in Schritt 200 das erste Sensorsignal für ungültig erklärt. Dies bezieht sich zumindest auf die Verwendung des ersten Sensorsignals in Verbindung mit dem gefügten Bild. Im Ansprechen darauf werden diejenigen Fügelinien innerhalb des gefügten Bildes in Richtung eines zum ersten Sensor korrespondierenden Bildbereiches bewegt, welche zwischen einem dem ersten Sensor zugeordneten Bildbereich und den benachbarten Bildbereichen angeordnet sind. Dies erfolgt derart, dass die auch nach der Ungültigerklärung des ersten Sensorsignals vorliegenden Informationen bestmöglich zur Erstellung des gefügten Bildes verwendet werden. Anschließend wird in Schritt 400 ein nicht mit dem aktuellen Sensorsignal des ersten Sensors korrespondierendes Teilbild derart dargestellt, dass ein zuletzt mittels des ersten Sensors aufgenommenes Bild – künstlich hinsichtlich seiner Schärfe reduziert – anstelle der aktuellen Signale des ersten Sensors im gefügten Bild dargestellt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007017038 A1 [0004]
DE 102009057336 A1 [0005]

Claims

Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems für ein Fortbewegungsmittel (10) gefügten Bildes umfassend die Schritte: – Erkennen (200) eines ungültigen ersten Sensorsignals und im Ansprechen darauf – Neupositionieren (300) einer zwischen mit den Sensorsignalen korrespondierenden Bildbereichen (8, 9) des gefügten Bildes angeordneten Fügelinie (13) in Richtung eines zum ersten Sensor (2) korrespondierenden Bildbereiches (9).
Verfahren nach Anspruch 1, wobei das erste Sensorsignal mittels eines gegenüber einem zur Erzeugung des zweiten Sensorsignals verwendeten zweiten Sensor (1) schwenkbaren ersten Sensors (2) erzeugt wird.
Verfahren nach Anspruch 1 oder 2, wobei das erste Sensorsignal durch ein temporäres Verschwenken des ersten Sensors (2) ungültig wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei das erste Sensorsignal durch eine Bildstörung oder eine Signalunterbrechung ungültig wird.
Verfahren nach einem der vorstehenden Ansprüche weiter umfassend – Anzeigen (400) eines nicht mit einem aktuellen ersten Sensorsignal korrespondierenden Teilbildes (12‘) in einem dem ersten Sensorsignal zugeordneten Bildbereich (12).
Fahrerassistenzsystem zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal gefügten Bildes umfassend: – einen ersten Umgebungssensor (2) zur Erzeugung eines ersten Sensorsignals und – einen zweiten Umgebungssensor (1) zur Erzeugung eines zweiten Sensorsignals, – eine Auswerteeinheit (5), welche eingerichtet ist, ein ungültiges erstes Sensorsignal zu erkennen und im Ansprechen darauf – eine zwischen mit den Sensorsignalen korrespondierenden Bildbereichen (8, 9) des gefügten Bildes angeordnete Fügelinie (13) in Richtung eines zum ersten Sensor (2) korrespondierenden Bildbereiches (9) neu zu positionieren.
Fahrerassistenzsystem nach einem der vorstehenden Ansprüche weiter umfassend – einen Sensor zur Erkennung einer Verschwenkung – des ersten Umgebungssensors (2) und/oder – eines in einen Erkennungsbereich des ersten Umgebungssensors (2) verschwenkbaren Teils des Fortbewegungsmittels (10).
Fahrerassistenzsystem nach einem der vorstehenden Ansprüche, wobei – der erste Umgebungssensor (2) und – der zweite Umgebungssensor (1) ein jeweiliger optischer Sensor ist.
Fortbewegungsmittel umfassend ein Fahrerassistenzsystem nach einem der vorstehenden Ansprüche 6 bis 8.