-
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur optimierten Umgebungsüberwachung für ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen.
-
In Kraftfahrzeugen werden Sensoren zur Erfassung der Fahrzeugumgebung eingesetzt. Die Informationen über relevante Objekte im Fahrzeug werden z. B. in Fahrerassistenzsystemen in Fahrhilfen umgesetzt. Die Fahrhilfen sollen den Fahrer unterstützen, um Unfälle zu vermeiden oder die Schwere des Unfalls und die Unfallfolgen zu mildern. Zu den Fahrerassistenzsystemen zählen u. a. ACC (Adaptive Cruise Control), Pre-Crash-System und der Fußgängerkollisionsschutz. Um verlässliche Informationen über Umgebungsobjekte zu erlangen, können die Daten von zwei Umgebungserfassungssensoren zusammen geführt werden. Dabei wird anhand der Redundanz der Datensignale überprüft, ob sich wirklich ein Objekt in der Fahrzeugumgebung befindet. Bei verschiedenartigen Sensoren, z. B. einem Kamerasystem und einem Abstandsmesssystem kann sowohl der Abstand zum Objekt bestimmt werden als auch die Objektkonturen, anhand derer Größe und Art des Objekts bestimmt wird. Beispiele für eine Fusion von Sensordaten und daraus resultierende Vorteile werden im Stand der Technik beschrieben.
-
DE 196 29 775 A1 offenbart eine Kamera und ein Strahlabtast-Laserradar, deren optische Achsen übereinstimmen. Ein Fahrspurdetektor erfasst die eigene Fahrspur des Fahrzeugs auf einem Anzeigebild durch Verarbeitung eines von der Kamera aufgenommenen Bildes. Ein Koordinatentransformationsgerät transformiert die Koordinaten von Positionsinformation in Bezug auf ein Fahrzeug, das von dem Laserradar erfasst wird, entsprechend den Koordinaten auf dem Bild der Kamera. Ein weiterer Detektor vergleicht eine Position der eigenen Fahrspur des Fahrzeugs mit einer Position des erfassten Objekts, beurteilt, ob sich das erfasste Objekt innerhalb der eigenen Fahrspur des Fahrzeugs befindet und trennt das erfasste Objekt innerhalb der eigenen Fahrspur des Fahrzeugs von Objekten, die außerhalb der eigenen Fahrspur des Fahrzeugs festgestellt werden.
-
EP 1 580 075 A2 offenbart ein Fahrzeug mit einer Kamera und einem Radarsensor, wobei die Kamera den Bereich vor dem Fahrzeug überwacht und mittels Daten des Radarsensors ein vorausfahrendes Fahrzeug in den Kamerabildern detektiert.
-
US 2003/0169902 A1 zeigt ein Fahrzeug mit einer Hochgeschwindigkeitskamera, die Bilder der Umgebung des Fahrzeugs aufnimmt. Eine Bildrateneinstellungseinheit kann bei Bedarf die Bildrate erhöhen und somit ein Bild mit höherer Qualität liefern.
-
WO 2003/001472 A1 offenbart ein System, das Bildbereiche gemäß den Daten eines Radarsensors auswählt und nur diese Bildbereiche auswertet. Dadurch wird der Overhead reduziert und die Verarbeitungsgeschwindigkeit erhöht.
-
Es ist eine Aufgabe der hier vorliegenden Erfindung, Objekte in einer Kraftfahrzeugumgebung effizient und kostengünstig zu überwachen.
-
Diese Aufgabe ist erfindungsgemäß gelöst durch ein Verfahren und eine Vorrichtung mit den in den unabhängigen Ansprüchen beschriebenen Merkmalen. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen.
-
Es wird ein Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug angegeben. Dazu sind zumindest ein Kamerasystem und ein Abstandssensor vorgesehen. Die Erfassungsgebiete von Kamerasystem und Abstandssensor überlappen zumindest teilweise. Wird ein Umgebungsobjekt erkannt, wird vom Abstandssensor eine zugehörige Abstandsinformation ermittelt. Das im Folgenden beschriebene Verfahren kann entweder bezüglich aller vom Abstandssensor erkannten Objekte angewendet werden oder nur auf Objekte, die vorgegebene Merkmale aufweisen. Mögliche Merkmale sind, ob sich das Objekt auf einer prädizierten Fahrspur des Fahrzeugs befindet, der Abstand des Objekts, Annäherungsgeschwindigkeit, Größe, Konturen usw. In einer bevorzugten Ausgestaltung der Erfindung werden die genannten Eigenschaften mit dem Abstandssensor und/oder dem Kamerasystem ermittelt. Der Auslesetakt und/oder die Anzahl der ausgewerteten Bildpunkte des Kamerasystems wird in Abhängigkeit von der Entfernung und/oder der Relativgeschwindigkeit des (der) Umgebungsobjekts(e) gesteuert. In einer bevorzugten Ausgestaltung der Erfindung wird bei einer abnehmenden Entfernung Objekte die Anzahl der ausgewerteten Bildpunkte reduziert und/oder die Auslesefrequenz des Bildaufnehmers erhöht. Die Anzahl der Bildpunkte und der Auslesetakt eines Bildaufnehmers bestimmen die anfallende Datenmenge, die in der Auswerteeinheit des Kamerasensors ausgewertet wird. Die Kosten einer Auswerteeinheit steigen mit der zu verarbeitenden Datenmenge an. Es ist also vorteilhaft, die zur Verfügung stehende Kapazität der Auswerteeinheit bzw. eines darin enthaltenen Mikrocontrollers optimal auszunutzen. Ein Objekt das einen großen Abstand zum Kamerasystem aufweist, wird in einem relativ kleinen Bildausschnitt abgebildet verglichen mit demselben Objekt, das sich in einem kleinen Abstand zum Kamerasystem befindet. Die Anzahl der Pixel bei einem Bildaufnehmer ist vorgegeben. Ist ein Objekt weit entfernt, wird es mit einer geringeren Pixelzahl abgebildet als dasselbe Objekt in der Nähe des Kamerasystems. Da häufig mit einer geringen Anzahl von Bildpunkten ein Objekt hinreichend gut charakterisiert werden kann, ist es sinnvoll bei nahen Objekten die Anzahl der Bildpunkte zu reduzieren. Dies kann z. B. durch eine Zusammenfassung der Signale von mehreren Pixeln des Bildaufnehmers geschehen. Es wird z. B. der Mittelwert und/oder der Median und/oder der Extremwert (größter oder kleinster Wert) der Einzelsignale gebildet, die zu einem Bildpunkt beitragen, und dieser Wert wird für die weitere Auswertung mit Bildverarbeitungsalgorithmen zur Verfügung gestellt. Durch die Reduzierung der Bildpunkte wird, auch die anfallende Datenmenge in der Auswerteeinheit reduziert. Die frei gewordene Kapazität wird z. B. durch eine Erhöhung des Auslesetakts des Bildaufnehmers genutzt. Dadurch werden nahe Objekte, mit denen eine erhöhte Kollisionsgefahr besteht häufiger abgetastet und ihr Gefährdungspotential kann besser abgeschätzt werden. In einer Ausgestaltung der Erfindung gibt es eine vorgegebene untere Schwelle für die minimale Anzahl der auszuwertenden Bildpunkte. Die untere Schwelle wird ggf. in Abhängigkeit vom relevanten Objekt (Höhe, Breite, Mensch, Kraftfahrzeug etc.) gesetzt werden. Zur Objektklassifizierung (Mensch, Verkehrszeichen, PKW) werden auch die Bilddaten des Kamerasystems hinzugezogen und mittels bekannter Objekterkennungsalgorithmen, z. B. Pattern Matching, ausgewertet.
-
In einer weiteren Ausgestaltung der Erfindung wird die Relativgeschwindigkeit. eines relevanten Objekts bestimmt. Die Relativgeschwindigkeit wird entweder anhand mehrerer zeitlich aufeinander folgender Messungen des Abstands zwischen Objekt und Kamera bestimmt oder direkt aus den Sensordaten eines Relativgeschwindigkeitssensors. Mit zunehmender Relativgeschwindigkeit zwischen Objekt und Kraftfahrzeug ist ein erhöhter Auslesetakt des Bildaufnehmers von Vorteil, um das Gefährdungspotential des Objekts zu bewerten und um ggf. Maßnahmen zur Kollisionsvermeidung oder Schadensminderung einzuleiten. Ein erhöhter Auslesetakt erhöht die Datenmenge, die von der Auswerteeinheit verarbeitet werden muss. Hier wiederum kann die Datenmenge durch eine Reduzierung der Bildpunkte so verkleinert werden, so dass die Kapazität der Auswerteeinheit nicht überschritten wird.
-
In einer vorteilhaften Ausgestaltung der Erfindung wird ein Bildbereich, indem sich ein Objekt befindet, mit einer erhöhten Rechenkapazität ausgewertet. Wird z. B. ein Objekt in einem Bild erkannt, wird ein relevanter Bildbereich um das Objekt herum definiert, in dem sich das Objekt in der nächsten Bildaufnahme mit einer großen Wahrscheinlichkeit aufhält. Die Auswahl des relevanten Bildbereich kann z. B. aufgrund der Objektklasse (Fahrzeug, Fahrbahnmarkierung, Lebewesen, ...) und/oder der Relativgeschwindigkeit erfolgen. Der relevante Bildbereich wird mit einer erhöhten Rechenkapazität ausgewertet. Das kann z. B. bedeuten, dass nicht relevante Bereiche des Bildes mit einer reduzierten Pixelzahl ausgewertet werden und/oder das nichtrelevante Bildbereiche nicht in jedem aufgenommen Bild ausgewertet werden, sondern z. B. nur in jedem 2., 3. oder 4. aufgenommenen Bild. Es kann aus Abstand und/oder Relativgeschwindigkeit und/oder Objektklasse eine Maßzahl für die Kritikalität des Objekts bestimmt werden. Werden mehrere Objekte erfasst und damit mehrere relevante Bildbereiche identifiziert, können die Bilddaten der Bildbereiche gemäß ihrer Kritikalität in jedem, jedem 2., jedem 3. Bild usw. ausgewertet werden.
-
In einer weiteren Ausgestaltung der Erfindung weist der Abstandssensor zumindest zwei Empfangskanäle mit Empfängern auf, die auf unterschiedliche Zielgebiete ausgerichtet sind. So wird zusätzlich zum Abstand eine Information über das Raumsegment zur Verfügung gestellt, in dem sich ein relevantes Objekt befindet. Diese Information wird derart genutzt, dass der Bildbereich sich das Objekt befindet, mit einer erhöhten Kapazität der Auswerteeinheit ausgewertet wird. Das kann z. B. bedeuten, dass nur noch Bildbereiche ausgewertet werden, in denen sich relevante Objekte befinden. Dieses Vorgehen reduziert die Anzahl der Bildpunkte, so dass der Auslestakt erhöht werden kann, ohne die Kapazität der Auswerteeinheit zu überschreiten. Eine weitere Ausgestaltungsmöglichkeit besteht darin, die Anzahl der Bildpunkte in einem Bildbereich ohne ein relevantes Objekt verglichen mit einem Bildbereich mit einem relevanten Objekt zu reduzieren und/oder nichtrelevante Bildbereiche nicht in jedem aufgenommen Bild auszuwerten, sondern z. B. nur in jedem 2., 3. oder 4. aufgenommenen Bild.
-
In einer bevorzugten Ausgestaltung der Erfindung ist das Produkt aus Auslesetakt und Anzahl der Bildpunkte nahezu konstant und entspricht der Rechenkapazität der Auswerteeinheit. Zudem wird eine Vorrichtung zur optimierten Umgebungserfassung für ein Kraftfahrzeug beansprucht. Die Vorrichtung umfasst zumindest ein Kamerasystem und einen Abstandssensor. Die Zielgebiete von Abstandsensor und Kamerasystem überlappen zumindest teilweise. Das Kamerasystem sieht zumindest einen Bildaufnehmer vor, der mit einer vorgegebenen, veränderbaren Frequenz ausgelesen wird. Ein Verfahren zur optimierten Umgebungsüberwachung nach einem der vorherigen Ansprüche ist in einer Kontrolleinheit hinterlegt. Die Kontrolleinheit steuert anhand der eingehenden Sensordaten den Auslesetakt und die Anzahl der auszuwertenden Bildpunkte.
-
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert.
-
1: Kraftfahrzeug mit Kamerasystem und Abstandssensor
-
2: Diagramm: Anzahl der ausgewerteten Bildpunkte und Auslesetakt in Abhängigkeit vom Abstand zwischen Fahrzeug und Umgebungsobjekt.
-
3: Erfassungsbereiche von Kamerasystem und Abstandssensor
-
In 1 ist ein Kraftfahrzeug 4 mit ein Kamerasystem 1 und einem Abstandssensor 2 dargestellt. Beide Sensoren schauen in Fahrtrichtung 5 und sind nahezu auf das gleiche Zielgebiet ausgerichtet. Beide Sensoren sind mit einer Kontrolleinheit 3 verbunden, die anhand der eingehenden Sensordaten den Auslesetakt und die Anzahl der Bildpunkte steuert. Weiterhin umfasst die Kontrolleinheit 3 eine Auswerteeinheit, die zumindest die Bilddaten auswertet. In dem in 2 dargestellten Diagramm gibt die Ordinate links den prozentualen Anteil der ausgewerteten Bildpunkte, die Ordinate rechts den Auslesetakt und die Abszisse den Abstand zwischen Fahrzeug und Umgebungsobjekt an.
-
Der Verlauf der Linie 6a zeigt hierbei den Zusammenhang zwischen Abstand eines Objekts und prozentualer Bildauswertung. Es kann aber auch jeder andere beliebige Verlauf genommen werden, um das System optimal an die Umgebung anzupassen. Eine weitere Möglichkeit ist mit Linie 6b dargestellt. Linie 7 beschreibt den Auslesetakt in willkürlichen Einheiten in Abhängigkeit vom Abstand zum Objekt. Beide Linien 6a und 6b zeigen, dass mit zunehmendem Abstand eine Zunahme der auszuwertenden Bildpunkte erfolgt. Bei einem Abstand von 100 m nimmt der Auslesetakt gemäß seinem unteren Schwellwert den Wert 1 in willkürlichen Einheiten ein. Entspricht eine willkürliche Einheit 50 Hz, so wird eine Auflösung der Objektbewegung von 20 cm bei einer Relativgeschwindigkeit von 36 km/h erreicht, die den Anforderungen für ein 100 m entferntes Objekt genügt. Bei einem sich verringernden Abstand, wird der prozentuale Wert der auszuwertenden Bildpunkte verringert. Die frei werdende Rechenleistung wird genutzt, indem der Auslesetakt und damit die Auflösung der Objekttrajektorie erhöht werden. Beträgt der Abstand z. B. 25 m, hat die Anzahl der auszuwertenden Bildpunkte seinen unteren Schwellwert mit 20% erreicht und der Auslesetakt wird um den Faktor 5 erhöht.
-
Das in 2 dargestellte Diagramm kann auch in Abhängigkeit von der Relativgeschwindigkeit zwischen Kraftfahrzeug und Objekt erstellt werden.
-
Dabei würde der Auslesetakt mit zunehmender Relativgeschwindigkeit ansteigen, um die Auflösung der Objekttrajektorie zu erhöhen und um eine Aussage über eine mögliche Kollision treffen zu können. Die Anzahl der Bildpunkte wird entsprechend der Kapazität der Auswerteeinheit angepasst. In einem weiteren Ausführungsbeispiel wird aus Abstand und Relativgeschwindigkeit eine Maßzahl für die Kritikalität bestimmt.
-
In Abhängigkeit von der Maßzahl werden die Anzahl der auszuwertenden Bildpunkte und der Auslesetakt bestimmt In 3 sind die Erfassungsbereiche des Kamerasystems und eines mehrkanaligen Abstandssensors dargestellt. Die Erfassungsbereiche 9a, 9b, 9c des Abstandssensors 2 liegen innerhalb des Erfassungsbereichs 8 des Kamerasystems 1. Wenn in einem Erfassungsbereich 9a, 9b oder 9c ein relevantes Objekt detektiert wird, wird der entsprechende Bildbereich 10a, 10b, oder 10c mit einer erhöhten Auswertekapazität ausgewertet. In diesem Ausführungsbeispiel werden nur die Bildbereiche ausgewertet, in denen sich laut Daten des Abstandssensors 2 relevante Objekte befinden. Die Anzahl der Bildpunkte wird somit reduziert und der Auslesetakt wird gemäß der zur Verfügung stehenden Rechenkapazität erhöht. Werden zwei relevante Objekte in unterschiedlichen Entfernungen erfasst, so wird der Auslesetakt in Abhängigkeit von dem nächsten relevanten Objekt bzw. von dem relevanten Objekt mit der größten Relativgeschwindigkeit bzw. von der Maßzahl für die Kritikalität gewählt. Die Anzahl der Bildpunkte wird entsprechend der Auswertekapazität angepasst. Werden in zumindest zwei Bildbereiche 10 bewertet, kann die Anzahl der ausgewerteten Bildpunkte darin gleich sein. In einem weiteren Ausführungsbeispiel wird die Anzahl der Bildpunkte in Abhängigkeit von der Kritikalität des erfassten Objekts (Abstand, Relativgeschwindigkeit) und der Auswertekapazität bestimmt. In diesem Fall kann die Anzahl der auszuwertenden Bildpunkte unterschiedliche Werte in den relevanten Bildbereichen 10 einnehmen.