DE10141055A1

DE10141055A1 - Verfahren zur Bestimmung von Bewegungsinformationen

Info

Publication number: DE10141055A1
Application number: DE10141055A
Authority: DE
Inventors: Ulrich Lages; Kay Fuerstenberg; Volker Willhoeft
Original assignee: Ibeo Automobile Sensor GmbH
Current assignee: Ibeo Automotive Systems GmbH
Priority date: 2001-08-22
Filing date: 2001-08-22
Publication date: 2003-03-06
Anticipated expiration: 2021-08-23
Also published as: DE10141055B4

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes, bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, ..., x-2, x-1, x, x+1, ...n) des Überwachungsbereichs erfaßt, die Positionen signifikanter Referenzpunkte des Objektes innerhalb der erfaßten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt bezogene Bewegungsinformation abgeleitet wird, bei dem entweder DOLLAR A - bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die den überdeckten Referenzpunkten entsprechenden Referenzpunkte im Bild x-1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x-1 verarbeitet werden, oder bei dem DOLLAR A - bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes ermittelt und im Auswertealgorithmus berücksichtigt werden.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes, bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, . . ., x-2, x-1, x, x+1, . . . n) des Überwachungsbereichs erfaßt, die Positionen signifikanter Referenzpunkte des Objektes innerhalb der erfaßten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt bezogene Bewegungsinformation abgeleitet wird.

Derartige Verfahren sind bekannt und werden beispielsweise dazu verwendet, die Geschwindigkeit von Objekten zu berechnen. Dabei geht in den Berechnungsalgorithmus zum einen die zwischen der Aufnahme eines ersten und eines zweiten Bildes zurückgelegte Wegstrecke des Objektes ein, die aus der Posititonsänderung des Objektes im zweiten Bild gegenüber dem ersten Bild ableitbar ist. Zum anderen geht die Zeit, die zwischen der Aufnahme des ersten und des zweiten Bildes verstrichen ist, in die genannte Berechnung ein.

Mit geeigneten weiteren Algorithmen sind neben der Geschwindigkeit beispielsweise auch die Bewegungsrichtung sowie die Beschleunigung von Objekten bestimmbar.

Problematisch bei Verfahren der bekannten Art sind Situationen, in denen das zu verfolgende Objekt bei der Aufnahme zumindest eines Bildes durch ein Vordergrundobjekt teilweise verdeckt wird. In diesem Fall bereitet es Probleme, das nur teilweise auf dem aufgenommenen Bild dargestellte Objekt mit vollständigen Aufnahmen des Objektes in anderen Bildern zu vergleichen, da letztlich sich voneinander unterscheidende Bilder ein und desselben Objekts miteinander verglichen werden müssen. Ein Vergleich ist besonders schwierig, wenn bei dem teilverdeckten Objektbild wichtige Referenzpunkte des Objektes, die für dessen Positionsbestimmung benötigt werden, nicht zu sehen sind.

Eine der Erfindung zugrunde liegende Aufgabe besteht dementsprechend darin, ein Verfahren der eingangs genannten Art derart weiterzubilden, daß auch bei einer Verarbeitung von Bildern mit teilverdeckten Objekten eine Bewegungsinformation des verfolgten Objekts zuverlässig und korrekt abgeleitet werden kann.

Diese Aufgabe wird gemäß einer ersten Alternative der vorliegenden Erfindung dadurch gelöst, daß bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die den überdeckten Referenzpunkten entsprechenden Referenzpunkte im Bild x-1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x-1 verarbeitet werden.

Wenn also erfindungsgemäß zwei Bilder x-1 und x miteinander verglichen werden, um aus den Positionen der Referenzpunkte des verfolgten Objekts Bewegungsinformationen bezüglich dieses Objekts abzuleiten, wird untersucht, welche Referenzpunkte des Objektes im Bild x durch ein Vordergrundobjekt verdeckt sind, woraufhin dann das Bild x-1 im Auswertealgorithmus so behandelt wird, als ob im Bild x-1 diese Referenzpunkte ebenfalls nicht vorhanden gewesen wären. Diese, auch beim Bild x-1 unterbleibende Berücksichtigung der im Bild x verdeckten Referenzpunkte führt dann dazu, daß beim Vergleich der beiden Bilder x und x-1 jeweils nur Referenzpunkte miteinander verglichen werden, die in beiden Bildern vorhanden sind, was - anschaulich formuliert - bedeutet, daß letztlich nur Objekte miteinander verglichen werden, die untereinander gleich aussehen. Dieser erfindungsgemäß auch bei im Bild x teilverdeckten Objekten mögliche Vergleich untereinander gleicher Objekte bedingt somit auf vorteilhafte Weise, daß in den Auswertealgorithmus nur solche Referenzpunkte eingehen, die in beiden Bildern x und x-1 vorhanden sind, weshalb mittels des Auswertealgorithmus die gewünschten Bewegungsinformationen des Objektes problemlos zu ermitteln sind.

In diesem Zusammenhang sei bemerkt, daß im Rahmen der Erfindung unter "Referenzpunkten" alle objektspezifischen Daten verstanden werden, die in den Auswertealgorithmus eingehen, also nicht nur Positionen signifikanter Stellen des Objektes im Bild, sondern auch dynamische Parameter der Objekte, wie z. B. Geschwindigkeit, Beschleunigung und Bewegungsrichtung oder objektklassenspezifische Parameter, die nachstehend im Rahmen der Erläuterung einer erfindungsgemäßen Objektklassifizierung noch erklärt werden.

Im Rahmen der ersten Alternative der Erfindung ist es möglich, nicht nur die genannten Referenzpunkte im Bild x-1 unberücksichtigt zu lassen, sondern zusätzlich auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte in einem oder mehreren Bildern nicht zu berücksichtigen, die vor dem Bild x-1 erfaßt wurden. So wird sichergestellt, daß auch bei Verarbeitung derjenigen Bilder, die vor dem Bild x-1 erfaßt wurden, immer nur Referenzpunkte in die jeweiligen Berechnungszyklen des Auswertealgorithmus eingehen, die in allen im jeweiligen Berechnungszyklus verarbeiteten Bildern vorhanden sind.

Alternativ können die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte in denjenigen Bildern, die vor dem Bild x-1 erfaßt wurden, im Auswertealgorithmus jedoch auch berücksichtigt werden. In diesem Fall müssen im Rahmen desjenigen Berechnungszyklus, in dem das Bild x-1 und Bilder die vor diesem Bild x-1 erfaßt wurden, verarbeitet werden, alle Referenzpunkte des Bildes x-1 berücksichtigt werden, also auch diejenigen, die im Bild x überdeckt waren.

Im Rahmen der ersten Alternative der Erfindung ist es weiterhin möglich, daß auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x+1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x+1 verarbeitet werden. Die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x+1 werden dann jedoch in demjenigen Berechnungszyklus wieder berücksichtigt, in dem die Bilder x+1 und x+2 verarbeitet werden. So wird sichergestellt, daß in jedem Berechnungszyklus des Auswertealgorithmus immer nur Bilder miteinander vollständig entsprechenden Referenzpunkten verarbeitet werden.

Gemäß einer zweiten Alternative der Erindung wird die eingangs genannte Aufgabe dadurch gelöst, daß bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes ermittelt und im Auswertealgorithmus berücksichtigt werden.

Auch durch diese erfindungsgemäße Alternative wird der vorstehend bereits erläuterte Vorteil erreicht, daß im Auswertealgorithmus nur solche Referenzpunkte verarbeitet werden, die in allen Bildern vorhanden sind, die im Rahmen eines Berechnungszyklus des Auswertealgorithmus verarbeitet werden.

Bevorzugt ist es dabei, wenn die Positionen der überdeckten Referenzpunkte im Bild x nicht nur aus den nicht überdeckten Referenzpunkten dieses Bildes, sondern zusätzlich auch aus objektbezogenen Informationen vorhergehender Bilder ermittelt werden. So kann zur Rekonstruktion von teilverdeckten Objekten im Bild x auch Information aus Bildern herangezogen werden, die vor dem Bild x erfaßt wurden und in denen das im Bild x teilverdeckte Objekt vollständig dargestellt war.

Die nachfolgend erläuterten bevorzugten Ausführungsformen der Erfindung beziehen sich sowohl auf die erste als auch auf die zweite erfindungsgemäße Lösungsalternative.

Mittels des Auswertealgorithmus können im Rahmen eines Berechnungszyklus immer zwei aufeinanderfolgend erfaßte Bilder verarbeitet werden. Alternativ ist es jedoch auch möglich, mehr als zwei Bilder in einem Berechnungszyklus zu verarbeiten, wobei dann im Rahmen des erfindungsgemäßen Verfahrens sicherzustellen ist, daß alle in einem Berechnungszyklus verarbeiteten Bilder mit jeweils einander entsprechenden Referenzpunkten in den Berechnungszyklus eingehen.

Besonders bevorzugt ist es, wenn die zu erfassenden Objekte jeweils einer von mehreren Objektklassen zugeordnet werden, wobei jede Objektklasse durch objektklassenspezifische Parameter gekennzeichnet ist. Diese Klassifizierung ermöglicht ein verbessertes Erkennen von Objekten, da es nicht mehr nötig ist, ein Objekt genau zu erkennen, sondern lediglich festgestellt werden muß, zu welcher Objektklasse ein erfaßtes Objekt gehört. In den Auswertealgorithmus können dann zusätzlich zu den Positionen signifikanter Bereiche des Objektes auch noch objektklassespezifische Parameter eingehen. Insbesondere können in den Auswertealgorithmus die genannten Referenzpunkt-Positionen, aus diesen Referenzpunkt- Positionen abgeleitete Zusatzinformationen, wie z. B. Bewegungsrichtung und Geschwindigkeit und/oder objektklassenspezifische Parameter eingehen.

Es kann beispielsweise je eine Objektklasse für zwei oder mehr der folgenden sechs Objekttypen vorgesehen werden:
Zweirad-Fahrer, Person, Bus/Lkw, Pkw, Pfahl, Mauer/Leitplanke. Insbesondere bei Anwendung des erfindungsgemäßen Verfahrens im Straßenverkehr können diese sechs Objekttypen bereits ausreichen, um den jeweiligen Überwachungsbereich ausreichend genau zu erfassen und Bewegungsinformationen jeweils interessierender, den Objektklassen zugeordneter Objekte zu ermitteln.

Jeder Objektklasse können typische geometrische Parameter, wie insbesondere die Objekthöhe, ein Objekthöhenbereich, die Objektkontur und/oder ein Objektkonturbereich zugeordnet werden. Bei Zuordnung der genannten Bereiche wird es möglich, im Rahmen der Klassifizierung erfaßter Objekte bestimmte Objektklassen von vornherein auszuschließen. Wenn beispielsweise bezüglich eines erfaßten Objekts entschieden werden muß, ob es der Objektklasse "Zweirad-Fahrer" oder der Objektklasse "Bus/Lkw" zugeordnet werden muß, kann die Objektklasse "Zweirad- Fahrer" ausgeschlossen werden, wenn das erfaßte Objekt eine Höhe aufweist, die größer ist, als es der für die Objektklasse "Zweirad-Fahrer" geltende Objekthöhenbereich zuläßt.

Jeder Objektklasse können weiterhin typische dynamische Parameter, wie insbesondere eine Geschwindigkeit, ein Geschwindigkeitsbereich, eine Beschleunigung und/oder ein Beschleunigungsbereich zugeordnet werden. Auch durch diese Bereiche lassen sich bei zweifelhafter Zuordnung eines Objekts zu bestimmten Objektklassen wiederum Ausschlußkriterien formulieren.

Zudem können zumindest bestimmten Objektklassen typische, jeweils auf andere Objektklassen bezogenen Relationsparameter zugeordnet werden, die insbesondere dazu dienen, bei der Zuordnung von Objekten zu Objektklassen bestimmte Objektklassen auszuschließen. Wenn sich beispielsweise ein zu klassifizierendes Objekt mittig zwischen zwei Leitplanken befindet, die eine Fahrbahn begrenzen, kann es sich dabei nicht um einen Pfahl handeln, da Pfähle in der Fahrbahnmitte nicht vorkommen. Vielmehr ist es dann bei einer hohen und schmalen Form des Objektes wahrscheinlich, daß es sich hierbei um eine Person handelt. Insofern wird hier also der Objektklasse "Pfahl" ein Relationsparameter zugeordnet, gemäß dem es nicht zulässig ist, daß sich ein Objekt dieser Objektklasse in etwa mittig zwischen zwei Objekten der Klasse "Mauer/Leitplanke" befindet. Es lassen sich hier beliebige weitere Relationsparameter und Ausschlußkriterien formulieren.

Die ermittelten Bilder bestehen jeweils aus einzelnen Bildpunkten. Als Objektpunkte können dabei solche Bildpunkte verwendet werden, die auf der Konturlinie der erfaßten Objekte liegen. Besonders bevorzugt ist es, wenn die Objektpunkte auf der gesamten Konturlinie des Objekts verteilt sind.

Die mittels des Auswertealgorithmus zu verarbeitenden Bilder können mittels eines Scanners, insbesondere mittels eines Laserscanners ermittelt werden. Ein solcher Laserscanner kann den Überwachungsbereich zeilenweise oder aber auch flächig abtasten. Ein solcher, flächig abtastender Laserscanner ist beispielsweise in der deutschen Patentanmeldung DE 101 10 420.0 beschrieben.

Als Bewegungsinformation kann die Bewegungsrichtung, die Geschwindigkeit und/oder die Beschleunigung eines Objektes ermittelt werden.

Besonders bevorzugt ist die Verwendung des erfindungsgemäßen Verfahrens bei der Erfassung der Umgebung eines Fahrzeugs, wobei insbesondere auch die Fahrzeuggeschwindigkeit, die Fahrzeugbeschleunigung, Lenkwinkel, Lenkwinkeländerung, Gierrate, Gierratenänderung und/ oder die Bewegungsrichtung des Fahrzeugs, in dem das erfindungsgemäße Verfahren durchgeführt wird, in den Auswertealgorithmus eingehen.

Weitere bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen angegeben.

Die Erfindung wird nachfolgend anhand zweier möglicher Ausführungsbeispiele unter Bezugnahme auf die Figuren erläutert; in diesen zeigen:
Fig. 1 ein Bild x-1 gemäß Stand der Technik,
Fig. 2 ein Bild x gemäß Stand der Technik,
Fig. 3 ein Bild x+1 gemäß Stand der Technik,
Fig. 4 ein Bild x-1 gemäß einer ersten Alternative der Erfindung,
Fig. 5 ein Bild x+1 gemäß einer ersten Alternative der Erindung,
Fig. 6 ein Bild x gemäß einer zweiten Alternative der Erfindung, und
Fig. 7 bis 12 Bilder eines Laserscanners mit ermittelten Meßpunkten, berechneten und prädizierten Punkten.
Das Bild x-1 gemäß Fig. 1 zeigt schematisiert eine Fahrbahn 1, auf der sich in Pfeilrichtung ein Lkw 2 bewegt, welcher vereinfacht als Kontur eines Quaders dargestellt ist. Am Rand der Fahrbahn 1, außerhalb dieser Fahrbahn 1, befindet sich ein stationär angeordneter Pfahl 3, beispielsweise ein Straßenlaterne. Lkw 2 und Pfahl 3 sind gemäß Fig. 1 relativ zueinander so angeordnet, daß der Pfahl 3 die Konturlinie des Lkw 2 nicht verdeckt, so daß die gesamte Kontur des Lkw 2 mittels eines Scanners oder einer Kamera erfaßt werden kann.
In dem zeitlich nach dem Bild x-1 gemäß Fig. 1 aufgenommenen Bild x gemäß Fig. 2 hat sich der Lkw 2 auf der Fahrbahn 1 in Pfeilrichtung soweit vorwärts bewegt, daß ein Bereich seiner Konturlinie durch den Pfahl 3 verdeckt wird. Bei Aufnahme des Bildes x gemäß Fig. 2 mittels eines Scanners oder einer Kamera kann also nicht die gesamte Konturlinie des Lkw 2 erfaßt werden, was bedeutet, daß sich die Konturlinien des Bildes x-1 und des Bildes x hinsichtlich ihrer Vollständigkeit voneinander unterscheiden.
Das Bild x+1 gemäß Fig. 3 wurde wiederum nach dem Bild x gemäß Fig. 2 aufgenommen. In diesem Bild gemäß Fig. 3 hat sich der Lkw 2 gegenüber der Position gemäß Fig. 2 wiederum in Pfeilrichtung weiterbewegt, und zwar soweit, daß seine Konturlinie nicht mehr durch den Pfahl 3 verdeckt ist. Insofern unterscheidet sich also die Konturlinie gemäß Fig. 3 bezüglich ihrer Vollständigkeit nicht von der Konturlinie gemäß Fig. 1.
Wenn nun ein Auswertealgorithmus eingesetzt wird, bei dem im Rahmen eines Berechnungszyklus immer zwei aufeinanderfolgende Bilder verarbeitet werden, stellen sich Probleme ein, wenn zum einen die Bilder x-1 und x und zum anderen die Bilder x und x+1 verarbeitet werden, da in beiden Bildern jeweils Konturlinien des Lkw 2 vorliegen, die sich hinsichtlich ihrer Vollständigkeit voneinander unterscheiden und die somit nicht ohne weiteres verarbeitet und verglichen werden können.
Gemäß Fig. 4 wird gemäß der ersten Alternative der Erfindung das Bild x-1 derart modifiziert, daß dort derjenige Bereich der Konturlinie des Lkw 2 gestrichen wird, der im Bild x (Fig. 2) durch den Pfahl 3 verdeckt ist. Durch diese Streichung können dann in einem Berechnungszyklus des Auswertealgorithmus, in den die Bilder x-1 (Fig. 4) und x (Fig. 2) eingehen, jeweils in gleicher Weise unvollständige Konturlinien des Lkw 2 verarbeitet und verglichen werden, was eine fehlerfreie Berechnung seiner Geschwindigkeit oder seiner Bewegungsrichtung ermöglicht.
Ebenso kann gemäß Fig. 5 im Bild x+1 derjenige Bereich der Konturlinie des Lkw 2 gestrichen werden, der gemäß Fig. 2 im Bild x durch den Pfahl 3 verdeckt ist. So läßt sich der erfindungsgemäße Vorteil auch in demjenigen Berechnungszyklus des Auswertealgorithmus verwirklichen, in dem das Bild x (Fig. 2) und das Bild x+1 (Fig. 5) verarbeitet wird.
Gemäß der zweiten Alternative der Erfindung wird der fehlende Konturbereich im Bild x gemäß Fig. 2 aus den im Bild x vorhandenen Informationen sowie aus eventuell vorhandenen Zusatzinformationen vorhergehender Bilder rechnerisch ermittelt, so daß die Konturlinie des Bildes x gemäß Fig. 6 zu einer vollständigen Konturlinie ergänzt werden kann. Somit liegen dann ausschließlich vollständige Konturlinien vor, so daß sowohl die Verarbeitung der Bilder x-1 (Fig. 1) und x (Fig. 6) als auch die Verarbeitung der Bilder x (Fig. 6) und x+1 (Fig. 3) problemlos erfolgen kann.
Die vorstehend erläuterten Ausführungsbeispiele stellen vereinfachte Versionen des erfindungsgemäßen Verfahrens dar. Das erfindungsgemäße Verfahren kann ohne weiteres auch auf solche Bilder angewandt werden, in denen die Objektverdeckung größer ausfällt als in Fig. 2 dargestellt.
Nachfolgend wird ein konkretes Anwendungsbeispiel gemäß der zweiten Alternative der Erindung einschließlich der für dessen Verständnis notwendigen Grundlagen erläutert. Dieses Anwendungsbeispiel bezieht sich auf die Geschwindigkeitsbestimmung von Fahrzeugen mittels Laserscannern.
Die Geschwindigkeit eines Objekts kann mittels Kalman-Filter, hauptsächlich beruhend auf dem Vergleich der Schwerpunkte zweier aufeinanderfolger Scans bzw. zweier aufeinanderfolgender Bilder n-1 und n, wie folgt ermittelt werden:

ν (o,n)|x: x-Koordinate der Geschwindigkeit des o-ten Objekts im n-ten Scan.
ν (o,n)|y: Koordinate der Geschwindigkeit des o-ten Objekts im n-ten Scan.
α_n: Wichtungsfaktor der Geschwindigkeit des n-ten Scan (Σα_n = 1).
T_Scan: Zeitdauer für die Aufnahme eines Scans.
S (o,n)|x: x-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
S (o,n)|y: y-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
Der einzelne Objektschwerpunkt kann aus dem geometrischen Mittelwert der zugehörigen Meßpunkte wie folgt berechnet werden:

N: Anzahl der Meßpunkte des o-ten Objekts.
x (o,n)|i: Koordinate des i-ten Meßpunkts des o-ten Objekts.
y (o,n)|i: y-Koordinate des i-ten Meßpunkts des o-ten Objekts.
Wird ein Objekt von einem Scan zum nächsten teilweise verdeckt, ändert sich die Position des Schwerpunkts relativ zum Objekt, wodurch dem Objekt eine zusätzliche Geschwindigkeitskomponente addiert werden würde. Es würde somit eine Objektgeschwindigkeit berechnet, die nicht der realen Objektgeschwindigkeit entspricht. Um dies zu unterbinden, können erfindungsgemäß Teilverdeckungen von Objekten zunächst erkannt und - wenn erkannt - das Objekt rekonstruiert werden.
Um ein Objekt rekonstruieren zu können, müssen jedoch seine vorherige Form und seine Abmessungen bekannt sein. Dies kann über eine Klassifikation der Objekte erreicht werden.
Typische Grobklassifikationsformen, die bei der Umgebungserfassung mit Laserscannern auftreten, sind Winkelobjekte, Geradenobjekte, kleine Objekte und Sonstige. Fig. 7a zeigt die von einem Laserscanner 4 aufgenommenen Meßpunkte 5 der Umgebung des Laserscanners 4 in einer parallel zu einer Fahrbahn verlaufenden Ebene. In Fig. 7b sind die Meßpunkte 5 mittels geeigneter Algorithmen zu zusammenhängenden Linien ergänzt worden, so daß eine Objektklassifizierung möglich wird. Jede zusammenhängende Linie stellt letztlich ein Objekt dar.
Ein Winkelobjekt 6 besteht aus zwei Vektoren, wobei sich ein Vektor von dem am nächsten am Laserscanner 4 liegenden Punkt 7 zu dem am weitesten links liegenden Punkt 8 (im folgenden auch "linker Punkt") und der zweite Vektor von dem am nächsten am Laserscanner 4 liegenden Punkt 7 zu dem am weitesten rechts liegenden Punkt 9 (im folgenden auch "rechter Punkt") erstreckt. Die beiden Vektoren schließen zwischen sich einen Winkel ein, der ca. 90° beträgt.
Die in Fig. 7b dargestellten Winkelobjekte 6 repräsentieren Fahrzeuge, die sich jeweils schräg vor dem Laserscanner 4 befinden.
Ein Geradenobjekt 10 ist u. a. dadurch gekennzeichnet, daß der am nächsten am Laserscanner 4 liegende Punkt 7 und der Schwerpunkt zwischen dem am weitesten links 8 und dem am weitesten rechts 9 liegenden Punkt angeordnet sind. Das in Fig. 7b dargestellte Geradenobjekt 10 repräsentiert ein Fahrzeug, bzw. dessen Heck, das sich im wesentlichen gerade vor dem Laserscanner 4 befindet.
Alle anderen Objekte 11, die gemäß Fig. 7b z. B. einen Fußgänger repräsentieren, werden der Objektklasse Sonstige zugeordnet.
Eine feinere Klassifikation ist mit Hilfe zusätzlicher Objektparameter möglich.
Im folgenden wird ein als Winkelobjekt klassifiziertes Objekt genauer betrachtet, um die Vorgehensweise bei der Klassifikation, Verdeckungserkennung und der Rekonstruktion genauer zu beschreiben.
Fig. 8 zeigt ein ein Fahrzeug repräsentierendes Winkelobjekt 6 sowie ein einen Fußgänger repräsentierendes sonstiges Objekt 11, wobei das Winkelobjekt 6 weiter vom Laserscanner 4 entfernt ist als das sonstige Objekt 11. In der folgenden Tabelle sind einige Objekt-Parameter des in Fig. 8 gezeigten Winkelobjekts 6 zum Zeitpunkt t = 1,3 s aufgelistet:
Unter dem "dichtesten" Punkt wird in vorstehender Tabelle sowie im nachstehenden Text derjenige Meßpunkt eines Objekts verstanden, welcher sich am nächsten am Laserscanner 4 befindet.
Dem Winkelobjekt 6 (Objekt-Nr. 21) ist das Segment 36 zugeordnet, das aus 92 einzelnen Meßpunkten besteht. Das Objekt wurde schon seit 13 Scans getrackt bzw. verfolgt (Objektalter 13 Scans) und als Winkelobjekt (Klassifikation) in den letzten 13 Scans klassifiziert (Klassifikationsalter 13 Scans).
Die Position des in den Gleichungen 1.3 und 1.4 beschriebenen Schwerpunkts 12 wurde bestimmt (x = 0,84 m; y = 8,11 m) und zusätzlich der aus dem vorherigen Scan resultierende Schwerpunkt des Objekts - wenn das Objekt wiedererkannt wurde - gespeichert.
Wichtig für die - nachfolgend noch erläuterte - Rekonstruktion eines Winkelobjekts ist das Speichern der maximalen Länge des linken bzw. rechten Schenkels (Vektors), die jemals in den vergangenen Scans, während derer das Objekt verfolgt wurde, berechnet wurde.
Außerdem wird die Position des linken 8, dichtesten 7 und rechten 9 Punktes und - wenn Verdeckungen vorliegen - die Position der entsprechend prädizierten Punkte, die auf dem Prädiktionsvektor des Schwerpunkts und dem alten linken (prädizierten) Punkt beruhen, ermittelt. Der Prädiktionsvektor wird nach Durchlaufen der Objektrekonstruktion mit dem aktuellen Schwerpunkt unter Berücksichtigung der Rekonstruktion neu berechnet, wodurch die Prädiktion verbessert werden kann.
Die Teilverdeckung eines klassifizierten Objekts wird für den linken, dichtesten und rechten Punkt jeweils einzeln geprüft.
Eine Verdeckung des linken Punktes liegt gemäß Fig. 9 vor, wenn drei der nächsten fünf links des linken Objektpunktes 8' liegenden Punkte dichter als der linke Objektpunkt 8' zum Scanner 4 liegen und nicht zum detektierten Objekt 6, sondern wie in Fig. 9 z. B. zum Objekt 11 gehören. Fig. 9 zeigt eine Darstellung gemäß Fig. 8 zum Zeitpunkt t = 1,4 s, was bedeutet, daß sich der Fußgänger 11 in den 0,1 s zwischen Aufnahme des Bildes gemäß Fig. 8 und Aufnahme des Bildes gemäß Fig. 9 etwas nach rechts bewegt hat, so daß er gemäß Fig. 9 nun den linken äußeren Bereich des linken Schenkels des Winkelobjekts 6 verdeckt. Durch eine geeignete Prädiktion kann jedoch die Position des verdeckten linken Punkts 8" berechnet werden.
Eine Verdeckung des rechten Objektpunktes 9 läge vor, wenn drei der nächsten fünf rechts des rechten Objektpunktes liegenden Punkte dichter als der rechte Objektpunkt zum Scanner 4 liegen würden.
Bei dichtesten Punkt wird in gleicher Weise sowohl in linker als auch in rechter Richtung geprüft.
Eine Verdeckung zwischen linkem, dichtesten und rechten Punkt wird detektiert und liegt vor, wenn eine Lücke zwischen zwei Meßpunkten des Objekts durch nähere bzw. dichtere Punkte entsteht.
Fig. 10 zeigt ein Bild, welches zum Zeitpunkt t = 1,7 s drei Scans später aufgenommen wurde als das Bild gemäß Fig. 9. Der Fußgänger 11 verdeckt nun einen größeren Teil des linken Schenkels des Fahrzeugs 6, die nachstehende Tabelle zeigt die dazugehörigen Objektparameter.
Zum Zeitpunkt t = 2,4 s werden gemäß Fig. 11 zwar nicht mehr der linke Punkt 8, aber sowohl der dichteste als auch der rechte Punkt verdeckt, da sich der Fußgänger 11 noch weiter nach rechts bewegt hat. Deswegen wird eine Prädiktion des dichtesten 7' und des rechten 9' Punktes vorgenommen. Nachstehende Tabelle zeigt die Objektparameter zum Zeitpunkt t = 2,4 s.
Ein weiterer, im Rahmen der Erfindung zu berücksichtigender Aspekt besteht darin, daß die Verdeckung von Teilbereichen von Objekten dergestalt sein kann, daß das verdeckte Objekt in mehrere Teilobjekte zerfällt. Diese können erfindungsgemäß als zusammengehörig erkannt und anschließend fusioniert werden, wie nachfolgend in Verbindung mit Fig. 12 noch beschrieben.
Fig. 12a und b zeigen ein Fahrzeug 13 sowie ein Fahrrad 14. In Fig. 12a verdeckt das Fahrrad 14 das Fahrzeug 13 nicht, so daß letzteres vom Laserscanner 4 vollständig erfaßt werden kann. In Fig. 12b wird das Fahrzeug 13 vom Fahrrad 14 derart verdeckt, daß das Fahrzeug 13 in fünf Segmente 15 zerfallen ist. Beim Zerfall eines Objektes 13 wird das Tracking für die fünf neuen Objekte, die jeweils aus einem Segment bestehen und die nicht vorherigen Objekten zugeordnet wurden, neu begonnen, die Geschwindigkeit für diese neuen Objekte wird mit einem Startwert belegt (hier 0 km/h: ungenaue Annahme).
Um auch mehrere Segmente dem Objekt zuordnen zu können, wird ein Suchraum aufgespannt, der den Abmessungen desjenigen Objekts entspricht, das in den vorherigen Scans ermittelt wurde. Alle Segmente, die sich in diesem Suchraum befinden, können dem Objekt zugeordnet werden (siehe Fig. 12c), wodurch nicht nur die Entstehung virtueller Objekte vermieden wird, sondern auch die eigentliche Geschwindigkeit des Objekts ermittelt werden kann.
Für die in Verbindung mit den Fig. 9 bis 12 erwähnte, eigentliche Rekonstruktion der Objekte wird mit Hilfe der Prädiktionen die Richtung der Schenkel der Winkelobjekte bestimmt. Die Schenkel können dann bis zu ihrer bekannten maximalen Länge mit einer der Winkelschrittweite des Laserscanners entsprechenden Punktanzahl aufgefüllt werden. Dabei ergeben sich für den neu zu berechnenden Objektschwerpunkt folgende Gleichungen:

S (o,n)|x: x-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
S (o,n)|y: y-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
N: Anzahl der Meßpunkte des o-ten Objekts im n-ten Scan.
M: Anzahl der möglichen Meßpunkte in der Lücke des o-ten Objekts im n-ten Scan.
x (o,n)|i: x-Koordinate des i-ten Meßpunkts des o-ten Objekts im n-ten Scan.
y (o,n)|i: y Koordinate des i-ten Meßpunkts des o-ten Objekts im n-ten Scan.
M.x (o,n)|Lücke: x-Koordinate des gewichteten Schwerpunkts der Lücke des o-ten Objekts im n-ten Scan.
M.y (o,n)|Lücke: y-Koordinate des gewichteten Schwerpunkts der Lücke des o-ten Objekts im n-ten Scan.

Claims

1. Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes (2, 3), bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, . . ., x-2, x-1, x, x+1, . . . n) des Überwachungsbereichs erfaßt, die Positionen signifikanter Referenzpunkte des Objektes (2, 3) innerhalb der erfaßten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt (2, 3) bezogene Bewegungsinformation abgeleitet wird, dadurch gekennzeichnet, daß bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die den überdeckten Referenzpunkten entsprechenden Referenzpunkte im Bild x-1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x-1 verarbeitet werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte in einem oder mehreren Bildern, die vor dem Bild x-1 erfaßt wurden, in denjenigen Berechnungszyklen des Auswertealgorithmus unberücksichtigt bleiben, in denen diese Bilder verarbeitet werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x+1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x+ 1 verarbeitet werden.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x+1 in demjenigen Berechnungszyklus des Auswertealgorithmus wieder berücksichtigt werden, in dem die Bilder x+1 und x+2 verarbeitet werden.

5. Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes 2, 3, bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, . . ., x-2, x-1, x, x+1, . . . n) des Überwachungsbereichs erfaßt, die Positionen signifikanter Referenzpunkte des Objektes (2, 3) innerhalb der erfaßten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt (2, 3) bezogene Bewegungsinformation abgeleitet wird, dadurchgekennzeichnet, daß bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes ermittelt und im Auswertealgorithmus berücksichtigt werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes und zusätzlich aus objektbezogenen Informationen vorhergehender Bilder ermittelt werden.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß mittels des Auswertealgorithmus im Rahmen eines Berechnungszyklus immer zwei aufeinanderfolgend erfaßte Bilder verarbeitet werden.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die zu erfassenden Objekte (2, 3) jeweils einer von mehreren Objektklassen zugeordnet werden, wobei jede Objektklasse durch objektklassenspezifische Parameter gekennzeichnet ist.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß mittels des Auswertealgorithmus Referenzpunkt-Positionen, aus diesen Referenzpunkt-Positionen abgeleitete Zusatzinformationen, wie z. B. Bewegungsrichtung und Geschwindigkeit, und/oder objektklassenspezifische Parameter verarbeitet werden.

10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, daß je eine Objektklasse für zwei oder mehr der folgenden sechs Objekttypen vorgesehen ist:
2-Rad-Fahrer, Person, Bus/LKW, PKW, Pfahl, Mauer/Leitplanke.

11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, daß jeder Objektklasse typische geometrische Parameter, wie insbesondere die Objekthöhe, ein Objekthöhenbereich, die Objektkontur und/oder ein Objektkonturbereich zugeordnet werden.

12. Verfahren nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, daß jeder Objektklasse typische dynamische Parameter, wie insbesondere die Geschwindigkeit, ein Geschwindigkeitsbereich, eine Beschleunigung und/oder ein Beschleunigungsbereich zugeordnet werden.

13. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, daß zumindest bestimmten Objektklassen typische, jeweils auf andere Objektklassen bezogene Relationsparameter zugeordnet werden, die insbesondere dazu dienen, bei der Zuordnung von Objekten zu Objektklassen bestimmte Objektklassen auszuschließen.

14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die ermittelten Bilder jeweils aus einer Anzahl von Bildpunkten bestehen.

15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Objekte (2, 3) in Form einer Anzahl von Objektpunkten erfaßt werden.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß als Objektpunkte solche Punkte verwendet werden, die auf der Konturlinie der Objekte liegen.

17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß die Objektpunkte auf der gesamten Konturlinie des Objektes (2, 3) verteilt sind.

18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bilder mittels eines Scanners, insbesondere mittels eines Laserscanners ermittelt werden.

19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Laserscanner den Überwachungsbereich zeilenweise oder flächig abtastet.

20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß als Bewegungsinformation die Bewegungsrichtung, die Geschwindigkeit und/oder die Beschleunigung eines Objektes (2, 3) ermittelt wird.

21. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur Erfassung der Umgebung eines Fahrzeugs, wobei insbesondere auch die Fahrzeuggeschwindigkeit, die Fahrzeugbeschleunigung, der Lenkwinkel, die Lenkwinkeländerung, die Gierrate, die Gierratenänderung und/oder die Bewegungsrichtung des Fahrzeugs in den Auswertealgorithmus eingehen.