DE19627938A1 - Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen - Google Patents
Verfahren zur dynamischen Spurverfolgung in BewegtbildsequenzenInfo
- Publication number
- DE19627938A1 DE19627938A1 DE19627938A DE19627938A DE19627938A1 DE 19627938 A1 DE19627938 A1 DE 19627938A1 DE 19627938 A DE19627938 A DE 19627938A DE 19627938 A DE19627938 A DE 19627938A DE 19627938 A1 DE19627938 A1 DE 19627938A1
- Authority
- DE
- Germany
- Prior art keywords
- model
- road
- model parameters
- vehicle speed
- measuring cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000013178 mathematical model Methods 0.000 claims abstract 2
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010972 statistical evaluation Methods 0.000 claims description 5
- 238000011524 similarity measure Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims 2
- 238000007619 statistical method Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 244000052363 Cynodon dactylon Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
Die Erfindung geht aus von einem Verfahren zur dynamischen
Spurverfolgung von Fahrzeugen zur Ermittlung eines
Fahrbahnmodells unter Berücksichtigung der
Fahrzeuggeschwindigkeit nach der Gattung des Hauptanspruchs.
Es sind bereits solche Bildanalyseverfahren aus der
Literatur bekannt, "Real Time 3D-Road Modeling for
Autonomous Vehicle Guidance" (U. Franke, 7. Skandinavische
Konferenz der Bildanalyse, Aalborg, Dänemark, Seiten 316 bis
323). Das Verfahren ermittelt den Fahrbahnverlauf und die
Lage des Fahrzeugs relativ zu dieser Fahrbahn aus
Videobildern, die von einer Bildaufnahmeeinheit
aufgenommenen werden. Nach diesem Verfahren werden die die
Fahrbahn beschreibenden Modellparameter anhand von
Bildpunkten geschätzt, welche als zu der Fahrbahnberandung
gehörend erkannt worden sind. Die Detektion dieser
Fahrbahnrandpunkte ist ausschließlich gradientenbasiert und
setzt das Vorhandensein gut sichtbarer heller
Fahrbahnmarkierungen an beiden Fahrbahnrändern voraus.
Entsprechend des Fahrbahnmodells, das eine hinreichend
genaue Schätzung des Winkels liefert, unter dem die
Fahrbahnrandmarkierung im Videobild verläuft, werden
parallelogrammförmige Meßzellen entlang der
Fahrbahnmarkierung plaziert, in denen dann Kanten bekannter
Steigung gesucht werden. Der Meßzelleninhalt wird entlang
der vorhergesagten Kante integriert. Aus dem erhaltenen
Signal wird daraufhin das Paar der lokalen Gradientenmaxima
extrahiert, das mit größter Wahrscheinlichkeit die jeweiligen
Fahrbahnberandungen repräsentiert. Aus den detektierten
Fahrbahnrandpunkten werden dann im Fall eines überbestimmten
Gleichungssystems, d. h. es werden mehr Fahrbahnrandpunkte
erfaßt, als zur Bestimmung der Modellparameter notwendig
sind, die den Fahrbahnverlauf und die relative Lage des
Fahrzeugs zur Fahrbahn beschreibende Modellparameter
geschätzt.
Das erfindungsgemäße Verfahren mit den kennzeichnenden
Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil,
daß es nicht mehr auf eine Einsetzbarkeit bei Fahrbahnen mit
gut sichtbaren, hellen Fahrbahnmarkierungen beschränkt ist,
sondern auch bei Fahrbahnen mit weniger kontrastreichen
Berandungen, z. B. Grasstreifen, Rinn- und Bordsteine, eine
zuverlässige Erfassung der Fahrbahnränder gewährleistet. Die
Lage der Fahrbahnränder wird durch das erfindungsgemäße
hierarchische zweistufige Verfahren zuverlässig ermittelt,
welches durch die Suche nach ähnlichen Strukturen innerhalb
interessierender Meßzellen in zwei aufeinanderfolgenden
Bildern und einer anschließenden lokalen gradientenbasierten
Korrektur gekennzeichnet ist.
Außerdem besteht die Möglichkeit, Parameter des
Modellparametersatzes auch dann noch bestimmen zu können,
wenn lediglich Bildpunkte erfaßt werden, die nur einem
Fahrbahnrand zuzuordnen sind.
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind
vorteilhafte Weiterbildungen und Verbesserungen des im
Hauptanspruch angegebenen Verfahrens möglich.
Besonders vorteilhaft ist es, daß die durch das
hierarchische Verfahren ermittelten Modellparameter im
nächsten Meßdurchgang wieder für die
Geschwindigkeitsbestimmung eingesetzt werden. Die Bestimmung
der Geschwindigkeit des Fahrzeugs erfolgt zwischen zwei
aufeinanderfolgenden Videobildern und ist für die Suche nach
ähnlichen Strukturen in den Videobildern notwendig. Dazu
werden im zeitlich älteren Bild Meßzellen in Abhängigkeit
von angenommenen Fahrzeuggeschwindigkeiten entlang der
Fahrbahnränder des Modells verschoben. Zur Erhöhung der
Stabilität der Geschwindigkeitsbestimmung wird dann der
Bildinhalt aller gemäß einer Geschwindigkeit verschobener
Meßzellen mit dem Bildinhalt der zugehörigen Meßzellen im
zeitlich neueren Bild verglichen. Durch eine statistische
Auswertung der bei diesen Vergleichen gebildeten
Ähnlichkeitsmaße kann die aktuelle Fahrzeuggeschwindigkeit
geschätzt werden. Dieses Verfahren der
Geschwindigkeitsbestimmung ist aufgrund der Einsparung von
Rechenoperationen deutlich schneller als bisher bekannte
Verfahren auszuführen.
Für die Erfassung von Fahrbahnrandpunkten ist es von
Vorteil, daß zur Erhöhung der Stabilität der
Randpunktdetektion eine hierarchische Struktur zugrunde
liegt. Dabei werden ein Such- und Gradientenverfahren
angewendet. Das zunächst angewandte Suchverfahren weist eine
hohe Stabilität auf, da aufgrund einer Textursuche im
Gegensatz zu bisherigen Verfahren keine Fahrbahnmarkierungen
benötigt werden. Das anschließende Gradientenverfahren muß
zur Detektion eines Randpunktes aufgrund der Vorverarbeitung
durch das Suchverfahren nur in einem kleinen lokalen Bereich
angewendet werden, wodurch eine hohe Sicherheit der
Fahrbahnrandpunkterfassung gewährleistet wird. Weiterhin
kann die Zuverlässigkeit des Auffindens der zu verfolgenden
Fahrbahnränder durch die Anwendung des Suchverfahrens
wesentlich erhöht werden, da Verwechslungen der
Fahrbahnränder mit benachbarten, gleichgerichteten
linienhaften Strukturen, wie z. B. Grasstreifen, wie sie bei
der ausschließlich gradientenbasierten Suche auftreten
können, weitestgehend ausgeschlossen werden. Zudem kann der
horizontale Suchbereich um einen Fahrbahnrandpunkt im
zeitlich älteren Bild zur Bestimmung eines aktuellen
Randpunktes aufgrund der hohen Zuverlässigkeit des
Suchverfahrens größer als beim gradientenbasierten Verfahren
gewählt werden, was dem erfindungsgemäßen Verfahren eine
hohe Robustheit verleiht.
Während der nach der Fahrbahnrandpunktdetektion
anschließenden Schätzung der Modellparameter werden die
Schätzfehler der Modellparameter festgestellt. Zur
Überprüfung der Genauigkeit der Schätzung eines Parameters
wird nicht nur das Verhältnis zwischen Modellparameter und
zugehörigem Schätzfehler herangezogen, sondern auch der
Einfluß der Ungenauigkeit der Schätzung der Modellparameter
auf den Kurvenverlauf der Modellbeschreibung im aktuellen
Videobild betrachtet. Dazu wird jeweils durch Variation
eines Modellparameters entsprechend seiner Schätzgenauigkeit
eine veränderte Modellkurve erzeugt, deren Verlauf mit dem
der ursprünglichen Modellkurve verglichen wird.
Ein weiterer Vorteil des vorgestellten Verfahrens liegt in
seiner selbstjustierenden Eigenschaft. Falls die Anzahl der
erfaßten Punkte auf einem Fahrbahnrand für eine Schätzung
des vollständigen Modellparametersatzes zu gering ist, auf
der anderen Berandung jedoch ausreichend viele Punkte
detektiert werden können, wird ein unvollständiger
Parametersatz geschätzt. Die Modellparameter, deren
Schätzung nicht möglich ist, werden unverändert aus der
Modellierung des Fahrbahnverlaufs im vorhergehenden Bild
übernommen. Dieses Vorgehen erhöht die Zuverlässigkeit der
Beschreibung des aktuellen Fahrbahnverlaufs durch das
Modell.
Ein Ausführungsbeispiel der Erfindung ist in den
nachstehenden Zeichnungen dargestellt und in der
nachfolgenden Beschreibung näher erläutert. Es zeigt Fig. 1
ein Blockdiagramm der dynamischen Spurverfolgung, Fig. 2
eine Anordnung zur dynamischen Spurverfolgung, Fig. 3 ein
Ausführungsbeispiel, Fig. 4 die Komponente der
Geschwindigkeitsbestimmung, Fig. 5 die Komponente des
horizontalen Suchverfahrens, Fig. 6 und 7 die Komponente
der Schätzung der Modellparameter und Fig. 8 die Komponente
der gradientenbasierten Korrektur.
Abb. 1 ist ein Blockdiagramm der erfindungsgemäßen
dynamischen Spurverfolgung. Es wird der Modellparametersatz
des endgültigen Fahrbahnmodells aus zwei
aufeinanderfolgenden Videobildern B ermittelt. Dazu wird in
einer ersten Hierarchiestufe (1.H) nach einer Kompensation
11 der Fahrzeuggeschwindigkeit v ein erster
Modellparametersatz 13 auf der Grundlage eines
Suchverfahrens zur Detektion von Fahrbahnrandpunkten 12
geschätzt. In der zweiten Hierarchiestufe (2.H) erfolgt eine
Korrektur der Lage 14 der zuvor erfaßten Fahrbahnrandpunkte
auf Gradientenbasis und die endgültigen Modellparameter des
Fahrbahnmodells 15 werden abschließend geschätzt.
Abb. 2 zeigt schematisch den technischen Aufbau des
erfindungsgemäßen Verfahrens. Eine Bildaufnahmeeinheit 1 ist
über eine Datenleitung 6 mit einer Recheneinheit 2
verbunden. Die Recheneinheit 2 steht wiederum über eine
Datenleitung mit der Eingabeeinheit 3 sowie eine weitere
Datenleitung 6 mit einem Speicher 4 und mit dem Bildschirm 5
in Verbindung. Ziel des erfindungsgemäßen Verfahrens ist
eine möglichst genaue Modellierung der Fahrbahn und die
Bestimmung der relativen Lage des Fahrzeugs zur
Fahrbahn, indem zwei aufeinanderfolgende Videobilder
verglichen werden. Ein bereits aus der oben genannten
Veröffentlichung bekanntes Modell legt die Fahrbahn durch
sechs Modellparameter ai fest (Fahrbahnbreite B, Nickwinkel
α, seitlicher Versatz des Fahrzeugs bzgl. der Fahrbahnmitte
x₀, Gierwinkel ϕ, Fahrbahnkrümmung c₀ und der
Krümmungsänderung c₁). Unter der Annahme, daß die
Krümmungsänderung vernachlässigt werden darf, sind aus der
Messung der Fahrbahnrandpunkte fünf Modellparameter zu
bestimmen. Können mehr als fünf Bildpunkte erfaßt werden, so
ist das Gleichungssystem zur Ermittlung der Modellparameter
überbestimmt, so daß ein Modellparametersatz geschätzt
werden muß.
Fig. 3 zeigt das Blockdiagramm, das die einzelnen Schritte
der dynamischen Spurverfolgung erläutert. Anhand zweier
aufeinanderfolgender Videobilder B k und B k+1 wird zunächst
die Bestimmung der Fahrzeuggeschwindigkeit vk-1,k 11, siehe
Fig. 4, durchgeführt. Dazu werden Meßzellen Mk+1
entsprechend des Fahrbahnmodells ai mit den Modellparametern
aus der hervorgehenden Schätzung so plaziert 41, daß die
jeweils unterste Meßzelle eines Fahrbahnrandes gerade noch
vollständig innerhalb des aktuellen Bildes k+1 liegt. Die
initialen Positionen der korrespondierenden Meßzellen Mk
sind von der zuvor bestimmten Fahrzeuggeschwindigkeit vk-1,k
abhängig. Da sich die Fahrbahn und die relative Lage des
Fahrzeugs zur Fahrbahn jedoch zwischen zwei Videobildern
verändern, müssen Modellierung und Schätzung der
Fahrzeuggeschwindigkeit aktualisiert werden. Die aktuelle
Geschwindigkeit des Fahrzeugs wird dabei durch eine aus
Veröffentlichungen (Mester R. Hötter, M. "Zuverlässigkeit
und Effizienz von Verfahren zur
Verschiebungsvektorschätzung", DAGM 95, Bielefeld 13.-
15.09.95) bekannte statistische Auswertung definierter
Geschwindigkeiten innerhalb eines Suchbereichs, auf den die
aktuelle Geschwindigkeit vk,k+1 beschränkt sein soll,
bestimmt 11. Dabei wird nach einer Adaption der Größe aller
Meßzellen Mk+1 an die jeweiligen entsprechend der
Geschwindigkeit verschobenen korrespondierenden Meßzellen Mk
des vorhergehenden Bildes und einer nachfolgenden
Grauwertinterpolation jeder Geschwindigkeit v durch
Vergleich der Meßzelleninhalte ein globales Ähnlichkeitsmaß
bzgl. aller Meßzellen des vorherigen und des aktuellen
Bildes Mk und Mk+1 zugeordnet. Dieses Ahnlichkeitsmaß wird als
Displaced Frame Difference (DFD) bezeichnet. Im
erfindungsgemäßen Verfahren wird die DFD-Bestimmung durch
Reduktion der rechenintensiven Operationen beschleunigt,
indem die mittleren Spaltengrauwerte der Meßzellen mit den
mittleren Spaltgrauwerten der im vorherigen Bild
aufgenommenen Meßzellen verglichen werden. Die mittleren
Spaltengrauwerte der parallel zu den Meßzellenkanten
verlaufenden Spalten werden mit dem bekannten Verfahren der
gerichteten Integration bestimmt (Franke, U. Ulrich, S.
"Modell gestützte Echtzeitbildverarbeitung auf Transputern zur
autonomen Führung von Fahrzeugen", TAT 90, Aachen
Procedings, Springer-Verlag 1990, Seiten 182 bis 189).
Deshalb wird im näheren nicht auf das Verfahren eingegangen.
Durch die Verwendung von Spaltengrauwerten wird gegenüber
bisher gebräuchlichen Verfahren der DFD-Bestimmung eine
deutliche Reduzierung des Rechenaufwands erreicht. Durch die
statistische Auswertung der zu bestimmten Geschwindigkeiten
gehörenden globalen DFD erhält man einen Least-Squares-
Schätzwert für die Fahrzeuggeschwindigkeit vk,k+1. Diese vk,k+1
des Fahrzeugs wird in der dem horizontalen Suchverfahren
vorausgehenden Geschwindigkeitskompensation 51 nach Fig. 5
benötigt. Im Anschluß daran werden nach Fig. 5 durch
horizontales Matching, einem horizontalen Suchverfahren, die
horizontalen Verschiebungen dk,k+1 zwischen korrespondierenden
Meßzellen bestimmt. Das Verfahren des horizontalen Matchings
ist dem Verfahren zur Schätzung der Fahrzeuggeschwindigkeit
sehr ähnlich. Zunächst müssen die y-Koordinaten yk der
Mittelpunkte der korrespondierenden Meßzellen durch
Verschieben der Meßzellen Mk des vorhergehenden Bildes
entlang der Modellkurve entsprechend der aktuellen
Fahrzeuggeschwindigkeit Vk,k+1 bestimmt werden 52. Aus der
Geschwindigkeit und der Zeitdifferenz zwischen zwei
aufeinanderfolgenden Bildern läßt sich die Strecke
bestimmen, die das Fahrzeug in der Realität zurückgelegt
hat. Aus der Strecke wird die korrespondierende Verschiebung
im Bild bzgl. der y-Koordinate des Mittelpunktes der
Meßzelle berechnet. Die x-Koordinate ergibt sich aus der
Modellgleichung, da x eine Funktion von y und den
Modellparameter ai ist. Somit kann zwischen
korrespondierenden Meßzellen näherungsweise, noch unter
Vernachlässigung der horizontalen Verschiebung dk,k+1, eine
Beziehung zwischen der Position einer Meßzelle n im
aktuellen Bild und deren vorheriger Lage im zeitlich
älteren Bild hergestellt werden. Anschließend werden die
Meßzellen Mk durch eine Größenadaption mit
Grauwertinterpolation bzgl. der mittleren Spaltengrauwerte
an die korrespondierenden Meßzellen Mk+1 angepaßt, um die
Meßzelleninhalte miteinander vergleichen zu können. Die
horizontalen Verschiebungen dk,k+1 zwischen Paaren
korrespondierender Meßzellen werden auf der Grundlage des
Verfahrens zur Geschwindigkeitsschätzung bestimmt 53. Zu
jedem d werden Ähnlichkeitsmaße (DFD) für ein Meßzellenpaar
gebildet und durch deren statistische Auswertung innerhalb
eines Suchbereichs ein Least-Squares-Schätzwert der
horizontalen Verschiebung dk,k+1 für jedes Meßzellenpaar
ermittelt. Mit dk,k+1 lassen sich nun die korrigierten
Positionen der Meßzellenmittelpunkte, die Repräsentanten von
Fahrbahnrandpunkten sind, im aktuellen Bild k+1 angeben.
Anhand der somit erfaßten Fahrbahnrandpunkte wird nun ein
aktueller Parametersatz ak+1 geschätzt.
Für diese Schätzung müssen nach Fig. 6 in Abhängigkeit der
Verteilung der erfaßten Punkte auf dem Fahrbahnrändern
diejenige Modellparameter gekennzeichnet 61 werden, deren
Schätzung möglich ist. So ist z. B. eine Bestimmung der
Fahrbahnbreite B dann nicht mehr möglich, wenn nur auf einem
Fahrbahnrand Punkte detektiert werden können. Anhand der
erfaßten Fahrbahnrandpunkte wird eine Aktualisierung des
Modellparametersatzes ai vorgenommen 62, in dem die nicht
lineare Modellgleichung in einem Arbeitspunkt (= zuvor
geschätzter Modellparametersatz) linearisiert wird, um dann
mittels eines Newton-Verfahrens die Änderung der
Modellparameter bzgl. des Arbeitspunktes 63 schätzen zu
können.
Fig. 7 zeigt den Ablauf der Schätzung 71 für die
Aktualisierung der Modellparameter. Da aufgrund des geringen
zeitlichen Abstands der aufeinanderfolgenden Videobilder nur
kleine Änderungen 72 am Arbeitspunkt zu erwarten sind, wird
der Modellparametersatz ak beim Auftreten wesentlicher
Abweichungen nicht aktualisiert 77. Der bisherige
Modellparametersatz bleibt ebenfalls bestehen, wenn die
Änderungen der Modellparameter nach einer bestimmten
Iterationszahl nicht konvergieren 73. Andernfalls werden
Aktualisierung des Modellparametersatzes 74 und Schätzung
der Modellparameteränderungen so lange wiederholt, bis eine
Konvergenz der Modellparameteränderungen erreicht wird.
Anschließend wird geprüft 75, ob die ermittelten
Modellparameter eine zuverlässige Beschreibung der Fahrbahn
liefern 76. Ist das der Fall werden die Parameter
übernommen, andernfalls wird einen Auswahl der zu
schätzenden Modellparameter genommen 78 und die
Aktualisierung rückgängig 79 gemacht.
Für eine zuverlässige Beschreibung der Fahrbahn muß das
Verhältnis aus Modellparameter und zugehöriger
Standardabweichung σi,k+1 der Schätzung unterhalb einer
Schwelle liegen.
Zum anderen wird die aufgrund der Standardabweichung eines
Modellparameters hervorgerufene Abweichung im Bild von der
ermittelten Modellkurve MC₀ betrachtet. Durch Variation
jeweils eines der Modellparameter entsprechend seiner
Standardabweichung σi,k+1 wird eine neue Modellkurve MCi,k+1
erzeugt. Aus der Abweichung zwischen den Modellkurven lassen
sich Abweichungen in der Wirklichkeit berechnen, die ein Maß
für die Zuverlässigkeit der Schätzung darstellen. Falls die
Zuverlässigkeit der ermittelten Modellparameter ausreichend
ist, kann die Fahrbahn durch den aktuellen Parametersatz
modelliert werden. Andernfalls werden diejenigen Parameter,
die zu einer unzuverlässigen Fahrbahnmodellierung führen,
von einer weiteren Schätzung ausgeschlossen. Die von einer
weiteren Schätzung ausgeschlossenen Werte nehmen die vor der
Aktualisierung gültigen Werte an. Die Modellparameter, deren
Aktualisierung sinnvoll erscheint, werden daraufhin
beginnend mit einer weiteren Schätzung ihrer Änderung neu
bestimmt. Die Überprüfung der Modellparameter wird dabei
gemäß folgendem Algorithmus durchgeführt:
- 1. Prüfung der Modellparameter in folgender Reihenfolge:
- B - α - c₀ - x₀ - ϕ
- 2. Abbruch der Prüfung, sobald ein Modellparameter als unzuverlässig erkannt wird.
- 3. Unzuverlässiger Modellparameter wird gemäß seines Wertes aus der Schätzung im vorhergehenden Bild konstant gehalten.
- 4. Aufstellung eines neuen Gleichungssystems, dessen Anzahl unbekannter Modellparameter um eins reduziert ist, nämlich um den konstant gehaltenen Parameter.
- 5. Neue Schätzung aller unbekannten, nicht konstant gehaltenen Parameter.
- 6. Ende des Algorithmus, falls alle verbleibenden Parameter zuverlässig geschätzt werden können, oder aber alle Parameter konstant gehalten werden müssen.
- 7. Fortsetzung des Algorithmus mit Schritt 1.
Nach der Ermittlung des neuen Parametersatzes ak+1 werden
abschließend die Meßzellen Mk+1 entsprechend des neuen
Fahrbahnmodells plaziert.
Zur Bestimmung der absoluten Lage der Fahrbahnränder
unabhängig vom vorausgehenden Modellparametersatz ak erfolgt
innerhalb eines lokalen Suchbereichs um die aus dem
Fahrbahnmodell hervorgehenden Mittelpunkte der Meßzellen
eine Korrektur dieser Meßzellenzentren auf der Grundlage
eines Gradientenverfahrens nach Fig. 8. Zunächst werden für
jeden Fahrbahnrand die maximalen Abweichungen dmax zwischen
der Modellkurve und den aus den Variationen der Parameter
gemäß ihrer Standardabweichung σi,k+1 hervorgehenden
Modellkurven im aktuellen Bild bestimmt 81. Diese
Abweichungen lassen sich in reale Abweichungen Dmax
transformieren, so daß in der Wirklichkeit Korrekturbereiche
um die Fahrbahnränder der konstanten Breite 2Dmax entstehen,
deren Mittellinie durch den jeweiligen Fahrbahnrand gebildet
wird. Unter Berücksichtigung der Abbildungsgesetze werden
diese Korrekturbereiche in Bildkoordinaten
rücktransformiert. Gemäß einem aus Veröffentlichungen
bekannten Verfahren (Kuhnert, K. D. "Zur
Echtzeitbildfolgenanalyse mit Vorwissen", Universität der
Bundeswehr München, Januar 1988) werden in den Meßzellen die
Kontrastunterschiede vertikal zur Richtung des Fahrbahnrands
ausgewertet 82. Jeder Ort eines maximalen lokalen
Kontrastunterschiedes repräsentiert einen Kandidaten für den
Fahrbahnrandpunkt innerhalb der Meßzelle. Der bzgl. des
Meßzellenzentrums geeigneste Kandidat wird als möglicher
Fahrbahnrandpunkt ausgewählt 83 und falls dieser innerhalb
des zuvor bestimmten Korrekturbereichs um den modellierten
Fahrbahnrand gelegen ist, wird seine horizontale Position
dk+1, korrekt korrigiert 84.
Zum Abschluß des Verfahrens der dynamischen Spurverfolgung
in aufeinanderfolgenden Videobildern nach Fig. 3 wird unter
Verwendung der korrigierten Mittelpunkte der Meßzellen 33
der bisherige Modellparametersatz in einer weiteren
Schätzung der Modellparameter 32, siehe Fig. 6 und 7,
aktualisiert, so daß ein aktueller Parametersatz für das
aktuelle Bild dargestellt wird.
Bezugszeichenliste
11 Geschwindigkeitsbestimmung
12 Spurverfolgung mit Matching-Verfahren
13 Erstes Fahrbahnmodell
14 Spurverfolgung mit Gradientenverfahren
15 Endgültiges Fahrbahnmodell
31 Horizontales Matching
32 Schätzung der Modellparameter
33 Gradientenkorrektur
41 Plazierung der Meßzellen Mk und Mk+1
51 Plazierung der Meßzellen Mk und Geschwindigkeitskompensation
52 Größenadaption der Meßzellen Mk
53 Bestimmung der horizontalen Verschiebung
61 Kennzeichnung der zu schätzenden Parameter
62 Aktualisierung des Modellparametersatzes
63 Neuplazierung der Meßzellen Mk+1
71 Schätzung der Modellparameteränderungen
72 Arbeitspunkt wesentlich verändert?
73 Konvergenz aller Modellparameteränderungen?
74 Aktualisierung des Modellparametersatzes
75 Prüfung der geschätzten Modellparameter
76 Modellparameter okay?
77 Aktualisierung des Modellparametersatzes rückgängig machen
78 Auswahl der zu schätzenden Modellparameter
79 Aktualisierung des Modellparametersatzes rückgängig machen
81 Bestimmung des Gradientenkorrekturbereichs
82 Bestimmung des mittleren Gradienten
83 Auswahl der Fahrbahnrandpunktkandidaten
84 Bestimmung des Korrekturmaßes.
12 Spurverfolgung mit Matching-Verfahren
13 Erstes Fahrbahnmodell
14 Spurverfolgung mit Gradientenverfahren
15 Endgültiges Fahrbahnmodell
31 Horizontales Matching
32 Schätzung der Modellparameter
33 Gradientenkorrektur
41 Plazierung der Meßzellen Mk und Mk+1
51 Plazierung der Meßzellen Mk und Geschwindigkeitskompensation
52 Größenadaption der Meßzellen Mk
53 Bestimmung der horizontalen Verschiebung
61 Kennzeichnung der zu schätzenden Parameter
62 Aktualisierung des Modellparametersatzes
63 Neuplazierung der Meßzellen Mk+1
71 Schätzung der Modellparameteränderungen
72 Arbeitspunkt wesentlich verändert?
73 Konvergenz aller Modellparameteränderungen?
74 Aktualisierung des Modellparametersatzes
75 Prüfung der geschätzten Modellparameter
76 Modellparameter okay?
77 Aktualisierung des Modellparametersatzes rückgängig machen
78 Auswahl der zu schätzenden Modellparameter
79 Aktualisierung des Modellparametersatzes rückgängig machen
81 Bestimmung des Gradientenkorrekturbereichs
82 Bestimmung des mittleren Gradienten
83 Auswahl der Fahrbahnrandpunktkandidaten
84 Bestimmung des Korrekturmaßes.
Claims (6)
1. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen
zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung
der Fahrzeuggeschwindigkeit durch elektronische Aufnahmen
von Bildern des Straßengeschehens mit einer Videokamera und
einer Recheneinheit, in der der Verlauf der Straße als
mathematisches Modell mit einem Parametersatz ai
charakterisiert und gespeichert wird, wobei die
Fahrbahnrandpunkte, die den Verlauf der Straße markieren aus
dem elektronisch aufgenommenen Bild ermittelt werden und für
das Verfahren als Meßpunkte in definierten Meßzellen dienen,
dadurch gekennzeichnet, daß folgende Verfahrensschritte
durchgeführt werden:
- a) Geschwindigkeitsbestimmung durch Meßzellenvergleich des aktuellen mit dem zuvor aufgenommenen Bild unter Verwendung eines Parametersatzes ai,
- b) Horizontaler Vergleich von Bildbereichen,
- c) Schätzung der Modellparameter ai′,
- d) Gradientenkorrektur der Meßzellen im Bereich der horizontalen Eingrenzung,
- e) Schätzung der Modellparameter ai′′.
2. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen
zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung
der Fahrzeuggeschwindigkeit nach Anspruch 1, dadurch
gekennzeichnet, daß die Modellparameter ai′′ als Basis für
die Geschwindigkeitsbestimmung der nächsten Messung
herangezogen werden.
3. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen
zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung
der Fahrzeuggeschwindigkeit nach Anspruch 1 oder 2, dadurch
gekennzeichnet, daß die Geschwindigkeit durch Verschieben
der Meßzellen in zwei zeitlich aufeinanderfolgenden Bildern
entlang der Fahrbahnränder gemäß des Fahrbahnmodells
gemessen wird, wobei die Messung durch Bildung von
geschwindigkeitsabhängigen globalen Ähnlichkeitsmaßen (DFD
Displaced Frame Difference) über alle Meßzellen, sowie durch
eine statistische Auswertung aller Ähnlichkeitsmaße mit
Least-Square-Schätzung der Fahrzeuggeschwindigkeit gewichtet
wird.
4. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen
zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung
der Fahrzeuggeschwindigkeit nach Anspruch 1 bis 3, dadurch
gekennzeichnet, daß die Fahrbahnrandpunkterfassung nach der
Geschwindigkeitskompensation durch eine Least-Square-
Schätzung der horizontalen Verschiebungen zwischen
korrespondierenden Meßzellen in aufeinanderfolgenden Bildern
mit statistischem Analyseverfahren und der Ermittlung des
Gradientenkorrekturbereichs anhand der Standardabweichung
aus der Modellparameterschätzung und anschließender lokaler
Gradientenkorrektur der detektierten Fahrbahnpunkte
innerhalb des Korrekturbereichs erfolgt.
5. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen
zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung
der Fahrzeuggeschwindigkeit nach Anspruch 1 bis 4, dadurch
gekennzeichnet, daß die ermittelten Modellparameter auf ihre
Zuverlässigkeit bewertet werden, wobei als Maß das
Verhältnis aus Standardabweichung und Modellparameter, sowie
die resultierende Abweichung von der Modellkurve durch
Variation der Modellparameter entsprechend der
Standardabweichung gilt.
6. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen
zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung
der Fahrzeuggeschwindigkeit nach Anspruch 1 bis 5, dadurch
gekennzeichnet, daß bei einem Ausfall der Bestimmung eines
Modellparameters der Parameter des letzten Bildes verwendet
wird.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19627938A DE19627938B4 (de) | 1996-07-11 | 1996-07-11 | Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19627938A DE19627938B4 (de) | 1996-07-11 | 1996-07-11 | Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19627938A1 true DE19627938A1 (de) | 1998-01-15 |
DE19627938B4 DE19627938B4 (de) | 2007-04-26 |
Family
ID=7799540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19627938A Expired - Fee Related DE19627938B4 (de) | 1996-07-11 | 1996-07-11 | Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19627938B4 (de) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19840872A1 (de) * | 1998-09-02 | 2000-03-23 | Daimler Chrysler Ag | Verfahren zur probabilistischen Schätzung gestörter Meßwerte |
WO2005037592A1 (de) * | 2003-09-23 | 2005-04-28 | Daimlerchrysler Ag | Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug |
GB2420636A (en) * | 2004-10-08 | 2006-05-31 | Trl Ltd | Road transport network incident or accident re-construction method |
DE102005014114A1 (de) * | 2005-03-21 | 2006-10-05 | Valeo Schalter Und Sensoren Gmbh | Spurerkennungssystem und Verfahren |
WO2007091072A1 (en) * | 2006-02-07 | 2007-08-16 | Richard Shenton | System for measuring speed and/or position of a train |
US8195387B2 (en) | 2005-07-14 | 2012-06-05 | Robert Bosch Gmbh | Method and device for driver assistance |
US9035758B2 (en) | 2004-08-19 | 2015-05-19 | Robert Bosch Gmbh | Method and device for driver information |
-
1996
- 1996-07-11 DE DE19627938A patent/DE19627938B4/de not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19840872A1 (de) * | 1998-09-02 | 2000-03-23 | Daimler Chrysler Ag | Verfahren zur probabilistischen Schätzung gestörter Meßwerte |
WO2005037592A1 (de) * | 2003-09-23 | 2005-04-28 | Daimlerchrysler Ag | Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug |
US9035758B2 (en) | 2004-08-19 | 2015-05-19 | Robert Bosch Gmbh | Method and device for driver information |
GB2420636A (en) * | 2004-10-08 | 2006-05-31 | Trl Ltd | Road transport network incident or accident re-construction method |
DE102005014114A1 (de) * | 2005-03-21 | 2006-10-05 | Valeo Schalter Und Sensoren Gmbh | Spurerkennungssystem und Verfahren |
US8195387B2 (en) | 2005-07-14 | 2012-06-05 | Robert Bosch Gmbh | Method and device for driver assistance |
WO2007091072A1 (en) * | 2006-02-07 | 2007-08-16 | Richard Shenton | System for measuring speed and/or position of a train |
Also Published As
Publication number | Publication date |
---|---|
DE19627938B4 (de) | 2007-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69625423T2 (de) | Vorrichtung zur Erkennung eines Objektes, in welchem die Position eines ebenen Objektes mit Hilfe einer Houghtransformation geschätzt wird | |
EP3491417B1 (de) | Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit | |
DE112019007451T5 (de) | Hochpräzises Verfahren sowie Gerät zur Fahrzeugpositionierung in mehreren Szenen, und fahrzeugmontiertes Terminal | |
DE112016007047B4 (de) | Fahrspur-schätzsystem | |
DE69516959T2 (de) | Stabilisierungsabschätzung einer zielbereichlokalisierung, abgeleitet von mehrfacherfassten marksteinbereichen auf einem videobild | |
DE60308413T2 (de) | Verfahren und vorrichtung zum bearbeiten und analysieren von digitalen gelände daten. | |
EP1673589B1 (de) | Verfahren und vorrichtung zur bestimmung der aktualposition eines geodätischen instrumentes | |
DE112018000605T5 (de) | Informationsverarbeitungsvorrichtung, Datenverwaltungsvorrichtung, Datenverwaltungssystem, Verfahren und Programm | |
DE102016214028A1 (de) | Verfahren und System zum Bestimmen einer Position einer mobilen Einheit | |
DE102016214030A1 (de) | Verfahren und System zum Erfassen eines Verkehrsumfeldes einer mobilen Einheit | |
DE112019001542T5 (de) | Positionsschätzvorrichtung | |
DE112020000590T5 (de) | Karte und verfahren zum erstellen einer karte | |
DE112019000855T5 (de) | Fahrzeugsteuergerät | |
DE102018123393A1 (de) | Erkennung von Parkflächen | |
DE102014212866A1 (de) | Verfahren zum Ermitteln eines Parkplatzes aus einer Anzahl von Messpunkten | |
DE112015007054T5 (de) | Fahrunterstützungsvorrichtung, fahrunterstützungssystem, fahrunterstützungsverfahren und fahrunterstützungsprogramm | |
WO2017102192A1 (de) | Verbessertes verfahren zum ermitteln der randbebauung einer fahrbahn für die lokalisierung von kraftfahrzeugen | |
WO2020127053A1 (de) | Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs | |
DE102020211636A1 (de) | Verfahren und Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte | |
DE4416557A1 (de) | Verfahren und Vorrichtung zur Stützung der Trägheitsnavigation eines ein entferntes Ziel autonom ansteuernden Flugkörpers | |
DE19627938B4 (de) | Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen | |
DE112017008071B4 (de) | Verfahren und System zur globalen Lokalisierung | |
DE102017108107A1 (de) | Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs | |
DE102020133092A1 (de) | Positionsschätzungseinrichtung und positionsschätzungsverfahren | |
DE102013217060A1 (de) | Spurgenaue Positionierung eines Fahrzeugs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20130201 |