DE102013223803A1

DE102013223803A1 - Verfahren und Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug

Info

Publication number: DE102013223803A1
Application number: DE102013223803.7A
Authority: DE
Inventors: Lutz Buerkle; Claudius Glaeser; Thomas MICHALKE
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-11-21
Filing date: 2013-11-21
Publication date: 2015-05-21
Also published as: CN104657740A; US10089419B2; US20150154328A1; CN104657740B

Abstract

Die Erfindung betrifft ein Verfahren zur Segmentierung eines Belegungsgitters (320) für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug. Das Verfahren (1500) umfasst einen Schritt des Einlesens eines Belegungsgitters (320) mit einer Vielzahl von Gitterzellen (322), wobei jeder Gitterzelle (322) der Vielzahl von Gitterzellen (322) eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad (324) und zumindest eine zusätzliche Information über die Gitterzelle (322) umfasst, sowie einen Schritt des Zuordnens von zumindest einem Objekt (326) und/oder einer Mehrzahl von Objekten (326) zu der Vielzahl von Gitterzellen (322) unter Verwendung der Gitterzelleninformation, um das Belegungsgitter (320) für ein Umfeldmodell zu segmentieren

Description

Stand der Technik
Der hier vorgestellte Ansatz bezieht sich auf ein Verfahren zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug, auf eine entsprechende Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug sowie auf ein entsprechendes Computerprogrammprodukt.
Moderne Fahrerassistenzsysteme folgen einer Struktur und basieren auf einem Modell des Fahrzeugumfelds. Ein solches Umfeldmodell kann zum Beispiel Eigenschaften anderer Objekte (wie deren Position) oder Freiflächeninformationen beinhalten. Zum Aufbau eines Umfeldmodells können Messungen verschiedenster im Fahrzeug vorhandener Sensoren genutzt werden, beispielsweise Kamera, Radar, Ultraschall, Lidar, usw.
Gitterbasierte Ansätze zur Umfeldmodeliierung erfreuen sich in der Robotik großer Beliebtheit, da sie ein effizientes Werkzeug zur modellfreien Umfeldrepräsentation wie auch zur Sensordatenfusion darstellen. Ein Belegungsgitter unterteilt dabei das Roboterumfeld in diskrete Bereiche (Gitterzellen), wobei die Belegung einer Gitterzelle den Belegtheitsgrad der entsprechenden Region im Roboterumfeld widerspiegelt. Aufbauend auf den Erfahrungen aus der Robotik, finden Belegungsgitter immer häufiger Anwendung in Fahrerassistenzsystemen.
Die Offenlegungsschrift DE 10 2004 007 553 A1 beschreibt eine Erfassungsvorrichtung und Sicherheitssystem für ein Kraftfahrzeug.
Die europäische Patentanmeldung EP 1 731 922 A1 offenbart ein Verfahren und eine Vorrichtung zum Bestimmen von Freiflächen in der Umgebung eines Kraftfahrzeuges.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit dem hier vorgestellten Ansatz ein Verfahren zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug, weiterhin eine Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Belegungsgitter sind geeignet, das Fahrzeugumfeld basierend auf unterschiedlicher Sensorik zu modellieren. Ein derartiges Belegungsgitter kann um Objektinformationen angereichert werden, um beispielsweise besser für eine Situationsanalyse nutzbar zu sein. Dabei kann die Objektinformation unter Verwendung von Gitterzelleninformation wie Geschwindigkeit oder Höhe der Gitterzelle bestimmt werden.
Es wird ein Verfahren zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Einlesen eines Belegungsgitters mit einer Vielzahl von Gitterzellen, wobei jeder Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad und zumindest eine zusätzliche Information über die Zelle umfasst; und
Zuordnen von zumindest einem Objekt und ergänzend oder alternativ einer Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der Gitterzelleninformation, um das Belegungsgitter für ein Umfeldmodell zu segmentieren.
Durch das Zuordnen von einem oder mehreren Objekten zu den Gitterzellen eines Belegungsgitters kann das Gitter segmentiert werden und zu einem Objekt zuordenbare Gitterzellen als eine Einheit weiterverarbeitet werden. Dadurch kann ein besseres Umfeldmodell für ein Fahrerassistenzsystem geschaffen werden.
Günstig ist es auch, wenn in einer Ausführungsform das Verfahren weiterhin einen Schritt des Projizierens der Vielzahl von Gitterzellen als transformierte Gitterzellen in einen Merkmalsraum unter Verwendung der Gitterzelleninformation umfasst. Dabei kann im Schritt des Zuordnens das zumindest eine Objekt und ergänzend oder alternativ die Mehrzahl von Objekten zu der Vielzahl von Gitterzellen zugeordnet werden, wobei die in den Merkmalsraum transformierten Gitterzellen oder daraus abgeleitete Informationen Verwendung finden.
Ferner kann das Verfahren einen Schritt des Extrahierens von Nachbarschaftsbeziehungen zwischen den in den Merkmalsraum transformierten Gitterzellen umfassen. Dabei kann im Schritt des Extrahierens ein Graph unter Verwendung der Nachbarschaftsbeziehungen erstellt werden. Dabei können Knoten des Graphen die Gitterzellen und Kanten zwischen den Knoten Nachbarschaftsbeziehungen repräsentieren. Dabei können im Schritt des Zuordnens das zumindest eine Objekt und ergänzend oder alternativ die Mehrzahl von Objekten zu der Vielzahl von Gitterzellen zugeordnet werden, wobei die Nachbarschaftsbeziehungen und ergänzend oder alternativ der Graph und ergänzend oder alternativ daraus abgeleitete Information Verwendung finden.
Ein weiterer Vorteil des Verfahrens liegt in der Recheneffizienz. Durch die Überführung des Problems der Gittersegmentierung in das Problem der Segmentierung eines Graphen können verschiedene (bereits bekannte) effiziente Algorithmen genutzt werden. Durch geeignete Heuristiken zum Aufbau des Graphen kann die Recheneffizienz weiter gesteigert werden. Unter einer Gittersegmentierung kann dabei ein Segmentieren des Belegungsgitters verstanden werden.
Ferner können in einem Schritt des Zuweisens ein Gewicht je Kante des Graphen unter Verwendung der Nachbarschaftsbeziehungen zugewiesen werden. Dabei kann das Gewicht eine Zugehörigkeit zweier durch die Kante verbundenen Knoten zu einem selben Objekt und ergänzend oder alternativ zu zwei unterschiedlichen Objekten repräsentieren. Vorteilhaft können dadurch Objektzugehörigkeiten in dem Graphen verstärkt oder verdeutlicht werden.
In einer Ausführungsform umfasst das Verfahren einen Schritt des Segmentierens des Graphen unter Verwendung des Gewichts je Kante. Dabei können Knoten zu Teilgraphen zusammengefasst werden. Ein Teilgraph kann nur Knoten eines Objekts umfassen. Dabei kann im Schritt des Zuordnens das zumindest eine Objekt und ergänzend oder alternativ die Mehrzahl von Objekten zu der Vielzahl von Gitterzellen zugeordnet werden, wobei der segmentierte Graph und ergänzend oder alternativ die Teilgraphen und ergänzend oder alternativ daraus abgeleitete Informationen Verwendung finden.
Günstig ist auch ein Schritt des Transformierens nach dem Schritt des Segmentierens. Dabei können in dem Schritt des Transformierens unter Verwendung der Teilgraphen des Graphen die Gitterzellen des Belegungsgitters einem Objekt zugeordnet werden.
Das Verfahren umfasst in einer Ausführungsform einen Schritt des Prädizierens von Objektzuordnungen für die Vielzahl von Gitterzellen nach dem Schritt des Einlesens. Dabei kann die Gitterzelleninformation je Gitterzelle eine prädizierte Objektzuordnung umfassen. Im Schritt des Prädizierens kann die Objektzuordnung unter Verwendung einer Objektzuordnung und ergänzend oder alternativ einer Gitterzelleninformation aus einem vorangegangenen Ausführen des Verfahrens prädiziert werden. Dabei kann unter einer Objektzuordnung ein Zuordnen eines Objekts zu einer Gitterzelle verstanden werden. Auch kann unter einer Objektzuordnung eine Zuordnung einer Mehrzahl von Gitterzellen zu einem Objekt beziehungsweise eines Objekts zu einer Mehrzahl von Gitterzellen verstanden werden.
Ferner kann im Schritt des Prädizierens für jede Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation unter Verwendung einer Objektzuordnung und ergänzend oder alternativ einer Gitterzelleninformation aus einem vorangegangenen Ausführen des Verfahrens prädiziert werden.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug, wobei die Vorrichtung die folgenden Merkmale aufweist:
eine Schnittstelle zum Einlesen eines Belegungsgitters mit einer Vielzahl von Gitterzellen, wobei jeder Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad und zumindest eine zusätzliche Information über die Zelle umfasst; und
eine Einrichtung zum Zuordnen von zumindest einem Objekt und ergänzend oder alternativ einer Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der Gitterzelleninformation, um das Belegungsgitter für ein Umfeldmodell zu segmentieren.
Die Vorrichtung ist ausgebildet, die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 ein Blockschaltbild einer sequenziellen Verarbeitungsstruktur eines Fahrerassistenzsystems;
2 ein Ablaufdiagramm eines Verfahrens für die Segmentierung eines belegungsgitterbasierten Umfeldmodells mit einer genaueren Analyse der gebildeten Objekte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 ein Belegungsgitter mit einer Segmentierung mittels „Connected Component Labelling”;
4 eine schematische Darstellung eines Belegungsgitters mit Gitterzellen und diesen zugeordneten Gitterzelleninformationen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
5 eine schematische Darstellung eines Merkmalsraums mit in den Merkmalsraum transformierten Gitterzellen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
6 eine schematische Darstellung eines Graphen konstruiert unter Verwendung von Nachbarschaftsbeziehungen zwischen transformierten Gitterzellen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
7 eine schematische Darstellung eines Belegungsgitters mit Objektzuordnungen der Gitterzellen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
8 ein Blockschaltbild einer Segmentierung eines Belegungsgitters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
9 ein Blockschaltbild einer Segmentierung eines Belegungsgitters mit Objektwissen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
10 ein Blockschaltbild einer rekursiven Verarbeitungsstruktur zur Segmentierung eines Belegungsgitters mittels eines Bayes-Filters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
11 ein Blockschaltbild einer zeitlichen Propagation von Zell-Objekt-Zuordnungen in einem Belegungsgitter gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
12 ein Blockschaltbild einer Segmentierung eines Belegungsgitters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
13 ein Blockschaltbild einer Segmentierung eines Belegungsgitters unter Verwendung von Segmentierungsergebnissen vorangegangener Zeitschritte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
14 ein Blockschaltbild einer Segmentierung eines Belegungsgitters mit prädizierten Zell-Objekt-Zuordnungen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
15 ein Ablaufdiagramm eines Verfahrens zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
16 ein Blockschaltbild einer Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Blockschaltbild einer sequenziellen Verarbeitungsstruktur eines Fahrerassistenzsystems. Ein Block 102 repräsentiert eine Sensorik eines Fahrzeugs, welche Sensordaten bereitstellt, die eine Information über ein Umfeld des Fahrzeugs repräsentieren. Die Sensordaten werden in einem Block 104 zu einem Umfeldmodell verarbeitet, welches in einem Block 106 einer Situationsanalyse unterzogen wird, wobei das Umfeldmodell bewertet wird. In einem Block 108 wird eine Funktion oder ein Systemeingriff bestimmt, welche in einem Block 110 als Ansteuerung einer Aktorik oder einer Anzeige umgesetzt wird.
Fahrerassistenzsysteme folgen dabei der in 1 gezeigten typischen sequenziellen Struktur. Basierend auf einem Modell des Fahrzeugumfelds in Block 104, wird die aktuelle Situation in Block 106 bewertet. Genauer wird ermittelt, ob eine für die Funktion relevante Situation vorliegt und welche funktionsbezogene Kritikalität vorherrscht. In der Funktionsschicht oder dem Block 108 wird dann die Art des Systemeingriffs berechnet und Aktorik bzw. Anzeigeelemente im Block 110 angesteuert.
2 zeigt ein Ablaufdiagramm eines Verfahrens für die Segmentierung eines belegungsgitterbasierten Umfeldmodells 104 mit einer genaueren Analyse der gebildeten Objekte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem Block 212 wird ein Belegungsgitter aufgebaut. In einem Block 214 wird das Belegungsgitter segmentiert, um dann in einem Block 216 eine weitere Verarbeitung der Objekthypothesen wie beispielsweise Tracking und/oder Klassifikation zu durchlaufen.
3 zeigt ein Belegungsgitter 320 mit einer Segmentierung mittels „Connected Component Labelling”. Das Belegungsgitter 320 kann als eine Tabelle mit einer Mehrzahl von Reihen und einer Mehrzahl von Spalten betrachtet werden. Das in 3 gezeigte Ausführungsbeispiel umfasst elf Spalten und zehn Reihen, sodass sich einhundertzehn Gitterzellen 322 ergeben. Ein Teil der einhundertzehn Gitterzellen 322 weist eine Belegungsinformation 324 oder einen Belegtheitsgrad 324 zusammen mit einer Objektzuordnung 326 auf. In dem gezeigten Ausführungsbeispiel werden sieben voneinander verschiedene Objekte 326 unterschieden, denen jeweils eine Zahl zwischen eins und sieben zugeordnet ist. Dabei ist festzustellen, dass Gitterzellen 322, die einem Objekt 326 zugeordnet sind, immer benachbart sind, entweder mit einer gemeinsamen Begrenzung entlang einer Reihe oder Spalte oder über eine Ecke der Gitterzelle 322.
Zur Beschreibung der Gitterzellen 322 mit einer positiven Belegungsinformation 324 oder einem wahrscheinlichen oder sicheren Belegtheitsgrad 324 werden in der folgenden Beschreibung die Zeilen von oben nach unten und die Spalten von links nach rechts durchnummeriert. In der zweiten Spalte weisen die Gitterzellen 322 in den Zeilen sechs bis neun einen positiven Belegtheitsgrad 324 auf und sind einem ersten Objekt 326 zugeordnet. In der fünften Zeile sind die dritte und vierte Gitterzelle 322 belegt und dem ersten Objekt 326 zugeordnet. In der vierten Spalte weisen die Gitterzellen 322 in den Zeilen sieben bis neun einen positiven Belegtheitsgrad 324 auf und sind einem zweiten Objekt 326 zugeordnet. In der sechsten Spalte weisen die Gitterzellen 322 in den Zeilen eins bis fünf einen positiven Belegtheitsgrad 324 auf und sind einem dritten Objekt 326 zugeordnet, ebenso wie die sechste Gitterzelle 322 in der siebten Spalte und in der achten Spalte die Gitterzellen 322 in den Zeilen vier bis sechs. In der achten Spalte weist die zweite Zelle einen positiven Belegtheitsgrad 324 auf und ist einem vierten Objekt 326 zugeordnet. In der zehnten Spalte weisen die Gitterzellen 322 in den Zeilen eins bis drei einen positiven Belegtheitsgrad 324 auf und sind einem fünften Objekt 326 zugeordnet. In der zehnten Spalte weisen die Gitterzellen 322 in den Zeilen fünf bis acht einen positiven Belegtheitsgrad 324 auf und sind einem sechsten Objekt 326 zugeordnet. In der zehnten Spalte weist die Gitterzelle 322 in der zehnten Zeile einen positiven Belegtheitsgrad 324 auf und ist einem siebten Objekt 326 zugeordnet.
Obwohl Belegungsgitter 320 hervorragend geeignet sind, das Fahrzeugumfeld basierend auf unterschiedlicher Sensorik zu modellieren, können sie ohne Nachverarbeitung nur in begrenztem Umfang in der nachfolgenden Situationsanalyse genutzt werden. Aufgrund der modellfreien Repräsentation liefert ein Belegungsgitter 320 zum Beispiel keine Informationen über Objekte 326. Informationen über Objekte 326 im Fahrzeugumfeld wie deren Typ, Ausmaße oder Bewegungen sind jedoch von besonderem Interesse, um eine Situation bewerten zu können. Eine Belegungsgitter-basierte Umfeldmodeliierung wird deswegen häufig entsprechend 2 nachverarbeitet. Dabei wird zunächst das Belegungsgitter 320 segmentiert, das heißt eine Zuordnung von Gitterzellen 322 zu Objekten 326 vorgenommen, und anschließend werden die gebildeten Objekte 326 genauer analysiert wie beispielsweise verfolgt und klassifiziert.
Im Bereich von Fahrerassistenzsystemen wird für die Segmentierung von Belegungsgittern 320 beispielsweise das „Connected Components Labelling” Verfahren verwendet. Dabei wird ausgehend von einer beliebigen belegten Zelle rekursiv allen benachbarten (belegten) Zellen 322 die gleiche Objekt-ID 326 zugewiesen. Dieser Vorgang wird solange wiederholt, bis alle belegten Gitterzellen einem Objekt 326 zugeordnet wurden. Das Verfahren wird aufgrund seiner Effizienz bezüglich Rechenzeit genutzt. Dabei werden zusammenhängende Bereiche des Gitters demselben Objekt 326 zugewiesen.
Anhand der folgenden Figuren 4 bis 7 wird ein Verfahren zur Segmentierung eines Belegungsgitters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung näher erläutert. Ausgehend von einem Belegungsgitter mit zusätzlichen Informationen (hier Geschwindigkeiten) über die Belegungen in 4, werden die Gitterzellen zunächst in einen Merkmalsraum transformiert, wie in 5 gezeigt. Entsprechend der Positionen im Merkmalsraum wird ein Graph entsprechend 6 konstruiert, welcher die Nachbarschaften zwischen den Gitterzellen widerspiegelt. Ein Verfahren zur Segmentierung des Graphen findet Teilgraphen in 6, welche die Zugehörigkeit der Gitterzellen zu Objekten widerspiegeln, wie beispielsweise in 7 dargestellt.
4 zeigt eine schematische Darstellung eines Belegungsgitters 320 mit Gitterzellen 322 und diesen zugeordneten Gitterzelleninformationen 430 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Belegungsgitter 320 kann es sich um ein Ausführungsbeispiel des in 3 gezeigten Belegungsgitters 320 handeln. Anstelle der in 3 gezeigten Objektzuordnung der Gitterzellen 322 mit einem wahrscheinlichen oder sicheren Belegtheitsgrad 324 ist für diese Gitterzellen 322 eine Gitterzelleninformation 430 dargestellt, am Beispiel einer Geschwindigkeit der entsprechenden Gitterzelle 322. Die Geschwindigkeit ist als ein Vektor dargestellt, der eine Richtung aufweist und dessen Länge die Geschwindigkeit repräsentiert.
Belegungsgitter 320 eignen sich besonders gut zur Repräsentation statischer Hindernisse, da diese immer die gleichen Gitterzellen 322 belegen und somit verschiedene Messungen leicht fusioniert werden können. Dynamische, das heißt bewegte, Hindernisse lassen sich hingegen nur schwer in Belegungsgittern 320 repräsentieren. Eine Möglichkeit, mit dynamischen Hindernissen umzugehen, ist, neben der Position auch die Geschwindigkeit als ein Beispiel für eine Gitterzelleninformation 430 von Hindernissen zu betrachten. Das sogenannte „4D Bayesian Occupancy Filtering” (4D BOF) nutzt dazu ein 4-dimensionales Belegungsgitter (2D-Position + 2D-Geschwindigkeit). Die Belegung einer Gitterzelle 322 bedeutet dabei, dass sich ein Hindernis mit der entsprechenden Geschwindigkeit in der entsprechenden Region des Fahrzeugumfelds befindet. Um die Erweiterung des Zustandsraumes zu umgehen, kann man alternativ den Belegungen eines Gitters eine Geschwindigkeitsverteilung zuweisen. In beiden Varianten kann eine Belegung, welche eine Geschwindigkeit ungleich Null aufweist, das heißt dynamisch ist, somit von einer Gitterzelle 322 in eine andere Gitterzelle 322 übergehen.
Ein Vorteil des genannten Verfahrens ist, dass neben den Positionen von Hindernissen auch deren Geschwindigkeiten geschätzt werden. Dabei ist es hilfreich, die Geschwindigkeit von Hindernissen mit Hilfe von Sensoren zu erfassen (beispielsweise Radar) und die Messungen in die Schätzung einzubeziehen. Aber auch ohne entsprechende Geschwindigkeitsmessungen ist das Verfahren in der Lage auf Grundlage einer zeitlichen Integration von Belegungsinformationen wie beispielsweise von Video, Lidar, usw. probabilistisch auf Geschwindigkeiten von Hindernissen zu schließen.
Die Verfahren beruhen auf der Annahme, dass die Belegungen unterschiedlicher Gitterzellen 322 (im wahrscheinlichkeitstheoretischen Sinn) voneinander unabhängig sind. Diese Annahme wird jedoch oftmals verletzt, da ein Objekt typischerweise mehrere Gitterzellen 322 belegt. Als Ergebnis erhält man dadurch häufig Artefakte in den geschätzten Geschwindigkeiten und somit auch in den geschätzten Belegtheitsgraden der Gitterzellen 322. Entsprechend 2 werden Belegungsgitter 320 als Vorverarbeitungsschritt genutzt, beispielsweise um eine Sensordatenfusion durchzuführen. Eine anschließende Objektbildung beziehungsweise Gittersegmentierung und genauere Analyse der gebildeten Objekte vervollständigt die Umfeldmodellierung.
Im Gegensatz zu den meisten existierenden Verfahren ist es hilfreich das Belegungsgitter 320 nicht ausschließlich modellfrei aufzubauen, sondern eventuell vorhandenes Wissen über Objekte im Fahrzeugumfeld entsprechend 3 während des Aufbaus des Belegungsgitters 320 zu nutzen. So wurde zum Beispiel in ein Verfahren vorgeschlagen, welches Wissen über vorhandene Objekte im Fahrzeugumfeld zur Verbesserung der Geschwindigkeitsschätzung nutzt. Ein anderes Verfahren nutzt Wissen über mögliche Objektklassen. Genauer gesagt werden Bewegungsmodelle für verschiedene Objektklassen wie beispielsweise Fußgänger oder Fahrzeug vordefiniert, deren Zuordnung zu den Belegungen des Gitters geschätzt und entsprechend der Zuordnung angewendet. Dies zeigt damit beispielhaft, dass Objektwissen während des Aufbaus eines Belegungsgitters genutzt werden kann. Gleichzeitig beschränken sie sich jedoch auf einen bestimmten Anwendungsfall.
5 zeigt eine schematische Darstellung eines Merkmalsraums 540 mit in den Merkmalsraum 540 transformierten Gitterzellen 542 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Merkmalsraum 540 ist als ein dreidimensionales kartesisches Koordinatensystem dargestellt. Die transformierten Gitterzellen 542 sind als Punkte in dem dreidimensionalen Koordinatensystem dargestellt. Der in 5 gezeigte Merkmalsraum 540 mit den transformierten Gitterzellen 542 wird in einem Ausführungsbeispiel durch Projizieren der Gitterzellen des in 4 gezeigten Belegungsgitters unter Verwendung der Gitterzelleninformation gewonnen.
6 zeigt eine schematische Darstellung eines Graphen 650 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Graph ist konstruiert unter Verwendung von Nachbarschaftsbeziehungen zwischen transformierten Gitterzellen, wie diese in 5 dargestellt sind. Knoten 652 repräsentieren Gitterzellen respektive transformierte Gitterzellen und Kanten 654 zwischen den Knoten 652 repräsentieren Nachbarschaftsbeziehungen zwischen den Gitterzellen. In einem Ausführungsbeispiel werden den Kanten 654 in dem Graphen 650 Gewichte zugeordnet.
In einem optionalen Schritt des Segmentierens werden in einem Ausführungsbeispiel Trennlinien 656 in den Graphen 650 eingezogen, welche Knoten 652 unterschiedlichen Objekten zuordnen. In dem in 6 dargestellten Graphen werden die Knoten 652 durch Trennlinien 656 in drei Teilgraphen aufgeteilt beziehungsweise die Knoten 652 drei verschiedenen Objekten zugeordnet.
Ein Aspekt eines Ausführungsbeispiels der vorliegenden Erfindung ist ein Verfahren zur Segmentierung eines Belegungsgitters zu realisieren. Dabei basiert in einem Ausführungsbeispiel die Segmentierung nicht ausschließlich auf den Belegungswahrscheinlichkeiten des Gitters, sondern nutzt weitere Informationen. Beispiele für solche Informationen sind die Geschwindigkeit oder Höhe der Hindernisse innerhalb der Gitterzellen. Diese Informationen werden typischerweise während des Aufbaus des Belegungsgitters verwendet, können aber auch zur Segmentierung des Gitters genutzt werden. Dabei wird zur Segmentierung ein Graph wie in 6 dargestellt genutzt, wobei Gitterzellen die Knoten des Graphen sind und Zellnachbarschaften durch Kanten zwischen den Knoten repräsentiert werden. Vorteilhaft werden verschiedene Algorithmen eingesetzt, welche zur graphenbasierten Segmentierung eines Belegungsgitters besonders geeignet sind. Da Fahrerassistenzsysteme Echtzeitanwendungen darstellen, ist die Recheneffizienz des Verfahrens von Bedeutung. In einem Ausführungsbeispiel wird die Segmentierung derart umgesetzt, dass das Verfahren auf einer entsprechenden Vorrichtung oder in einem entsprechenden Steuergerät effizient ausgeführt und das Belegungsgitter entsprechend segmentiert wird.
6 illustriert einen Verfahrensschritt zur Segmentierung eines Belegungsgitters. Im Gegensatz zu existierenden Methoden beruht das Verfahren nicht auf vordefinierten Nachbarschaftsbeziehungen zwischen den Zellen. Vielmehr werden Nachbarschaftsbeziehungen adaptiv auf Grundlage der Merkmale von Gitterzellen bestimmt. Hierbei können neben der Position von Zellen verschiedenste Merkmale wie beispielsweise Geschwindigkeit oder Höhe mit unterschiedlicher Gewichtung Einfluss nehmen. Durch die Verwendung adaptiver Nachbarschaftsbeziehungen und die Möglichkeit einer umfassenden Merkmalsbeschreibung können vorteilhaft Probleme der Über- und Untersegmentierung minimiert oder gar ganz vermieden werden.
Die so bestimmten Nachbarschaftsbeziehungen werden in Form eines Graphen 650 (Gitterzellen = Knoten 652; Nachbarschaft = Kanten 654 zwischen Knoten 652) repräsentiert. Das hat zum Vorteil, dass verschiedene effiziente Algorithmen zur Segmentierung eines Graphen 650 für die Segmentierung eines Belegungsgitters genutzt werden können. Darüber hinaus fällt es leicht externes Objektwissen, wie beispielsweise von einer bildbasierten Objektsegmentierung, in die Segmentierung des Belegungsgitters einzubeziehen. Dazu müssen lediglich die Gewichte der Kanten 654 des Graphen 650 entsprechend der externen Information erhöht beziehungsweise verkleinert werden. Dabei wird ein Gewicht einer Kante erhöht, wenn zwei benachbarte Knoten zu unterschiedlichen Objekten gehören. Entsprechend wird ein Gewicht einer Kante 654 verringert, wenn zwei benachbarte Knoten 652 zum selben Objekt gehören.
Ein Vorteil des Verfahrens liegt in der Recheneffizienz. Durch die Überführung des Problems der Gittersegmentierung in das Problem der Segmentierung eines Graphen können verschiedene (bereits bekannte) effiziente Algorithmen genutzt werden. Durch geeignete Heuristiken zum Aufbau des Graphen kann die Recheneffizienz weiter gesteigert werden.
7 zeigt eine schematische Darstellung eines Belegungsgitters 320 mit Objektzuordnungen 326 der Gitterzellen 322 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Belegungsgitter 320 kann es sich um ein Ausführungsbeispiel eines in 3 oder 4 gezeigten Belegungsgitters 320 handeln.
Zur Beschreibung der Gitterzellen 322 mit einer positiven Belegungsinformation 324 oder einem wahrscheinlichen oder sicheren Belegtheitsgrad 324 werden in der folgenden Beschreibung entsprechend der Beschreibung in 3 die Zeilen von oben nach unten und die Spalten von links nach rechts durchnummeriert. In der zweiten Spalte weisen die Gitterzellen 322 in den Zeilen sechs bis neun einen positiven Belegtheitsgrad 324 auf und sind einem ersten Objekt 326 zugeordnet. In der fünften Zeile sind die dritte und vierte Gitterzelle 322 belegt und dem ersten Objekt 326 zugeordnet. Weiterhin weisen in der vierten Spalte die Gitterzellen 322 in den Zeilen sieben bis neun einen positiven Belegtheitsgrad 324 auf und sind dem ersten Objekt 326 zugeordnet.
In der sechsten Spalte weisen die Gitterzellen 322 in den Zeilen eins bis fünf einen positiven Belegtheitsgrad 324 auf und sind einem zweiten Objekt 326 zugeordnet, ebenso wie die sechste Gitterzelle 322 in der siebten Spalte und in der achten Spalte die Gitterzellen 322 in den Zeilen vier bis sechs. In der achten Spalte weist die zweite Zelle einen positiven Belegtheitsgrad 324 auf und ist dem zweiten Objekt 326 zugeordnet.
In der zehnten Spalte weisen die Gitterzellen 322 in den Zeilen eins bis drei einen positiven Belegtheitsgrad 324 auf und sind einem dritten Objekt 326 zugeordnet. In der zehnten Spalte weisen die Gitterzellen 322 in den Zeilen fünf bis acht einen positiven Belegtheitsgrad 324 auf und sind dem dritten Objekt 326 zugeordnet. In der zehnten Spalte weist die Gitterzelle 322 in der zehnten Zeile einen positiven Belegtheitsgrad 324 auf und ist dem dritten Objekt 326 zugeordnet.
Vorteilhaft wird ein reales Objekt, welches sich aufgrund von Messungenauigkeiten des Sensors oder Eigenschaften der Szene (beispielsweise Verdeckungen) nicht als eine zusammenhängende Belegung im Gitter darstellt, als ein Objekt klassifiziert. So wird das Gitter nicht übersegmentiert, das heißt, es werden nicht mehr Objekte gebildet als real existieren. Diesem Problem könnte zwar auch durch eine zuvor fest definierte größere Nachbarschaftsbeziehung zwischen den Zellen entgegengewirkt werden, was jedoch schnell zu einer Untersegmentierung des Gitters führt, das heißt, verschiedene Objekte werden fälschlicherweise zusammengefasst. Ein weiterer Vorteil des Verfahrens ist, dass zusätzliche Informationen über Belegungseigenschaften (wie Geschwindigkeit oder Höhe von Hindernissen) sowie zusätzliche Informationen über die Objektzugehörigkeit von Gitterzellen (beispielsweise aus einer visuellen Objekterkennung) einfach einbezogen werden können.
8 zeigt ein Blockschaltbild einer Segmentierung eines Belegungsgitters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Belegungsgitter kann es sich um ein Ausführungsbeispiel eines in den Figuren 3, 4 und 7 gezeigten und mit dem Bezugszeichen 320 versehenen Belegungsgitters handeln. Das in 8 gezeigte Blockschaltbild weist eine Ähnlichkeit zu dem in 2 beschriebenen Blockschaltbild auf. In einem Block 212 wird ein Belegungsgitter aufgebaut oder eingelesen. In einem darauf folgenden Block 214 wird eine Segmentierung des Belegungsgitters durchgeführt, um dann in einem abschließenden Block 216 eine weitere Verarbeitung von Objekthypothesen wie beispielsweise Tracking oder Klassifikation durchzuführen. Optional empfängt der Block 214 zusätzlich „externe” Segmentierungsinformation 860. Dabei repräsentiert eine externe Segmentierungsinformation 860 eine von einem anderen Verarbeitungsmodul oder von einem anderen Verfahren bereitgestellte Segmentierungsinformation 860. Im Block 216 wird optional eine „interne” Segmentierungsinformation 862 bereitgestellt, die optional in einem Ausführungsbeispiel dem Block 214 bereitgestellt wird und in einem darauffolgenden Zeitschritt zur Segmentierung des Belegungsgitters genutzt wird.
Die Segmentierung des Belegungsgitters bezieht in einem in 8 gezeigten Ausführungsbeispiel weitere Informationen ein. Diese können von anderen Verarbeitungsmodulen stammen („extern”) oder Ergebnis einer Objektbildung von vorhergehenden Zeitschritten sein („intern”).
Ein Aspekt eines Verfahrens zur Segmentierung eines Belegungsgitters 320 ist in 4 bis 7 dargestellt und wird nachfolgend beschrieben. Dabei kann jede der Figuren als ein Verfahrensschritt oder als ein Ergebnis eines Verfahrensschrittes betrachtet werden. Ausgangspunkt ist ein Belegungsgitter 320, welches neben dem Belegtheitsgrad 324 zusätzliche Informationen über die Belegungen der Gitterzellen 322 enthält. In 4 werden beispielhaft die Geschwindigkeiten der Hindernisse, welche die Gitterzellen 322 belegen, dargestellt. Denkbar sind aber auch andere Merkmale wie beispielsweise Höhe, Objekttyp, usw.
In einem ersten Schritt eines Verfahrens zur Segmentierung eines Belegungsgitters werden die Gitterzellen 322 entsprechend der verwendeten Merkmale (Position, Geschwindigkeit, Höhe, ...) in einen N-dimensionalen Merkmalsraum 540 projiziert. Ein solcher Merkmalsraum 540 ist in 5 dargestellt. Gitterzellen 322, welche ähnliche Merkmale aufweisen, bilden dabei bereits Cluster im Merkmalsraum 540. Da sich Gitterzellen 322 in 4, welche zu dem gleichen Objekt gehören, durch ähnliche Merkmale auszeichnen, ist es die Aufgabe der Segmentierung, diese Cluster zu extrahieren.
In einem zweiten Schritt eines Verfahrens zur Segmentierung eines Belegungsgitters werden Nachbarschaftsbeziehungen zwischen den Gitterzellen 322 beziehungsweise transformierten Gitterzellen 542 extrahiert und in Form eines Graphen 650 gespeichert, wie in 6 dargestellt und beschrieben. Dabei stellen die Knoten 652 des Graphen 650 die Gitterzellen 322 dar, wohingegen Kanten 654 zwischen den Knoten 652 Nachbarschaften repräsentieren. Zum Aufbau eines solchen Graphen 650 können verschiedene Verfahren genutzt werden. In einem Ausführungsbeispiel werden vordefinierte Nachbarschaften genutzt. So kann zum Beispiel ein voll-vernetzter Graph 650 generiert werden (eine Zelle ist Nachbar jeder anderen Zelle) oder aber die aus anderen Verfahren bekannten 4- oder 8-Nachbarschaften verwendet werden. Bei Letzteren wird jede Gitterzelle 322 mit Ihren vier bzw. acht Nachbarn verbunden, wobei lediglich die 2D-Gitterpositionen der Zellen 322 eine Rolle spielen. Eine zweite Möglichkeit ist, die Nachbarschaften adaptiv zu generieren. So kann zum Beispiel eine Zelle 322, 542 Nachbar von allen anderen Zellen 322, 542 sein, welche sich im Merkmalsraum 540 in einem bestimmten Radius der Zelle 542 befinden. Alternativ kann jede Zelle 322, 542 mit Ihren k nächsten Nachbarn verbunden werden. Eine letzte Möglichkeit Nachbarschaften zu definieren ergibt sich aus der Kombination von vordefinierten und adaptiven Nachbarschaften.
Sind die Zell-Nachbarschaften gefunden, werden den Kanten 654 des Graphen 650 Gewichte zugewiesen, welche die Zugehörigkeit der entsprechenden Knoten 652 zu Objekten widerspiegeln. Dabei repräsentiert ein kleines Gewicht, dass zwei Zellen zum selben Objekt gehören und ein großes Gewicht repräsentiert, dass zwei Zellen zu unterschiedlichen Objekten gehören. Hierbei und bereits bei der Konstruktion des Graphen 650, werden je nach Ausführungsbeispiel optional die unterschiedlichen Merkmale unterschiedlich stark gewichtet. Das kann entweder durch eine entsprechende Skalierung der Merkmalsdimensionen erreicht werden oder durch die Wahl einer geeigneten Distanz-Metrik wie beispielsweise einer Mahalanobis-Distanz.
In einem letzten Schritt eines Verfahrens zur Segmentierung eines Belegungsgitters 320 wird der konstruierte Graph 650 in einem Ausführungsbeispiel segmentiert, das heißt Kanten „zerschnitten”, sodass die verbleibenden zusammenhängenden Teile des Graphen 650 jeweils nur die Knoten/Zellen 652 enthalten, welche zu demselben Objekt gehören. Zur Segmentierung des Graphen 650 können verschiedene bekannte Verfahren verwendet werden. Beispiele hierfür sind Clustering-Verfahren, wie das hierarchische Clustering, oder Graph-Cut-Verfahren, wie sie in der Bildverarbeitung Anwendung finden.
Ein wesentlicher Vorteil des hier beschriebenen Verfahrens ist es, dass weitere Informationen über die Zugehörigkeit von Zellen 322 zu Objekten entsprechend 8 einbezogen werden können. Solche zusätzlichen Informationen können entweder „externer” Natur, das heißt das Ergebnis anderer Verarbeitungsmodule, wie beispielsweise Segmentierung von Kamerabildern, oder „interner” Natur sein, beispielsweise Segmentierungsergebnisse vorangegangener Zeitschritte. Solche zusätzlichen Informationen lassen sich leicht durch eine entsprechende Adaptation der Kantengewichte des Graphen einbeziehen.
Durch die Verwendung effizienter Algorithmen zur Segmentierung eines Graphen 650 kann eine recheneffiziente Segmentierung des Belegungsgitters 320 gewährleistet werden. Neben der Wahl des konkreten Segmentierungsverfahrens spielt mit Hinblick auf die Laufzeit die Konstruktion des Graphen 650 eine wesentliche Rolle. Generell gilt hier: je kleiner der Graph, desto schneller dessen Segmentierung. Aus diesem Grund kann die Verwendung geeigneter Heuristiken zur Konstruktion des Graphen wesentlich zur Recheneffizienz beitragen.
9 zeigt ein Blockschaltbild einer Segmentierung eines Belegungsgitters mit Objektwissen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Belegungsgitter kann es sich um ein Ausführungsbeispiel eines in den Figuren 3, 4 und 7 gezeigten und mit dem Bezugszeichen 320 versehenen Belegungsgitters handeln. Das in 9 gezeigte Blockschaltbild weist eine Ähnlichkeit zu den in 2 und 8 beschriebenen Blockschaltbildern auf. In einem Block 212 wird ein Belegungsgitter aufgebaut oder eingelesen. In einem darauf folgenden Block 214 wird eine Segmentierung des Belegungsgitters durchgeführt, um dann in einem abschließenden Block 216 eine weitere Verarbeitung von Objekthypothesen wie beispielsweise Tracking oder Klassifikation durchzuführen. Der Block 212 empfängt in dem in 9 gezeigten Ausführungsbeispiel Sensordaten 970 und ergänzend oder alternativ Objektwissen 972, welches im Block 216 gewonnen wird.
Neben der modellfreien Integration von Sensordaten 970 kann Objektwissen 972 zum Aufbau des Belegungsgitters genutzt werden, welches als Ergebnis anderer Verarbeitungsschritte, insbesondere eines durch den Block 216 repräsentierten Verfahrensschritt, zur Verfügung gestellt wird.
Ein Aspekt der vorgestellten Erfindung ist es, ein Verfahren zum Aufbau eines Belegungsgitters zu realisieren, welches in dem Belegungsgitter nicht nur einen Belegtheitsgrad (und evtl. weitere Eigenschaften wie die Geschwindigkeit von Belegungen) speichert und propagiert, sondern auch Zuordnungen von Gitterzellen zu Objekten. Die Zell-Objekt-Zuordnungen können auf unterschiedliche Art und Weise zum Aufbau des Belegungsgitters oder auch zur nachträglichen Analyse des Belegungsgitters genutzt werden.
Die Verwendung von Zell-Objekt-Zuordnungen wird im folgenden anhand konkreter Beispiele und Realisierungen aufgezeigt, wie beispielsweise eine Segmentierung von Belegungsgittern, eine Assoziation von Segmenten zwischen Zeitschritten, eine Verwendung objektspezifischer Bewegungsmodelle oder eine Verwendung objektspezifischer Beobachtungsmodelle.
Es wird ein Verfahren zum Aufbau und zur Analyse von Belegungsgittern beschrieben. Im Gegensatz zu existierenden Methoden werden Zuordnungen von Gitterzellen zu Objekten im Belegungsgitter hinterlegt und entsprechend der dynamischen Eigenschaften des Gitters propagiert. Da Zell-Objekt-Zuordnungen Objektwissen 972 widerspiegeln, ist es so möglich, dieses während des Aufbaus von einem Belegungsgitter zu nutzen. Es wird nicht angenommen, dass die Belegungen der unterschiedlichen Gitterzellen im wahrscheinlichkeitstheoretischen Sinn unabhängig voneinander sind. Vielmehr wird die Abhängigkeit zwischen Gitterzellen, welche durch das gleiche Objekt belegt werden, explizit modelliert. Somit lassen sich Ambiguitäten, welche auf Gitterzell-Ebene auftreten, durch die Einbeziehung von Wissen auf Objekt-Ebene auflösen.
Die Ausführungsbeispiele, die beispielsweise in 10 bis 12 beschrieben werden, zeigen, wie Zell-Objekt-Zugehörigkeiten genutzt werden können. Dabei werden Vorteile gegenüber herkömmlichen Verfahren aufgezeigt. Hierbei ist es wichtig, zu erwähnen, dass es sich nur um exemplarische Realisierung handelt. Weitere Anwendungen und insbesondere Abweichungen von den konkreten Realisierungen sind denkbar.
10 zeigt ein Blockschaltbild einer rekursiven Verarbeitungsstruktur zur Segmentierung eines Belegungsgitters mittels eines Bayes-Filters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Ein Block 1080 repräsentiert einen geschätzten Zustand als Ergebnis eines vorangegangenen Ausführens der dargestellten rekursiven Verarbeitungsstruktur. Ein darauf folgender Block 1082 repräsentiert einen Schritt einer Prädiktion. Ein auf den Schritt der Prädiktion folgender Block 1084 repräsentiert den im Block 1082 bestimmten prädizierten Zustand. Der auf den den prädizierten Zustand repräsentierenden Block 1084 folgende Block 1086 repräsentiert einen Schritt der Korrektur, dessen Ergebnis durch einen Block 1088 als ein geschätzter Zustand repräsentiert wird. Ein durch den Block 1090 repräsentierter Messwert wird im Schritt der Korrektur im Block 1086 bereitgestellt. Der durch den Block 1088 dargestellte geschätzte Zustand wird in einem folgenden Ablauf des in 10 gezeigten Blockschaltbilds dem Block 1080 bereitgestellt. Die in dem Blockschaltbild gezeigte rekursive Verarbeitungsstruktur des Bayes-Filters besteht aus einem Prädiktionsschritt und einem Korrekturschritt.
Sei G = {c₁, ..., c_N} ein Gitter mit N Gitterzellen c_k, k = 1, ..., N. Sei außerdem Xt = {x_1,t, ..., x_N,t} der Zustand des Gitters G zum Zeitpunkt t, welcher sich aus den Zuständen x_k,t der einzelnen Gitterzellen c_k ergibt. Dabei umfasst der Zustand x_k,t den Belegtheitsgrad der Zelle c_k zum Zeitpunkt t wie auch eventuell weitere Eigenschaften der Belegung (beispielsweise Geschwindigkeit, Höhe, ...). Aufgabe eines Verfahrens zum Aufbau eines Belegungsgitters ist es, die Zustandsfolge X₀, ..., X_t auf Grundlage aller bisherigen Beobachtungen Z_0:t = {Z₀, ..., Z_t} zu schätzen. Dabei beschreibt Z_t = {z_1,t, ...,z_N,t} die Beobachtung (Messung) zum Zeitpunkt t, welche sich aus den Beobachtungen (Messungen) z_k,t für die einzelnen Gitterzellen c_k zusammensetzt.
Das meistverwendete Verfahren zum Aufbau eines Belegungsgitters ist das Bayes'sche Filtern. Unter Verwendung der Markov-Annahme p(X_t|X_t-1, ..., X₀) und p(Z_t|X_t, ..., X₀) = p(Z_t|X_t) schätzt dieses die Wahrscheinlichkeit für eine Zustandsfolge gemäß
Die Wahrscheinlichkeit für eine Zustandsfolge lässt sich durch rekursive Anwendung eines Prädiktions- und Korrekturschritts (siehe ) effizient berechnen:
Prädiktion: p(X_t|Z_0:t-1) = ∫p(X_t|X_t-1)·p(X_t-1|Z_0:t-1)dX_t-1
Korrektur: p(X_t|Z_0:t) = η·p(Z_t|X_t)·p(X_t|Z_0:t-1)
Für ein Belegungsgitter bedeutet dies, dass im Prädiktionsschritt die Belegung des Gitters im nächsten Zeitschritt vorhergesagt wird. Dazu bewegen sich die Belegungen im Gitter entsprechend ihrer Geschwindigkeit. Im Korrekturschritt wird anschließend die Vorhersage mithilfe der aktuellen Messung verifiziert.
An dieser Stelle sei erwähnt, dass neben dem Bayes'schen Filtern andere Verfahren zum Aufbau eines Belegungsgitters existieren (beispielsweise Evidenztheorie nach Dempster-Shafer), diese hier aber nicht näher erläutert werden.
Es wird vorgeschlagen, den Zustand X des Gitters um Zell-Objekt-Zugehörigkeiten zu erweitern und diese ebenfalls im Gitter über die Zeit zu propagieren. Sei dazu O = {O₁, ..., O_M} die Menge der M Objekte im Fahrzeugumfeld. Dann definieren wir eine Wahrscheinlichkeitsverteilung p(o_i|c_k), die angibt, mit welcher Wahrscheinlichkeit die Belegung der Zelle c_k durch das Objekt o_i hervorgerufen wird. Dabei gilt
für alle k.
Wie in 11 dargestellt, geschieht die Propagation der Zell-Objekt-Zuordnungen 1192 im Prädiktionsschritt 1082 des Bayes-Filters. Da die Zell-Objekt-Zuordnungen an die Zell-Belegungen gekoppelt sind, bewegen sich diese zusammen mit den Belegungen entsprechend ihrer Geschwindigkeiten im Gitter. Das heißt, wenn eine Belegung durch ein dynamisches Objekt hervorgerufen wurde (die Belegung besitzt eine Geschwindigkeit ungleich 0), geht die Objektzuordnung zusammen mit der Belegung von einer Zelle in eine andere Zelle des Gitters über. Durch die Anwendung des Prädiktionsschrittes erhält man somit eine Vorhersage 1194 darüber, mit welcher Wahrscheinlichkeit eine Zelle c_k im nächsten Zeitschritt von einem bestimmten Objekt o_i belegt wird.
Ein Update der Zell-Objekt-Zuordnungen geschieht, indem das Ergebnis 1198 einer Objektbildung im nächsten Zeitschritt (beispielsweise mittels Segmentierung des Belegungsgitters) als „Messwert” zur Korrektur der prädizierten Zuordnungen 1194 genutzt wird. Die durch den Block 1196 dargestellten geschätzten Zell-Objekt-Zuordnungen werden in einem folgenden Ablauf des in 11 gezeigten Blockschaltbilds dem Block 1192 bereitgestellt.
Im Folgenden wird die Verwendung der Zell-Objekt-Zuordnungen an einigen Beispielen gezeigt. In einem ersten Ausführungsbeispiel wird eine Segmentierung von Belegungsgittern durchgeführt. Um Objekte im Fahrzeugumfeld genauer zu analysieren, findet typischerweise auf Grundlage des Belegungsgitters eine Objektbildung statt. Diese kann zum Beispiel durch eine Segmentierung des Belegungsgitters realisiert werden. Dabei wird eine Zuordnung o_i = o(c_k) von Gitterzellen c_k zu Objekten o_i vorgenommen, welche, wie hier vorgeschlagen und in 12 gezeigt, als „Messwert” zum Update der Zell-Objekt-Zuordnungen im Gitter verwendet werden kann. Wird eine Objektbildung wie in 12 durchgeführt, beruht das Ergebnis der Objektbildung ausschließlich auf dem aktuellen Zustand des Gitters, das heißt, die Ergebnisse der Objektbildung zu früheren Zeitpunkten werden nicht verwendet.
Alternativ dazu können, wie in 13 gezeigt, die im Gitter prädizierten Zell-Objekt-Zuordnungen als Prior für die Segmentierung verwendet werden. Das ist sinnvoll, da sie unter Einbeziehung vorheriger Segmentierungsergebnisse beschreiben, mit welchen Wahrscheinlichkeiten die Zellen den verschiedenen Objekten zugeordnet sind. Durch die Einbeziehung eines solchen Priors kann eine „gefilterte” Segmentierung erreicht werden, welche Rauscheinflüsse minimiert.
In einem Ausführungsbeispiel wird eine Assoziation von Segmenten zwischen Zeitschritten durchgeführt. Werden keine Priors in der Segmentierung eines Belegungsgitters verwendet, sind die Ergebnisse der Objektbildung in aufeinanderfolgenden Zeitschritten unabhängig voneinander. Um eine kontinuierliche Objektverfolgung zu erreichen, müssen daher die in aufeinanderfolgenden Zeitschritten gebildeten Objekte entsprechend 14 miteinander assoziiert werden. Zu einer solchen Assoziation können wiederum die im Belegungsgitter propagierten Zell-Objekt-Zuordnungen verwendet werden. Beispiel: Seien
die in den Zeitschritten t – 1 und t gebildeten Objekte und beschreibe S t / i = {c_k|o^t(c_k) = o t / i} die Menge der zu Objekt o t / i zugeordneten Zellen, dann gibt
die Wahrscheinlichkeit an, dass das i-te Objekt aus Zeitschritt t dem j-ten Objekt aus Zeitschritt t – 1 entstammt.
In einem Ausführungsbeispiel wird eine Verwendung objektspezifischer Bewegungsmodelle beschrieben. Ist bekannt, mit welcher Wahrscheinlichkeit eine Zelle einem Objekt zugeordnet ist, können objektspezifische Bewegungsmodelle zur Prädiktion des Belegungsgitters verwendet werden. Beispielhaft kann dies wie folgt realisiert werden:
wobei p(x_l,t |x_k,t-1, o_i) ein objektspezifisches Bewegungsmodell darstellt.
Objektgeschwindigkeiten stellen ein gutes Anwendungsbeispiel in dieser Hinsicht dar. Zellen, welche zu demselben Objekt gehören, müssen sich auch gleich bewegen, da ein Objekt nur eine Geschwindigkeit aufweisen kann. Betrachtet man Gitterzellen unabhängig voneinander, weisen diese jedoch aufgrund von Ambiguitäten unterschiedliche Geschwindigkeiten auf (auch wenn sie zu demselben Objekt gehören). Hier wird daher vorgeschlagen, auf Grundlage der Zellgeschwindigkeiten und der Zell-Objektzuordnungen zunächst Modelle für die Geschwindigkeiten der einzelnen Objekte zu bilden und diese dann auf Zellebene anzuwenden. Somit würden sich Belegungen innerhalb der Zellen nicht mehr unabhängig voneinander bewegen, sondern immer in Bezug auf das Objekt, welches sie beschreiben.
In einem Ausführungsbeispiel wird eine Verwendung objektspezifischer Beobachtungsmodelle beschrieben. Ähnlich den zuvor beschriebenen objektspezifischen Bewegungsmodellen können mithilfe der Zell-Objekt-Zuordnungen auch objektspezifische Beobachtungsmodelle während des Korrekturschritts des Belegungsgitters verwendet werden. Ein mögliches Anwendungsbeispiel stellen hier Teilverdeckungen von Objekten dar. Sensoren können Objekte typischerweise nur teilweise erfassen, das heißt nur Punkte, welche sich auf der dem Sensor zugewandten Seite befinden und welche nicht durch andere Objekte verdeckt werden. Ein Belegungsgitter, welches kein Objektwissen einbezieht, das heißt Gitterzellen als unabhängig betrachtet, würde dementsprechend nur die Zustände der Gitterzellen updaten, für welche Messwerte vorliegen.
Bindet man Objektwissen in ein Belegungsgitter mit Hilfe der beschriebenen Zell-Objekt-Zuordnungen ein, können Messwerte von Zellen als implizite Messwerte von verdeckten Zellen dienen, wenn diese demselben Objekt zugeordnet sind. Mit anderen Worten: Wenn ich ein Objekt messen kann, dann kann dies als Messwert für jede dem Objekt zugeordnete Zelle verwendet werden (auch für die Zellen, welche beispielsweise aufgrund von Verdeckungen nicht gemessen werden konnten).
Ähnlich den objektspezifischen Bewegungsmodellen kann dies beispielhaft realisiert werden, indem man aus dem zellbasierten Beobachtungsmodell p(Z_t|x_k,t) mithilfe der Zell-Objekt-Zuordnungen zunächst objektbasierte Beobachtungsmodelle p(Z_t|x_k,t, o_i) berechnet. Beispielsweise könnte gelten, dass ein Objekt als „gemessen” angenommen wird, wenn das Objekt in mindestens einer ihm zugeordneten Zelle „gemessen” wurde. Daraus lässt sich wiederum ein Beobachtungsmodell generieren, welches auf Zellebene angewendet werden kann:
Ähnliche objektbasierte Beobachtungsmodelle können auch für andere Eigenschaften von Belegungen von Interesse sein. Geschwindigkeiten sind ein gutes Beispiel hierfür, da sich Belegungen, welche durch das gleiche Objekt hervorgerufen werden, auch gleich bewegen müssen. In diesem Fall würden verschiedene auf Zellebene gemessene Geschwindigkeiten zunächst zu objektspezifischen Geschwindigkeiten zusammengefasst werden, welche anschließend wiederum auf Zellebene angewendet werden können.
11 zeigt ein Blockschaltbild einer zeitlichen Propagation von Zell-Objekt-Zuordnungen in einem Belegungsgitter gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das in 11 gezeigte Blockschaltbild weist die Blöcke 1080, 1082, 1084, 1086, 1088, sowie 1090 entsprechend 10 auf. Weiterhin umfasst das Blockschaltbild in 11 einen Block 1192 einer Zell-Objekt-Zuordnung, die dem durch den Block 1082 repräsentierten Schritt der Prädiktion bereitgestellt wird, einen Block 1194, der eine prädizierte Zell-Objekt-Zuordnung repräsentiert, einen Block 1196, der eine Zell-Objektzuordnung repräsentiert sowie einen Block 1198, der einen Messwert aus Objektbildung repräsentiert.
Als Ergebnis des Schritts der Prädiktion in Block 1082 werden ein durch den Block 1084 repräsentierter prädizierter Zustand und eine durch den Block 1194 repräsentierte prädizierte Zell-Objekt-Zuordnung bereitgestellt. Die durch den Block 1194 repräsentierte prädizierte Zell-Objekt-Zuordnung wird den beiden einen Schritt der Korrektur repräsentierenden Block 1086 bereitgestellt. Somit empfängt ein erster Block 1086 sowohl einen durch den Block 1084 repräsentierten prädizierten Zustand als auch die durch den Block 1194 repräsentierte prädizierte Zell-Objekt-Zuordnung. Der zweite Block 1086 empfängt die durch den Block 1194 repräsentierte prädizierte Zell-Objekt-Zuordnung. Der erste Block 1086 stellt einen durch den Block 1088 repräsentierten geschätzten Zustand bereit, der zweite Block 1086 stellt eine durch dem Block 1196 bereitgestellte Zell-Objekt-Zuordnung bereit. Im zweiten Block 1086 wird weiterhin ein durch den Block 1198 repräsentierter Messwert aus Objektbildung bereitgestellt. 11 zeigt eine Veranschaulichung der zeitlichen Propagation von Zell-Objekt-Zuordnungen im Bayes'schen Belegungsgitter.
In den zwei folgenden Figuren 12 und 13 werden anhand von zwei Ausführungsbeispielen Möglichkeiten der Gittersegmentierung dargestellt. So beruht die in 12 gezeigte Segmentierung ausschließlich auf dem aktuellen Zustand des Belegungsgitters. In dem in 13 gezeigten Ausführungsbeispiel werden Segmentierungsergebnisse vorheriger Zeitschritte in Form prädizierter Zell-Objekt-Zuordnungen als Prior in die Segmentierung einbezogen.
12 zeigt ein Blockschaltbild einer Segmentierung eines Belegungsgitters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Auf einen Block 212 des Aufbaus des Belegungsgitters folgt ein Block 214 der Segmentierung des Belegungsgitters. Ein Ergebnis der in Block 214 durchgeführten Segmentierung des Belegungsgitters wird als ein Update der Zell-Objekt-Zuordnungen 1200 dem Block 212 zum Aufbau des Belegungsgitters bereitgestellt. Somit repräsentiert das Update der Zell-Objekt-Zuordnungen 1200 Gitterzelleninformation oder weitere Information über die Gitterzellen des Belegungsgitters.
13 zeigt ein Blockschaltbild einer Segmentierung eines Belegungsgitters unter Verwendung von Segmentierungsergebnissen vorangegangener Zeitschritte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung in 13 entspricht weitgehend der Darstellung des Blockschaltbilds einer Segmentierung eines Belegungsgitters in 12 mit dem Unterscheid, dass zusätzlich vom Block 212 an den Block 214 Zell-Objekt-Zuordnungen als Prior 1302 bereitgestellt werden.
14 zeigt ein Blockschaltbild einer Segmentierung eines Belegungsgitters mit prädizierten Zell-Objekt-Zuordnungen 1194 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem Block 212 wird ein Belegungsgitter aufgebaut, welches dann in einem Block 214 segmentiert wird. Das im Block 214 segmentierte Belegungsgitter wird einem Block 1404 zur Objektassoziation bereitgestellt. Weiterhin werden von dem Block 1404 prädizierte Zell-Objekt-Zuordnungen 1194 dem Block 1404 bereitgestellt. Auf den Block 1404 der Objektassoziation folgt ein Block 1406 der Objektverfolgung beziehungsweise des Tracking. Ein Ergebnis des Blocks 1406 wird rekursiv an den Block 1404 zurückgegeben sowie als ein Update der Zell-Objekt-Zuordnungen 1200 dem Block 212 bereitgestellt. 14 bietet eine Veranschaulichung der Verwendung von prädizierten Zell-Objekt-Zuordnungen zur Assoziation von in aufeinanderfolgenden Zeitschritten gebildeten Objekten.
15 zeigt ein Ablaufdiagramm eines Verfahrens 1500 zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Belegungsgitter kann es sich um ein Ausführungsbeispiel eines in 3, 4 oder 7 beschriebenen und dort mit dem Bezugszeichen 320 versehenen Belegungsgitters handeln. Das Verfahren 1500 zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug umfasst einen Schritt 1510 des Einlesens eines Belegungsgitters mit einer Vielzahl von Gitterzellen, wobei jeder Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad und zumindest eine zusätzliche Information über die Zelle umfasst, sowie einen Schritt 1512 des Zuordnens von zumindest einem Objekt und/oder einer Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der Gitterzelleninformation, um das Belegungsgitter für ein Umfeldmodell zu segmentieren.
In einem Ausführungsbeispiel weist das Verfahren 1500 einen einen optionalen Schritt des Projizierens der Vielzahl von Gitterzellen als transformierte Gitterzellen in einen Merkmalsraum unter Verwendung der Gitterzelleninformation auf. Der optionale Schritt des Projizierens ist nach dem Schritt 1510 des Einlesens angeordnet. Dabei wird im Schritt 1512 des Zuordnens das zumindest eine Objekt und/oder die Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der transformierten Gitterzellen in dem Merkmalsraum oder einer daraus abgeleiteten Information zugeordnet.
Optional umfasst das Verfahren 1500 einen Schritt des Extrahierens von Nachbarschaftsbeziehungen zwischen den transformierten Gitterzellen in dem Merkmalsraum. Der optionale Schritt des Extrahierens ist nach dem optionalen Schritt des Projizierens angeordnet. In dem optionalen Schritt des Extrahierens wird in einem Teilschritt ein Graph unter Verwendung der Nachbarschaftsbeziehungen erstellt, wobei Knoten des Graphen die Gitterzellen und Kanten zwischen den Knoten Nachbarschaftsbeziehungen repräsentieren, wobei im Schritt des Zuordnens das zumindest eine Objekt und/oder die Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der Nachbarschaftsbeziehungen und/oder des Graphen und/oder einer daraus abgeleiteten Information zugeordnet wird.
In einem nicht gezeigten Ausführungsbeispiel umfasst das Verfahren 1500 einen Schritt des Zuweisens eines Gewichts je Kante des Graphen unter Verwendung der Nachbarschaftsbeziehungen, wobei das Gewicht eine Zugehörigkeit eines Knoten zu einem Objekt repräsentiert. Der optionale Schritt des Zuweisens ist nach dem optionalen Schritt des Extrahierens angeordnet.
Optional wird das Verfahren 1500 in einem nicht gezeigten Ausführungsbeispiel um einen Schritt des Segmentierens des Graphen unter Verwendung des Gewichts je Kante erweitert, wobei Knoten zu Teilgraphen zusammengefasst werden, wobei ein Teilgraph nur Knoten eines Objekts umfasst, wobei im Schritt des Zuordnens 1512 das zumindest eine Objekt und/oder die Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung des segmentierten Graphen und/oder den Cliquen und/oder einer daraus abgeleiteten Information zugeordnet wird. Der optionale Schritt des Segmentierens ist nach dem Schritt des Zuweisens angeordnet.
In einem Ausführungsbeispiel weist das Verfahren 1500 einen optionalen Schritt des Transformierens nach dem optionalen Schritt des Segmentierens auf, wobei im Schritt des Transformierens unter Verwendung der Cliquen des Graphen die Gitterzellen des Belegungsgitters einem Objekt zugeordnet werden.
In einem nicht gezeigten Ausführungsbeispiel umfasst das Verfahren 1500 einen Schritt des Prädizierens von Objektzuordnungen für die Vielzahl von Gitterzellen nach dem Schritt des Einlesens, wobei die Gitterzelleninformation je Gitterzelle eine prädizierte Objektzuordnung umfasst, wobei im Schritt des Prädizierens die Objektzuordnung unter Verwendung einer Objektzuordnung und/oder einer Gitterzelleninformation aus einem vorangegangenen Ausführen des Verfahrens gemäß einem der Ansprüche 1 bis 7 prädiziert wird.
In einem optionalen Schritt des Prädizierens wird in einem nicht gezeigten Ausführungsbeispiel für jede Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation unter Verwendung einer Objektzuordnung und/oder einer Gitterzelleninformation aus einem vorangegangenen Ausführen des Verfahrens prädiziert.
16 zeigt ein Blockschaltbild einer Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Belegungsgitter kann es sich um ein Ausführungsbeispiel eines in 3, 4 oder 7 beschriebenen und dort mit dem Bezugszeichen 320 versehenen Belegungsgitters handeln. In einem Ausführungsbeispiel ist die Vorrichtung 1620 ausgebildet, Verfahrensschritte eines in 15 beschriebenen Verfahrens 1500 in entsprechenden Einrichtungen auszuführen. Die Vorrichtung 1620 umfasst eine Schnittstelle 1622 zum Einlesen eines Belegungsgitters mit einer Vielzahl von Gitterzellen, wobei jeder Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad und zumindest eine zusätzliche Information über die Zelle umfasst, sowie eine Einrichtung 1624 zum Zuordnen von zumindest einem Objekt und/oder einer Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der Gitterzelleninformation, um das Belegungsgitter für ein Umfeldmodell zu segmentieren.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Umfasst ein Ausführungsbeispiel eine „und/oder”-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102004007553 A1 [0004]
EP 1731922 A1 [0005]

Claims

Verfahren (1500) zur Segmentierung eines Belegungsgitters (320) für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug, wobei das Verfahren (1500) die folgenden Schritte aufweist: Einlesen (1510) eines Belegungsgitters (320) mit einer Vielzahl von Gitterzellen (322), wobei jeder Gitterzelle (322) der Vielzahl von Gitterzellen (322) eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad (324) und zumindest eine zusätzliche Information über die Gitterzelle (322) umfasst; und Zuordnen (1512) von zumindest einem Objekt (326) und/oder einer Mehrzahl von Objekten (326) zu der Vielzahl von Gitterzellen (322) unter Verwendung der Gitterzelleninformation, um das Belegungsgitter (320) für ein Umfeldmodell zu segmentieren.
Verfahren (1500) gemäß Anspruch 1, mit einem Schritt des Projizierens der Vielzahl von Gitterzellen (322) als transformierte Gitterzellen (542) in einen Merkmalsraum (540) unter Verwendung der Gitterzelleninformation, wobei im Schritt des Zuordnens das zumindest eine Objekt (326) und/oder die Mehrzahl von Objekten (326) zu der Vielzahl von Gitterzellen (322) unter Verwendung der transformierten Gitterzellen (542) in dem Merkmalsraum (540) oder einer daraus abgeleiteten Information zugeordnet wird.
Verfahren (1500) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Extrahierens von Nachbarschaftsbeziehungen zwischen den transformierten Gitterzellen (542) in dem Merkmalsraum (540) und Erstellen eines Graphen (650) unter Verwendung der Nachbarschaftsbeziehungen, wobei Knoten (652) des Graphen (650) die Gitterzellen (322) und Kanten (654) zwischen den Knoten (652) Nachbarschaftsbeziehungen repräsentieren, wobei im Schritt des Zuordnens das zumindest eine Objekt (326) und/oder die Mehrzahl von Objekten (326) zu der Vielzahl von Gitterzellen (322) unter Verwendung der Nachbarschaftsbeziehungen und/oder des Graphen (650) und/oder einer daraus abgeleiteten Information zugeordnet wird.
Verfahren (1500) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Zuweisens eines Gewichts je Kante (654) des Graphen (650) unter Verwendung der Nachbarschaftsbeziehungen, wobei das Gewicht eine Zugehörigkeit eines Knoten (652) zu einem Objekt (326) repräsentiert.
Verfahren (1500) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Segmentierens des Graphen (650) unter Verwendung des Gewichts je Kante (654), wobei Knoten (652) zu Teilgraphen zusammengefasst werden, wobei ein Teilgraph nur Knoten (652) eines Objekts (326) umfasst, wobei im Schritt des Zuordnens das zumindest eine Objekt (326) und/oder die Mehrzahl von Objekten (326) zu der Vielzahl von Gitterzellen (322) unter Verwendung des segmentierten Graphen (650) und/oder den Cliquen und/oder einer daraus abgeleiteten Information zugeordnet wird.
Verfahren (1500) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Transformierens nach dem Schritt des Segmentierens, in dem unter Verwendung der Teilgraphen des Graphen (650) die Gitterzellen (322) des Belegungsgitters (320) einem Objekt (326) zugeordnet werden.
Verfahren (1500) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Prädizierens von Objektzuordnungen für die Vielzahl von Gitterzellen (322) nach dem Schritt des Einlesens, wobei die Gitterzelleninformation je Gitterzelle (322) eine prädizierte Objektzuordnung (1194) umfasst, wobei im Schritt des Prädizierens die Objektzuordnung unter Verwendung einer Objektzuordnung und/oder einer Gitterzelleninformation aus einem vorangegangenen Ausführen des Verfahrens gemäß einem der Ansprüche 1 bis 7 prädiziert wird.
Verfahren (1500) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt des Prädizierens für jede Gitterzelle (322) der Vielzahl von Gitterzellen (322) eine Gitterzelleninformation unter Verwendung einer Objektzuordnung und/oder einer Gitterzelleninformation aus einem vorangegangenen Ausführen des Verfahrens (1500) gemäß einem der Ansprüche 1 bis 8 prädiziert wird.
Vorrichtung (1620) zur Segmentierung eines Belegungsgitters (320) für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug, wobei die Vorrichtung (1620) ausgebildet ist, um die Schritte eines Verfahrens (1500) gemäß einem der Ansprüche 1 bis 8 in entsprechenden Einrichtungen durchzuführen, wobei die Vorrichtung (1620) die folgenden Merkmale aufweist: Schnittstelle (1622) zum Einlesen eines Belegungsgitters (320) mit einer Vielzahl von Gitterzellen (322), wobei jeder Gitterzelle (322) der Vielzahl von Gitterzellen (322) eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad (324) und zumindest eine zusätzliche Information über die Gitterzelle (322) umfasst; und Einrichtung (1624) zum Zuordnen von zumindest einem Objekt (326) und/oder einer Mehrzahl von Objekten (326) zu der Vielzahl von Gitterzellen (322) unter Verwendung der Gitterzelleninformation, um das Belegungsgitter (320) für ein Umfeldmodell zu segmentieren.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (1500) nach einem der Ansprüche 1 bis 8, wenn das Programmprodukt auf einer Vorrichtung (1620) und/oder einem Computer und/oder einem Steuergerät ausgeführt wird.