DE102018200750A1

DE102018200750A1 - Zweidimensionale Gitterstrukturrepräsentation einer dreidimensionalen Umwelt

Info

Publication number: DE102018200750A1
Application number: DE102018200750.0A
Authority: DE
Inventors: Mathias Otto; Michael Reichel
Original assignee: Elektrobit Automotive GmbH
Current assignee: Elektrobit Automotive GmbH
Priority date: 2018-01-18
Filing date: 2018-01-18
Publication date: 2019-07-18

Abstract

Die vorliegende Erfindung betrifft eine zweidimensionale Gitterstrukturrepräsentation, die Gitterpunkte (GP) aufweist, und für jeden Gitterpunkt (GP) einen Speicherplatz (R1) für eine vertikale Komponente (VK) eines Normalenvektors (N) des Gitterpunkts (GP), und einen Speicherplatz (R3) für einen Akkumulationszähler (A).

Description

Die vorliegende Erfindung betrifft eine zweidimensionale Gitterstrukturrepräsentation einer dreidimensionalen Umwelt, ein Verfahren zu deren Verwendung und ein Verfahren zu deren Erstellung.
Aus der EP 2 048 599 B1 ist ein Verfahren zur Erkennung dreidimensionaler Objekte bekannt. Dabei werden mehrere zweidimensionale Ansichten eines Objekts generiert, und mit zweidimensionalen Kameraaufnahmen verglichen, in denen dieses Objekt potentiell enthalten ist. Nachteilig daran ist unter anderem, daß eine große Anzahl zweidimensionaler Ansichten eines Objekts generiert, gespeichert und mit aktuellen Kameraaufnahmen verglichen werden müssen. Eine weniger Prozessor- und Speicherressourcen benötigende zweidimensionale Repräsentation ist wünschenswert.
Erfindungsgemäß wird eine zweidimensionale Gitterstrukturrepräsentation vorgeschlagen, die Gitterpunkte aufweist sowie für jeden Gitterpunkt einen Speicherplatz für eine vertikale Komponente eines Normalenvektors des Gitterpunkts und einen Speicherplatz für einen Akkumulationszähler. Vorteilhafterweise zeigt ein von Null unterschiedlicher Eintrag in dem Speicherplatz für eine vertikale Komponente das Vorhandensein eines Objekts am entsprechenden Gitterpunkt an. Der Wert des Eintrags gibt Auskunft über die Art des Objekts. Bei einer Ebene oder einer flachen Rampe hat die Vertikalkomponente des Normalenvektors einen großen Wert. Bei eine eher senkrechten Wand oder Kante geht die Vertikalkomponente des Normalenvektors gegen Null. Bei Vegetation stellen benachbarte Vertikalkomponenten des Normalenvektors Rauschen dar. So wird ohne großen Rechenaufwand und ohne großen Speicherbedarf sowohl das Vorhandensein eines Objekts angezeigt als auch ein Hinweis auf dessen Beschaffenheit gegeben.
Bei dem Normalenvektor handelt es sich vorteilhafterweise um eine durch Triangulation gewonnenen Flächennormale eines im Bereich des Gitterpunkts approximierten Flächenelements, meist eines Dreiecks. Eine andere Möglichkeit besteht darin, den Normalenvektor einer mittels Splines angenäherten Fläche am Ort des Gitterpunkts zu verwenden. Als Splines bezeichnet man glatte, harmonische, zusammengesetzte Polynome n-ten Grades. Als vertikale Komponente bietet sich der z-Wert in kartesischer Darstellung an, oder der Vertikalwinkel oder ein aus einem Vertikalwinkel abgeleiteter Wert. Im Akkumulationszähler wird angegeben, wie oft zu einem bestimmten Gitterpunkt die vertikale Komponente bereits ermittelt und im entsprechenden Speicherplatz registriert wurde. Gemäß einer Variante wird bei jedem für den bestimmten Gitterpunkt ermittelten Wert der vertikalen Komponente dieser auf den bereits im Speicherplatz vorhandenen Wert aufaddiert, und der Akkumulationszähler um den Wert „1“ erhöht. Damit ist es ermöglicht, einen Mittelwert für den Wert der vertikalen Komponente zu ermitteln, und zur weiteren Auswertung zu verwenden. Gemäß einer alternativen Variante wird schon beim Einschreiben in den Speicher ein gemittelter Wert ermittelt. Das Gitter ist vorzugsweise ein rechteckiges n x m-Gitter bestehend aus n Reihen und m Spalten mit gleichgroßen oder unterschiedlich großen Gitterabständen. Die Reihen und Spalten sind vorzugsweise rechtwinklig zueinander angeordnet, aber auch davon abweichende Winkel liegen im Rahmen der Erfindung. Gemäß einer Variante ist die äußere Begrenzung des Gitters rechteckig, aber auch eine runde oder anders geformte Begrenzung liegt im Rahmen der Erfindung.
Erfindungsgemäß ist weiterhin vorgesehen, daß die Gitterstrukturrepräsentation für jeden Gitterpunkt einen Speicherplatz für eine horizontale Komponente eines Normalenvektors des Gitterpunkts aufweist. Dies hat den Vorteil, daß die horizontale Komponente des Normalenvektors Auskunft gibt über die Größe der Neigung und über die Neigungsrichtung der Oberfläche des Objekts, und damit einen weiteren Hinweis auf die Beschaffenheit beziehungsweise die Art des Objekts. Wird die horizontale Komponente des Normalenvektors betragsmäßig erfaßt, so gibt sie Auskunft über die Größe der Neigung der Oberfläche des Objekts. Wird sie auch mit Winkel oder mit x- und y-Koordinate der Ebene erfaßt, so gibt sie auch Auskunft über die Neigungsrichtung.
Gemäß einer vorteilhaften Variante der Erfindung weist die Gitterstrukturrepräsentation für jeden Gitterpunkt oder für eine Gruppe von Gitterpunkten einen Speicherplatz für eine Zuverlässigkeitsinformation auf. Dies ermöglicht es, bei Schlußfolgerungen auf die Beschaffenheit oder die Art des Objekts zu berücksichtigen, wie zuverlässig die daraus gezogenen Schlußfolgerungen sein können. Die Zuverlässigkeitsinformation ist beispielsweise ein Zeitstempel, mittels dessen bei einer Auswertung der gespeicherten Informationen ermittelt wird, wieviel Zeit seit der letzten Aktualisierung vergangen ist. Je mehr Zeit vergangen ist, umso weniger zuverlässig sind die gespeicherten Informationen. Anstatt eines Zeitstempels kann vorgesehen sein, hier einen Zähler zu verwenden, der bei jeder Aktualisierung um einen bestimmten Wert hochgesetzt, und pro Zeiteinheit um einen kleineren Wert reduziert wird.
Ein erfindungsgemäßes Verfahren zum Erstellen einer zweidimensionalen Gitterstrukturrepräsentation, weist auf das Empfangen von Daten einer dreidimensionalen Abtastung eine Umgebung, die Triangulation der empfangenen Daten, das Berechnung von Flächennormalen der mittels Triangulation gewonnenen Dreiecke, die Projektion der Flächennormalen in ein zweidimensionales Gitter und das Bereitstellen einer aus der Projektion ermittelten Komponente und das Aktualisieren eines Akkumulators. Dies hat den Vorteil, daß die Triangulation ein zuverlässiges und leicht zu implementieren des Verfahren ist. Die Flächennormalen geben Hinweise auf die Art eines Objekts. Dies sind hilfreiche Zusatzinformationen, die über die reine Aussage „Objekt vorhanden“ oder „kein Objekt vorhanden“ hinausgehen und dennoch wenig Speicherplatz benötigen. Ein weiterer Vorteil besteht darin, daß auf diese Weise ein einfaches Nachverfolgen von Objekten, insbesondere der Oberflächen dieser Objekte, oder von Konturen von Objekten ermöglicht ist.
Vorteilhafterweise erfolgt ein Filtern der empfangenen Daten, wobei die gefilterten Daten zur Triangulation Verwendung finden. Das Filtern erfolgt beispielsweise nach Punktabständen benachbarter Punkte an denen ein Objekt detektiert wurde, oder nach Winkeln zwischen entsprechenden benachbarten Punkten. Ebenfalls vorteilhaft ist ein Filtern der mittels Triangulation gewonnenen Dreiecke. Dabei werden beispielsweise sehr große Flächen, die virtuell zwischen Objekten vorhanden zu sein scheinen nicht berücksichtigt, da solche mit hoher Wahrscheinlichkeit Artefakte sind. Vorteilhafterweise wird eine Eigenbewegungsschätzung der mittels Triangulation gewonnenen Dreiecke vorgenommen und das Ergebnis der Eigenbewegungsschätzung zur Projektion verwendet. Dies hat den Vorteil, daß es Gitterpunkte einschließt, die in naher Zukunft belegt werden, und auch solche, die in naher Zukunft wieder frei werden. Vorteilhafterweise wird die projizierte Flächennormale normiert. Mit der Normierung werden in der Vergangenheit in den Speicher eingeschriebene Werte berücksichtigt, ohne diese zu stark einfließen zu lassen. So haben einzelne kurzfristige Fehler keinen allzugroßen Einfluß, eine tatsächlich stattgefundene Veränderung wird aber auch nicht von historischen Daten zu lange überdeckt. Die genannten Maßnahmen werden sowohl in Kombination als auch einzeln sinnvoll eingesetzt. Üblicherweise werden bei der Triangulation Dreiecke gewonnen. Aber auch anders begrenzte Flächen sind als Ergebnis der Triangulation möglich und ebenfalls sinnvoll nutzbar.
Ein erfindungsgemäßes Verfahren zur Objekterkennung unter Verwendung einer erfindungsgemäßen zweidimensionalen Gitterstrukturrepräsentation weist eines oder mehrere der folgenden Merkmale auf: Das Einstufen eines Gitterpunkts als zu einem flachen Objekt mit geringer Neigung gehörend, wenn die zugehörige vertikale Komponente größer als ein erster Grenzwert ist. Das Einstufen eines Gitterpunkts als zu einem räumlichen Objekt mit steiler Oberfläche gehörend, wenn die zugehörige vertikale Komponente kleiner als ein zweiter Grenzwert ist. Das Einstufen eines Gitterpunkts als zu Vegetation gehörend, wenn dessen zugehörige vertikale Komponente und die vertikalen Komponenten benachbarter Gitterpunkte stark voneinander abweichen. Weiterhin erfolgt ein Zuordnen eines Zuverlässigkeitswerts in Abhängigkeit vom Wert des Akkumulationszählers, und ein Ausgeben der zum Gitterpunkt ermittelten Einstufungen und des Zuverlässigkeitswerts. Die erfindungsgemäße Gitterstrukturrepräsentation ermöglicht vorteilhafterweise diese einfach umzusetzende Objekterkennung. Mittels des erfindungsgemäßen Verfahrens werden beispielsweise Objekte in einer mittels Radar, Lidar oder anderer Verfahren gescannten Umgebung erkannt. Nicht nur das Vorhandensein der Objekte wird erkannt, sondern auch bestimmte Charakteristika dieser Objekte. So ist es bei der Erkennung der Umgebung eines Fahrzeugs sinnvoll, diese Charakteristika zu kennen, beispielsweise um dem Fahrzeugführer Warnhinweise geben zu können, oder in einem teilautonom oder autonom fahrenden Fahrzeug einen Fahrweg zu ermitteln und vorzuschlagen beziehungsweise umzusetzen. Besonders vorteilhaft ist es hier, wenn das Vorhandensein einer Rampe detektiert wird sowie deren Steigung. Je nach Beschaffenheit kann eine solche Rampe als Teil des Fahrwegs vorgesehen werden, oder muß als solches vermieden werden. Die Objekterkennung wird auch sinnvoll eingesetzt bei der Lokalisierung also der Positionsbestimmung eines Fahrzeugs oder eines Roboters. Auch eine Eigenbewegungsschätzung des Fahrzeugs oder Roboters ist eine sinnvolle Anwendung der erfindungsgemäßen Objekterkennung.
Erfindungsgemäß ist weiterhin vorgesehen ein Vergleichen der horizontalen Komponente mit weiteren Grenzwerten zum Ermitteln zumindest eines weiteren Charakteristikums eines an einem Gitterpunkt befindlichen Objekts. Beispielsweise läßt sich hier vorteilhafterweise eine Neigung oder auch die Richtung der Neigung einer Oberfläche eines detektierten Objekts bestimmen.
Erfindungsgemäß ist weiterhin vorgesehen ein Ermitteln eines optimierten Zuverlässigkeitswertes, der auf dem Wert des Akkumulationszählers und der Zuverlässigkeitsinformation basiert. Dies hat den Vorteil einer höheren Genauigkeit des Zuverlässigkeitswerts.
Ein erfindungsgemäßes Computerprogramm weist Programmcode zur Durchführung aller Merkmale eines der Verfahrensansprüche auf, wenn das Computerprogramm in einem Computer ausgeführt wird.
Ein erfindungsgemäßes Computerprogrammprodukt, wird direkt in den internen Speicher eines digitalen Computers geladen und umfaßt Softwarecodeabschnitte, mit denen die Merkmale gemäß einem der Verfahrensansprüche ausgeführt werden, wenn das Computerprogrammprodukt auf einem Computer läuft.
Ein erfindungsgemäßes Speichermedium, insbesondere ein beständiges, also nichttransitorisches, ist eines, auf dem ein erfindungsgemäßes Computerprogrammprodukt gespeichert ist.
Eine erfindungsgemäße Vorrichtung ist geeignet und dazu ausgebildet, alle Merkmale eines der Verfahrensansprüche auszuführen.
Weitere vorteilhafte Ausgestaltungen der Erfindung sind auch in der nachfolgenden Beschreibung von Ausführungsbeispielen anhand von Figuren angegeben. Sinnvolle Kombinationen und Weiterbildungen, die im Können des Fachmanns liegen, liegen ebenfalls im Bereich der Erfindung.
Es zeigen:

1 zweidimensionale Gitterstrukturrepräsentation
2 Fahrzeug mit Umgebung
3 Normalenvektor an Objekt Haus
4 Normalenvektor an Objekt Rampe
5 Normalenvektor an Objekt Fahrzeug
6 Normalenvektor an Objekt Vegetation
7 Erstellen einer 2D-Gitterstrukturrepräsentation
8 Verfahren zur Objekterkennung
9 Abtastdaten nach Punktabständen gefiltert
10 Ergebnis der Triangulation
11 Ergebnis einer folgenden Triangulation
12 räumliche Triangulation
13 Ergebnis einer Abtastfahrt
14 Ergebnis einer Abtastfahrt

In den Abbildungen werden gleiche Bezugszeichen für gleiche oder gleichwirkende Elemente verwendet, und nicht notwendigerweise zu jeder Abbildung erneut beschrieben.
1 zeigt eine 2-dimensionale Gitterstrukturrepräsentation gemäß der Erfindung. Sie weist n Zeilen und m Spalten auf mit Gitterpunkten GPxy. Jeder Gitterpunkt GPxy weist vier Speicherplätze auf. Einen Speicherplatz R1 für eine vertikale Komponente VK eines Normalenvektors N, einen Speicherplatz R2 für eine horizontale Komponente HK eines Normalenvektors N, einen Speicherplatz R3 für einen Akkumulationszähler A und einen Speicherplatz R4 für eine Zuverlässigkeitsinformation ZI. Abweichend von dieser Variante der Erfindung gibt es auch hier nicht dargestellte Varianten mit weniger Speicherplätzen.
Im unteren Teil der 1 ist die Datenstruktur der Gitterstrukturrepräsentation gezeigt. Jeder Datensatz besteht aus einem Speicherplatz H1 für die x-Komponente, die Spalte der Gitterstrukturrepräsentation, einem Speicherplatz H2 für die y-Komponente, die Zeile der Gitterstrukturrepräsentation ,sowie den Speicherplätzen R1-R4 für die vertikale Komponente VK, die horizontale Komponente HK, den Akkumulationszähler A und die Zuverlässigkeitsinformation ZI. Die Speicherplätze R1 und R2 weisen im einfachsten Fall eine Größe von 1 Bit auf, was auf das Vorhandensein bzw. Nichtvorhandensein der entsprechenden Komponente VK, HK hinweist. Je nach Anwendungsfall ist aber eine größere Genauigkeit erforderlich. In diesem Fall wird für einen oder beide diese Speicherplätze R1, R2 mehr als 1 Bit vorgesehen. Auch der Speicherplatz R3 für den Akkumulationszähler A weist im einfachsten Fall 1 Bit auf. Der Speicherplatz R3 weist in diesem Fall lediglich darauf hin, ob bereits ein Objekt am entsprechenden Gitterpunkt ermittelt wurde oder nicht. Eine größere Anzahl von Bits erlaubt hier eine höhere Zählung was zur Bildung eines Mittelwerts genutzt werden kann. Eine höhere Anzahl im Akkumulationszähler A ist auch ein gewisser Indikator für die Zuverlässigkeit. Die Zuverlässigkeitsinformation ZI im Speicherplatz R4 gibt beispielsweise den Zeitpunkt der letzten Aktualisierung an. Je länger der letzte Eintrag zurücklegt, desto weniger zuverlässig ist er hier. Die Bitbreite wird entsprechend der gewählten Zeitnorm gewählt. Die Zuverlässigkeitsinformation ZI ist gemäß einer Variante gebildet aus einer Kombination von „das Vorhandensein eines Objekts wurde schon oft bestätigt“, was auf eine hohe Zuverlässigkeit schließen läßt, und von „die letzte Betätigung liegt schon lange zurück“, was einer niedrigeren Zuverlässigkeit entspricht. Gemäß einer Variante wird die Zuverlässigkeitsinformation ZI für eine Gruppe von mehreren Gitterpunkten gebildet. In diesem Fall ist entweder nur ein Speicherplatz R4 für die gesamte Gruppe vorgesehen, oder bei beispielsweise einer Gruppe von acht Gitterpunkten wird eine 8-Bit-Darstellung der Zuverlässigkeitsinformation ZI auf die acht Gitterpunkte der Gruppe mit jeweils nur einem Bit verteilt.
2 zeigt ein Fahrzeug 1 mit einer Einrichtung 11 zum Erstellen einer Gitterstrukturrepräsentation. Bei der Einrichtung 11 handelt es sich um ein Radarsystem, welches die Umgebung des Fahrzeugs 1 in einem gewissen Höhenbereich abtastet. Der Abtastbereich 12 ist als gestrichelte Kreisscheibe dargestellt, in deren Zentrum sich das Fahrzeug 1 befindet. In der Abbildung links vom Fahrzeug 1 erkennt man ein Haus 21, dessen senkrechte Außenfassade beispielhaft an der Linie L1 von der Einrichtung 11 erfaßt wird. Dies wird durch Strahlen 13 angedeutet, die von der Einrichtung 11 zu dem oberen und dem unteren Ende der Linie L1 verlaufen. In der Abbildung rechts vom Fahrzeug 1 erkennt man eine Rampe 22, die auf eine hier nicht näher beschriebene höhere Ebene 25 führt. Die schräge Ebene der Rampe 22 wird beispielhaft an der Linie L2 von der Einrichtung 11 erfaßt, was auch hier mittels Strahlen 13 angedeutet ist. Im Vordergrund befindet sich ein weiteres Fahrzeug 23, dessen Heck an der Linie L3 von der Einrichtung 11 erfaßt wird, auch hier angedeutet mittels Strahlen 13. Hinter der Rampe 22 befindet sich Vegetation 24, die entlang einer Linie L4 von der Einrichtung 11 erfaßt wird. Eine Andeutung durch Strahlen 13 ist hier der Übersichtlichkeit wegen nicht eingezeichnet.
Die Einrichtung 11 erfaßt laufend die Umgebung und erstellt und aktualisiert daraus laufend eine Gitterstrukturrepräsentation der Umgebung. Dies erfolgt sowohl dann, wenn das Fahrzeug 1 in Bewegung ist als auch dann, wenn es sich selbst nicht bewegt.
3 zeigt in einer Schnittdarstellung den Normalenvektor N1 auf der Oberfläche 01 des Hauses 21. Da die Oberfläche 01 senkrecht ist, erstreckt sich der Normalenvektor N1 waagerecht, seine Länge geht komplett in die Projektion, die horizontale Komponente HK1, ein. Die obere und untere Begrenzung des Abtastbereichs 12 ist eingezeichnet.
4 zeigt den Normalenvektor N2 auf der Oberfläche O2 der Rampe 22. Da die Oberfläche O2 nur eine geringe Neigung aufweist, ist die Projektion des Normalenvektors N2 in die 2-dimensionale Ebene, die horizontale Komponente HK2, relativ klein. Die vertikale Komponente VK2 ist entsprechend größer. Im rechten Teil der Abbildung erkennt man die erhöhte Ebene 25. Sie ist waagrecht, ihr Normalenvektor N5 weist keine Horizontalkomponente HK5 auf, seine Länge geht komplett in die vertikale Komponente VK5 ein.
5 zeigt schematisch das Heck des Fahrzeugs 23. Man erkennt ganz links eine senkrechte Oberfläche 031 mit Normalenvektor N31, dessen Länge komplett in die horizontale Komponente HK31 eingeht. Das Schrägheck 232 weist eine Oberfläche O32 auf mit Normalenvektor N32, der sowohl eine Vertikalkomponente VK32 als auch eine Horizontalkomponente HK32 aufweist. Das Dach 233 des Fahrzeugs 23 weist eine Oberfläche O33 auf mit Normalenvektor N33, dessen Horizontalkomponente HK33 den Wert Null hat. Seine Vertikalkomponente VK33 entspricht der Länge des Normalenvektors N33.
6 zeigt Vegetation 24. Man erkennt, daß für dicht nebeneinanderliegende Gitterpunkte GP41-GP45 die Normalenvektoren N41-N45 stark unterschiedlich ausgerichtet sind. Der Übersichtlichkeit halber sind die horizontalen Komponenten HK41-HK45 und die vertikalen Komponenten VK41-VK45 nicht eingezeichnet.
7 zeigt ein Verfahren und eine Vorrichtung zum Erstellen einer 2-dimensionalen Gitterstrukturrepräsentation. Im Schritt S1 werden Daten einer 3-dimensionalen Abtastung einer Umgebung 21,22,23,24,25 von einem Prozessorelement P1 empfangen. Diese stammen beispielsweise von der Einrichtung 11 des Fahrzeugs 1. In einem optionalen Filter F1 wird im Schritt S11 eine Filterung der empfangenen Daten durchgeführt. Im Schritt S2 erfolgt in einem Triangulation TRI eine Triangulation der empfangenen Daten. Dabei werden detektierte Objekte mittels aneinandergereihter Dreiecke D approximiert. In einem optionalen Filter F2 wird im Schritt S21 eine Filterung der triangulierten Daten durchgeführt. Im Schritt S3 werden Flächennormalen N der mittels Triangulation gewonnenen Dreiecke D im Prozessorelement P2 ermittelt. Im optionalen Schritt S31 erfolgt im Prozessorelement P3 eine Eigenbewegungsschätzung der mittels Triangulation gewonnenen Dreiecke D. Die Eigenbewegungsschätzung wird im nachfolgenden Schritt S4 mit einbezogen, in dem eine Projektion der Flächennormalen N mittels eines Prozessorelements P4 in ein zweidimensionales Gitter erfolgt. Im optionalen Schritt S41 wird mittels des Prozessorelements P41 eine Normierung vorgenommen. Im Schritt S5 werden die aus der Projektion ermittelten horizontalen Komponenten HKi und die vertikalen Komponenten VKi an einer Schnittstelle 1/01 zur Weiterverarbeitung bereitgestellt. Im darauffolgenden Schritt S6 wird im Akkumulationszähler A dessen Wert heraufgesetzt. Das Abtasten der Umgebung erfolgt kontinuierlich. Entsprechend werden die Schritte S1-S6 und gegebenenfalls einer oder mehrere der Schritte S11-S41 kontinuierlich wiederholt durchlaufen.
8 zeigt ein Verfahren zur Objekterkennung. In einem Schritt S11 wird geprüft, ob die vertikale Komponente VK größer als ein Grenzwert G1 ist. Ist dies der Fall, so wird im Schritt S12 ein flaches Objekt mit geringer Neigung erkannt, und der entsprechende Gitterpunkt als zu diesem flachen Objekt gehörend eingestuft. Andernfalls wird im Schritt S13 geprüft, ob die vertikale Komponente VK kleiner als ein Grenzwert G2 ist. Ist dies der Fall, so wird der entsprechende Gitterpunkt im Schritt S14 als zu einem räumlichen Objekt mit steiler Oberfläche gehörend eingestuft. Andernfalls wird im Schritt S15 geprüft, ob benachbarte vertikale Komponenten VK stark voneinander abweichen. Ist dies der Fall wird im Schritt S16 das Objekt des entsprechenden Gitterpunkts als zur Vegetation gehörend eingestuft. Im Schritt S17 wird ein Zuverlässigkeitswert Z in Abhängigkeit vom Wert des Akkumulationszählers A ermittelt und im Schritt S18 zusammen mit der zum Gitterpunkt ermittelten Einstufung ausgegeben. Alternativ wird im Schritt S17 der Zuverlässigkeitswert Z auch in Abhängigkeit von der Zuverlässigkeitsinformation ZI ermittelt.
In einem zusätzlichen Schritt S19 wird die horizontale Komponente VH, die hier sowohl als x-Wert VHx als auch als y-Wert VHy vorliegt, in einen Winkel α bezüglich der Längsrichtung des Fahrzeugs 1 umgerechnet, und dieser im Schritt S20 mit einem Grenzwert G3, hier G3=30°, verglichen. Überschreitet er diesen Grenzwert G3 nicht, so wird im Schritt S21 das Befahren der Rampe 22 als möglich eingestuft. Die Rampe 22 weist somit das Charakteristikum auf, daß sie von der gegenwärtigen Position des Fahrzeugs 1 aus befahrbar ist. Ist der Winkel zwischen der Längsachse des Fahrzeugs 1 und der Rampe zu groß, als daß das Fahrzeug 1 mit einem geeigneten Lenkmanöver die Rampe 22 befahren könnte, so wird diese im Schritt S22 als nicht befahrbar eingestuft.
9 zeigt die Abtastdaten der Einrichtung 11 nach Punktabständen gefiltert, also das Ergebnis des Schritt S11. Das Rechteck ist das Fahrzeug 1, welches hier vorne wie auch hinten jeweils eine Einrichtung 11 aufweist. Strahlen 13 sind von den Einrichtungen 11 ausgehend und an einem Objekt endend eingezeichnet.
10 zeigt das Ergebnis der Triangulation, die Oberflächen Ox, Oy, Oz der dreidimensionalen Objekte projiziert in die zweidimensionale Gitterstrukturrepräsentation. Das Fahrzeug 1 mit den Einrichtungen 11 ist hier ohne die Strahlen 13 gezeigt. Oberflächen mit überwiegend vertikaler Komponente VK sind als Oberflächen Ox, Oy für die x- beziehungsweise die y-Komponente gekennzeichnet, Oberflächen mit überwiegend horizontaler Komponente VK sind als Oberflächen Oz gekennzeichnet. Man erkennt, daß nach dem ersten Abtasten noch viele unzusammenhängende Oberflächen vorhanden sind. Die ermittelten Komponenten HK, VK sind zu vielen Gitterpunkten GP noch nicht so zuverlässig, als daß sie bereits dargestellt wären.
11 zeigt das Ergebnis einer folgenden Triangulation. Man erkennt, daß hier bereits einige Oberflächen Ox, Oy größer geworden sind und teilweise aneinanderstoßen. Bei den Oberflächen Ox, Oy unten rechts könnte es sich um die Begrenzungsflächen eines Hauses 21 handeln, das hier gestrichelt angedeutet ist. Im oberen Bereich befinden sich ebene Flächen oder flache Rampen zu den Flächen Oz, die aufgrund der für die Abbildung gewählten wenig differenzierten Unterscheidung nach dem Kriterium „Komponente VK überwiegt“ nicht näher charakterisiert ist. Bei Ausführungsbeispielen mit höherer Auflösung der Komponenten VK und HK läßt sich zwischen Ebene und Rampe, und bei letzterer auch noch nach Steigung und deren Richtung differenzieren.
12 zeigt die räumliche Triangulation, die im Schritt S2, also nachfolgend an die Ermittlung der in 9 gezeigten gefilterten Abtastdaten erfolgt. Wie in den vorhergehenden Abbildungen sind die bei der Triangulation ermittelten Flächen mit Ox, Oy oder Oz bezeichnet, je nachdem, welche Komponente überwiegt.
13 zeigt das Ergebnis einer Abtastfahrt des Fahrzeugs 1 um ein Haus 21 herum. In der Abbildung eher waagrechte Linien entsprechen Oberflächen Oy und sind nur teilweise als solche gekennzeichnet. Entsprechendes gilt für in der Abbildung eher senkrechte Linien, die zu Oberflächen Ox gehören. Mit Ov sind Oberflächen gekennzeichnet, die in ihrer Nachbarschaft Oberflächen mit stark variierenden Normalenvektoren N haben. Sie deuten auf Vegetation 24 hin, was links oben in der Abbildung gezeigt ist. Am linken Rand und rechts oben in der Abbildung erkennt man die Umrisse des Hecks oder der Front von geparkten Fahrzeugen. Da die Abstände zwischen diesen recht gering sind, konnte die Abtastung nicht bis zum anderen Ende des jeweiligen Fahrzeugs vordringen. Anders ist die Situation bei dem Haus 21, welches vollständig umfahren wurde, und daher auch von allen Seiten mit Oberflächen Ox, Oy erkannt wurde.
14 zeigt ein weiteres Ergebnis einer Abtastfahrt des Fahrzeugs 1 um das Haus 21 herum. Man erkennt hier größere mit Oz gekennzeichnete Flächen. Hierbei handelt es sich um den Boden oder um Rampen. Man erkennt auch wieder die Silhouetten von geparkten Fahrzeugen. Teilweise wird auch innerhalb der Fahrzeuge eine Fläche Oz mit überwiegend vertikaler Komponente der Normalen N detektiert. Dies liegt daran, daß bei manchen Fahrzeugen der Abtaststrahl auch unter das Fahrzeug reicht, und dort den Boden als ebene Fläche detektiert, die innerhalb des Fahrzeugs, umgeben von Flächen Ox, Oy liegt.
Mit anderen Worten betrifft die Erfindung folgendes: In der Robotik und damit auch beim automatisierten Fahren werden zweidimensionale Gitter für viele Anwendungszwecke angewandt, wie Lokalisierung, Feature-Erkennung, und vieles mehr. Ein Vorteil von zweidimensionalen Gittern ist ein relativ geringer Speicherverbrauch und geringere Rechenzeit im Vergleich zur Verwendung von dreidimensionalen Datenstrukturen.
Gemäß der Erfindung wird eine zweidimensionale Gitterstrukturrepräsentation verwendet, bei der Flächennormalen N für jeden Gitterpunkt GP gespeichert werden. Der Wert der Flächennormalen N wird aus einem dreidimensionalen Sensorabbild des Umfeldes erzeugt und dann in eine oder mehrere Ebenen projiziert. Im zuvor beschriebenen Ausführungsbeispiel ist der Boden, auf dem sich das Fahrzeug 1 bewegt, als eine dieser Ebenen beschrieben. Andere, hier nicht gezeigte Ausführungsbeispiele verwenden Projektionen in mehrere Ebenen, beispielsweise auch noch die im Vergleich zum Boden geneigte Ebene einer Rampe. Diese eine Projektion oder diese mehreren Projektionen werden anschließend in einem dedizierten Layer akkumuliert. Dadurch verfügt man in der zweidimensionalen Gitterstrukturrepräsentation gemäß der Erfindung über Informationen aus dem dreidimensionalen Raum, beispielsweise darüber, ob es sich um ein senkrechtes oder um ein schräges Objekt handelt. Diese zusätzlichen Informationen helfen beispielsweise bei der Lokalisierung bzw. Eigenbewegungsschätzung eines Roboters, bei der Objekterkennung und der Rampendetektion während der Pfadplanung des Fahrzeugs 1.
Die Flächennormalen in der erfindungsgemäßen zweidimensionalen Gitterstrukturrepräsentation beschreiben die Form von Objekten viel stärker als einfache Belegungswerte in einem Gitter. So sind beispielsweise in 14 klar die Silhouetten von Fahrzeugen zu erkennen, obwohl einige Abtaststrahlen unter den Fahrzeugen gemessen wurden oder obwohl direkt neben einem Fahrzeug Büsche wachsen. In einem herkömmlichen zweidimensionalen Gitter, das nur die Zustände „belegt“ oder „nicht belegt“ speichert, wären es flächig Objekte, die keine so klare Struktur aufweisen. In 14 sind auch große Bereiche mit Oberfläche Oz zu erkennen. Diese kennzeichnen Boden beziehungsweise Rampen. Diese Erkenntnisse wären aus einem zweidimensionalen Belegungsgitter nicht abzuleiten. Somit ist ein zweidimensionales Belegungsgitter mit Flächennormalen, wie erfindungsgemäß vorgeschlagen, besser für die Pfadplanung geeignet.
Auch beim sogenannten Scan Matching, einer Standardmethode zur Lokalisierung, wird mit Daten aus der erfindungsgemäßen Gitterstrukturrepräsentation ein deutlich stabileres Ergebnis erzielt. Auch hier wird das Wissen über schräge und senkrechte Objekte genutzt, sodaß senkrechte Objekte eine höhere Bewertung im Algorithmus bekommen.
Bislang wurde das Problem entweder ignoriert und mit zweidimensionalen Gittern gearbeitet, oder es wurde auf 2,5D- oder 3D-Gitter ausgewichen, oder es wurden Feature-Maps erzeugt, die keinen Gitterbezug haben. Den letzteren Lösungen ist gemein, daß sie verbunden sind mit höherem Speicherbedarf und höheren Rechenzeiten. Von zweieinhalbdimensional, kurz 2,5D , spricht man bei Datenmodellen, bei denen die dritte Dimension nicht vollwertig bezogen auf die zweidimensionale Lageinformation gespeichert ist. Vielmehr ist die dritte Dimension lediglich als Attribut der zweidimensional modellierten Objekte verfügbar.
Silhouetten von Objekten werden in einer erfindungsgemäßen zweidimensionalen Gitterstrukturrepräsentation besser erkannt. Auch Rampen 22 können leicht in der erfindungsgemäßen zweidimensionalen Gitterstrukturrepräsentation erkannt werden. Auch die Positionierung mittels Scan-Matching ist dort stabiler.
Gemäß einer Ausführung der Erfindung werden Daten, die mittels Sensoren abgetastet werden empfangen, Schritt S1, gefiltert, Schritt S11, trianguliert, Schritt S2, und die Flächennormalen N der Dreiecke D werden berechnet, Schritt 3. Die Flächennormalen N werden mit Hilfe einer Eigenbewegungsschätzung, Schritt S31, in ein zweidimensionales Gitter projiziert, Schritt S4. Dadurch erhält man eine Repräsentation der Umgebung des Fahrzeugs 1 oder des Roboters. Bei der Projektion werden x-,y- und z-Komponenten der Flächennormalen N von Gitterpunkten GP von Abtastdurchlauf zu Abtastdurchlauf akkumuliert. Für eine weitere Verarbeitung werden normalisierte Daten verwendet, Schritt S41. Das flächennormalenbasierte zweidimensionale Gitter kann aus Daten jeglicher Sensoren, die Punkte im dreidimensionalen Raum liefern, oder aus deren Meßwerten Daten für Punkte im dreidimensionalen Raum abgeleitet werden können, erzeugt werden. Dazu zählen Flash-, Lidar-, Laser-, Kamera- und Radar-Sensoren.
Vorteile der Erfindung sind unter anderem, daß mehr Informationen vorhanden sind, mit denen Objekte besser beschrieben werden, um sie dann zu nutzen. Weiterhin ist der erfindungsgemäße Ansatz wesentlich effizienter in Speicherbedarf und Rechenzeit als komplette dreidimensionale Ansätze. Der erhöhte Rechenaufwand für die Flächennormalbestimmung fällt demgegenüber kaum ins Gewicht.
Die Erzeugung der erfindungsgemäßen flächennormalenbasierten zweidimensionalen Gitterstrukturrepräsentation läuft wie folgt ab: Die Eingangswerte in Schritt S1 stammen aus einer Abtastung der Umgebung, die Punkte im dreidimensionalen Raum liefert.
Diese werden in Schritt S11 gefiltert, beispielsweise nach Punktabständen und Winkeln von benachbarten Punkten. Dann wird die dreidimensionale Punktmenge in Schritt S2 trianguliert und die Flächennormalen N der resultierenden Dreiecke D werden in Schritt S3 berechnet. Unrealistische Flächen werden hierbei im vorhergehenden Schritt S21 herausgefiltert. Zum Beispiel werden zu große Flächen, die sich virtuell zwischen Objekten ergeben, entfernt. Diese triangulierten Daten werden mittels Eigenbewegungsschätzung des Schritt S31 im Schritt S4 in ein zweidimensionales Gitter projiziert. Wird eine Flächennormale N auf einen Gitterpunkt GP projiziert, der schon einen Wert aus einem vorhergehenden Abtastdurchlauf erhalten hat, so wird die Flächennormale N zum Wert in dem entsprechenden Speicherplatz R3, R4 addiert. Will man den Wert für eine nachgelagerte Berechnung verwenden, so wird die akkumulierte Flächennormale zuvor in Schritt S41 normiert. So entsteht über die Zeit eine gemittelte Flächennormale pro Gitterpunkt GP. Im Anschluß wird die entstandene Gitterstrukturrepräsentation zur Objekterkennung oder zur Pfadplanung verwendet.
In einem Ausführungsbeispiel wird ein Scan-Matcher zur Eigenbewegungsschätzung verwendet. Hierbei finden zwei Laserscanner mit jeweils vier Scanreihen Verwendung. Zunächst wird jeder Laserscan, wie oben beschrieben, gefiltert und trianguliert. Die Vertices der Dreiecke D entsprechen einer Untermenge der Laserstrahlen des Scans. Diese Strahlenmenge wird auf eine definierte Anzahl von Strahlen reduziert und für jeden Endpunkt wird eine Vertex-Normale berechnet. Positionshypothesen werden auf Basis eines Bewegungsmodells erzeugt, und jede Hypothese wird anhand der flächennormalenbasierten zweidimensionalen Gitterstrukturrepräsentation bewertet: $P = \sum_{i = 0}^{\bar{N}} (n_{G r i d} (x_{i}, y_{i}) \cdot n_{i} + 1) \cdot (1 - ‖ n_{G r i d} {(x_{i}, y_{i})}_{z} ‖)$
N repräsentiert die Anzahl der gefilterten Abtaststrahlen, n_Grid(x_i,y_i) die über die Zeit gemittelte Flächennormale der zweidimensionalen Gitterstrukturrepräsentation am Endpunkt des Strahls und n_i die Vertex-Normale der aktuellen Messung am Endpunkt des Strahls. Der erste Teil des Terms beschreibt die Ähnlichkeit der Normalen von Messung und der zweidimensionalen Gitterstrukturrepräsentation und der zweite Teil die Vertrauenswürdigkeit anhand des z-Wertes der zum Gitterpunkt GP gespeicherten Normalen. Je senkrechter ein Objekt zu erkennen ist, desto stärker ist der Einfluß auf die Bewertung.
Es liegt im Ermessen des Fachmanns, eine oder mehrere der genannten Maßnahmen abzuändern oder in anderer Kombination einzusetzen, ohne über den Gedanken der Erfindung hinauszugehen, auch wenn diese nicht explizit hier beschrieben sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2048599 B1 [0002]

Claims

Zweidimensionale Gitterstrukturrepräsentation aufweisend Gitterpunkte (GP), und für jeden Gitterpunkt (GP) - einen Speicherplatz (R1) für eine vertikale Komponente (VK) eines Normalenvektors (N) des Gitterpunkts (GP), und - einen Speicherplatz (R3) für einen Akkumulationszähler (A) .
Gitterstrukturrepräsentation gemäß Anspruch 1, weiterhin aufweisend für jeden Gitterpunkt (GP) einen Speicherplatz (R2) für eine horizontale Komponente (HK) eines Normalenvektors (N) des Gitterpunkts (GP).
Gitterstrukturrepräsentation gemäß einem der vorhergehenden Ansprüche, weiterhin aufweisend für jeden Gitterpunkt (GP) oder für eine Gruppe von Gitterpunkten (GP) einen Speicherplatz (R4) für eine Zuverlässigkeitsinformation (ZI) .
Verfahren zum Erstellen einer zweidimensionalen Gitterstrukturrepräsentation, aufweisend - Empfangen (S1) von Daten einer dreidimensionalen Abtastung eine Umgebung, - Triangulation (S2) der empfangenen Daten, - Berechnung (S3) von Flächennormalen (N) der mittels Triangulation (S2) gewonnenen Dreiecke (D), - Projektion (S4) der Flächennormalen (N) in ein zweidimensionales Gitter, und - Bereitstellen (S5) einer aus der Projektion ermittelten Komponente (VK, HK) und Aktualisieren (S6) eines Akkumulators (A).
Verfahren gemäß Anspruch 4, aufweisend zumindest eines aus - Filtern (S11) der empfangenen Daten und Verwendung der gefilterten Daten zur Triangulation (S2), - Filtern (S21) der mittels Triangulation (S2) gewonnenen Dreiecke (D), - Eigenbewegungsschätzung (S31) der mittels Triangulation (S2) gewonnenen Dreiecke (die) und Verwendung der Eigenbewegungsschätzung (S31) zur Projektion (S4), - Normierung (S41) der projizierten Flächennormalen (VK, HK) .
Verfahren zur Objekterkennung unter Verwendung einer zweidimensionalen Gitterstrukturrepräsentation gemäß einem der Ansprüche 1-5, aufweisend zumindest eines aus - Einstufen eines Gitterpunkts (GP) als gehörend zu einem flachen Objekt mit geringer Neigung, wenn die zugehörige vertikale Komponente (VK) größer als ein erster Grenzwert (G1) ist, - Einstufen eines Gitterpunkts (GP) als gehörend zu einem räumlichen Objekt mit steiler Oberfläche, wenn die zugehörige vertikale Komponente (VK) kleiner als ein zweiter Grenzwert (G2) ist, und - Einstufen eines Gitterpunkts (GP) als zu Vegetation (24) gehörend, wenn dessen zugehörige vertikale Komponente (VK) und die vertikalen Komponenten (VKi) benachbarter Gitterpunkte (GPi) stark voneinander abweichen, sowie weiterhin - Zuordnen eines Zuverlässigkeitswerts (Z) in Abhängigkeit vom Wert des Akkumulationszählers (A), und - Ausgeben der zum Gitterpunkt (GP) ermittelten Einstufungen und des Zuverlässigkeitswerts (Z).
Verfahren gemäß Anspruch 6, weiterhin aufweisend - Vergleichen der horizontalen Komponente (HK) mit weiteren Grenzwerten (G3) zum Ermitteln zumindest eines weiteren Charakteristikums eines an einem Gitterpunkt (GP) befindlichen Objekts.
Verfahren gemäß einem der Ansprüche 6-7, weiterhin aufweisend - Ermitteln eines optimierten Zuverlässigkeitswertes (Z) basierend auf dem Wert des Akkumulationszählers (A) und der Zuverlässigkeitsinformation (ZI).
Computerprogramm mit Programmcode zur Durchführung aller Verfahrensschritte nach einem der Ansprüche 4-8, wenn das Computerprogramm in einem Computer ausgeführt wird.
Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Computers geladen werden kann und Softwarecodeabschnitte umfaßt, mit denen die Schritte gemäß einem der Ansprüche 4-8 ausgeführt werden, wenn das Computerprogrammprodukt auf einem Computer läuft.
Speichermedium auf dem ein Computerprogrammprodukt nach Anspruch 10 gespeichert ist.
Vorrichtung die geeignet und dazu ausgebildet ist, alle Verfahrensschritte eines der Ansprüche 4-8 auszuführen.