DE102022201427A1 - Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung - Google Patents

Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung Download PDF

Info

Publication number
DE102022201427A1
DE102022201427A1 DE102022201427.8A DE102022201427A DE102022201427A1 DE 102022201427 A1 DE102022201427 A1 DE 102022201427A1 DE 102022201427 A DE102022201427 A DE 102022201427A DE 102022201427 A1 DE102022201427 A1 DE 102022201427A1
Authority
DE
Germany
Prior art keywords
mobile device
points
markers
orientation
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022201427.8A
Other languages
English (en)
Inventor
Peter Biber
Gerhard Kurz
Sebastian Scherer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022201427.8A priority Critical patent/DE102022201427A1/de
Publication of DE102022201427A1 publication Critical patent/DE102022201427A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts (100) in einer Umgebung (150), in der sich das mobile Gerät (100) bewegt oder bewegen soll, umfassend: Bereitstellen einer aktuellen ersten Menge von Punkten erster Art in der Umgebung, die ausgehend von und relativ zu dem mobilen Gerät (100) bestimmt worden sind; Bereitstellen einer aktuellen zweiten Menge von einem oder mehreren nachverfolgten Markern (162, 164, 165); Bestimmen einer dritten Menge von nachverfolgten Markern (162, 164, 165), die sowohl in der aktuellen zweiten Menge als auch in einer zweiten Referenzmenge von einem oder mehreren nachverfolgten Markern (160-165) enthalten sind; und Bestimmen einer aktuellen Position und/oder Orientierung des mobilen Geräts (100) in der Umgebung (150), basierend auf der aktuellen ersten Menge, einer ersten Referenzmenge von Punkten erster Art, der dritten Menge und der zweiten Referenzmenge. Die Erfindung betrifft auch ein mobiles Gerät (100).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts, z.B. eines sich teilweise automatisiert bewegenden Fahrzeugs oder eines Roboters, in einer Umgebung, eine Recheneinheit und ein Computerprogramm zu dessen Durchführung sowie ein solches mobiles Gerät.
  • Hintergrund der Erfindung
  • Mobile Geräte wie z.B. sich zumindest teilautomatisiert bewegende Fahrzeuge oder Roboter bewegen sich typischerweise entlang eines Bewegungspfades in einer Umgebung wie z.B. einer Wohnung, in einem Garten, in einer Fabrikhalle oder auf der Straße, in der Luft oder im Wasser. Hierzu ist es nötig, dass eine aktuelle Position und/oder Orientierung (auch als Pose bezeichnet) des mobilen Geräts bekannt ist und auch immer wieder neu bestimmt wird. Hierzu kann z.B. auf eine Laserentfernungsmessung (z.B. mit sog. Lidar-Sensoren) zurückgegriffen werden.
  • Offenbarung der Erfindung
  • Erfindungsgemäß werden ein Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts, eine Recheneinheit und ein Computerprogramm zu dessen Durchführung sowie ein solches mobiles Gerät mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
  • Die Erfindung beschäftigt sich mit dem Bestimmen einer (aktuellen) Position und/oder Orientierung (auch als Pose bezeichnet) eines mobilen Geräts in einer Umgebung, also insbesondere der Lokalisierung des mobilen Geräts. Als mobiles Gerät kommt hier z.B. ein sich zumindest teilweise automatisiert bewegendes Fahrzeug, insbesondere ein Personenbeförderungsfahrzeug oder Güterbeförderungsfahrzeug (z.B. Gabelstapler, Flurförderfahrzeug), oder ein Roboter, in Betracht. Dabei wird auf das Prinzip der Entfernungsmessung mittels Laser (Laserentfernungsmessung, z.B. mit sog. Lidar-Sensoren) zurückgegriffen. Einer oder ggf. mehrere solcher Lidar-Sensoren sind hierzu typischerweise an oder in dem mobilen Gerät vorgesehen, womit Entfernungen (Abstände) von Objekten in der Umgebung (relativ) zum mobilen Gerät (bzw. zum Sensor) bestimmt werden können. Typischerweise scannt ein solcher Lidar-Sensor die Umgebung vor dem mobilen Gerät in einem gewissen Winkel, z.B. 90°, 180°, 270° oder auch mehr ab.
  • Eine eher historische und heutzutage zunehmend als veraltet anzusehende Möglichkeit zur Laserentfernungsmessung und darauf basierenden Lokalisierung (Laserlokalisierung) basiert auf der ausschließlichen Verwendung von sog. Reflektormarkern, die flächendeckend in der Umgebung angebracht werden müssen. Diese Reflektormarker können vom Laserscanner bzw. Lidar-Sensor dadurch erkannt werden, dass auf ihnen gemessene Punkte mit deutlich höherer Intensität reflektiert werden als in der restlichen Umgebung. Laserscanner können die Reflektormarker z.B. auf Wunsch selbst erkennen, d.h. es können z.B. direkt nur Messwerte berücksichtigt werden, die einer gewissen Intensität (z.B. höher als ein bestimmter Schwellwert) entsprechen.
  • Sind die Reflektormarker einmal angebracht, kann deren Position manuell vermessen und in eine Karte eingetragen werden. Während der Lokalisierung können die Positionen erkannter Reflektormarker ständig mit den (dann genau bekannten) Positionen der Reflektormarker in der Karte verglichen werden. Sofern stets mindestens zwei der kartierten Reflektormarker erkannt werden, kann die Pose (Position und Orientierung) des Laserscanners eindeutig bestimmt werden. Dabei soll insbesondere angenommen werden, dass sich das mobile Gerät sowie der Laserscanner in einer 2D-Ebene bewegen, also lediglich über drei Freiheitsgrade (zwei translatorische und ein rotatorischer Freiheitsgrad) verfügen. Grundsätzlich ist das Prinzip aber z.B. auch in 3D anwendbar.
  • Die Anbringung und Vermessung von Reflektormarkern sind allerdings in der Regel sehr aufwändig. Die Rechenleistung von Recheneinheiten oder Rechensystemen, selbst bei eingebetteten Computersystemen wie sie z.B. bei mobilen Geräten verwendet werden, ist in letzter Zeit deutlich angestiegen. Dies hat dazu geführt, dass sich in den letzten Jahren die Lokalisierung (Bestimmung von Position und/oder Orientierung) von mobilen Geräten unter Verwendung natürlicher Konturen mit Hilfe des sog. „Scan Matching“ durchgesetzt hat. Reflektormarker sind dadurch verdrängt worden.
  • Beim „Scan Matching“ (Angleichen von Scans) wird insbesondere die gesamte vom Laserscanner gemessene bzw. erfasste Punktwolke verwendet; bei einer Punktwolke handelt es sich um eine Menge von Punkten in der Umgebung, die mittels des Laserscanners bzw. Lidar-Sensors bestimmt werden. Dabei kann jedem Punkt ein Abstand zum mobilen Gerät bzw. Laserscanner zugeordnet werden, ebenso eine Orientierung relativ zu einer Referenzorientierung des mobilen Geräts bzw. Laserscanner. Die Punktwolke entspricht üblicherweise einer oder mehreren „Punktlinien“ entlang der Kontur der Objekte im Sichtbereich; ggf. können die Punkte aber auch nur näherungsweise auf einer solchen Linie liegen.
  • Diese Punktwolke allein erlaubt aber noch nicht, eine Position und/oder Orientierung des mobilen Geräts in der Umgebung zu bestimmen. Hierzu wird die Punktwolke bzw. Menge von Punkten mit einer Referenzpunktwolke bzw. Referenzmenge von Punkten verglichen. Es kann dann eine Transformation bestimmt werden, die die Punktwolke (bzw. Menge von Punkten) mit der Referenzpunktwolke (bzw. Referenzmenge von Punkten) am besten zur Deckung bzw. in Übereinstimmung bringt, d.h. beide aneinander angleicht. Diese Transformation entspricht dann einer Position und/oder Orientierung des mobilen Geräts bei Erfassung der Punktwolke relativ zur Referenzpunktwolke bzw. einem Koordinatensystem der Referenzpunktwolke. Wenn es sich bei der Referenzpunktwolke um eine Karte der Umgebung oder zumindest eines Teils davon handelt, so kann die aktuelle Position und/oder Orientierung des mobilen Geräts in der Umgebung bestimmt werden. Die Referenzpunktwolke (bzw. Karte der Umgebung) kann z.B. durch ständiges bzw. wiederholtes Hinzufügen neuer Punktwolken oder Teilen davon erweitert werden.
  • In diesem Zusammenhang wird auch von SLAM gesprochen. Als SLAM („Simultaneous Localization and Mapping“, in etwa: Simultane Positionsbestimmung und Kartierung) wird ein Verfahren in der Robotik bezeichnet, bei dem ein mobiles Gerät wie ein Roboter gleichzeitig eine Karte seiner Umgebung erstellen und seine räumliche Lage innerhalb dieser Karte schätzen kann oder muss. Es dient damit z.B. dem Erkennen von Hindernissen und unterstützt somit die autonome Navigation.
  • Um auf diese Weise die Position und/oder Orientierung des mobilen Geräts in der Umgebung hinreichend genau bestimmen zu können, sollte die Umgebung über ausreichend viele charakteristische Konturen verfügen, die sich in entsprechenden Punkten der Punktwolke niederschlagen, um das dem „Scan Matching“ zugrundeliegenden Problem in allen drei Freiheitsgraden eindeutig eingrenzen zu können. Wie sich gezeigt hat, gibt es jedoch Fälle, in denen dies nicht der Fall ist.
  • Vor diesem Hintergrund wird vorgeschlagen, zusätzlich zu der Menge von Punkten wie beim üblichen „Scan Matching“ auch Reflektormarker oder andere Marker zu berücksichtigen.
  • Hierbei wird eine aktuelle erste Menge von Punkten erster Art in der Umgebung bereitgestellt oder erhalten, die ausgehend von und relativ zu dem mobilen Gerät bestimmt worden sind. Hierzu kann eine Entfernungsmessung (bspw. das schon erwähnte Laserscanning) verwendet werden, also z.B. mittels eines an oder in dem mobilen Gerät vorgesehenen Lidar-Sensors. Bei diesen Punkten erster Art handelt es sich insbesondere um Punkte wie beim üblichen „Scan Matching“, wie vorstehend erwähnt.
  • Außerdem wird eine aktuelle zweite Menge von einem oder mehreren Markern bereitgestellt oder erhalten. Die aktuelle zweite Menge enthält insbesondere die aktuell „sichtbaren“ Marker. Weiterhin wird eine dritte Menge von nachverfolgten Markern bestimmt, die sowohl in der aktuellen zweiten Menge als auch in einer zweiten Referenzmenge aus einem oder mehreren nachverfolgten Markern enthalten sind. Dies kann z.B. anhand von Identifikationen (oder IDs) erfolgen, die den einzelnen (nachverfolgten) Markern zugeordnet sind oder werden, wie später noch näher erläutert werden soll. Unter nachverfolgten Markern sind insbesondere Marker in der Umgebung, z.B. die erwähnten Reflektormarker, zu verstehen, die bereits bei früheren Scans als dem aktuellen Scan (oder Erfassungszyklus) erkannt worden sind, also z.B. über mehrere Scans nachverfolgt („getrackt“) wurden. Nähere Ausführungen hierzu folgen später. Marker werden vorzugsweise anhand von Punkten zweiter Art bestimmt, sodass Punkte zweiter Art den Markern entsprechen, wobei Punkte erster Art anderen Objekten in der Umgebung als den Markern entsprechen. Auch bei Punkten zweiter Art kann eine Entfernungsmessung (bspw. das schon erwähnte Laserscanning) verwendet werden, und zwar insbesondere mittels desselben Laserscanners bzw. Lidar-Sensors wie für die Punkte erster Art.
  • Bei den Punkten zweiter Art handelt es sich dann insbesondere um solche, die einer bei der Entfernungsmessung bestimmten Lichtintensität entsprechen, die oberhalb eines Schwellwerts liegt. Der Schwellwert kann z.B. fest vorgegeben sein. Eine Unterscheidung kann aber auch anderweitig getroffen werden, z.B. mit einem Schwellwert, der abhängig von dem Median oder Mittelwert aller Intensitäten eines Scans ist, oder mittels Maschinenlernalgorithmen. Besonders zweckmäßig ist aber auch, dass ein Intensitätssprung am Rand des Markers berücksichtigt wird, auf gleicher räumlicher Ebene, von niedrig (dort, wo kein Marker ist) auf hoch (dort, wo der Marker beginnt) und wieder auf niedrig (dort, wo der Marker wieder zu Ende ist). Bei den Punkten erster Art kann es sich um alle Punkte handeln oder nur um solche, die einer bei der Entfernungsmessung bestimmten Lichtintensität entsprechen, die unterhalb des Schwellwerts liegt.
  • Die Punkte zweiter Art können also vordefinierten Markern wie z.B. den erwähnten Reflektormarkern, in der Umgebung, entsprechen, die Punkte erster Art hingegen allen oder allen anderen Objekten in der Umgebung als den vordefinierten Markern. Dabei ist zu beachten, dass - z.B. je nach Größe oder Grad der Erfassung eines Markers - einer oder auch mehrere Punkte zweiter Art einem einzelnen Marker entsprechen können. Es können in der betreffenden Menge eines Scans Punkte zweiter Art vorhanden sein, die einem oder mehreren Markern entsprechen. Bei mehreren Markern sind dann notwendigerweise mehrere Punkte zweiter Art vorhanden.
  • Eine aktuelle Position und/oder Orientierung des mobilen Geräts in der Umgebung wird dann basierend auf der aktuellen ersten Menge, einer ersten Referenzmenge von Punkten erster Art, der dritten Menge und der zweiten Referenzmenge bestimmt. Die umfasst insbesondere, dass die erste Menge mit der ersten Referenzmenge, im Rahmen einer Optimierung, zur Übereinstimmung gebracht wird, und dass bei der Optimierung eine Kostenfunktion, insbesondere gewichtet, berücksichtigt wird. Die Kostenfunktion gibt ein Maß für Abstände der nachverfolgten Marker zwischen der dritten Menge und der zweiten Referenzmenge an. Es versteht sich, dass - wie für eine Optimierung üblich - in der Regel keine exakte Übereinstimmung erreicht wird bzw. werden muss; vielmehr wird lediglich versucht, eine möglichst gute Übereinstimmung zu erreichen. Basierend auf der aktuellen Position und/oder Orientierung des mobilen Geräts kann dann auch ein Bewegungspfad bestimmt werden, auf dem sich das mobile Gerät in der Umgebung bewegen soll. Hierzu können, basierend auf dem Bewegungspfad sowie der aktuellen Position und/oder Orientierung, Steuerungsinformationen zum Bewegen des mobilen Geräts bestimmt werden; die Steuerungsinformationen können dann bereitgestellt werden bzw. das mobile Gerät kann basierend auf den Steuerungsinformationen bewegt werden.
  • Die aktuelle Position und/oder Orientierung des mobilen Geräts in der Umgebung kann, insbesondere bei nicht automatisierten mobilen Geräten, z.B. auch zur Nachverfolgung („Tracken“) des mobilen Geräts verwendet werden. So kann z.B. bestimmt werden, wo sich ein Gabelstapler oder anderes mobiles Gerät gerade innerhalb einer Fabrikhalle befindet.
  • Das „Scan Matching“ (mit natürlichen Konturen von Objekten in der Umgebung, Punkte erster Art) wird hier also mit der Idee der Reflektormarker bei der Laserentfernungsmessung (oder allgemein Marker oder Punkte zweiter Art) kombiniert, um die Vorteile aus beiden Ansätzen zu kombinieren und die Nachteile beider Ansätze auszugleichen. Dabei kann sich z.B. grundsätzlich auf die Lokalisierung mittels „Scan Matching“ verlassen werden, zumindest dort, wo dies ausreichend zuverlässig funktioniert; dies ist typischerweise in mehr als 95% der Umgebungen der Fall. Falls in der gewünschten Umgebung allerdings problematische Stellen anzutreffen sind, kann ein Benutzer z.B. eine gewisse Zahl an Reflektormarkern anbringen, durch deren Verwendung dann an dieser Stelle das möglicherweise zuvor mehrdeutige Ergebnis des „Scan Matching“ eindeutig wird. Solche problematischen Stellen können beispielsweise strukturarme Gänge, Bereiche mit unebenem Boden oder Umgebungen mit sehr vielen dynamischen Objekten sein.
  • Der Vorteil im Vergleich zur Lokalisierung ohne Reflektormarker ist eine deutlich verbesserte Zuverlässigkeit des Lokalisierungsergebnisses an problematischen Stellen. Der Vorteil im Vergleich zu klassischen reinen reflektormarkerbasierten Lokalisierung ist der deutlich geringere Aufwand bei der Anbringung von Markern. Anstelle einer hohen Anzahl an Markern auf der ganzen Fläche müssen z.B. nur wenige Marker an kritischen Stellen angebracht werden.
  • Vorzugsweise wird die erste Menge mit der ersten Referenzmenge zur Übereinstimmung gebracht, indem eine Transformation bestimmt wird, die die erste Menge auf die erste Referenzmenge abbildet, wobei die aktuelle Position und/oder Orientierung des mobilen Geräts in der Umgebung basierend auf der Transformation bestimmt wird. Vorzugsweise wird die Transformation auch in der Kostenfunktion berücksichtigt. In der Praxis wird hierbei oft keine Transformation gefunden werden, die eine exakte Abbildung der Mengen aufeinander bewirkt; vielmehr geht es um eine - im Rahmen einer zeitlich begrenzten Optimierung - bestmögliche Transformation. Insbesondere werden beim Bestimmen der Transformation Punkte zweiter Art bzw. Marker höher gewichtet als Punkte erster Art, zumal diese typischerweise deutlich genauer sind. Es können also zwei Mengen verschiedenartiger Punkte während eines „Scan Matching“-Prozesses innerhalb eines Laserlokalisierungssystems gleichzeitig behandelt werden, also alle herkömmlichen Punkte (Punkte erster Art) auf natürlichen Konturen einerseits, und Punkte auf erkannten Reflektormarkern (Punkte zweiter Art) andererseits.
  • Während selbst das beste „Scan Matching“-Ergebnis unter alleiniger Verwendung von Konturpunkten (Punkte erster Art) in vielen Fällen uneindeutig sein kann - zum Beispiel die Position in einem langen Gang, von dem lediglich zwei parallele Linien gesehen werden, wodurch nicht sicher erkannt werden kann, wo genau entlang des Ganges sich die Position befindet - kann die Hinzuziehung von auf Reflektormarkern bzw. darauf erkannten Punkten (Punkte zweiter Art) zu einem eindeutigen Ergebnis führen. Das „Scan Matching“-Problem wird dann unter Berücksichtigung der Marker bzw. der darauf erkannten Punkte gelöst.
  • Als „Scan Matching“-Verfahren, d.h. ein Verfahren, bei dem die erste Menge auf die erste Referenzmenge abgebildet wird, bzw. bei denen eine Transformatoin bestimmt wird, die diese Abbildung bewirkt, kommen grundsäztlich verschiedene Arten von Methoden bzw. Verfahren in Betracht. Beispielsweise können dies das sog. „Iterative Closest Point“-Verfahren (ICP) oder das „Normal Distributions Transform“-Verfahren (NDT) sein, vgl. P. Biber and W. Strasser, „The normal distributions transform: a new approach to laser scan matching,“ Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453), 2003, pp. 2743-2748 vol.3, doi: 10.1 109/IROS.2003.1249285. Die nachverfolgten Marker bzw. die Punkte zweiter Art können im Rahmen des „Scan Matching“-Verfahrens für die erste Menge bzw. Referenzmenge besonders einfach als Kostenfunktion (oder Kostenterm) berücksichtigt werden.
  • Im Rahmen der vorliegenden Erfindung wird besonders auf das Nachverfolgen von Markern abgestellt. Marker der aktuellen zweiten Menge (d.h. im aktuellen Scan), die auch in der zweiten Referenzmenge vorhanden sind, also früher schon erkannt worden waren, werden für die Bestimmung von Position und/oder Orientierung herangezogen und hier als dritte Menge bezeichnet.
  • Vorzugsweise werden Marker der aktuellen zweiten Menge, die nicht in der dritten Menge enthalten sind, also bisher noch nicht erkannt worden waren, nach der Bestimmung von Position und/oder Orientierung der zweiten Referenzmenge hinzugefügt. Bei zukünftigen Scans dienen dann auch diese als schon einmal erkannte - nachverfolgte - Marker.
  • Vorzugsweise wird auch erfasst (und gespeichert), wie oft ein Marker aus der zweiten Referenzmenge bereits erkannt worden ist. Dies kann beispielsweise zur Erhöhung der Genauigkeit verwendet werden, wenn der dritten Menge nur solche Marker aus der zweiten Menge zugeordnet werden, bei denen diese Anzahl bereits mindestens einen Erkennungsschwellwert erreicht hat, z.B. dreimal.
  • Das Nachverfolgen („Tracken“) von Markern bzw. Reflektormarkern wird also, mit anderen Worten, verwendet, um die Information daraus später für das „Scan Matching“ nutzen zu können. Dabei können aus den einzelnen Detektionen der Marker je Scan zusammenhängende Tracks (Treffer), also (über mehrere Scans hinweg) nachverfolgte Marker erzeugt werden. Hierbei wird berücksichtigt, dass bei aufeinanderfolgenden Scans die Veränderung der Position und/oder Orientierung des mobilen Geräts meist nur geringfügig abweicht, jedenfalls weniger als bei zeitlich weiter auseinanderliegenden Scans. Dies erlaubt es, Marker nachzuverfolgen; solche Marker sind dann sehr sicher auch tatsächlich in der Umgebung vorhandene Marker und können die Lokalisierung positiv beeinflussen. Eine noch detailliertere Erläuterung zum Nachverfolgen von Markern soll in Bezug auf die Figurenbeschreibung erfolgen.
  • Vorzugsweise wird zumindest ein Teil der Punkte der aktuellen ersten Menge zur ersten Referenzmenge hinzugefügt, wenn zumindest ein Kriterium erfüllt ist. Das erste Kriterium kann z.B. bedingen, dass zumindest ein gewisser Anteil der Punkte der aktuellen ersten Menge, z.B. 25%, 50% oder auch mehr, nicht auch schon in der ersten Referenzmenge vorhanden ist. Damit kann die erste Referenzmenge - und damit also letztlich auch die eigentliche Karte der Umgebung - erweitert werden. Mit jeder neuen, aktuellen ersten Menge kann dann also die Karte der Umgebung ggf. immer weiter verbessert werden. Weitere mögliche Kriterien (Heuristiken) sind z.B., ob eine gewisse Strecke zurückgelegt wurde oder ob der NDT-Score unterhalb eines gewissen Schwellwerts liegt.
  • Durch das Nachverfolgen der Marker ergibt sich ein weiteres bevorzugtes Kriterium hierfür. Sobald ein neuer nachverfolgter Marker angelegt wird, d.h. der zweiten Referenzmenge hinzugefügt wird, kann zumindest ein Teil der Punkte der aktuellen ersten Menge oder die gesamte aktuelle erste Menge zur ersten Referenzmenge hinzugefügt werden. Der Teil beinhaltet insbesondere den neu nachverfolgten Marker bzw. den Bereich um diesen, die gesamte erste Menge beinhaltet diesen ohnehin. Damit können zukünftige „Scan Matches“ diesen Marker nutzen, da er dann sowohl im aktuellen Scan als auch in der lokalen Karte (Referenzmenge) vorkommt.
  • Da die lokale Karte typischerweise aus mehreren Scans zusammengesetzt ist, kann es vorkommen, dass ein nachverfolgter Marker in der lokalen Karte mehrfach auftaucht, d.h., dass mehrere nachverfolgte Marker mit der gleichen ID vorhanden sind. Hierbei gibt es mehrere Möglichkeiten, wie damit umgegangen werden kann: Der älteste nachverfolgte Marker kann verwendet werden, um Drift zu verringern. Der neueste nachverfolgte Marker kann verwendet werden, um robuster gegen nicht komplett statische Marker zu sein. Ein Mittelwert aller nachverfolgten Marker mit der gleichen ID kann verwendet werden, um robuster gegenüber verrauschten Messungen der Markerposition zu werden.
  • Es ist auch von Vorteil, wenn das Bestimmen der aktuellen Position und/oder Orientierung des mobilen Geräts in der Umgebung nur dann basierend auf der aktuellen ersten Menge, der ersten Referenzmenge, der dritten Menge und der zweiten Referenzmenge erfolgt, wenn ein weiteres Kriterium erfüllt ist. Dieses weitere Kriterium kann z.B. fordern, dass überhaupt ein Marker (oder Punkt zweiter Art) in der aktuellen Messung vorhanden ist. Alternativ oder zusätzlich kann das weitere Kriterium z.B. fordern, dass sich das mobile Gerät innerhalb eines bestimmten Bereichs der Umgebung, z.B. einem solchen, in dem bekannt ist, dass Reflektormarker vorhanden sind, aufhält. Wenn das weitere Kriterium nicht erfüllt ist, erfolgt das Bestimmen der aktuellen Position und/oder Orientierung des mobilen Geräts in der Umgebung nur basierend auf der ersten Menge und der der ersten Referenzmenge, also wie bei herkömmlichem „Scan-Matching“ (ohne Reflektormarker oder ähnlichem).
  • Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Roboters, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
  • Die Erfindung betrifft auch ein mobiles Gerät mit einer erfindungsgemäßen Recheneinheit. Vorzugsweise ist das mobile Gerät als sich zumindest teilweise automatisiert bewegendes Fahrzeug, insbesondere als Personenbeförderungsfahrzeug oder als Güterbeförderungsfahrzeug, oder als Roboter, ausgebildet.
  • Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
  • Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
  • Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
  • Figurenliste
    • 1 zeigt schematisch ein mobiles Gerät in einer Umgebung, bei dem ein erfindungsgemäßes Verfahren durchführbar ist.
    • 2 zeigt schematisch Referenzmengen von Punkten, wie sie bei einem erfindungsgemäßen Verfahren in einer bevorzugten Ausführungsform auftreten können.
    • 3 zeigt schematisch Mengen von Punkten, wie sie bei einem erfindungsgemäßen Verfahren in einer bevorzugten Ausführungsform auftreten können.
    • 4 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform.
  • Detaillierte Beschreibung der Zeichnung
  • In 1 ist schematisch ein mobiles Gerät 100 in einer Umgebung 150 dargestellt, bei dem ein erfindungsgemäßes Verfahren durchführbar ist. Bei dem mobilen Gerät 100 handelt es sich z.B. um einen Roboter oder ein automatisiert (bzw. autonom) fahrendes Fahrzeug, mit einer Recheneinheit 110 sowie einem Lidar-Sensor 120 zur Laserentfernungsmessung; ein Erfassungsbereich des Lidar-Sensors 120 ist beispielhaft gestrichelt angedeutet.
  • Bei der Umgebung 150 handelt es sich beispielhaft um das Innere eines Gebäudes mit einem z.B. längeren Flur, von links in der 1 beginnend, mit Seitenwänden 152 und 154. Der Flur weitet sich, nach rechts in der 1 hin, auf der Seite der Seitenwand 152 hin auf, es sind zwei Säulen 156 und 158 vorgesehen. An den Seitenwänden 152 und 154 sind beispielhaft jeweils drei Reflektormarker 160, 161, 162 bzw. 163, 164, 165 vorgesehen.
  • Das mobile Gerät 100 soll sich nun z.B. entlang des Bewegungspfades 102 in der Umgebung 150 bewegen. Hierzu ist die Kenntnis der aktuellen Position und/oder Orientierung des mobilen Geräts 100 erforderlich, um bestimmen zu können, wie das mobile Gerät 100 angesteuert werden muss, um dem Bewegungspfad 102 folgen zu können, oder auch, um zunächst den Bewegungspfad 102 planen zu können. Wie erwähnt, kann die Kenntnis der aktuellen Position und/oder Orientierung auch (nur) der Nachverfolgung des mobilen Geräts dienen.
  • Hierzu kann mittels des Lidar-Sensors 120 die Umgebung 150 abgescannt werden. Dabei wird der Laserscanner im Lidar-Sensor bewegt, während mittels ausgesendeter Laserstrahlen und empfangener, reflektierter Strahlung eine Vielzahl an Punkten erhalten wird; jeder Punkt steht dabei für einen Punkt oder eine kleine Fläche in der Umgebung, dort z.B. an einem Objekt, von dem eine reflektierte Strahlung empfangen wird.
  • In 2 sind hierzu für die Umgebung 150 aus 1 beispielhaft Punkte dargestellt, wie sie mittels Laserentfernungsmessung grundsätzlich erhalten werden können. Dabei gibt es Punkte 210 erster Art, die durch Reflexion der Laserstrahlen an z.B. den Seitenwänden 152, 154 sowie den Seitenflächen der Säulen 156, 158 entstehen bzw. erhalten werden. Diese Punkte 210 erster Art sind mittels kleiner Kreuze dargestellt. Außerdem gibt es Punkte 220 zweiter Art, die durch Reflexion der Laserstrahlen an den Reflektormarkern 160 bis 165 entstehen bzw. erhalten werden. Diese Punkte 220 zweiter Art sind mittels Kreisen dargestellt. Wie erwähnt, können je Reflektormarker auch mehrere Punkte zweiter Art vorhanden sein.
  • Diese beiden Arten von Punkten lassen sich unterscheiden, da die von den Reflektormarkern reflektierte Strahlung aufgrund der entsprechenden Ausbildung der Reflektormarker (z.B. als Spiegel) im Lidar-Sensor eine deutlich höhere Lichtintensität erzeugt als die von den übrigen Objekten in der Umgebung reflektierte Strahlung, wo die Laserstrahlung zumeist diffus gestreut wird.
  • Die in 2 gezeigten Punkte bilden zumindest im Wesentlichen die Umgebung 150 aus 1 ab; es handelt sich um mehr Punkte als aus Sicht des mobilen Geräts 100 an der in 1 gezeigten Position erfasst werden können. Diese Punkte können als Referenz oder Karte der Umgebung 150 dienen; sie kann z.B. über mehrere Erfassungszyklen hinweg erhalten worden sein. Hierzu können die Punkte 210 erster Art zu einer ersten Referenzmenge 212 zusammengefasst werden.
  • In 3 sind für die Umgebung 150 aus 1 ebenfalls beispielhaft Punkte dargestellt, wie sie mittels Laserentfernungsmessung grundsätzlich erhalten werden können. Dabei gibt es Punkte 310 erster Art, die durch Reflexion der Laserstrahlen an z.B. den Seitenwänden 152, 154 sowie den Seitenflächen der Säulen 156, 158 entstehen bzw. erhalten werden. Diese Punkte 310 erster Art sind mittels kleiner Kreuze dargestellt. Außerdem gibt es Punkte 320 zweiter Art, die durch Reflexion der Laserstrahlen an den Reflektormarkern 162, 164 und 165 entstehen bzw. erhalten werden. Diese Punkte 320 zweiter Art sind mittels Kreisen dargestellt.
  • Anders als in 2, handelt es sich bei denen in 3 gezeigten Punkte nur um diejenigen Punkte, die aus Sicht des mobilen Geräts 100 an der in 1 gezeigten Position und auch in etwa der dort gezeigten Orientierung erfasst werden können. Diese Punkte können als aktuelle Punkte angesehen werden, wie sie z.B. an einer bestimmten Position mit bestimmter Orientierung des Geräts erfasst bzw. erhalten werden können. Die Punkte 310 erster Art können zu einer ersten Menge 312 zusammengefasst werden.
  • Um die Information aus den Markern bzw. Reflektormarkern später für das „Scan Matching“ nutzen zu können, wird das Nachverfolgen („Tracken“) von Markern bzw. Reflektormarkern verwendet. Dabei können aus den einzelnen Detektionen der Marker je Scan zusammenhängende Tracks (Treffer), also (über mehrere Scans hinweg) nachverfolgte Marker erzeugt werden.
  • Dazu kann angenommen werden, dass bei jedem Scan (also in jedem Zeitschritt) eine Menge von Detektionen D = {d1, ... , dND } als zweite Menge und eine Menge von nachverfolgten (also früher bzw. mehrfach erkannten) Markern („Tracks“) T = {t1, ..., tNT} als zweite Referenzmenge gegeben sind. Die Menge von nachverfolgten Markern umfasst z.B. diejenigen Marker, die in einem oder mehreren früheren Scans bereits vorhanden waren. Beispielsweise können dies die sechs Marker 160 bis 165 aus 1 sein, sodass die sechs gezeigten Punkte 220 zweiter Art als zweite Referenzmenge 222 von nachverfolgten Markern ( 2) angesehen werden können.
  • Die Menge von Detektionen umfasst diejenigen Marker, die im aktuellen Scan erfasst werden. Beispielsweise können dies die drei Marker 162, 164 und 165 aus 1 sein, sodass die drei gezeigten Punkte 320 zweiter Art als zweite Menge 322 von Markern (3) angesehen werden kann.
  • Um diejenigen Marker, die für die Posenbestimmung verwendet werden, zu bestimmen, werden Detektion und Tracks einander zugeordnet, so dass die Summe der Abstände zwischen den Tracks und den Detektionen, cost(A), minimiert wird. So kann also z.B. versucht werden, die drei Marker, die in 3 erkannt worden sind, den sechs in 2 erkannten Markern zuzuordnen.
  • Dabei können jede Detektion und jeder Track maximal einmal zugeordnet werden. Detektionen und Tracks, die übrig bleiben, erhalten z.B. fixe Kosten cD > 0 bzw. cT > 0. Die Menge der Zuordnungen wird dabei beschrieben als A = {(i,j) | di ist tj zugeordnet}. cost ( A ) = ( i , j ) A | d i t j | 2 + ( N D | A | ) c D + ( N T | A | ) c T
    Figure DE102022201427A1_0001
  • Dabei sind ND bzw. NT die Anzahl der nicht zugeordneten Detektionen bzw. Tracks. Die Zuordnungen, welche diese Kosten minimieren, werden z. B. mit der „Ungarischen Methode“ (Hungarian Algorithm, auch Kuhn-Munkres-Algorithm, vgl. „James Munkres: Algorithms for the Assignment and Transportation Problems, Journal of the Society for Industrial and Applied Mathematics, Vol. 5 No. 1, 32-38, 1957.“) bestimmt. Für nicht zugeordnete Detektionen wird anschließend jeweils ein neuer Track erstellt und mit einer eindeutigen Track ID versehen, d.h. sie werden der zweiten Referenzmenge hinzugefügt. Wenn also z.B. der Marker 165 in 2 (noch) nicht erkannt worden wäre, würde hierfür ein neuer Track bzw. ein neuer nachverfolgter Marker angelegt. Ein Track kann insbesondere Koordinaten des Markers umfassen.
  • Nicht zugeordnete Tracks, also z.B. die Marker 160, 161, 163, die in 2 noch erkannt worden sind, bleiben zunächst unverändert erhalten, werden aber z.B. nach einer gewissen Zahl von Zeitschritten bzw. Scans ohne eine zugeordnete Detektion verworfen.
  • Um die Robustheit gegenüber kurzzeitigen Fehldetektionen zu erhöhen (z.B. Fehldetektionen, die nur in einem einzelnen Scan auftauchen), ist es zweckmäßig, für die weitere Verarbeitung nur Tracks zu nutzen, die mehrfach, z.B. mindestens dreimal detektiert wurden.
  • Um die Position und Orientierung des mobilen Geräts in der Situation der 3 zu bestimmen, soll die erste Menge 312 mit der ersten Referenzmenge 212 zur Überlappung bzw. Übereinstimmung gebracht werden, wobei die Marker bzw. die Tracks, die sowohl in der aktuellen zweiten Menge 322 als auch in der zweiten Referenzmenge 322 enthalten sind - diese werden als dritte Menge 332 bezeichnet und sind im gezeigten Beispiel die Marker 162, 154, 165 - über eine Kostenfunktion berücksichtigt werden. Eine Transformation, die, z.B. angewendet auf die erste Menge die entsprechenden Punkte auf die erste Referenzmenge abbildet, ergibt die Position und Orientierung des mobilen Geräts in der Situation der 3 relativ zu der Situation in 2.
  • In 4 ist nun ein erfindungsgemäßes Verfahren in einer bevorzugten Ausführungsform anhand eines Ablaufdiagramms schematisch dargestellt. In einem neuen Messzyklus können vorzugsweise zunächst, in einem Schritt 400, Informationen z.B. aus Odometrie und/oder Inertialsensoren erhalten bzw. erfasst werden, die es erlauben, in einem Schritt 402, die aktuelle Position und/oder Orientierung (zumindest grob) zu schätzen. Dies ist z.B. möglich, da mittels Odometrie bestimmt werden kann, wie viel sich die Position relativ zur letzten bekannten Position geändert hat; mittels Inertialsensoren kann dies für die Orientierung bestimmt werden. Wenn solche Informationen nicht vorhanden sind oder nicht verwendet werden können oder sollen, kann die aktuelle Position und/oder Orientierung aber z.B. auch anhand von Erfahrungswerten geschätzt werden. Diese geschätzte aktuelle Position und/oder Orientierung kann dann für das nachfolgende „Scan Matching“-Verfahren verwendet werden. Ebenso kann aber die zuletzt bekannte Position und/oder Orientierung für das nachfolgende „Scan Matching“-Verfahren verwendet werden, d.h. eine solche initiale Schätzung muss nicht notwendigerweise stattfinden.
  • Weiterhin wird in einem Schritt 404 ein Scan mittels des Lidar-Sensors durchgeführt. Dabei wird, in Schritt 406, die aktuelle erste Menge 312 von Punkten 310 erster Art erhalten. In Schritt 408 werden einer oder mehrere Punkte 320 (in dem gezeigten Beispiel in 3 sind es drei Punkte) zweiter Art erhalten.
  • Anhand des einen oder der mehreren Punkte 320 wird, in einem Schritt 410, eine aktuelle zweite Menge an nachverfolgten Markern bestimmt. Daraus wiederum wird, einem Schritt 412, eine dritte Menge an nachverfolgten Markern bestimmt, die sowohl in der aktuellen zweiten Menge als auch in der zweiten Referenzmenge enthalten sind,
  • Es wird dann, in Schritt 414, ein „Scan Matching“-Verfahren angewendet. Hierbei wird auf die geschätzte oder ggf. zuletzt bekannte Position und/oder Orientierung zurückgegriffen. Wie schon erwähnt, gibt es verschiedene sogenannte „Scan Matching“-Verfahren (oder auch Verfahren zur Registrierung von Punktwolken), von denen die meisten entweder auf dem „Iterative Closest Point“-Verfahren (ICP) oder dem „Normal Distributions Transform“-Verfahren (NDT) basieren. Nachfolgend soll das NDT-Verfahren zum „Scan Matching“ als Beispiel näher erläutert werden.
  • Zunächst soll kurz die Funktionsweise eines „Scan Matching“-Verfahrens an sich erläutert werden. Als Eingabe eines „Scan Matching“-Verfahrens (dies gilt im Grunde für alle „Scan Matching“-Verfahren) sind eine aktuelle Menge an Punkten bzw. eine Punktwolke PA = {pA1, ...,>pAi }, Referenzmenge an Punkten bzw. eine Referenzpunktwolke PR = {pR1, ..., pRj} und eine initiale Schätzung der Position und/oder Orientierung der aktuellen Punktwolke TR,A relativ zur Referenzpunktwolke (oder eben ggf. die zuletzt bekannte) nötig.
  • Das NDT-„Scan Matching“-Verfahren überführt in einem ersten Schritt die Referenzpunktwolke in eine sog. NDT-Darstellung. Dabei handelt es sich um ein diskretisiertes Raster von Zellen (NDT-Zellen), die jeweils entweder leer sind oder die in ihnen enthaltenen Punkte durch eine multivariate Normalverteilung mit Mittelwert q und Kovarianzmatrix Σ approximieren. Um Diskretisierungseffekte zu vermeiden ist es zweckmäßig, mehrere überlappende Raster zu verwenden.
  • In einem zweiten Schritt werden alle Punkte der aktuellen Punktwolke basierend auf der aktuellen bzw. initialen Schätzung der Position und/oder Orientierung (Posenschätzung) TR,A in Referenzkoordinaten transformiert und mit der nächsten NDT-Zelle bzw. deren Mittelwert qi und Kovarianzmatrix Σi assoziiert.
  • In einem dritten Schritt wird diejenige relative Position und/oder Orientierung (Pose) TRr4 ermittelt, die den NDT-Score maximiert: NDT Score = i exp ( 1 2 ( T R , A   p A i q i ) t i 1 ( T R , A   p A i q i ) )
    Figure DE102022201427A1_0002
  • Der zweite und dritte Schritt werden in der Regel mehrfach wiederholt, da veränderte Posenschätzungen zu anderen Assoziationen zwischen Punkten und NDT-Zellen führen können. Diejenige relative Position und/oder Orientierung (Pose) TR,A, die diesen NDT-Score maximiert, stellt dann die aktuelle Position und/oder Orientierung dar.
  • Dieses „Scan Matching“-Verfahren kann für die erwähnte aktuelle erste Menge an Punkten erster Art und die erste Referenzmenge an Punkten erster Art durchgeführt werden, wobei die nachverfolgten Marker als Kostenfunktion zu berücksichtigen ist, wie nachfolgend erläutert werden soll.
  • Bei der Verwendung von Markern bzw. Reflektormarkern stehen neben den oben genannten Punkten (erster Art) PA und PR weiterhin die zweite Menge an Markern TAM = {tAM1 , ...,tAMk } und die entsprechende zweite Referenzmenge TRM = {tRN1 , ...,tRNl } zur Verfügung. Die zweite Menge an Markern TAM kann der vorstehend erwähnten Menge an Detektionen D entsprechen, insbesondere aber auch nur eine Teilmenge davon sein. Die (nachverfolgten) Marker können IDs bzw. Track-IDs M1..., Mk bzw. N1, ... , Nl aufweisen. Anhand der Track-IDs kann bestimmt werden, welche Marker in beiden Mengen auftauchen; dies ist dann die erwähnte dritte Menge. Es handelt sich dann um diejenigen Marker, die im aktuellen Scan erkannt worden sind und zudem aber auch schon in früheren Scans. Basierend darauf kann dann eine Kostenfunktion definiert werden: cost marker = k { M 1 , , M k } { N 1 , N l } | T R , A   t A , k t R , k | 2
    Figure DE102022201427A1_0003
  • Mithilfe dieser Kostenfunktion kann der NDT-Score angepasst werden, um einen Gesamt-Score zu erhalten: Gesamt Score = NDT _ Score w maker cost marker
    Figure DE102022201427A1_0004
    wobei der Parameter wmarker > 0 die Gewichtung von Reflektormarkern im Verhältnis zum konturbasierten Matching (Punkte erster Art) angibt. Die Ableitung von costmarker und somit auch der gesamten Scorefunktion, Gesamt-Score, lässt sich analytisch bestimmen, so dass die optimale Pose wie im gewöhnlichen „Scan Matching“ z.B. mit dem Newton-Verfahren bestimmt werden kann.
  • In einem Schritt 416 kann dann die aktuelle Position und/oder Orientierung (Pose) 418 ausgegeben werden. In einem Schritt 420 kann darauf basierend auch ein Bewegungspfad bestimmt werden, worauf basierend wiederum, in Schritt 422, Steuerungsinformationen zum Bewegen des mobilen Geräts bestimmt. werden, um dieses zu bewegen.
  • Außerdem kann, in einem Schritt 424, zumindest ein Teil der Punkte der aktuellen ersten Menge zur ersten Referenzmenge hinzugefügt werden, z.B. wenn eine gewisse Strecke zurückgelegt wurde oder der NDT-Score unterhalb eines gewissen Schwellwerts liegt oder ein neuer nachverfolgter Marker angelegt wird.

Claims (15)

  1. Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts (100) in einer Umgebung (150), in der sich das mobile Gerät (100) bewegt oder bewegen soll, umfassend: Bereitstellen (406) einer aktuellen ersten Menge (312) von Punkten (310) erster Art in der Umgebung, die ausgehend von und relativ zu dem mobilen Gerät (100) bestimmt worden sind, Bereitstellen (410) einer aktuellen zweiten Menge (322) von einem oder mehreren Markern (162, 164, 165), Bestimmen (412) einer dritten Menge (332) von nachverfolgten Markern (162, 164, 165), die sowohl in der aktuellen zweiten Menge (322) als auch in einer zweiten Referenzmenge (222) von einem oder mehreren nachverfolgten Markern (160-165) enthalten sind, und Bestimmen (416) einer aktuellen Position und/oder Orientierung (418) des mobilen Geräts (100) in der Umgebung (150), basierend auf der aktuellen ersten Menge (312), einer ersten Referenzmenge (212) von Punkten (210, 310) erster Art, der dritten Menge (332) und der zweiten Referenzmenge (222).
  2. Verfahren nach Anspruch 1, wobei das Bestimmen der aktuellen Position und/oder Orientierung des mobilen Geräts (100) umfasst, dass die erste Menge (312) mit der ersten Referenzmenge (212), im Rahmen einer Optimierung, zur Übereinstimmung gebracht wird, und dass bei der Optimierung eine Kostenfunktion, insbesondere gewichtet, berücksichtigt wird, wobei die Kostenfunktion ein Maß für Abstände der nachverfolgten Marker zwischen der dritten Menge (332) und der zweiten Referenzmenge (222) angibt.
  3. Verfahren nach Anspruch 2, wobei die erste Menge (312) mit der ersten Referenzmenge (212) zur Übereinstimmung gebracht wird, indem eine Transformation bestimmt wird, die die erste Menge (312) auf die erste Referenzmenge (212) abbildet, und wobei die aktuelle Position und/oder Orientierung (414) des mobilen Geräts (100) in der Umgebung (150) basierend auf der Transformation bestimmt wird, und wobei vorzugsweise die Transformation in der Kostenfunktion berücksichtigt wird.
  4. Verfahren nach einem der vorstehenden Ansprüche, weiterhin umfassend nach dem Bestimmen (416) der aktuellen Position und/oder Orientierung (418) des mobilen Geräts (100): Hinzufügen von Markern der aktuellen zweite Menge (322), die nicht in der dritten Menge enthalten sind, zu der zweiten Referenzmenge (222).
  5. Verfahren nach einem der vorstehenden Ansprüche, wobei Marker anhand von Punkten zweiter Art (320) bestimmt werden oder worden sind, sodass Punkte zweiter Art den Markern entsprechen, und wobei Punkte (210, 310) erster Art anderen Objekten in der Umgebung als den vordefinierten Markern entsprechen.
  6. Verfahren nach einem der vorstehenden Ansprüche, wobei Punkte (210, 310) erster Art und/oder Punkte (220, 320) zweiter Art mittels Entfernungsmessung, insbesondere mittels eines Lidar-Sensors (120) des mobilen Geräts (100), bestimmt werden oder worden sind.
  7. Verfahren nach Anspruch 6, wobei Punkte (220, 320) zweiter Art einer bei der Entfernungsmessung bestimmten Lichtintensität entsprechen, die oberhalb eines Schwellwerts liegt, und wobei Punkte (210, 310) erster Art einer bei der Entfernungsmessung bestimmten Lichtintensität entsprechen, die unterhalb eines Schwellwerts liegt.
  8. Verfahren nach einem der vorstehenden Ansprüche, wobei zumindest ein Teil der Punkte der aktuellen ersten Menge (310) zur ersten Referenzmenge (210) hinzugefügt wird, wenn zumindest ein Kriterium erfüllt ist, das vorzugsweise ein Kriterium umfasst, das bedingt, dass der zweiten Menge ein neuer nachverfolgter Marker hinzugefügt wird.
  9. Verfahren nach einem der vorstehenden Ansprüche, weiterhin umfassend: Bestimmen (420) eines Bewegungspfads (102), auf dem sich das mobile Gerät (100) in der Umgebung (150) bewegen soll, basierend auf der aktuellen Position und/oder Orientierung (414) mobilen Geräts.
  10. Verfahren nach Anspruch 9, weiterhin umfassend: Bestimmen (422), basierend auf dem Bewegungspfad (102) und der aktuellen Position und/oder Orientierung (414), von Steuerungsinformationen zum Bewegen des mobilen Geräts (100), und Bereitstellen der Steuerungsinformationen und/oder Bewegen des mobilen Geräts (100) basierend auf den Steuerungsinformationen.
  11. Recheneinheit (110), die dazu eingerichtet ist, die Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
  12. Mobiles Gerät (100) mit einer Recheneinheit (110) nach Anspruch 11.
  13. Mobiles Gerät (100) nach Anspruch 12, das als sich zumindest teilweise automatisiert bewegendes Fahrzeug, insbesondere als Personenbeförderungsfahrzeug oder als Güterbeförderungsfahrzeug, oder als Roboter, ausgebildet ist.
  14. Computerprogramm, das eine Recheneinheit (110) veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen, wenn es auf der Recheneinheit (110) ausgeführt wird.
  15. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 14.
DE102022201427.8A 2022-02-11 2022-02-11 Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung Pending DE102022201427A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022201427.8A DE102022201427A1 (de) 2022-02-11 2022-02-11 Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022201427.8A DE102022201427A1 (de) 2022-02-11 2022-02-11 Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung

Publications (1)

Publication Number Publication Date
DE102022201427A1 true DE102022201427A1 (de) 2023-08-17

Family

ID=87430473

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022201427.8A Pending DE102022201427A1 (de) 2022-02-11 2022-02-11 Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung

Country Status (1)

Country Link
DE (1) DE102022201427A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046109A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Positionsbestimmungssystem
DE102010060942A1 (de) 2010-12-01 2012-06-06 Sick Ag Sensoranordnung zur Objekterkennung
DE102011012689A1 (de) 2011-03-01 2012-09-06 E&K Automation GmbH Verfahren zur Bestimmung der Position eines Objekts in einem Bezugssystem
DE102020118629A1 (de) 2020-07-15 2022-01-20 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046109A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Positionsbestimmungssystem
DE102010060942A1 (de) 2010-12-01 2012-06-06 Sick Ag Sensoranordnung zur Objekterkennung
DE102011012689A1 (de) 2011-03-01 2012-09-06 E&K Automation GmbH Verfahren zur Bestimmung der Position eines Objekts in einem Bezugssystem
DE102020118629A1 (de) 2020-07-15 2022-01-20 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs

Similar Documents

Publication Publication Date Title
EP3491417B1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
DE102014005181A1 (de) Positions- und Lagebestimmung von Objekten
DE102013113570A1 (de) Bayes-Netz zum Nachführen von Objekten unter Verwendung von Absuchpunkten unter Verwendung mehrerer LiDAR-Sensoren
DE102018124108A1 (de) VERFAHREN UND VORRICHTUNG ZUM ERFASSEN EINER STRAßENBEGRENZUNG
DE102020124236A1 (de) Mehrweg-geisterabmilderung im fahrzeug-radarsystem
DE102019112649A1 (de) Vorrichtung und verfahren zur verbesserten radarstrahlformung
DE102018123393A1 (de) Erkennung von Parkflächen
EP4055459B1 (de) Computer-implementiertes verfahren zum erstellen einer umgebungskarte für das betreiben eines mobilen agenten
EP2749982B1 (de) Bezugsmodellerzeugung und Aktualisierung
DE102021206075A1 (de) Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge
DE102008008499B4 (de) Verfahren zur rechnergestützten Berechnung der Bewegung eines Objekts aus Sensordaten
DE102022201427A1 (de) Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung
DE102022201421A1 (de) Verfahren zum Bestimmen einer Position und/oder Orientierung eines mobilen Geräts in einer Umgebung
DE102019203623A1 (de) Verfahren zur Bereitstellung einer Karte
DE102020127315B4 (de) System und Verfahren zum Annotieren von Automobilradardaten
EP0417665A2 (de) Verfahren und Vorrichtung zur optischen Positions- und/oder Fahrtrichtungsbestimmung eines fahrerlosen eigen/angetriebenen Fahrzeugs in der x-y-Ebene
DE102022211112A1 (de) Verfahren zum Bestimmen von Markern für eine Position und/oder Orientierung eines mobilen Geräts in einer Umgebung
DE102020206355A1 (de) Erstellen einer Umgebungskarte
DE102019126074A1 (de) Analyse einer Umgebung eines aktiven optischen Sensorsystems
DE102019214008A1 (de) Verfahren und Vorrichtung zur Lokalisierung eines mobilen Agenten in einer Umgebung mit dynamischen Objekten
WO2020001690A1 (de) Verfahren und system zur erkennung von hindernissen
DE102018130745A1 (de) Verfahren zur Steuerung eines autonomen Fahrzeugs
DE102020216317A1 (de) Innenraumlokalisierung beweglicher Objekte
EP2251849B1 (de) Verfahren zur verbesserten Erkennung von leitungsartigen Objekten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication