DE102021212697A1

DE102021212697A1 - Verfahren zum Bestimmen eines Bewegungspfades für ein mobiles Gerät

Info

Publication number: DE102021212697A1
Application number: DE102021212697.9A
Authority: DE
Inventors: Niels Van Duijkeren; Lukas Heuer; Luigi Palmieri; Andrey Rudenko; Kai Oliver Arras
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2023-05-11
Also published as: WO2023083584A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Geräte-Bewegungspfades (202), entlang dessen sich ein mobiles Gerät (200), insbesondere ein Roboter oder ein zumindest teilautomatisiert fahrendes Fahrzeug, in einer Umgebung (220) bewegen soll, umfassend ein Bereitstellen von Objektinformationen von einem oder mehreren mobilen Objekten (230, 240, 250, 260, 270, 280) in der Umgebung und Bestimmen, basierend auf den Objektinformationen, für das eine oder für jedes der mehreren Objekte, jeweils zumindest eines möglichen Objekt-Bewegungspfads (232.1, 232.2, 232.3, 232.4); ein Bereitstellen von Geräteinformationen von dem mobilen Gerät (200) und Bestimmen, basierend auf den Geräteinformationen, einer Position und/oder Orientierung des mobilen Geräts (200); und ein Bestimmen des Geräte-Bewegungspfades (202), basierend auf der Position und/oder Orientierung des mobilen Geräts, derart, dass für jedes der Objekte eine Wahrscheinlichkeit einer Kollision des mobilen Gerätes mit dem jeweiligen Objekt jeweils geringer als ein vorgegebener Schwellwert ist, sowie ein mobiles Gerät (200).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Bewegungspfades, entlang dessen sich ein mobiles Gerät, insbesondere ein Roboter, eine Drohne oder ein sich zumindest teilautomatisiert bewegendes Fahrzeug, in einer Umgebung bewegen soll sowie eine Recheneinheit, ein mobiles Gerät und ein Computerprogramm zu dessen Durchführung.
Hintergrund der Erfindung
Mobile Geräte wie z.B. Roboter oder sich zumindest teilautomatisiert bewegende Fahrzeuge bewegen sich typischerweise entlang eines Bewegungspfades in einer zu Umgebung wie z.B. einer Wohnung, in einem Garten oder auf der Straße, in der Luft oder im Wasser. Der Bewegungspfad wird hierzu z.B. so geplant bzw. bestimmt, dass er möglichst kurz ist, wenn ein bestimmtes Ziel erreicht werden soll. Dabei sollten Hindernisse bzw. Objekte in der Umgebung berücksichtigt werden. Dabei kann die Planung bzw. Bestimmung des Bewegungspfades schwierig werden, wenn sich solche Objekte bzw. Hindernisse selbst auch bewegen, wie z.B. Menschen oder andere Fahrzeuge.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren zum Bestimmen eines Bewegungspfades für ein mobiles Gerät sowie eine Recheneinheit, ein mobiles Gerät und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beschäftigt sich mit mobilen Geräten, die sich entlang eines bestimmten Bewegungspfades in einer Umgebung bewegen bzw. bewegen sollen. Beispiele für solche mobilen Geräte sind z.B. Roboter, Drohnen oder auch sich teilautomatisiert oder (vollständig) automatisiert (zu Land, Wasser oder in der Luft) bewegende Fahrzeuge. Als Roboter kommen z.B. Haushaltsroboter wie Saug- und/oder Wischroboter, Boden- oder Straßenreinigungsgeräte oder Rasenmähroboter in Betracht, ebenso aber auch andere sog. Service-Roboter, als sich zumindest teilweise automatisiert bewegende Fahrzeuge z.B. Personenbeförderungsfahrzeuge oder Güterbeförderungsfahrzeuge (auch sog. Flurförderfahrzeuge, z.B. in Lagerhäusern), aber auch Luftfahrzeuge wie sog. Drohen oder Wasserfahrzeuge.
Ein Aspekt, mit dem sich die Erfindung beschäftigt, ist die Berücksichtigung von mobilen Objekten bzw. Hindernissen in der Umgebung, in der sich das mobile Gerät bewegt bzw. bewegen soll. Unter einem mobilen Objekt soll dabei insbesondere verstanden werden, dass sich das Objekt selbst bewegt, d.h. seine Position und/oder Orientierung (sog. Pose) ändert oder zumindest ändern kann. Dabei kann es sich z.B. um Menschen bzw. allgemein Lebewesen handeln oder auch um andere Fahrzeuge.
Bei der Bestimmung eines Bewegungspfades für ein mobiles Gerät - nachfolgend auch als Geräte-Bewegungspfad bezeichnet - ist es also zweckmäßig, nicht nur Objekte an sich, sondern auch deren mögliche Bewegungen, also insbesondere mögliche zukünftige Positionen, zu berücksichtigen, um Kollisionen zwischen dem mobilen Gerät und einem Objekt möglichst zu vermeiden.
Ein solcher Geräte-Bewegungspfad kann z.B. basierend auf einem vorgegebenen Zielpunkt in der Umgebung und/oder basierend auf einem vorgegebenen Weg bestimmt und/oder angepasst werden, d.h. das mobile Gerät soll z.B. auf einem grundsätzlich beliebigen Weg ein bestimmtes Ziel erreichen. Ebenso kann aber ein bestimmter Weg zumindest dem Grundsatz nach vorgegeben sein, z.B. eine Straße, dem zumindest abschnittsweise gefolgt werden soll, der ggf. aber auch angepasst werden kann.
Vor diesem Hintergrund wird vorgeschlagen, dass basierend auf Objektinformationen von einem oder mehreren mobilen Objekten in der Umgebung (z.B. in einer ausführenden Recheneinheit wie einer Steuereinheit eines Roboters) für das eine oder für mindestens eines oder jedes der mehreren Objekte zumindest ein möglicher Objekt-Bewegungspfad bestimmt wird. Unter einem möglichen Objekt-Bewegungspfad ist dabei ein Bewegungspfad eines Objektes in der Umgebung zu verstehen, entlang dessen sich das Objekt bewegen könnte oder bewegen wird, und zwar insbesondere in der Zukunft, ausgehend von dem Zeitpunkt, zu dem der Bewegungspfad bestimmt wird. Ein solcher Objekt-Bewegungspfad wird also prädiziert.
Hierzu können als Objektinformationen z.B. Abstandsinformationen oder andere Informationen verwendet werden, die zumindest teilweise unter Verwendung wenigstens einer Sensoreinheit des mobilen Geräts, wie z.B. einer Kamera und/oder einen Lidar-Sensor, erhalten bzw. erfasst werden oder worden sind und dem Bestimmungsvorgang bereitgestellt werden. Basierend darauf lassen sich zunächst z.B. eine aktuelle Position und/oder Orientierung (sog. Pose) des Objekts bestimmen. Dies kann z.B. über einen aktuellen Abstand vom mobilen Gerät, und auch unter Berücksichtigung einer Veränderung des Abstands, ggf. auch unter Berücksichtigung einer Bewegung des mobilen Gerätes selbst, erfolgen. Ebenso kann z.B. ein Winkel, unter dem das Objekt aus Sicht des mobilen Geräts bzw. dessen Sensoreinheit erfasst wird, berücksichtigt werden, ebenso eine Veränderung des Winkels. Grundsätzlich denkbar ist z.B. auch die Bildanalyse von Bildern einer Kamera, um z.B. eine Orientierung des Objekts zu bestimmen.
Denkbar ist aber ebenso, insbesondere wenn es sich um andere Fahrzeuge als mobile Objekte handeln, die Objektinformationen (zumindest teilweise) von den Objekten selbst zu erhalten, z.B. im Rahmen sog. Fahrzeug-zu-Fahrzeug- bzw. Car-to-Car-Kommunikation. Denkbar ist auch der Erhalt von Objektinformationen von weiteren Kommunikationsteilnehmern im Straßenverkehr, z.B. sog. Car-to-X-Kommunikation.
Basierend auf der aktuellen Position und/oder Orientierung können dann wiederum zukünftige Positionen und/oder Orientierungen prädiziert bzw. vorausgesagt werden. Damit wird ein möglicher Objekt-Bewegungspfad (eine sog. Trajektorie) bestimmt, entlang dessen sich das Objekt zumindest mit gewisser Wahrscheinlichkeit bewegen wird.
Dabei können verschiedene Möglichkeiten verwendet werden, solche Objekt-Bewegungspfade zu bestimmen bzw. eine zukünftige Bewegung eines Objekts vorauszusagen. Beispiele hierfür sind z.B. in „Trajectron++: Dynamically-Feasible Trajectory Forecasting With Heterogeneous Data, by Tim Salzmann, Boris Ivanovic, Punarjay Chakravarty, and Marco Pavone, ECCV 2020 paper“, in „Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks, Gupta et al, CVPR 2018“, oder in „Helbing, Dirk, and Peter Molnar. Social force model for pedestrian dynamics. Physical review E 51, no. 5 (1995): 4282“ beschrieben.
Besonders bevorzugt ist es dabei, wenn für zumindest ein Objekt mehrere mögliche Objekt-Bewegungspfade bestimmt werden; dabei kann dann jeweils eine Eintrittswahrscheinlichkeit für jeden der mehreren möglichen Objekt-Bewegungspfade berücksichtigt werden. In diesem Zusammenhang kann auch von sog. multi-modalen Prädiktionen gesprochen werden, da nicht nur ein oder der wahrscheinlichste Objekt-Bewegungspfad für ein bestimmtes Objekt berücksichtigt wird, sondern mehrere mögliche Objekt-Bewegungspfade. Damit kann letztlich eine genauere Bestimmung eines kollisionsfreien Geräte-Bewegungspfades erfolgen. Dabei können mehrere mögliche Objekt-Bewegungspfade für das eine Objekt (wenn es nur eines gibt) oder aber auch für zumindest eines der mehreren Objekte, also z.B. auch für einige der mehreren Objekte oder alle Objekte, bestimmt werden.
Weiterhin wird basierend auf Geräteinformationen von dem mobilen Gerät (z.B. in der ausführenden Recheneinheit) eine Position und/oder Orientierung des mobilen Geräts bestimmt (bzw. ermittelt). Hierzu können als Geräteinformationen z.B. Abstandsinformationen (z.B. zu anderen Objekten in der Umgebung) oder andere Informationen wie z.B. eine aktuelle Geschwindigkeit und/oder Beschleunigung, auch Lenkstellung und dergleichen, verwendet werden, die zumindest teilweise unter Verwendung wenigstens einer Sensoreinheit z.B. des mobilen Geräts, wie z.B. einer Kamera und/oder eines Lidar-Sensors und/oder eines Inertialsensors, erhalten bzw. erfasst werden oder worden sind und dem Bestimmungsvorgang bereitgestellt werden.
Weiterhin wird basierend auf der Position und/oder Orientierung des mobilen Geräts der Geräte-Bewegungspfad bestimmt bzw. ermittelt, und zwar derart, dass für das eine oder zumindest eines oder jedes der mehreren Objekte eine Wahrscheinlichkeit einer Kollision des mobilen Gerätes mit dem jeweiligen Objekt jeweils geringer als ein vorgegebener Schwellwert ist. Ein solcher Schwellwert kann insbesondere besonders gering gewählt oder vorgegeben werden, um eine Kollision möglichst sicher zu verhindern.
In diesem Zusammenhang sei erwähnt, dass der vollständige Ausschluss einer Kollision in der Praxis nicht möglich ist; jedoch hat sich gezeigt, dass die Wahl eines sehr geringen Schwellwerts hierfür in der Praxis ausreichend ist, um eine Kollision hinreichend sicher zu vermeiden. Trotzdem kann die Bestimmung oder Berechnung des Geräte-Bewegungspfades hinreichend schnell erfolgen, sodass insbesondere eine Bewegung des mobilen Geräts in Echtzeit ermöglicht wird.
Eine Kollision des mobilen Gerätes mit dem jeweiligen Objekt wird hierbei insbesondere dann angenommen, wenn sich das Gerät auf dem Geräte-Bewegungspfad (auf dem es sich bewegen wird) dem Objekt auf irgendeinem der zugehörigen Objekt-Bewegungspfade auf weniger als einen vorgegebenen Abstand nähert. Der vorgegebene Abstand kann dabei so gewählt werden, dass unter Berücksichtigung von geometrischen Abmessungen des mobilen Geräts und der Objekte keine Berührung zwischen dem mobilen Gerät und dem jeweiligen Objekt eintritt. Ebenso kann aber auch ein Sicherheitsabstand berücksichtigt werden, sodass sich das mobile Gerät z.B. auf nicht weniger als 1 m oder einen anderen Wert einem Objekt nähern soll; andernfalls würde eine Kollision angenommen. Dies kann insbesondere bei Lebewesen als Objekte zweckmäßig sein, zumal trotz der mehreren möglichen Objekt-Bewegungspfade unerwartete Bewegungen auftreten können.
Vorzugsweise werden basierend auf dem Geräte-Bewegungspfad weiterhin Bewegungssteuergrößen für das mobile Gerät bestimmt, also Größen oder Stellgrö-ßen, die verwendet werden können, um die Bewegung des mobilen Geräts zu veranlassen bzw. zu steuern. Dabei kann es sich z.B. um Werte für Geschwindigkeit, Beschleunigung oder Lenkeinschlag handeln. Das mobile Gerät wird in diesem Sinne dann insbesondere auch entlang des Bewegungspfades bzw. entsprechend der Bewegungssteuergrößen bewegt.
Besonders bevorzugt wird der Geräte-Bewegungspfad im Rahmen einer modellbasierten Regelung, insbesondere einer modell-prädiktiven Regelung (MPC), bestimmt. Ebenso können dann die Bewegungssteuergrößen im Rahmen der modellbasierten bzw. modellprädiktiven Regelung bestimmt werden.
Die modellprädiktive Regelung, meistens „Model Predictive Control“ (MPC) genannt, ist eine Methode zur prädiktiven Regelung von insbesondere komplexen, in der Regel multi-variablen Prozessen. Bei der MPC wird ein zeitdiskretes dynamisches Modell des zu regelnden Prozesses - hier der Bewegung des mobilen Geräts - verwendet, um das zukünftige Verhalten des Prozesses in Abhängigkeit von den Eingangssignalen zu berechnen. Dies ermöglicht die Berechnung des - im Sinne einer Gütefunktion - optimalen Eingangssignales, das zu optimalen Ausgangssignalen führt. Dabei können gleichzeitig Eingangs-, Ausgangs- und Zustandsbeschränkungen berücksichtigt werden. Während das Modellverhalten bis zu einem bestimmten Zeithorizont N prädiziert wird, wird in der Regel nur das Eingangssignal für den nächsten Zeitschritt verwendet und danach die Optimierung wiederholt. Dabei wird die Optimierung im nächsten Zeitschritt mit dem dann aktuellen (gemessenen) Zustand durchgeführt, was als eine Rückkopplung aufgefasst werden kann und die MPC im Gegensatz zu sog. Optimalsteuerungen zu einer Regelung macht. Dies erlaubt die Berücksichtigung von Störungen. Grundsätzlich können aber auch andere Arten der modellbasierten Regelung verwendet werden. Für nähere Erläuterungen hierzu sei auch auf die Figurenbeschreibung verwiesen.
Mit dem vorgeschlagenen Vorgehen können also insbesondere gleichzeitig die multimodalen Vorhersagen der mobilen Objekte bzw. Hindernisse in der Umgebung und Sicherheitsaspekte, die auch die Bewegungsunsicherheit dieser Hindernisse berücksichtigen, d.h. die Möglichkeit einer Kollision mit den Hindernissen, berücksichtigt werden. Es wird ein Verfahren vorgeschlagen, das praktikable Lösungen liefert, die kollisionsfrei sind, d.h. es wird ein gewisser Abstand zu den mobilen Objekten bzw. Hindernissen eingehalten. Es wird also eine sichere Bewegung des mobilen Geräts in der Umgebung erreicht.
Eine erfindungsgemäße Recheneinheit, z.B. eine Steuereinheit eines Roboters, einer Drohne, eines Fahrzeugs usw., ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Die Erfindung betrifft ebenfalls ein mobiles Gerät mit wenigstens einer Sensoreinheit zum Erfassen von Objektinformationen und/oder von Geräteinformationen und einer erfindungsgemäßen Recheneinheit. Es kann sich dabei z.B. um ein sich zumindest teilweise automatisiert bewegendes Fahrzeug, insbesondere Personenbeförderungsfahrzeug oder Güterbeförderungsfahrzeug, eine Drohne oder einen Roboter, insbesondere Haushaltsroboter, z.B. Saug- und/oder Wischroboter, Boden- oder Straßenreinigungsgerät oder Rasenmähroboter, handeln.
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN-Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
Figurenliste

1 zeigt schematisch ein mobiles Gerät in einer bevorzugten Ausführungsform der Erfindung.
2 zeigt schematisch mobiles Gerät in einer Umgebung zur näheren Erläuterung einer bevorzugten Ausführungsform der Erfindung.
3 zeigt schematisch einen Ablauf eines Verfahrens in einer bevorzugten Ausführungsform der Erfindung.

Ausführungsform(en) der Erfindung
In 1 ist schematisch ein mobiles Gerät 100 gemäß einer bevorzugten Ausführungsform der Erfindung dargestellt. Beispielhaft handelt es sich bei dem mobilen Gerät 100 um ein automatisiert fahrendes Fahrzeug, das sich auf einer Straße 110 in einer Umgebung 120 befindet und z.B. die Straße entlangfahren soll.
Außerdem ist beispielhaft ein Mensch als mobiles Objekt 130 gezeigt, der z.B. auf die Straße 110 zugeht. Das Fahrzeug 100 soll nun z.B. die Straße 110 im Sinne eines vorgegebenen Wegs entlangfahren; dabei soll es aber keine Kollision mit dem Menschen 130 geben, der möglicherweise die Straße 110 betrifft, ggf. auch auf die rechte Spur, auf der das Fahrzeug 100 fährt, wechseln könnte.
Das Fahrzeug 100 weist beispielhaft eine Kamera 104 und einen Lidar-Sensor 106 als Sensoreinheiten auf, mittels welcher die Umgebung 120 und damit auch der Mensch 130 und insbesondere ein Abstand des Menschen 130 zum Fahrzeug 100 sowie ggf. eine Bewegungsrichtung des Menschen 130 erfasst werden können. Es handelt sich dabei um Objektinformationen. Ebenso können damit z.B. Bewegungsinformationen des Fahrzeugs 100 selbst - Geräteinformationen - erfasst werden. Außerdem weist das Fahrzeug 100 eine als Steuergerät ausgebildete Recheneinheit 102 auf, die von der Kamera 104 und dem Lidar-Sensor 106 erfasste Informationen, z.B. die erwähnten Objektinformationen sowie die Geräteinformationen, erhält und verarbeiten kann, um letztlich Gerätesteuerinformationen zu bestimmen, anhand welcher das Fahrzeug 100 gesteuert wird.
Der hier gezeigte Fall stellt nur ein Beispiel für eine Anwendung der Erfindung dar; wie erwähnt, kann es sich bei dem mobilen Gerät z.B. auch um einen Roboter handeln, der sich in einer Umgebung bewegt bzw. bewegen soll, und dabei Kollisionen mit mobilen Objekten oder Hindernissen vermeiden soll.
In 2 ist schematisch ein mobiles Gerät 200 in einer Umgebung 220 zur näheren Erläuterung der Erfindung in einer bevorzugten Ausführungsform dargestellt. Es kann sich bei dem mobilen Gerät 200 z.B. wieder um das Fahrzeug gemäß 1 handeln, allerdings ist die Situation hier abstrahiert dargestellt: das mobile Gerät 200 ist nur als Punkt gezeigt. Ebenso sind beispielhaft sechs mobile Objekte 230, 240, 250, 260, 270 und 280 jeweils als Punkte gezeigt.
Mit 201 ist nun ein zurückliegender Geräte-Bewegungspfad des mobilen Geräts 200 dargestellt, d.h. ein Weg, entlang dessen sich das mobile Gerät 200 bereits bewegt hat. Mit 202 hingegen ist ein Geräte-Bewegungspfad des mobilen Geräts 200 dargestellt, entlang dessen es sich bewegen soll, d.h. der Geräte-Bewegungspfad 202 ist derjenige, den es im Rahmen der Erfindung zu bestimmen gilt.
Mit 231 ist ein zurückliegender Objekt-Bewegungspfad des Objekts 230 dargestellt, d.h. ein Weg, entlang dessen sich das Objekt 230 bereits bewegt hat. Mit 232.1, 232.2, 232.3 und 232.4 hingegen sind mögliche Objekt-Bewegungspfade des Objekts 230 dargestellt, entlang derer es sich möglicherweise bewegen könnte, ausgehend von der Position, in der es sich aktuell befindet. Diese möglichen Objekt-Bewegungspfade 232.1, 232.2, 232.3 und 232.4 können im Rahmen eines erfindungsgemäßen Verfahrens bestimmt werden, um den Geräte-Bewegungspfad 202 des mobilen Geräts 200 derart zu bestimmen, dass die Wahrscheinlichkeit einer Kollision des mobilen Gerätes 200 mit dem Objekt 230 jeweils geringer als ein vorgegebener Schwellwert bzw. möglichst gering ist.
Ebenso sind für die Objekte 240, 250, 260, 270 und 280 jeweils ein zurückliegender Objekt-Bewegungspfad 241, 251, 261, 271 und 281 sowie mögliche Objekt-Bewegungspfade dargestellt, wobei letztere der Übersichtlichkeit halber nur objektweise mit 242, 252, 262, 272 bzw. 282 bezeichnet sind.
In 3 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt, insbesondere mit einer modellprädiktiven Regelung. Anhand dieses Ablaufs und in Bezug auf 2 soll nachfolgend die Erfindung anhand eines konkreten Ausführungsbeispiels näher erläutert werden.
Dabei handelt es sich grundsätzlich um ein typisches Schema eines Algorithmus zur modellprädiktiven Regelung. Der Algorithmus führt bei jeder Iteration eine Optimierung bzw. einen Optimierungsschritt 310 durch, der eine bestimmte Kostenfunktion 320 zur Minimierung, ggf. Randbedingungen und das Modell 300 des mobilen Geräts berücksichtigt. Auf Basis der bzw. mittels der Sensoreinheiten, wie in Bezug auf 1 erwähnt, können Objektinformationen 342 und Geräteinformationen 332, also Merkmale aus der Umgebung 340 und vom mobilen Gerät 330 selbst, erhalten werden. Damit können z.B. Positionen von Objekten bzw. Lebewesen oder ein Abstand zu Hindernissen bestimmt bzw. berechnet werden. Diese Informationen können also in die Kostenfunktion 320, ggf. Randbedingungen und das Modell 300 einfließen bzw. diesem bereitgestellt werden.
Ein Algorithmus zur modellprädiktiven Regelung berechnet bei jeder Iteration - für einen Soll-Zustand x_Ref wie z.B. eine gewünschte Pose des mobilen Geräts - eine Sequenz von Steuer- oder Stellgrößen u_t+1,t+T. Im Rahmen der vorliegenden Erfindung wird in diesem Zusammenhang allgemein auch von Bewegungssteuergrößen gesprochen. Auf das mobile Gerät wird aber nur die erste Stellgröße u_t+1 angewendet, die restlichen werden an das Modell übergeben, das zur Berechnung der Kostenfunktionen und ggf. der Randbedingungen im Optimierungsschritt verwendet wird, wobei dann auch Zustände x_t+1,t+T erhalten werden. Zur Lösung eines solchen Planungs- und Steuerungsproblems können verschiedene Arten von Optimierungen oder Optimieren verwendet werden, z.B. im Rahmen eines nichtlinearen Programmablaufs.
Ein erster Schritt kann darin bestehen, die möglichen Objekt-Bewegungspfade der Objekte in der Umgebung, wie in 2 gezeigt, zu bestimmen bzw. zu prädizieren; dies kann basierend auf den von den Sensoreinheiten erfassten Werten bzw. Objektinformationen erfolgen.
Sobald die möglichen Objekt-Bewegungspfade verfügbar sind, können sie an einen modifizierten zufallsbeschränkten Algorithmus zur modellprädiktiven Regelung übergeben werden. Eine grundsätzliche Definition einer Zufallsbeschränkung wird z.B. in „A Real-Time Approach for Chance-Constrained Motion Planning With Dynamic Obstacles. Manuel Castillo-Lopez, Philippe Ludivig, Seyed Amin Sajadi-Alamdari, Jose Luis Sanchez-Lopez,Miguel A. Olivares-Mendez, and Holger Voos, IEEE Robotics and Automation Letters, Volume: 5, Issue: 2, April 2020, Page(s): 3620 - 3625“ beschrieben. Dabei kann eine grundsätzliche Definition einer Zufallsbeschränkung modifiziert werden, sodass sie in die Lage versetzt wird, mehrere mögliche Objekt-Bewegungspfade zu berücksichtigen, die durch ein multimodales Verfahren zur Vorhersage der Bewegung erzeugt werden, und zwar entsprechend folgender Formel: $min_{u_{R,0 : T - 1}} \sum_{t = 0}^{T - 1} ({‖ x_{R, t} - x_{g o a l} ‖}_{A}^{2} + {‖ u_{R, t} ‖}_{B}^{2}) + {‖ x_{R, T} - x_{g o a l} ‖}_{C}^{2}$
Dabei gilt: $x_{R, t + 1} = ƒ (x_{R, t}, u_{R, t}) \forall t \in [0, T - 1]$
$x_{R,0} = x_{R, m}$
$\sum_{z = 1}^{z} p_{z}^{h} P (x_{R, t} \in F_{z, t}^{h}) \geq 1 - α_{t}^{h} \forall t \in [1, T], \forall h \in H$
$x_{R, t} \in X R \forall t \in [0, T]$
$u_{R t} \in U_{R} \forall t \in [0, T - 1]$
Mit dieser Formel wird der Abstand zum Zielwert x_goal und der Stellgröße u_R minimiert, und es können verschiedene Kostenfunktionen übernommen sowie das Verfahren auch im dreidimensionalen Raum angewendet werden. Dabei sind u_R,t die auf das mobile Gerät angewendeten bzw. anzuwendenden Stellgröße(n) und x_R,t der Zustand des gesamten Systems (d.h. mobiles Gerät und mobile Objekte) zum Zeitpunkt t (t=0 soll den Anfangszustand bezeichnen). Die Dynamik des Systems, d.h. insbesondere die Tatsache, dass sich das mobile Geräte selbst, bewegt bzw. bewegen kann, wird durch die Funktion ƒ(x_R,t,u_R,t) dargestellt. Auch in diesem Fall kann mit Modellen und Beobachtungen gearbeitet werden, die ein Rauschen umfassen.
In der genannten Formel kann dann der Multimodalitätsaspekt berücksichtigt werden durch eine Anzahl Z an Kollisionswahrscheinlichkeiten von jeweils einer Anzahl H Objekten oder Lebewesen (oder dynamischen bzw. mobilen Hindernisse), d.h. eine Kollisionswahrscheinlichkeit für jeden möglichen Objekt-Bewegungspfad. Für jeden Objekt-Bewegungspfad kann eine Eintrittswahrscheinlichkeit als p^h _z angegeben werden; sie kann z.B. im Rahmen der erwähnten Möglichkeiten, solche Objekt-Bewegungspfade zu bestimmen, bestimmt werden.
Jedem Objekt-Bewegungspfad kann auch eine Neben- oder Randbedingung P(x_R,t∈F^h _z,t) ≥ 1-α^h zugeordnet und dann mit ihrer Eintrittswahrscheinlichkeit gewichtet werden. Insbesondere erfordert diese Bedingung z.B., dass das mobile Gerät mit einer Wahrscheinlichkeit größer als 1-α^h Teil des realisierbaren Raumes F^h _z,t ist, d.h. des Raums bzw. der Umgebung, in der keine Kollision auftritt.
Die Neben- bzw. Randbedingung P(x_R,t∈F^h _z,t) ≥ 1-α^h ist numerisch in der Regel nicht lösbar. Daher kann sie - ähnlich wie in „A Real-Time Approach for Chance-Constrained Motion Planning With Dynamic Obstacles. Manuel Castillo-Lopez, Philippe Ludivig, Seyed Amin Sajadi-Alamdari, Jose Luis Sanchez-Lopez, Miguel A. Olivares-Mendez, and Holger Voos, IEEE Robotics and Automation Letters, Volume: 5, Issue: 2, April 2020, Page(s): 3620 - 3625“ - in eine deterministische Näherung umgewandelt werden, nämlich folgende Bedingung: $Λ_{t = 1}^{T} Λ_{h = 1}^{T} \sum_{z = 1}^{Z} p_{z}^{h} {(\sum_{j = 1}^{2} (\frac{({\hat{x}}_{R, t}^{j} - {\hat{x}}_{H, z, t}^{h, j})}{d^{h, j} + Ψ^{- 1} (1 - α_{t}^{h}) \sqrt{\sum_{R, t}^{j} + \sum_{H, z, t}^{h, j}}})}^{2} - 2) \geq 0$
Diese Bedingung schreibt vor, dass die Posen (d.h. Position und/oder Orientierung) des mobilen Geräts und der mobilen Objekte (z.B. der Menschen) nicht kollidieren dürfen; es handelt sich also um eine Sicherheitsbedingung für den Betrieb des mobilen Geräts. Diese Bedingung hängt von der Unsicherheit des Modells (∑^j _R,t) und der vorhergesagten Pose der Objekte (∑^h,j _H,z,t) ab. Der Parameter α wird verwendet, um eine akzeptierte Kollisionswahrscheinlichkeit zu definieren. Es handelt sich also um den erwähnten, vorgegebenen Schwellwert, unterhalb dessen die Wahrscheinlichkeit einer Kollision des mobilen Gerätes mit dem jeweiligen Objekt sein soll (dieser Schwellwert kann sehr niedrig vorgegeben werden).
Mit d^h,j ist der zulässiger Abstand bezeichnet, auf den sich das mobile Gerät und ein Objekt höchstens nähern dürfen, um keine Kollision anzunehmen. Dies kann z.B. intuitiv die Radien (geometrische Abmessungen) von mobilem Gerät oder Objekt umfassen. Mit Ψ^-1 ist eine inverse kumulative Verteilungsfunktion bezeichnet, die sich grundsätzlich auf eine beliebige Zufallsvariable beziehen kann. Mit x^j _R,t ist die j-Koordinate der Pose des mobilen Geräts zum Zeitpunkt t bezeichnet, mit x^h,j _H,z,t ist die j-Koordinate des mobilen Objekts h bezeichnet, z.B. erzeugt durch den vorhergesagten Objekt-Bewegungspfad z zum Zeitpunkt t. Mit H ist die Anzahl der mobilen Objekte bezeichnet, T gibt die Anzahl der MPC-Vorhersageschritte und Z die Anzahl der möglichen Objekt-Bewegungspfade eines Objekts.
Das Ergebnis dieses Optimierungsschritts ist jeweils eine kollisionsfreie Trajektorie (Geräte-Bewegungspfad), dem das mobile Gerät folgen soll, wie z.B. mit 202 in 2 gezeigt. Der Optimierungsschritt ist insbesondere Teil eines MPC-Algorithmus, wie zuvor beschrieben.
Vorteile dieses Vorgehens sind dabei insbesondere, dass eine multimodale Definition der Formel mit der Zufallsbeschränkung enthalten ist, d.h. es können mehrere mögliche Objekt-Bewegungspfade berücksichtigt werden. Dies ermöglicht es, die Ausgabe der standardmäßig verfügbaren Vorhersagesysteme vollständig auszunutzen. Außerdem gibt es einfach einstellbare Parameter (die für die obigen Formeln erwähnt wurden), wobei sichergestellt werden kann, dass die durch die numerische Optimierung erzeugten realisierbaren Lösungen kollisionsfrei und somit sicher sind, d.h. dass genügend Abstand des mobilen Geräts zu den Objekten eingehalten wird. Insbesondere können mit diesem auch uni-modale und multi-modale Vorhersagen, d.h. nur ein möglicher Objekt-Bewegungspfad für ein Objekt bzw. mehrere davon, kombiniert werden.

Claims

Verfahren zum Bestimmen eines Geräte-Bewegungspfades (202), entlang dessen sich ein mobiles Gerät (100, 200), insbesondere ein Roboter, eine Drohne oder ein sich zumindest teilautomatisiert bewegendes Fahrzeug, in einer Umgebung (120, 220) bewegen soll, umfassend: Bereitstellen von Objektinformationen (342) von einem oder mehreren mobilen Objekten (130, 230, 240, 250, 260, 270, 280) in der Umgebung und Bestimmen, basierend auf den Objektinformationen, für das eine oder für jedes der mehreren Objekte zumindest eines möglichen Objekt-Bewegungspfads (232.1, 232.2, 232.3, 232.4), Bereitstellen von Geräteinformationen (332) von dem mobilen Gerät (100, 200) und Bestimmen, basierend auf den Geräteinformationen, einer Position und/oder Orientierung des mobilen Geräts (100, 200), und Bestimmen des Geräte-Bewegungspfades (202), basierend auf der Position und/oder Orientierung des mobilen Geräts, derart, dass für das eine oder die mehreren mobilen Objekte eine Wahrscheinlichkeit einer Kollision des mobilen Gerätes mit dem einen oder einem der mehreren mobilen Objekt jeweils geringer als ein vorgegebener Schwellwert ist.
Verfahren nach Anspruch 1, wobei für das eine oder für zumindest eines der mehreren Objekte mehrere mögliche Objekt-Bewegungspfade (232.1, 232.2, 232.3, 232.4) bestimmt werden.
Verfahren nach Anspruch 2, wobei bei der Bestimmung der mehreren möglichen Objekt-Bewegungspfade (232.1, 232.2, 232.3, 232.4) jeweils eine Eintrittswahrscheinlichkeit berücksichtigt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei eine Kollision des mobilen Gerätes (100, 200) mit dem einen oder einem der mehreren mobilen Objekte angenommen wird, wenn sich das Gerät auf dem Geräte-Bewegungspfad dem Objekt auf einem der zugehörigen Objekt-Bewegungspfade auf weniger als einen vorgegebenen Abstand nähert.
Verfahren nach einem der vorstehenden Ansprüche, wobei der Geräte-Bewegungspfad (202) basierend auf einem vorgegebenen Zielpunkt in der Umgebung und/oder basierend auf einem vorgegebenen Weg bestimmt und/oder angepasst wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei der Geräte-Bewegungspfad (202) im Rahmen einer modellbasierten Regelung, insbesondere einer modellprädiktiven Regelung, bestimmt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektinformationen (342) zumindest teilweise unter Verwendung wenigstens einer Sensoreinheit, insbesondere einer Sensoreinheit des mobilen Geräts, insbesondere umfassend eine Kamera (104) und/oder einen Lidar-Sensor (106), bereitgestellt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Geräteinformationen (332) zumindest teilweise unter Verwendung wenigstens einer Sensoreinheit, insbesondere einer Sensoreinheit des mobilen Geräts, insbesondere umfassend eine Kamera (104) und/oder einen Lidar-Sensor (106) und/oder einen Inertialsensor, bereitgestellt werden.
Verfahren nach einem der vorstehenden Ansprüche, weiterhin umfassend: Bestimmen von Bewegungssteuergrößen für das mobile Gerät (100, 200) basierend auf dem Geräte-Bewegungspfad (202).
Recheneinheit (102), die dazu eingerichtet ist, die Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
Mobiles Gerät (100, 200) mit wenigstens einer Sensoreinheit (104, 106) zum Erfassen von Objektinformationen und/oder von Geräteinformationen und einer Recheneinheit (102) nach Anspruch 10.
Mobiles Gerät (100, 200) nach Anspruch 11, das als sich zumindest teilweise automatisiert bewegendes Fahrzeug, insbesondere als Personenbeförderungsfahrzeug oder als Güterbeförderungsfahrzeug, oder als Roboter, insbesondere als Haushaltsroboter, z.B. Saug- und/oder Wischroboter, Boden- oder Straßenreinigungsgerät oder Rasenmähroboter, oder als Drohne ausgebildet ist.
Computerprogramm, das eine Recheneinheit (102) eines mobilen Geräts nach Anspruch 11 oder 12 dazu veranlasst, alle Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn es auf der Recheneinheit (102) ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 13.