DE102018200060B4

DE102018200060B4 - Verfahren zum Betreiben einer mobilen Arbeitsmaschine und mobile Arbeitsmaschine

Info

Publication number: DE102018200060B4
Application number: DE102018200060.3A
Authority: DE
Inventors: Philip Nagel; Steffen Rose; Nils Steker; Daniel Neyer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-01-04
Filing date: 2018-01-04
Publication date: 2024-05-08
Anticipated expiration: 2038-01-05
Also published as: GB2571004A; DE102018200060A1; CN110027001A; GB2571004B

Abstract

Verfahren zum Betreiben einer mobilen Arbeitsmaschine (100, 100'), die einen Manipulator (110) aufweist, der beweglich an einer Komponente (120) der mobilen Arbeitsmaschine (100, 100') angeordnet ist,
wobei unter Verwendung wenigstens eines an dem Manipulator (110) angeordneten Sensors (111, 112, 113, 114, 114) eine Position des Manipulators (110) relativ zu der Komponente (120) ermittelt wird,
wobei unter Verwendung eines in Bezug zu der Komponente (120) ortsfest angeordneten Drehratensensors (121) eine Drehung (D) der Komponente (120) um eine Hochachse (H) der mobilen Arbeitsmaschine (100, 100') erfasst wird, und
wobei anhand der Position des Manipulators (110) relativ zu der Komponente (120) und der Drehung (D) der Komponente (120) um die Hochachse (H) eine Position des Manipulators (110) innerhalb der mobilen Arbeitsmaschine (100, 100') ermittelt wird,
dadurch gekennzeichnet, dass die Drehung (D) der Komponente (120) um die Hochachse (H) weiterhin unter Verwendung wenigstes einer an der mobilen Arbeitsmaschine (100, 100') angeordneten Kamera (125, 126, 127) erfasst wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben einer mobilen Arbeitsmaschine, die einen Manipulator aufweist, sowie eine Recheneinheit zur Durchführung des Verfahrens und eine solche mobile Arbeitsmaschine.
Stand der Technik
Kinematiken bzw. Manipulatoren mobiler Arbeitsmaschinen, wie beispielsweise ein Arbeitsarm eines Baggers, können rein hydraulisch angesteuert werden, allerdings gibt es einen Trend zur Elektrifizierung der Hydraulik bei mobilen Arbeitsmaschinen, insbesondere bei Baumaschinen und speziell bei Baggern. Zudem kann mittels Assistenzsystemen, bei denen ein Fahrer auf Displays angezeigt bekommt, wie genau er beispielsweise baggern muss, oder bei denen Linien oder Konturen vorgegeben werden, die der Fahrer nicht überschreiten darf, die Bedienung verbessert werden. Fortgeschrittene Systeme können beispielsweise auch in die Steuerung der Hydraulik eingreifen, falls der Fahrer eine Grenzlinie überschreitet oder sie führen Teilaufgaben automatisch aus.
Grundlage solcher Funktionen ist die Möglichkeit, den Zustand der Kinematik bzw. des Manipulators und im Speziellen den sog. Tool-Center-Point (TCP), einen Referenzpunkt für das Werkzeug am Manipulator, beispielsweise am Baggerarm, exakt in Relation zur mobilen Arbeitsmaschine, also beispielsweise zum Oberwagen eines Baggers, und absolut auf der Erdkugel zu bestimmen.
Die Position eines Oberwagens eines Baggers als mobile Arbeitsmaschine auf dem Globus wird meist über ein GPS-basiertes System ermittelt. Zur Bestimmung des Tool-Center-Points auf der Erdkugel ist daher noch die Position des Tool-Center-Points relativ zum GPS-Referenzpunkt auf dem Oberwagen zu ermitteln. Hierzu gibt es verschiedene Ansätze, wie beispielsweise die Berechnung des Tool-Center-Points anhand der Kinematik des Baggerarms und an den Zylindern verbauter Wegsensoren, an den Gelenken installierten Winkelsensoren oder auch Inertialsensoren an den einzelnen Teilen des Baggerarms. Insbesondere sind Intertialsensoren und Drehwinkelgeber oder Drehratensensoren verbreitet.
Aus der DE 10 2009 018 070 A1 ist beispielsweise eine mobile Arbeitsmaschine bekannt, bei welcher Positionen mittels Neigungssensoren und Drehratensensoren ermittelt werden. Aus der DE 10 2012 102 291 A1 ist beispielsweise ein Verfahren zum Betreiben einer mobilen Arbeitsmaschine bekannt, bei dem ein Magnetkompass verwendet wird, um genauere Ausrichtungen der mobilen Arbeitsmaschine bzw. eines Manipulators dieser mobilen Arbeitsmaschine zu ermitteln.
Weiterer Stand der Technik kann der DE 11 2015 006 905 T5 , der DE 11 2015 000 126 T5 , der DE 11 2014 000 079 B4 , der DE 11 2009 001 466 B4 , der DE 41 10 959 C2 und der WO 2016 / 164 975 A1 entnommen werden.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren zum Betreiben einer mobilen Arbeitsmaschine, eine Recheneinheit zu dessen Durchführung sowie eine solche mobile Arbeitsmaschine mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die Erfindung geht aus von einem Verfahren zum Betreiben einer mobilen Arbeitsmaschine, die einen Manipulator aufweist, der beweglich an einer Komponente der mobilen Arbeitsmaschine angeordnet ist. Als solche Komponente kommt im Falle eines Baggers als mobile Arbeitsmaschine ein Oberwagen des Baggers in Frage. Im Falle eines Ladekrans eines Lastkraftwagens kann es sich beispielsweise auch um eine Gelenkvorrichtung am Lastkraftwagen handeln, an dem der Manipulator bzw. Kranarm befestigt ist.
Dabei wird unter Verwendung wenigstens eines an dem Manipulator angeordneten Sensors eine Position des Manipulators relativ zu der Komponente ermittelt. Als solche Sensoren kommen insbesondere Wegsensoren, Winkelsensoren und Inertialsensoren, hier dann wiederum insbesondere Drehratensensoren und/oder Beschleunigungssensoren, in Betracht. Unter Verwendung eines in Bezug zu der Komponente ortsfest angeordneten Drehratensensors wird dann eine Drehung der Komponente um eine Hochachse der mobilen Arbeitsmaschine erfasst. Anhand der Position des Manipulators relativ zu der Komponente und der Drehung der Komponente um die Hochachse wird dann eine Position des Manipulators innerhalb der mobilen Arbeitsmaschine ermittelt.
Im Folgenden soll das Verfahren anhand eines Baggers als mobiler Arbeitsmaschine mit einem Baggerarm bzw. Arbeitsarm als Manipulator näher beschrieben und erläutert werden. Es versteht sich jedoch, dass ein solches Verfahren entsprechend auch bei anderen mobilen Arbeitsmaschinen mit Manipulator verwendet werden kann.
Die erwähnten Sensoren können bei einem Bagger nun an den einzelnen Gliedern des Arbeitsarms angeordnet sein, der Drehratensensor dann am Oberwagen oder einem Teil davon als der erwähnten Komponente. Bei den Sensoren kann es sich insbesondere um Inertialsensoren handeln, welche sowohl die Beschleunigungen als auch die Drehraten um bestimmte, vorzugsweise um alle drei Raumachsen messen können. Eine resultierende gemessene Beschleunigung kann im Stillstand des Baggers und seiner Kinematik bzw. seines Manipulators als die Erdbeschleunigung interpretiert werden, woraus dann auf einen Winkel des entsprechenden Inertialsensors absolut zum Erdschwerefeld geschlossen werden kann.
Da dieses Signal in der Regel stark verrauscht ist und bei Bewegung des Oberwagens durch die durch die Bewegung verursachten Beschleunigungen sehr stark verfälscht werden kann, kann das aus den Beschleunigungssignalen resultierende Winkelsignal mit einer in Richtung der Drehachse des Oberwagens bzw. der Hochachse des Baggers gemessenen Drehrate bzw. dessen Integral über einen Kalman-Filter fusioniert werden. Mit der Kenntnis aller Absolutwinkel der einzelnen Glieder des Arbeitsarms können die Relativwinkel zwischen den jeweiligen Gliedern bestimmt werden, sodass (unter Berücksichtigung der übrigen Abmessungen) auf die Position des Manipulators bzw. auf den Tool-Center-Point (TCP) geschlossen werden kann.
Da sich jedoch die Drehachse bzw. Hochachse in der Regel (oder zumindest in den meisten Situationen) immer parallel zum Erdschwerefelds orientiert, kann für eine Positionsbestimmung des Oberwagens, und somit auch die Positionsbestimmung des Tool-Center-Points im Raum, nur die entsprechende mit dem Drehratensensor am Oberwagen gemessene Drehrate genutzt werden. Eine Abstützung dieses Signals mit einem Beschleunigungssensor bezüglich des Erdschwerefelds kann nicht erfolgen. Da der Drehratensensor meist einen unbekannten Offset und/oder ein Rauschen aufweist, wird durch die für die Positionsbestimmung notwendige Integration der Drehrate ein etwaiger Fehler immer weiter aufsummiert und somit vergrößert (es entsteht ein sog. Drift).
Erfindungsgemäß ist es nun vorgesehen, dass die Drehung der Komponente um die Hochachse weiterhin (d.h. zusätzlich) unter Verwendung wenigstes einer an der mobilen Arbeitsmaschine angeordneten Kamera erfasst wird. Somit kann das Drehratensignal (also das Signal des Drehratensensors) gestützt, d.h. verbessert werden bzw. entsprechend mit einem anderen Signal für die Bestimmung der Position, nämlich dem Signal der Kamera, fusioniert werden.
Da beispielsweise Bagger oder andere mobile Arbeitsmaschinen oftmals schon mit Rückfahrkameras ausgestattet sind und auch ein Trend für eine Erfassung des Umfelds besteht, werden zukünftige Bagger oder andere mobile Arbeitsmaschinen ohnehin vermehrt mit Kameras ausgestattet sein. Um anhand eines Signals einer solchen Kamera die Oberwagendrehrate stützen zu können bzw. um die anhand des Drehratensensors erfasste bzw. ermittelte Drehung zu verbessern, kann die Geschwindigkeit des Oberwagens absolut zum Umfeld und/oder relativ zum Unterwagen ermittelt und beispielsweise einem schon vorhandenen Fusionsalgorithmus (z.B. einem Kalman-Filter) zugeführt werden.
Insofern ist es auch bevorzugt, unter Verwendung der wenigstes einen an der mobilen Arbeitsmaschine angeordneten Kamera weiterhin eine translatorische Bewegung der mobilen Arbeitsmaschine zu erfassen.
Eine Position der mobilen Arbeitsmaschine im Raum kann, wie erwähnt, vorzugsweise funkgestützt und/oder satellitengestützt, insbesondere unter Verwendung von GPS und/oder Mobilfunk-Triangulation, ermittelt werden. Die ermittelte Position der mobilen Arbeitsmaschine im Raum kann dann anhand der erfassten translatorischen Bewegung verbessert werden. Dies kann sowohl bei satellitengestützter Ermittlung der Position als auch bei anderweitig ermittelter Position, ggf. auch nur relativ, erfolgen.
Anhand der Position des Manipulators innerhalb der mobilen Arbeitsmaschine und der Position der mobilen Arbeitsmaschine im Raum kann dann besonders bevorzugt eine Position des Manipulators (bzw. des Tool-Center-Points) im Raum ermittelt werden.
Besonders bevorzugt ist, wenn die mobile Arbeitsmaschine einen Bagger umfasst, bei dem die Komponente, an dem der als Baggerarm ausgebildete Manipulator angeordnet ist, Teil eines Oberwagens ist. Alternativ ist es aber ebenso bevorzugt, wenn die mobile Arbeitsmaschine einen Teleskophandler, einen Lastkraftwagen mit Ladekran oder eine Forstmaschine umfasst, die auch jeweils einen Manipulator bzw. Arbeitsarm aufweisen.
Zweckmäßig ist es bei solchen mobilen Arbeitsmaschinen dann auch, wenn, wie bereits erwähnt, anhand der ermittelten Position des Manipulators ein Fahrer der mobilen Arbeitsmaschine geführt wird, beispielsweise indem auf einem Anzeigemittel (bzw. einem Display) die Position des Manipulators oder Tool-Center-Points im Verhältnis zu vorgegebenen Arbeitsbereichen, die beispielsweise anhand von Linien dargestellt werden, angezeigt wird. Dies vereinfacht die Arbeit mit der mobilen Arbeitsmaschine und erhöht die Sicherheit. Denkbar ist dabei auch, dass automatisch und aktiv in die Bewegung des Manipulators eingegriffen wird, um den vorgegebenen Arbeitsbereich einzuhalten. Durch die vorgeschlagene Verwendung der Kamera werden die Vorteile einer solchen geführten Bewegung nochmals erhöht, da die Position des Manipulators deutlich besser bzw. genauer ermittelt werden kann.
Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät einer mobilen Arbeitsmaschine, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Gegenstand der Erfindung ist weiterhin eine mobile Arbeitsmaschine mit einem Manipulator, der an einer Komponente der mobilen Arbeitsmaschine angeordnet ist, wenigstens einem an dem Manipulator angeordneten Sensor, einem in Bezug zu der Komponente ortsfest angeordneten Drehratensensor, wenigstens einer Kamera und einer erfindungsgemäßen Recheneinheit, also beispielsweise einer Steuereinheit oder einem Steuergerät, mit dem die erwähnten Schritte des Verfahrens durchführbar sind.
Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figurenbeschreibung

1 zeigt schematisch eine erfindungsgemäße mobile Arbeitsmaschine in einer bevorzugten Ausführungsform, mit der entsprechend ein erfindungsgemäßes Verfahren durchführbar ist.
2 zeigt schematisch einen Ablauf eines Teils eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform.
3 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer weiteren bevorzugten Ausführungsform.
4 zeigt schematisch eine erfindungsgemäße mobile Arbeitsmaschine in einer weiteren bevorzugten Ausführungsform.

Detaillierte Beschreibung der Zeichnung
In 1 ist schematisch eine erfindungsgemäße mobile Arbeitsmaschine 100 in einer bevorzugten Ausführungsform, hier in Form eines Baggers, dargestellt, mit der entsprechend ein erfindungsgemäßes Verfahren durchführbar ist.
Der Bagger 100 weist einen Manipulator 110 in Form eines Baggerarms bzw. Arbeitsarms auf, der an einem Teil eines Oberwagens 120 als Komponente der mobilen Arbeitsmaschine beweglich angeordnet bzw. befestigt ist. Der Oberwagen 120 wiederum ist um eine Hochachse H des Baggers drehbar mit einem Unterwagen 130 verbunden.
An dem Manipulator 110 sind nun hier beispielhaft fünf Sensoren 111, 112, 113, 114 und 115 angeordnet, jeweils an einem Glied des Manipulators 110. Bei diesen Sensoren kann es sich um Inertialsensoren, insbesondere Beschleunigungs- und Drehratensensoren, handeln. An dem Oberwagen 120 ist ein Drehratensensor 121 angeordnet, mit dem eine Drehrate bzw. eine Drehung D (dann durch Integration der Drehrate) um die Hochachse H erfasst werden kann. Weiterhin ist eine Kamera 125, hier in Form einer Rückfahrkamera, auf dem Oberwagen 120 angeordnet.
Hierbei ist die Rückfahrkamera 125 dazu vorgesehen, das hintere Umfeld des Baggers 100 aufzunehmen. Hierzu ist sie auch auf den Boden gerichtet. Durch eine geeignete Auswertung der Bildsignale kann sowohl auf die Fahrzeuggeschwindigkeit als auch auf die Rotationsgeschwindigkeit (also die Geschwindigkeit der Drehung um die Hochachse) des Baggers bzw. des Oberwagens geschlossen werden. In geeigneter Weise können diese Signale zur stützung der aus den Inertialsensoren erhaltenen Messsignale zur Verbesserung der Abschätzung der Position des Tool-Center-Points herangezogen werden, wie nachfolgend detaillierter erläutert werden soll. Ein solches Verfahren kann dabei insbesondere mittels einer Recheneinheit 140, beispielsweise in Form eines Steuergeräts des Baggers 100, durchgeführt werden.
Ein mögliches Verfahren, um kamerabasiert auf die Fahrzeuggeschwindigkeit oder die Oberwagenrotation schließen zu können, kann in der Auswertung des optischen Flusses gesehen werden. Hierfür stehen merkmalbasierte Methoden (z.B. Matching-Verfahren) oder identitätsbasierte Methoden (differentielle Techniken, beispielsweise mittels Gradient oder Strukturtensor, Korrelationstechniken oder filterbasierte Techniken) zur Verfügung. Da die Echtzeitfähigkeit garantiert werden muss, sei insbesondere auf das Matching-Verfahren verwiesen, wie es beispielsweise in dem „Handbuch Fahrerassistenzsysteme: Grundlagen, Komponenten und Systeme für aktive Sicherheit und Komfort“, Springer-Verlag, 2015, von Hermann Winner, Stephan Hakuli, Felix Lotz und Christina Singer beschrieben wird.
Hierbei werden Korrespondenzen nur innerhalb der durch das Bildraster vorgegebenen Bildposition gesucht. Die Korrespondenz ergibt sich durch die im Sinne eines bestimmten Maßes oder Objekts ähnlichste Region. Der Suchraum kann dabei auf markante Bildstrukturen eingeschränkt werden (z.B. markante, immer mit aufgezeichnete Punkte des Baggers und/oder seiner Umgebung). Aus den Bildfolgen und den entstandenen Abstand der durch den Algorithmus ausgewerteten, gleichen Merkmale aufeinanderfolgender Bilder kann auf die Geschwindigkeit geschlossen werden.
Prinzipiell lässt sich die Oberwagendrehung D durch eine Integration der Drehrate um die z-Achse, hier die Hochachse H, bestimmen. Dies hat jedoch den Nachteil, dass Drehratensensoren, welche beispielsweise auf einer MEMS-Technologie basieren, einen Offset zusätzlich zu der gemessenen Drehrate aufweisen. Dies würde bei der Integration bereits nach kurzer Zeit zu einer großen Drift des errechneten Winkels führen und von der tatsächlichen Oberwagendrehung stark abweichen.
Dementsprechend wird bislang eine Stützung mit Beschleunigungssensoren durchgeführt, um die Drift kompensieren zu können. Dies hat jedoch den Nachteil, dass keine Stützinformation für die Gierbewegung, d.h. die Drehung um die Hochachse H, zur Verfügung steht, wie eingangs bereits erläutert. Unter der Annahme einer ebenen Positionierung des Baggers fällt die Gierachse (z-Achse) mit der Richtung der Erdbeschleunigung g, wie in 1 gezeigt, zusammen. Dementsprechend kann keine Information zum aktuellen Gierwinkel aus den Beschleunigungsmesswerten gewonnen werten. Zur Überwindung dieses Problems kann beispielsweise ein Magnetometer zur Stützung der Gierbewegung verwendet werden.
Dieser Sensor nimmt das Erdmagnetfeld als Referenz zur Berechnung der aktuellen Orientierung in Bezug zum Erdmagnetfeld. Ein Problem stellen jedoch die vielen Metallkomponenten der mobilen Arbeitsmaschine, hier des Baggers, dar, welche die Sensorik maßgeblich beeinflussen.
Das vom Sensor gemessene Magnetfeld ${\hat{m}}^{b} = K C_{n}^{b} m^{n} + o^{b}$
entspricht dem tatsächlichen, vom erdfesten Navigationssystem mittels homogener Koordinatentransformation $C_{n}^{b}$
in das sensoreigene Koordinatensystem transformierten Magnetfeld mⁿ, welches Verzerrungen aufgrund naher metallischer Objekte (Soft-Iron, ausgedrückt in der Matrix K) sowie magnetischer Störfelder o^b (Hard-Iron) unterliegt. Aufgrund der Abhängigkeit von inkonsistenten Magnetfeldern im nahen Umkreis der mobilen Arbeitsmaschine ist ein Magnetometer zur Stützung nur bedingt geeignet.
Um eine Stützung des offsetbehafteten Drehratensensors ermöglichen zu können, wird nun die Oberwagendrehung mit Hilfe der erwähnten Kamera detektiert und einem Fusionsalgorithmus, z.B. einem Kalman-Filter, zugeführt. Die visuelle Erfassung der aktuellen Drehung des Oberwagens kann mittels spezieller Bildverarbeitungsalgorithmen erfolgen. Diesbezüglich kann ein Gesamtmodell bestehend aus Beschleunigungssensor, Drehratensensor und Kamera erstellt werden: $r_{k + 1}^{n} = r_{k}^{n} + T {\dot{r}}_{k}^{n} + \frac{T^{2}}{2} {\ddot{r}}_{k}^{n}$
${\dot{r}}_{k + 1}^{n} = {\dot{r}}_{k}^{n} + T {\ddot{r}}_{k}^{n}$
$q_{k + 1}^{n} = q_{k}^{n b} □ exp (\frac{T}{2} ω_{n b, k}^{b})$
Dabei bezeichnet q^nb das Einheitsquaternion, welches die eigene Orientierung im Navigationskoordinatensystem (sog. n-Frame) relativ zum sensoreigenen Koordinatensystem (sog. b-Frame) beschreibt. rⁿ und ṙⁿ beschreiben die Position und Geschwindigkeit des Oberwagens im n-Frame. Die Abtastrate wird mit dem Sampling-Intervall T angegeben. ⌷ entspricht der Quaternionen-Multiplikation. Die resultierende Beschleunigung ${\ddot{r}}_{k}^{n} = R_{k}^{n b} (z_{a, k} - b_{a, k}^{b} - η_{a, k}^{b}) - 2 ω_{i e}^{n} \times {\dot{r}}_{k}^{n} - ω_{i e}^{n} \times (ω_{i e}^{n} \times r_{k}^{n}) + g^{n}$
$ω_{n b, k}^{b} = z_{ω, k} - R_{k}^{b n} ω_{i e}^{n} - b_{ω, k}^{b} - η_{ω, k}^{b},$
ausgedrückt im n-Frame bzw. Navigationskoordinatensystem, setzt sich aus der gemessenen Beschleunigung des Beschleunigungssensors z_a, dem Offset $b_{a}^{b},$
weißem gaußverteiltem Rauschen η^b mit Mittelwert 0 sowie der Erdbeschleunigung gⁿ zusammen. $2 ω_{i e}^{n} \times {\dot{r}}_{k}^{n}$
beschreibt die Coriolis-Beschleunigung und $ω_{i e}^{n} \times (ω_{i e}^{n} \times r_{k}^{n})$
die Zentripetalbeschleunigung bedingt durch die Erdrotation $ω_{i e}^{n} .$
Die Kamera-Pose kann als Projektion ℘ beschrieben werden gemäß $p_{k}^{l} = R (p_{k}^{c}) + e_{k}^{l},$
bei der $p_{k}^{l}$
das umgewandelte 2D-Feature und $p_{k}^{c}$
die zugehörige 3D-Position der Kamera im Kamera-Koordinatensystem zusammen mit weißem gaußschem Rauschen $e_{k}^{l}$
entspricht. Die Projektion ℘ beschreibt die Berechnung der Pose mit Hilfe des optischen Flusses. Dafür wird in einer Bildsequenz der optische Fluss berechnet, d.h. es wird ein Ortspunkt auf eine Abbildungsebene abgebildet, somit lässt sich die Bewegung des Abbildes mit einem Flussvektor darstellen. Die Segmentierung kann nach Farben oder Texturen erfolgen. Dieser Flussvektor entspricht einem Geschwindigkeitsvektor und dient als Basis zur Ermittlung der Oberwagendrehung.
Die Fusion kann mit Hilfe eines Kalman-Filters erfolgen. Die Funktion des Kalman-Filters ist unterteilt in einen Prädiktionsschritt und einen Korrekturschritt. Das zuvor beschriebene Gesamtmodell wird in einen Vektor x̂_k zusammengefasst, welcher die aktuelle Pose (d.h. Position r, Geschwindigkeit ṙ und Orientierung q) und die Sensoroffsets b beinhaltet: ${\hat{x}}_{k} = (r^{n}, {\dot{r}}^{n}, q^{n b}, b_{a}^{b}, b_{ω}^{b}) .$
In 2 ist hierzu ein Ablauf einer solchen Fusion als Teil eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt. In einem Projektionsschritt 200 wird die gemessene Drehrate u_k als Eingang in das Modell betrachtet. Die Drehrate prädiziert somit die Richtung, in die sich die Orientierung verändert.
Dies fließt in Schritt 210 in eine Berechnung der Kalman-Verstärkung ein, hier mit den Eingangsgrößen ${\hat{x}}_{0}^{-}, P_{0}^{-} .$
Dies erfolgt mit hoher Dynamik, ist jedoch Offsetbehaftet und macht einen Korrekturschritt 220 mit einer absoluten Größe z_k notwendig. In Nick- und Rollrichtung ist der Beschleunigungssensor zur Stützung ausreichend, jedoch ist aus den zuvor genannten Gründen die Stützung der Gierbewegung nicht möglich. Dementsprechend erfolgt eine Stützung der Gierbewegung durch die aus dem optischen Fluss berechnete Drehrate, welche ebenfalls im Vektor z_k zusammengefasst wird, um einen fusionierten Zustand x̂_k zu erhalten. Nach dem Korrekturschritt erfolgt eine Berechnung der Kovarianz in Schritt 230, was wiederum in den Prädiktionsschritt 200 mündet.
Dieses Verfahren kann in zwei Situationen genutzt werden. Es ermöglicht eine driftfreie Stützung der Oberwagendrehung im Stillstand der mobilen Arbeitsmaschine, sowie die Stützung der Gelenkwinkelberechnung im Fall überlagerter Beschleunigungen bedingt durch eine (translatorische) Bewegung der gesamten mobilen Arbeitsmaschine. Eine Trennung der beiden Fälle sollte gewährleistet sein, da im Fall einer kombinierten Bewegung (d.h. Oberwagendrehung und translatorische Bewegung) in der Regel keine Separierung der Geschwindigkeitsvektoren im optischen Fluss erzielt werden kann. Um diesen Fall ebenfalls abdecken zu können, könnten jedoch beispielsweise Steuereingaben (beispielsweise durch einen Joystick) ebenfalls in die Fusion einbezogen werden.
In 3 ist nun schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer weiteren bevorzugten Ausführungsform dargestellt, wie es bereits beschrieben wurde. In einem Schritt 300 kann zunächst, wie erwähnt, unter Verwendung der Sensoren, die an dem Manipulator angeordnet sind, eine Position des Manipulators relativ zur Komponente bzw. dem Oberwagen des Baggers, ermittelt werden.
In einem Schritt 310 kann dann unter Verwendung des Drehratensensors eine Drehung D des Oberwagens um die Hochachse H (vgl. auch 1) ermittelt werden. Hier kann zusätzlich in einem Schritt 315 die Drehung D um die Hochachse H außerdem unter Verwendung der erwähnten Kamera ermittelt werden. In einem Schritt 320 kann dann basierend auf der Position aus Schritt 300 und der Drehung aus den Schritten 310 und 315 die Position des Manipulators innerhalb des Baggers ermittelt werden. In einem Schritt 330 kann dann noch die Position des Baggers im Raum, die beispielsweise funk- bzw. satellitengestützt und/oder unter Verwendung der Kamera ermittelt wird, mit einbezogen werden, sodass die Position des Manipulators im Raum ermittelt werden kann.
In 4 ist schematisch eine erfindungsgemäße mobile Arbeitsmaschine 100' in einer weiteren bevorzugten Ausführungsform dargestellt, hier ebenfalls in Form eines Baggers. Der Bagger 100' entspricht dem Bagger 100 aus 1, jedoch mit dem Unterschied, dass hier zwei Kameras 126 und 127 angeordnet sind.
Die beiden Kameras 126 und 127 sind hier an der Unterseite des Oberwagens 120 angeordnet. Insgesamt können auf eine solche Weise insbesondere auch vier auf die jeweiligen Ecken des Unterwagens 130 gerichtete Kameras angeordnet sein. In vorteilhafter Weise sind diese als Fischaugenkameras ausgeführt und können somit in einem großen Bereich sowohl das Umfeld als auch den Unterwagen erfassen. Durch die Erfassung des Unterwagens ist es möglich, direkt die Relativgeschwindigkeit zwischen dem Oberwagen und dem Unterwagen zu bestimmen und somit von der Gesamtfahrzeuggeschwindigkeit zu trennen. Dadurch kann die Abstützung der Drehratensignale des Inertialsensors bzw. Drehratensensors am Oberwagen signifikant verbessert werden, da keine Unterscheidung getroffen werden muss, ob die durch die Kamera gemessene Geschwindigkeit von der Drehung des Oberwagens oder der translatorischen Bewegung des Baggers herrührt.

Claims

Verfahren zum Betreiben einer mobilen Arbeitsmaschine (100, 100'), die einen Manipulator (110) aufweist, der beweglich an einer Komponente (120) der mobilen Arbeitsmaschine (100, 100') angeordnet ist, wobei unter Verwendung wenigstens eines an dem Manipulator (110) angeordneten Sensors (111, 112, 113, 114, 114) eine Position des Manipulators (110) relativ zu der Komponente (120) ermittelt wird, wobei unter Verwendung eines in Bezug zu der Komponente (120) ortsfest angeordneten Drehratensensors (121) eine Drehung (D) der Komponente (120) um eine Hochachse (H) der mobilen Arbeitsmaschine (100, 100') erfasst wird, und wobei anhand der Position des Manipulators (110) relativ zu der Komponente (120) und der Drehung (D) der Komponente (120) um die Hochachse (H) eine Position des Manipulators (110) innerhalb der mobilen Arbeitsmaschine (100, 100') ermittelt wird, dadurch gekennzeichnet, dass die Drehung (D) der Komponente (120) um die Hochachse (H) weiterhin unter Verwendung wenigstes einer an der mobilen Arbeitsmaschine (100, 100') angeordneten Kamera (125, 126, 127) erfasst wird.
Verfahren nach Anspruch 1, wobei unter Verwendung der wenigstes einen an der mobilen Arbeitsmaschine (100, 100') angeordneten Kamera (125, 126, 127) weiterhin eine translatorische Bewegung der mobilen Arbeitsmaschine (100, 100') erfasst wird.
Verfahren nach Anspruch 1 oder 2, wobei eine Position der mobilen Arbeitsmaschine (100, 100') im Raum funk- oder satellitengestützt, insbesondere unter Verwendung von GPS, ermittelt wird.
Verfahren nach Anspruch 2 und 3, wobei die ermittelte Position der mobilen Arbeitsmaschine (100, 100') im Raum anhand der erfassten translatorischen Bewegung verbessert wird.
Verfahren nach einem der Ansprüche 3 oder 4, wobei anhand der Position des Manipulators (110) innerhalb der mobilen Arbeitsmaschine (100, 100') und der Position der mobilen Arbeitsmaschine (100, 100') im Raum eine Position des Manipulators (110) im Raum ermittelt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei der wenigstens eine an dem Manipulator (110) angeordnete Sensor (111, 112, 113, 114, 114) ausgewählt ist aus Wegsensoren, Winkelsensoren und Inertialsensoren, insbesondere Drehratensensoren und Beschleunigungssensoren.
Verfahren nach einem der vorstehenden Ansprüche, wobei die mobile Arbeitsmaschine (100, 100') einen Bagger umfasst, bei dem die Komponente (120), an dem der als Baggerarm ausgebildete Manipulator (110) angeordnet ist, Teil eines Oberwagens ist, oder wobei die mobile Arbeitsmaschine einen Teleskophandler, einen Lastkraftwagen mit Ladekran oder eine Forstmaschine umfasst.
Recheneinheit (140), die dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.
Mobile Arbeitsmaschine (100, 100') mit einem Manipulator (110), der an einer Komponente (120) der mobilen Arbeitsmaschine angeordnet ist, wenigstens einem an dem Manipulator (110) angeordneten Sensor (111, 112, 113, 114, 114), einem in Bezug zu der Komponente (120) ortsfest angeordneten Drehratensensor (121), wenigstens einer Kamera (125, 126, 127) und einer Recheneinheit (140) nach Anspruch 8.
Computerprogramm, das eine Recheneinheit (140) veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen, wenn es auf der Recheneinheit (140) ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.