DE102014209371B4

DE102014209371B4 - System zur Steuerung einer Arbeitsmaschine mit einem Ausleger

Info

Publication number: DE102014209371B4
Application number: DE102014209371.6A
Authority: DE
Inventors: Thorsten Kever; Steffen Bucher
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2013-05-17
Filing date: 2014-05-16
Publication date: 2018-11-15
Anticipated expiration: 2034-05-17
Also published as: DE102014209371A1

Abstract

System zur Steuerung einer Arbeitsmaschine (100) mit einem Ausleger (150),wobei das System ein Steuergerät und eine 3D-Kamera (1) zur Erfassung der Position des Auslegers (150) aufweist,wobei an mindestens einem Punkt des Auslegers (150) Marker (P1, P2, P3) angeordnet sind,und wobei die 3D-Kamera (1) und das Steuergerät zur Überwachung der Position der Marker (P1, P2, P3) ausgebildet sind,dadurch gekennzeichnet,dass die 3D-Kamera (1) als Lichtlaufzeitkamera, die eine Lichtlaufzeitinformation aus einer Phasenverschiebung einer emittierten und empfangenen Strahlung zur Bestimmung eines Entfernungswertes gewinnt, ausgebildet ist,dass die Marker (P1, P2, P3) als Retroreflektoren ausgebildet sind,welche durch die 3D-Kamera (1) erfasst und deren Bewegung und Position im Raum relativ zur 3D-Kamera (1) verfolgt werden,und dass das Steuergerät und die 3D-Kamera (1) derart als Regelkreis ausgebildet sind, dass bei einer Abweichung der Position der am Ausleger (150) angeordneten Marker (P1, P2, P3) von einer Soll-Position der Ausleger (150) in die Soll-Position zurückgeführt wird.

Description

Die Erfindung geht aus von einem System zur Steuerung einer Arbeitsmaschine mit einem Ausleger, sowohl von stationären oder mobilen Arbeitsmaschinen, mit Hilfe einer 3D- und insbesondere PMD-Kamera.
Mit 3D-Kamera sind insbesondere Lichtlaufzeitkameras mit umfasst, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Für ein solches System sind insbesondere PMD-Kameras bzw. entsprechende PMD-Kamerasysteme geeignet, wie sie beispielsweise den Anmeldungen EP 1 777 747 B1 , US 6 587 186 B2 und auch DE 197 04 496 C2 bekannt sind. Derartige Systeme werden beispielsweise von der Anmelderin ,ifm electronic gmbh' als O3D-Kamera vertrieben. Ein PMD-Kamerasystem erlaubt insbesondere eine flexible Anordnung der aktiven Beleuchtung und dem PMD-Sensor, wobei Sensor und Beleuchtung sowohl gemeinsam in einem Gehäuse als auch separat angeordnet werden können. Nebst der PMD-Kamera können selbstverständlich auch vergleichbare Kamerasysteme als Lichtlaufzeitkamera eingesetzt werden, die im Wesentlichen darin übereinstimmen, das eine zu überwachende Szene mit einem modulierten Licht beleuchtet und das von der Szene reflektierte Licht von einem Lichtlaufzeitsensor, bestehend aus einer Vielzahl von Lichtlaufzeitpixel, erfasst wird, wobei vorzugsweise für jedes Lichtlaufzeitpixel, ausgehend von der Phasenlage des gesendeten und empfangenen Licht, eine Phasenverschiebung und somit ein Entfernungswert bestimmt wird.
Ferner ist aus der DE 10 2011 081 561 A1 eine Lichtlaufzeitkamera mit einer elektrischen Signalpfadüberwachung bekannt, bei der anhand von Treibersignalen mit denen die Beleuchtung des PMD-Kamerasystems betrieben wird, die Funktionsfähigkeit der Beleuchtung überprüft wird. Aus der DE 10 2011 081 563 A1 ist eine weitere Ausführung bekannt, bei der die Funktionsfähigkeit der Beleuchtung über einen Kontrollsensor erfasst wird. Derartige Ausgestaltungen erlauben es den Sicherheitslevel eines PMD-Kamerasystems zu verbessern. Aus der JP 2003-117 861 A ist ein ist ein Roboter bekannt, bei dem die Positioniergenauigkeit des Roboters mit zwei unabhängigen Systemen eingestellt wird. Im ersten System wird mit Hilfe von Drehgebern die Winkelstellung der einzelnen Gelenke und ausgehenden von der Geometrie des gesamten Aufbaus die Position der Gelenke im Raum bestimmt. Das zweite System bestimmt die Position der Gelenke, indem an den Gelenkstellen Markierungen angebracht sind, deren Position im Raum mit Hilfe von zwei CCD-Kameras und einer Bildauswertung bestimmt wird. Weichen die erfassten Positionen der beiden Systeme voneinander ab, wird auf Basis Abweichung eine Korrektur durchgeführt.
Aus der DE 34 05 909 A1 ist eine Vorrichtung, beispielsweise zur Bearbeitung von Werkstücken, bekannt, die mit Hilfe einer Videokamera überwacht und gesteuert wird. Hierzu werden im Vorfeld gewünschte Soll-Positionen der Werkstücke als Grauwertbilder digital quantisiert. Während der Produktion werden die Grauwertbilder der erfassten Ist-Positionen der Werkstücke mit den hinterlegten Soll-Positionsbildern verglichen, wobei bei Abweichungen die Werkstücke mit Hilfe von Manipulatoren in die gewünschte Lage bewegt werden.
Aus der DE 10 2011 051 827 A1 ist ferner eine landwirtschaftliche Arbeitsmaschine bekannt, bei der über eine optische Kamera Eigenschaften des von der Arbeitsmaschine überfahrenden Bodens überwacht und Parameter der Arbeitsmaschine gesteuert werden.
Aufgabe der Erfindung ist es, die Erkennung von Positionen von Maschinenteilen einer Arbeitsmaschine zu verbessern.
Diese Aufgabe wird vorteilhaft durch ein System gemäß dem unabhängigen Anspruch gelöst.
Vorteilhaft ist ein System zur Steuerung einer Arbeitsmaschine mit einem Ausleger vorgesehen, wobei das System ein Steuergerät und eine 3D-Kamera zur Erfassung der Position des Auslegers aufweist, wobei an mindestens einem Punkt des Auslegers Marker angeordnet sind, und wobei die 3D-Kamera und das Steuergerät zur Überwachung der Position der Marker ausgebildet sind. Ferner ist das Steuergerät derart ausgebildet, dass bei einer Abweichung der Position der am Ausleger angeordneten Marker von einer Soll-Position der Ausleger in die Soll-Position zurückgeführt wird.
Dieses Vorgehen hat den Vorteil, dass insbesondere über die Marker die Position des Auslegers sehr genau und präzise bestimmt werden kann und somit eine Regelung der Soll-Position sicher und zuverlässig erfolgen kann.
Ferner ist es vorgesehen, zusätzlich zu den Markern am Ausleger externe Marker an Zusatzgeräten und/oder markanten Punkten anzubringen und zu überwachen. Durch dieses Vorgehen ist es vorteilhaft möglich, den Ausleger oder ggf. auch die Arbeitsmaschine selbst auch in Relation zu externen nicht mit der Arbeitsmaschine verbundenen Vorrichtungen zu positionieren.
Besonders nützlich ist es, die Soll-Position des Auslegers in Abhängigkeit eines Abstandes zum Boden und/oder von Bearbeitungsobjekten und/oder externer Marker zu bestimmen. Durch dieses Vorgehen wird sichergestellt, dass der Ausleger immer ein für die vorgesehene Bearbeitung ausreichenden Abstand zum Boden oder zu den zu bearbeitenden Objekten, Pflanzen etc. einhält.
Vorteilhaft ist es auch, zusätzlich zur Erkennung der Marker eine Objekterkennung in der Umgebung des Auslegers durchzuführen.
Durch dieses Vorgehen ist es möglich, ausgehend von der Objekterkennung Kollisionswahrscheinlichkeiten zu bestimmen und den Ausleger bei einer drohenden Kollision aus dem Kollisionsbereich herauszufahren und/oder die Arbeitsmaschine zu stoppen.
In einer weiteren Ausgestaltung ist es vorgesehen, die Marker unterschiedlichen SicherheitsKlassifizierungen zuzuordnen. Durch dieses Vorgehen ist es möglich, die Positionen bestimmter Auslegerbereiche der Arbeitsmaschine unterschiedlich zu gewichten.
Beispielsweise kann eine Endposition eines Auslegers einer höheren Sicherheitsklassifizierung zugeordnet werden als ein maschinennaher Bereich des Auslegers. Die Regelung der Soll-Position kann dann beispielsweise so ausgelegt sein, dass die Marker bzw. Positionen mit einer hohen Klassifizierung häufiger und/oder mit einer höheren Genauigkeit überwacht werden und/oder dass nur geringe Abweichungen zur Soll-Position toleriert werden.
Ebenso vorteilhaft ist ein Verfahren zum Betreiben des vorgenannten Systems vorgesehen, bei dem auf einem Ausleger einer Arbeitsmaschine angeordnete Marker im Hinblick auf eine Soll-Position überwacht werden, und bei einer Abweichung von der Soll-Position der Ausleger so angesteuert wird, dass die Marker auf die Soll-Position zurückgeführt werden.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen

1 eine Arbeitsmaschine mit einem seitlichen Ausleger und einer 3D-Kamera,
2 eine Arbeitsmaschine in Relation zu weiteren markierten Objekten.

Erfindungsgemäß ist es vorgesehen die Erfassung der Maschinenteile zu verbessern, indem an verschiedenen Punkten der Maschinenteile und insbesondere an einem Ausleger der Maschine spezielle Marker angebracht werden. Diese Marker sind vorzugsweise als Retroreflektoren ausgebildet, es sind jedoch auch andere Ausgestaltungen denkbar, wesentlich ist hier, dass sich die Marker deutlich von der Umgebung unterscheiden und einfach verfolgt werden können.
Die Marker können sowohl an beweglichen als auch an statischen Maschinenteilen oder auch an statischen Punkten in der Umgebung der Maschine angebracht werden.
Dabei werden von der 3D-Kamera relevante Informationen wie beispielsweise Position im Raum, Geschwindigkeit und Bewegungsrichtung zu der relativen Lage und Dynamik erfasst. Mit Hilfe dieser Informationen können sowohl Automatisierungsaufgaben als auch Steuerungsaufgaben auf Maschinen sowohl in der Industrie als auch im Bereich mobiler Arbeitsmaschinen / Land- und Forstmaschinen durchgeführt werden.
Es können mehrere Marker im Blickfeld der Kamera gleichzeitig erfasst werden. Auch können Marker in der Umgebung, beispielsweise am Boden oder an Wänden, oder auf anderen Maschinen, insbesondere Transportsystemen, erfasst werden. Neben einer Position können auch Bewegungen, insbesondere gleichförmige, translatorische Bewegungen, erfasst werden. Ebenso ist es möglich, auch ungewollte Bewegungen, zum Beispiel Durchbiegungen, niederfrequente Schwingungen etc., zu erfassen.
Erfindungsgemäß ist est vorgesehen, spezielle Punkte an Maschinenteilen und oder in der Umgebung mit Markern, insbesondere Retroreflektoren zu kennzeichnen. Diese markierten Punkte werden durch eine 3D-Kamera erfasst und deren Bewegung und Position im Raum typischerweise relativ zur Kamera verfolgt. Eine Bildverarbeitung oder eine Auswerteeinheit, in der Kamera oder extern, ist typischerweise so ausgebildetet, dass die Objektverfolgung in Echtzeit durchgeführt werden kann.
Über ein Steuergerät werden die erfassten Daten ausgewertet und geeignete Reaktionen eingeleitet. Typischerweise werden Steuerelement bzw. Aktuatoren angesteuert, um beispielsweise ungewollten Bewegungen oder Schwingungen entgegenzusteuern und dementsprechend zu unterdrücken. Auch können gelernte automatisierte Be- und Entladeprozesse gesteuert werden. Insbesondere kann über das Steuergerät und die 3D-Kamera ein Regelkreis aufgebaut werden, um insbesondere bewegliche Elemente einer Arbeitsmaschine auf eine Soll-Position im Raum oder in Relation zu anderen Objekten zu halten.
1 zeigt eine Arbeitsmaschine 100, insbesondere mobile Arbeitsmaschine mit einem mehrgliedrigen Ausleger 150. Im dargestellten Fall ist an jedem Gelenkbereich des Auslegers 150 ein Marker P1, P2, P3, die insbesondere als Retroreflektoren ausgebildet sind, angeordnet. Die an der Arbeitsmaschine 100 angeordnete 3D-Kamera bzw. Lichtlaufzeitkamera 1 überwacht den Auslegerbereich und insbesondere die drei Marker P1, P2, P3. Die aktive Beleuchtung zur Aussendung eines modulierten Lichts in den Erfassungsbereich der 3D-Kamera ist vorzugweise im Gehäuse der 3D-Kamera integriert, kann jedoch auch separat angeordnet werden.
Der Arbeitsbereich des Auslegers 150 ist vorzugsweise in einem Steuergerät hinterlegt und wird von diesem überwacht. Verlassen die Raumpositionen der Marker P1, P2, P3 und somit die Raumposition des Auslegers einen tolerierten Bereich, so können über das Steuergerät verschiedene Fehlerreaktionen eingeleitet werden. Bevorzugt ist es vorgesehen, dass das Steuergerät aktiv in die Steuerung des Auslegers eingreift, um den Ausleger wieder in den tolerierten Bereich bzw. auf eine Soll-Position zu bringen. Bei zu großen Abweichungen kann es auch vorgesehen sein, dass die Arbeitsmaschine gestoppt wird, um eventuelle Beschädigungen zu vermeiden.
Insbesondere kann es auch vorgesehen sein, den Ausleger im Hinblick auf dem Abstand zum Boden einzustellen. Vorteilhaft kann es zudem vorgesehen sein, zusätzlich zum Ausleger auch den Boden als Fläche zu erfassen und den Abstand des Auslegers im Hinblick auf den tatsächlich erfassten Bodens auszuregeln. Dies hat den Vorteil, dass der Ausleger nich nur in einer bestimmten Relation zu Arbeitsmaschine 100 ausgerichtet werden kann, sondern auch im Hinblick auf die erfasste Umfeldsituation.
Dieses Vorgehen ist besonders für landwirtschaftliche Arbeismaschinen von Interesse, bei denen ein genauer Abstand zum Boden oder zu den zu bearbeitenden Pflanzen eingehalten werden muss. Beispielsweise kann der Ausleger einer solchen Arbeitsmaschine über das erfindungsgemäße System so gesteuert werden, dass der Abstand des Auslegers zu den Pfanzen im Wesentlichen konstant gehalten wird und das Profil der unterschiedlichen Wachstumshöhen nachgefahren wird.
Insbesondere kann es auch vorgesehen sein, das Markertracking mit eine Objekterfassung zu kombinieren, so dass beispielsweise auch potentielle Kollisionsobjekte im Auslegerbereich erfasst werden können.
Insbesondere kann bei Verwendung eines sicherheitsfähigem Lichtlaufzeitkamerasystem auch eine Überwachung eines Sicherheitsbereiches in den der markierte Maschinenteil / die markierte Maschine nicht eindringen darf erfolgen, bzw. können erlaubte Abläufe / Bewegungen überprüft werden.
Zur Erhöhung der Sicherheit kann die Kamera auch mit ein Funktionsüberwachungssystem ausgestattet sein, wie es beispielsweise in den Anmeldungen DE 10 2011 081 561 A1 und DE 10 2011 081 563 A1 beschrieben ist.
2 zeigt eine Situation beispielsweise einer Erntemaschine mit einem Ausleger 150 zur Ausbringung des Ernteguts. Im dargestellten Beispiel wird die Erntemaschine an einem Übergabepunkt herangeführt. Zur Positionierung des Auslegers 150 und/oder der Arbeitsmaschine 100 bzw. Erntemaschine ist am Übergabepunkt eine Markierung P5 angeordnet. Ferner befindet sich auch am Güterwagen 180 ein weiterer Marker P4. Am Ausleger 150 sind in einem mittleren Bereich und am Endpunkt des Auslegers 150 weitere Marker P2, P1 angebracht.
Die Steuerung der Erntemaschine kann vorteilhaft so ausgebildet sein, dass Erntemaschine und/oder Ausleger 150 für die Übergabe des Ernteguts optimal positioniert und ausgerichtet werden.
Das erfindungsgemäße Systems ist selbstverständlich nicht auf die dargestellten Anwendungen beschränkt, sondern auch in einem anderen und insbesondere Industrieumfeld anwendbar.

Claims

System zur Steuerung einer Arbeitsmaschine (100) mit einem Ausleger (150), wobei das System ein Steuergerät und eine 3D-Kamera (1) zur Erfassung der Position des Auslegers (150) aufweist, wobei an mindestens einem Punkt des Auslegers (150) Marker (P1, P2, P3) angeordnet sind, und wobei die 3D-Kamera (1) und das Steuergerät zur Überwachung der Position der Marker (P1, P2, P3) ausgebildet sind, dadurch gekennzeichnet, dass die 3D-Kamera (1) als Lichtlaufzeitkamera, die eine Lichtlaufzeitinformation aus einer Phasenverschiebung einer emittierten und empfangenen Strahlung zur Bestimmung eines Entfernungswertes gewinnt, ausgebildet ist, dass die Marker (P1, P2, P3) als Retroreflektoren ausgebildet sind, welche durch die 3D-Kamera (1) erfasst und deren Bewegung und Position im Raum relativ zur 3D-Kamera (1) verfolgt werden, und dass das Steuergerät und die 3D-Kamera (1) derart als Regelkreis ausgebildet sind, dass bei einer Abweichung der Position der am Ausleger (150) angeordneten Marker (P1, P2, P3) von einer Soll-Position der Ausleger (150) in die Soll-Position zurückgeführt wird.
System nach Anspruch 1, beim dem zusätzlich zu den Markern (P1, P2) am Ausleger (150) externe Marker (P4, P5) an Zusatzgeräten (180) und/oder markanten Punkten angebracht und überwacht werden.
System nach Anspruch 1 oder 2, bei dem die Soll-Position des Auslegers (150) in Abhängigkeit eines Abstandes zum Boden und/oder zu Bearbeitungsobjekten und/oder externer Marker (P4, P5) bestimmt wird.
System nach einem der vorhergehenden Ansprüchen, bei dem zusätzlich zur Erkennung der Marker (P1, .. P5) eine Objekterkennung in der Umgebung des Auslegers (150) erfolgt.
System nach Anspruch 4, bei dem ausgehend von der Objekterkennung Kollisionswahrscheinlichkeiten bestimmt und der Ausleger (150) bei einer drohenden Kollision aus dem Kollisionsbereich herausgefahren wird und/oder die Arbeitsmaschine (100) gestoppt wird.
System nach einem der vorhergehenden Ansprüchen, bei dem die Marker (P1, ..P5) unterschiedlichen Sicherheitsklassifizierungen zugeordnet sind.
Verfahren zum Betreiben eines Systems nach einem der vorhergehenden Ansprüche, bei dem auf einem Ausleger (150) einer Arbeitsmaschine (100) angeordnete Marker (P1, P2, P3) im Hinblick auf eine Soll-Position überwacht werden, und bei einer Abweichung von der Soll-Position der Ausleger (150) so angesteuert wird, dass die Marker (P1, P2, P3) auf die Soll-Position zurückgeführt werden.