DE102018109329B4

DE102018109329B4 - Multi-unit actuated kinematics, preferably robots, particularly preferably articulated robots

Info

Publication number: DE102018109329B4
Application number: DE102018109329.2A
Authority: DE
Inventors: Holger Blume; Nicolai Behmann; Jens Kotlarski; Tobias Ortmaier; Andreas Schoob
Original assignee: Yuanda Robotics GmbH; Leibniz Universitaet Hannover
Current assignee: Voraus Robotik De GmbH
Priority date: 2018-04-19
Filing date: 2018-04-19
Publication date: 2019-12-05
Anticipated expiration: 2038-04-20
Also published as: WO2019201488A1; DE102018109329A1; CN110385701A

Abstract

Die vorliegende Erfindung betrifft eine mehrgliedrige aktuierte Kinematik (1), vorzugsweise einen Roboter (1), besonders vorzugsweise einen Knickarmroboter (1), mit mehreren Gliedern (11), welche durch aktuierte Gelenke (12) miteinander verbunden sind, mit einer Basis (10), welche relativ zu den Gliedern (11) feststehend angeordnet und durch ein erstes aktuiertes Gelenk (12a) mit einem ersten Glied (11a) verbunden ist, mit einem Endeffektor (14), welcher durch ein aktuiertes Gelenk (12) mit einem Glied (11) verbunden ist, und mit wenigstens einer ersten Bilderfassungseinheit (21), vorzugsweise wenigstens einer ersten Kamera (21). Die mehrgliedrige aktuierte Kinematik (1) ist dadurch gekennzeichnet, dass wenigstens die erste Bilderfassungseinheit (21), vorzugsweise wenigstens die erste Kamera (21), an der Basis (10) oder an einem Glied (11), vorzugsweise an einem basisnahen Glied (11), angeordnet ist.

The present invention relates to a multi-unit actuated kinematics (1), preferably a robot (1), particularly preferably an articulated robot (1), having a plurality of links (11) which are interconnected by actuated joints (12) with a base (10 ) fixed relative to the links (11) and connected to a first link (11a) by a first actuated link (12a), having an end effector (14) connected by an actuated link (12) to a link (11). 11), and at least one first image acquisition unit (21), preferably at least one first camera (21). The multi-membered actuated kinematics (1) is characterized in that at least the first image acquisition unit (21), preferably at least the first camera (21), on the base (10) or on a member (11), preferably on a base near member (11 ) is arranged.

Description

Die vorliegende Erfindung betrifft eine mehrgliedrige aktuierte Kinematik, vorzugsweise einen Roboter, besonders vorzugsweise einen Knickarmroboter, gemäß des Oberbegriffs des Patentanspruchs 1.The present invention relates to a multi-membered actuated kinematics, preferably a robot, particularly preferably an articulated robot, according to the preamble of patent claim 1.

Bereits seit Längerem werden Roboter als technische Apparaturen dazu verwendet, dem Menschen mechanische Arbeit abzunehmen. Roboter werden mittlerweile in vielen verschiedenen Bereichen eingesetzt. So sind in der Industrie insbesondere Knickarmroboter weit verbreitet, um insbesondere Aufgaben in der Montage, in der Fertigung, in der Logistik sowie beim Verpacken und Kommissionieren zu übernehmen. Ein Knickarmroboter ist üblicherweise eine 6-achsige Maschine mit einem kubischen Arbeitsraum, weshalb Knickarmroboter sehr flexibel eingesetzt werden können. Je nach Anwendung kann das Werkzeug, welches als Endeffektor dient, gewechselt werden. Ferner ist die Programmierung des Knickarmroboters an die Anwendung anzupassen. An sich kann der Knickarmroboter jedoch unverändert eingesetzt werden, was ihn sehr anpassungsfähig machen kann.For a long time, robots have been used as technical devices to relieve people of mechanical work. Robots are now used in many different areas. In particular, articulated robots are widely used in industry, in particular to take on tasks in assembly, in production, in logistics and in packaging and order picking. An articulated robot is usually a 6-axis machine with a cubic working space, which is why articulated robots can be used very flexibly. Depending on the application, the tool, which serves as an end effector, can be changed. Furthermore, the programming of the articulated robot must be adapted to the application. By itself, however, the articulated robot can be used unchanged, which can make it very adaptable.

In den letzten Jahren haben sich die Roboter und insbesondere die Knickarmroboter dahin entwickelt, z.B. bei der Montage unmittelbar mit Personen zusammenzuarbeiten. Hieraus hat sich der Begriff des kollaborativen Roboters oder kurz Cobot (aus dem Englischen: collaborative robot) entwickelt. Es kann sowohl auf mechanische Abgrenzungen wie z.B. Gitterwände verzichtet werden, welche bisher üblich waren, um den Arbeitsraum des Roboters von der Umgebung zu trennen, in der sich Personen sicher aufhalten können, als auch auf Lichtschranken, Lichtgitter und dergleichen, welche zumindest ein Betreten des Arbeitsraums des Roboters durch eine Person erkennen können. Vielmehr können sich Personen frei gegenüber dem Roboter bewegen.In recent years, the robots and in particular the articulated robots have evolved, e.g. to work directly with people during assembly. From this, the term of the collaborative robot or Cobot (from collaborative robot) has developed. It can be applied both to mechanical boundaries such as Lattice walls are dispensed with, which were previously common to separate the working space of the robot from the environment in which people can safely stay, as well as on light barriers, light grids and the like, which can detect at least one entry of the working space of the robot by a person , Rather, people can move freely towards the robot.

Derartige Roboter weisen üblicherweise eine sensorische Erfassung der Gelenkstellungen auf, welche bei Drehgelenken z.B. als Winkelgeber und bei translatorischen Gelenken z.B. als Linearmassstab umgesetzt werden kann. Diese Informationen sind üblicherweise erforderlich, um mittels eines Modells der kinematischen Zusammenhänge des Roboters die Positionen und Orientierungen, gemeinsam Posen genannt, der einzelnen Gelenke sowie insbesondere des Endeffektors zu berechnen.Such robots usually have a sensory detection of the joint positions, which in swivel joints e.g. as an angle encoder and in translational joints, e.g. can be implemented as a linear scale. This information is usually required to use a model of the kinematic relationships of the robot to calculate the positions and orientations, collectively called poses, of the individual joints and in particular of the end effector.

Ferner ist es bekannt, optische Sensoren zu verwenden, um zusätzliche Informationen über den Roboter bzw. dessen Arbeitsraum zu erhalten. Beispielsweise kann der Arbeitsraum des Roboters mit einer stationär angeordneten Kamera oder mit einem stationär angeordneten Laserscanner erfasst werden. Dies kann üblicherweise dazu dienen, Personen im Arbeitsraum des Roboters zu erkennen und zugunsten von deren Sicherheit den Roboter in einen sicheren Zustand zu versetzen, falls eine Person im Arbeitsraum erkannt wird. Auch kann dies der Erkennung von Objekten dienen, mit welchen der Roboter interagieren soll, z.B. durch Handhabung bei einer „Nehmen und Platzieren“-Anwendung.Furthermore, it is known to use optical sensors to obtain additional information about the robot or its working space. For example, the working space of the robot can be detected with a stationary camera or with a stationary laser scanner. This can usually be used to recognize people in the working space of the robot and in favor of their safety to put the robot in a safe state, if a person is detected in the workspace. Also, this may serve to detect objects with which the robot is to interact, e.g. by handling in a "take and place" application.

Es ist auch bekannt, am Endeffektor eines Roboters eine Kamera anzuordnen, welche mit ihrer Erfassungsrichtung üblicherweise parallel zur Längsachse des Endeffektors ausgerichtet ist, so dass der Bereich des Arbeitsraums optisch erfasst werden kann, welcher sich unmittelbar vor dem Endeffektor befindet. Ein derartiger Roboter wird beispielsweise in der EP 1 521 211 A2 beschrieben, wobei dort die Pose der Endeffektor-Kamera unter Verwendung mindestens einer robotereigenen Messeinrichtung bestimmt wird. Hierunter werden die Winkelsensoren der Achsantriebe verstanden. Auch mittels einer derartigen Endeffektor-Kamera kann die Sicherheit von Personen sowie die Ausführung von Anwendungen unterstützt werden.It is also known to arrange at the end effector of a robot a camera which is aligned with its detection direction usually parallel to the longitudinal axis of the end effector, so that the region of the working space can be optically detected, which is located immediately in front of the end effector. Such a robot is used for example in the EP 1 521 211 A2 described there, where the pose of the end effector camera is determined using at least one robotic measuring device. This is understood to mean the angle sensors of the final drives. By means of such an end effector camera, the security of persons as well as the execution of applications can be supported.

Derartige Überlegungen spielen ebenso bei Automatisierungsanlagen eine Rolle, welche hinsichtlich der Beweglichkeit der angetriebenen Glieder zueinander mit den Robotern vergleichbar sind und auch für vergleichbare Aufgaben eingesetzt werden können. Gemeinsam können Automatisierungsanlagen sowie Roboter und insbesondere Knickarmroboter als Antriebssysteme oder auch als mehrgliedrige aktuierte Kinematiken bezeichnet werden.Such considerations also play a role in automation systems, which are comparable in terms of mobility of the driven members to each other with the robots and can also be used for comparable tasks. Together, automation systems and robots, and in particular articulated-arm robots, can be referred to as drive systems or else as multi-unit actuated kinematics.

Die DE 10 2016 203 701 A betrifft einen Industrieroboter aufweisend einen Roboterarm mit mehreren Gliedern, die über Gelenke verbunden sind, sowie aufweisend eine Robotersteuerung, die ausgebildet ist, die Glieder des Roboterarms gemäß eines Roboterprogramms automatisch oder in einem Handfahrbetrieb gegeneinander zu verstehen, wobei wenigstens eines der mehreren Glieder mindestens zwei Bilderfassungseinrichtungen aufweist, von denen jede Bilderfassungseinrichtung hinsichtlich ihrer räumlichen Position und Orientierung bezüglich des Glieds, an dem die Bilderfassungseinrichtung befestigt ist, eingemessen ist.The DE 10 2016 203 701 A relates to an industrial robot comprising a robot arm having a plurality of links connected by joints, and a robot controller configured to automatically or hand-grip the links of the robot arm according to a robot program, wherein at least one of the plurality of links comprises at least two image capture devices each image capture device is calibrated for its spatial position and orientation with respect to the member to which the image capture device is attached.

Die DE 10 2016 212 695 A1 betrifft einen Industrieroboter mit mehreren Gliedern, wobei der Industrieroboter mit mindestens einem bildgebenden Sensor ausgerüstet wird, welcher jedoch an einem Trägerglied montiert wird, das nicht das letzte Glied in der Kinematik des Roboters ist. Die Kameras werden also nicht am Flansch oder Effektor des Roboters angebracht, sondern an einer der in der Kinematik vorgelagerten Haupt- oder Handachsen. Die Kameras erfassen in der Umgebung vorhandene Merkmale, aus denen die Steuerung des Roboters die Pose des bildgebenden Sensors und damit des den bildgebenden Sensor tragenden Roboterglieds in Bezug auf die Umgebung in einem absoluten, festen Koordinatensystem bestimmen kann.The DE 10 2016 212 695 A1 relates to an industrial robot having a plurality of links, wherein the industrial robot is equipped with at least one imaging sensor, but which is mounted on a support member that is not the last link in the kinematics of the robot. The cameras are therefore not attached to the flange or effector of the robot, but on one of the upstream kinematics main or hand axes. The cameras capture existing features in the environment that make up the robot's control pose of the imaging sensor and thus of the image bearing sensor carrying robot member with respect to the environment in an absolute, fixed coordinate system can determine.

Die DE 21 2009 000 055 U1 betrifft eine Vorrichtung zum Verbessern von Genauigkeitseigenschaften von Handhabungsgeräten, wie einem Mehrachsen-Industrieroboter, mit einem Handhabungsgerät, wenigstens einer Steuereinrichtung zum Bewegen des Handhabungsgerätes, einer Messeinrichtung, welche von der Handhabungseinrichtung unabhängig oder unmittelbar auf der Handhabungseinrichtung positioniert ist, einer Auswerteeinrichtung für die von der Messeinrichtung generierten Messsignale und einer Referenzfläche oder Messplatte mit einem oder mehreren Markern oder Löchern an einem anzusteuernden Werkzeug oder einer Einrichtung, wobei die Marker oder Löcher von lochartigen Vertiefungen in der Referenzfläche oder der Messplatte in Form von Sacklöchern oder Schlitzen mit einer bestimmten Tiefe und mit einem bestimmten Sacklochdurchmesser oder einer bestimmten Schlitzbreite gebildet sind, wobei das Verhältnis von Tiefe zu Sacklochdurchmesser oder Schlitzbreite größer als 1 ist.The DE 21 2009 000 055 U1 relates to a device for improving the accuracy characteristics of handling devices, such as a multi-axis industrial robot, with a handling device, at least one control device for moving the handling device, a measuring device which is positioned independently of the handling device or directly on the handling device, an evaluation device for the of the Measuring device generated measuring signals and a reference surface or measuring plate with one or more markers or holes on a tool or device to be controlled, wherein the markers or holes of hole-like depressions in the reference surface or the measuring plate in the form of blind holes or slots with a certain depth and with a certain blind hole diameter or a certain slot width are formed, wherein the ratio of depth to blind hole diameter or slot width is greater than 1.

Die DE 10 2010 025 601 A1 betrifft ein Verfahren zur Bestimmung von Strukturparametern eines Roboters mit mehreren zueinander lageveränderbaren Roboterelementen, bei welchem der Roboter von Kalibrierelementen und bzw. oder Beobachtungseinrichtungen umgeben wird, mehrere Roboterelemente mit Beobachtungseinrichtungen und bzw. oder Kalibrierelementen verbunden werden, die relative Position und bzw. oder Orientierung der Roboterelemente bestimmt wird und die Strukturparameter auf Basis der relativen Position und bzw. oder Orientierung ermittelt werden.The DE 10 2010 025 601 A1 relates to a method for determining structural parameters of a robot with a plurality of mutually positionable robot elements, in which the robot is surrounded by calibration elements and / or observation devices, a plurality of robot elements are connected to observation devices and / or calibration elements, the relative position and / or orientation of the robot Robot elements is determined and the structural parameters are determined based on the relative position and or or orientation.

Die DE 103 24 628 A1 betrifft ein Steuerverfahren für einen Roboter. Die DE 10 2010 017 857 A1 betrifft eine 3D-Sicherheitsvorrichtung und ein Verfahren zur Absicherung und Bedienung mindestens einer Maschine.The DE 103 24 628 A1 relates to a control method for a robot. The DE 10 2010 017 857 A1 relates to a 3D security device and a method for securing and operating at least one machine.

Eine Aufgabe der vorliegenden Erfindung ist es, eine mehrgliedrige aktuierte Kinematik, vorzugsweise einen Roboter, besonders vorzugsweise einen Knickarmroboter, der eingangs beschriebenen Art mit verbesserten Möglichkeiten zur Erfassung des Endeffektors mit reduziertem Aufwand bereitzustellen. Zumindest soll eine Alternative zu bekannten derartigen mehrgliedrigen aktuierten Kinematiken geschaffen werden.An object of the present invention is to provide a multi-unit actuated kinematics, preferably a robot, particularly preferably a articulated robot, of the type described above with improved possibilities for detecting the end effector with reduced effort. At least an alternative to known such multi-membered actuated kinematics should be created.

Die Aufgabe wird erfindungsgemäß durch eine mehrgliedrige aktuierte Kinematik mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen beschrieben.The object is achieved by a multi-membered actuated kinematics with the features of claim 1. Advantageous developments are described in the subclaims.

Somit betrifft die vorliegende Erfindung eine mehrgliedrige aktuierte Kinematik, vorzugsweise einen Roboter, besonders vorzugsweise einen Knickarmroboter. Eine derartige Kinematik kann feststehend angeordnet oder auch mobil beweglich sein. Bei dem Knickarmroboter handelt es sich vorzugsweise um einen Cobot. Die Kinematik kann aber auch eine Automatisierungsanlage sein.Thus, the present invention relates to a multi-membered actuated kinematics, preferably a robot, more preferably an articulated robot. Such a kinematics can be fixed or mobile movable. The articulated robot is preferably a cobot. The kinematics can also be an automation system.

Die mehrgliedrige aktuierte Kinematik weist mehrere Glieder auf, welche durch aktuierte Gelenke miteinander verbunden sind, eine Basis, welche relativ zu den Gliedern feststehend angeordnet und durch ein erstes aktuiertes Gelenk mit einem ersten Glied verbunden ist, und einen Endeffektor, welcher durch ein aktuiertes Gelenk mit einem Glied verbunden ist.The multi-membered actuated kinematics comprises a plurality of links interconnected by actuated hinges, a base fixedly disposed relative to the links and connected to a first link by a first actuated hinge, and an end effector connected by an actuated link connected to a limb.

Unter einem Glied kann ein starres Element verstanden werden, welches mit wenigstens einem Gelenk an jedem Ende mit der Basis, mit einem weiteren Glied oder mit dem Endeffektor der Kinematik verbunden ist. Die Basis ist relativ zu den Gliedern feststehend angeordnet, so dass alle Bewegungen der Glieder und des Endeffektors in Relation zu der Basis erfolgen. Die Basis selbst kann beweglich sein. Die Verbindung des Endeffektors mit dem nächstliegenden Glied kann vorzugsweise über eine Endeffektoreinheit erfolgen. Auch die Endeffektoreinheit kann über ein aktuiertes Gelenk mit dem nächstliegenden Glied verbunden sein. Zwischen der Endeffektoreinheit und dem Endeffektor selbst kann ebenfalls ein aktuiertes Gelenk vorgesehen sein, um den Endeffektor insbesondere gegenüber der Endeffektoreinheit um eine gemeinsame Längsachse drehen zu können. Vorzugsweise erstreckt sich die Kinematik, vorzugsweise als Roboter und besonders vorzugsweise als Knickarmroboter, von der feststehenden oder mobilen Basis weg über mehrere Glieder, welche untereinander mit aktuierten Gelenken verbunden sind, sowie über die Endeffektoreinheit bis hin zum Endeffektor und bildet so eine serielle kinematische Kette.A link may be understood to mean a rigid element which is connected to at least one joint at each end to the base, to another link or to the end effector of the kinematics. The base is fixedly disposed relative to the links so that all movements of the links and the end effector are in relation to the base. The base itself can be mobile. The connection of the end effector to the nearest member may preferably be via an end effector unit. The end effector unit can also be connected via an actuated joint to the nearest member. An actuated joint may also be provided between the end effector unit and the end effector itself in order to be able to rotate the end effector, in particular with respect to the end effector unit, about a common longitudinal axis. Preferably, the kinematic, preferably as a robot, and more preferably as an articulated robot, extends from the stationary or mobile base over a plurality of links connected to each other with actuated joints, and over the end effector to the end effector, thus forming a serial kinematic chain.

Unter einem Gelenk wird eine bewegliche Verbindung zwischen zwei Elementen wie hier zwischen zwei Gliedern, zwischen einem Glied und dem Endeffektor bzw. der Endeffektoreinheit, zwischen der Endeffektoreinheit und dem Endeffektor selbst oder zwischen einem Glied und der Basis verstanden. Diese Beweglichkeit kann vorzugsweise rotatorisch oder translatorisch sein, wobei auch eine kombinierte Beweglichkeit möglich sein kann. Vorzugsweise sind die Gelenke als Drehgelenke ausgebildet. Die Gelenke können jeweils durch eine Antriebseinheit angetrieben, d.h. aktuiert, werden, wobei elektrische Antriebe zu bevorzugen sind, da elektrische Energie vergleichsweise einfach über die einzelnen Glieder und Gelenke bis zu der jeweiligen Antriebseinheit übertragen werden kann. Der Endeffektor kann jegliche Art von Werkzeug, Tastelement und dergleichen wie z. B. ein Greifer und dergleichen sein.A joint is understood to mean a movable connection between two elements, as here between two links, between a link and the end effector or end effector unit, between the end effector unit and the end effector itself or between a link and the base. This mobility may preferably be rotational or translational, whereby a combined mobility may be possible. Preferably, the joints are designed as hinges. The joints can each be driven, ie actuated, by a drive unit, wherein electrical drives are to be preferred, since electrical energy can be transmitted comparatively easily via the individual links and joints as far as the respective drive unit. The end effector can any kind of tool, probe element and the like such. B. a gripper and the like.

Die mehrgliedrige aktuierte Kinematik weist wenigstens eine erste Bilderfassungseinheit, vorzugsweise wenigstens eine erste Kamera, auf. Unter einer Bilderfassungseinheit kann jegliche Vorrichtung verstanden werden, welche in der Lage ist, ein flächiges Bild sensorisch zu erfassen und elektronisch zur weiteren Verarbeitung zur Verfügung zu stellen. Eine derartige Kamera kann auch als Flächenkamera bezeichnet werden, welche über eine Vielzahl von Zeilen verfügt. Mit anderen Worten handelt es sich bei der ersten Bilderfassungseinheit vorzugsweise um einen zweidimensionalen Sensor, wobei die Bilderfassungseinheit auch als stereoskopische Kamera ausgebildet sein kann, wie weiter unten beschrieben werden wird. Maßnahmen der Signalverarbeitung wie z.B. Filterung, Verstärkung und dergleichen können vorzugsweise durch die Bilderfassungseinheit selbst ausgeführt werden. Dies vorzugsweise mittels einer Kamera als Flächenkamera auszuführen kann besonders einfach, kostengünstig und auch kompakt möglich sein. Die Bilderfassung erfolgt vorzugsweise im für den Menschen sichtbaren Bereich des elektromagnetischen Spektrums, wobei auch eine Bilderfassung in anderen Bereichen des elektromagnetischen Spektrums wie z.B. im Infrarotbereich möglich sein kann. In jedem Fall können erfasste Bilddaten zur Verfügung gestellt werden, welche einen Teilabschnitt der Umgebung der Kinematik darstellen.The multi-unit actuated kinematics has at least one first image acquisition unit, preferably at least one first camera. An image capture unit can be understood to mean any device which is capable of sensory capture of a planar image and of providing it electronically for further processing. Such a camera can also be referred to as an area camera, which has a plurality of lines. In other words, the first image acquisition unit is preferably a two-dimensional sensor, wherein the image acquisition unit can also be designed as a stereoscopic camera, as will be described below. Signal processing measures such as e.g. Filtering, amplification and the like may preferably be performed by the image acquisition unit itself. To carry out this preferably by means of a camera as an area camera can be particularly simple, inexpensive and compact possible. Image acquisition preferably occurs in the human-visible region of the electromagnetic spectrum, including image acquisition in other regions of the electromagnetic spectrum, such as, e.g. in the infrared range may be possible. In any case, captured image data can be provided which represents a subsection of the kinematics environment.

Die erste Bilderfassungseinheit ist vorzugsweise als Monokamera ausgebildet, so dass mit einem Objektiv eine zweidimensionale Darstellung ohne Tiefeninformation bzw. ohne Tiefeneindruck erfasst wird. Dies kann die Umsetzung der ersten Bilderfassungseinheit einfacher und bzw. oder kostengünstiger machen. Die erfassten Bilddaten können z.B. durch eine Embedded Computing Unit (ECU) gesammelt und entweder direkt durch ein in der Basis bzw. in dem Glied integrierten Computer wie z.B. einen NVI-DIA Jetson TX1/2 verarbeitet oder an eine andere Verarbeitungseinheit übertragen werden, damit dort eine Verarbeitung stattfinden kann. Die Möglichkeiten zur Verarbeitung werden weiter unten noch näher beschrieben werden.The first image acquisition unit is preferably designed as a monocamera, so that a two-dimensional representation without depth information or without depth impression is detected with a lens. This can make the implementation of the first image acquisition unit simpler and / or less expensive. The captured image data may be e.g. collected by an embedded computing unit (ECU) and either directly by a computer integrated into the base, or member, e.g. An NVI DIA Jetson TX1 / 2 may be processed or transferred to another processing unit for processing to take place. The possibilities for processing will be described in more detail below.

Die mehrgliedrige aktuierte Kinematik ist dadurch gekennzeichnet, dass wenigstens die erste Bilderfassungseinheit, vorzugsweise wenigstens die erste Kamera, an der Basis oder an einem Glied, vorzugsweise an einem basisnahen Glied, angeordnet ist. Unter einem basisnahen Glied sind alle Glieder der Kinematik zu verstehen, welche näher an der Basis der Kinematik als am Endeffektor oder auch mittig zwischen der Basis der Kinematik und dem Endeffektor angeordnet sind. Die Bilderfassungseinheit könnte auch an einem Verbindungselement zwischen zwei Gelenken angeordnet sein.The multi-membered actuated kinematics is characterized in that at least the first image acquisition unit, preferably at least the first camera, is arranged on the base or on a member, preferably on a member close to the base. A close-to-base member is understood to mean all members of the kinematics which are arranged closer to the base of the kinematics than to the end effector or also centrally between the base of the kinematics and the end effector. The image capture unit could also be arranged on a connecting element between two joints.

Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass die eingangs beschriebene sensorische Erfassung der Umgebung der Kinematik über eine abseits der Kinematik angeordnete Kamera einen zusätzlichen Aufwand darstellt, da bei der Aufstellung der Kinematik zusätzlich die unabhängige Kamera angeordnet und in Betrieb genommen werden muss. Insbesondere kann die Signalübertragung der erfassten Bilddaten zur Kinematik bzw. zu z.B. einer Steuerungseinheit der Kinematik einen zusätzlichen Aufwand darstellen. Eine drahtgebundene Signalübertragung kann Kosten und Aufwand verursachen und störend sowie unflexibel sein, insbesondere in einer industriellen Produktion. Eine drahtlose Signalübertragung kann störungsanfällig sein bzw. andere drahtlose Signalübertragungen stören.The present invention is based on the finding that the sensory detection of the surroundings of the kinematics described at the outset represents an additional expense via a camera arranged away from the kinematics, since in the installation of the kinematics the independent camera additionally has to be arranged and put into operation. In particular, the signal transmission of the acquired image data to the kinematics or to e.g. a control unit of kinematics represent an additional expense. Wired signal transmission can cause cost and effort and be annoying and inflexible, especially in industrial production. Wireless signal transmission can be prone to interference or interfere with other wireless signal transmissions.

Ebenso kann die Verwendung einer Kamera am Endeffektor einen zusätzlichen Aufwand darstellen, weil derartige Kameras üblicherweise unabhängig hergestellt und äußerlich am Endeffektor angeordnet werden. Dies kann den Bauraum des Endeffektors vergrößern, insbesondere bei der Verwendung einer nicht miniaturisierten Kamera. Wird eine minaturisierte Kamera verwendet, kann dieser Nachteil verringert werden, jedoch kann dies die Kosten deutlich erhöhen. Auch kann sich bei der Verwendung einer miniaturisierten Bilderfassungseinheit die Bildauflösung verschlechtern, da mitunter die Sensor-/Chipgröße geringer ist. Auch erfordert eine am Endeffektor angeordnete Kamera eine üblicherweise kabelgebundene elektrische Energieversorgung sowie eine üblicherweise kabelgebundene Signalübertragung der erfassten Bilddaten z.B. zu einer Steuerungseinheit der Kinematik. Diese Kabel müssen üblicherweise über mehrere bis alle Glieder der Kinematik bis zum Endeffektor geführt werden. Dies kann nicht nur einen zusätzlichen Montageaufwand bedeuten sondern auch die Bewegungsmöglichkeiten der Kinematik einschränken sowie zu einem zusätzlichen Gewicht führen, welches von den Gliedern getragen bzw. von den aktuierten Gelenken bewegt werden muss. Dies gilt insbesondere für die Kamera selbst, welche mit dem Endeffektor mitbewegt werden muss. Dies ist besonders nachteilig, da sich dasselbe Gewicht umso nachteiliger auf die aktuierten Gelenke auswirken kann, desto näher das Gewicht am Endeffektor bzw. desto weiter weg das Gewicht von der Basis angeordnet ist.Likewise, the use of a camera at the end effector can be an additional expense because such cameras are usually made independently and placed externally on the end effector. This can increase the space of the end effector, especially when using a non-miniaturized camera. If a miniaturized camera is used, this disadvantage can be reduced, but this can significantly increase the cost. Also, when using a miniaturized image acquisition unit, the image resolution may deteriorate because sometimes the sensor / chip size is smaller. Also, a camera disposed on the end effector requires a typically wired electrical power supply as well as a typically wired signal transmission of the captured image data, e.g. to a control unit of the kinematics. These cables usually have to be routed to the end effector via several to all links of the kinematics. This can not only mean an additional installation effort but also limit the movement possibilities of the kinematics and lead to an additional weight, which must be carried by the limbs or moved by the aktuierten joints. This is especially true for the camera itself, which must be moved with the end effector. This is particularly disadvantageous because the same weight can be the more disadvantageous to the actuated joints, the closer the weight to the end effector or the further away the weight is from the base.

Diese Nachteile können erfindungsgemäß dadurch überwunden oder zumindest reduziert werden, indem wenigstens die erste Bilderfassungseinheit, vorzugsweise wenigstens die erste Kamera, an der Basis oder an einem Glied, vorzugsweise an einem basisnahen Glied, angeordnet ist. In jedem Fall kann zum einen ein Bereich erfasst werden, welcher weiter von dem Endeffektor entfernt ist und somit einen größeren Blickwinkel aufweisen kann. Auch kann der Endeffektor selbst miterfasst werden. Hierdurch können bildlich mehr Informationen erfasst werden als bei einer Anordnung der ersten Bilderfassungseinheit am Endeffektor. Zum anderen kann die erste Bilderfassungseinheit an der Kinematik angeordnet und vorzugsweise in diese integriert werden, sodass die Anordnung, die Ausrichtung sowie die Verkabelung der elektrischen Energieversorgung, der Ansteuerung sowie der Datenübertragung vorab erfolgen und die erfindungsgemäße Kinematik samt erster Bilderfassungseinheit lediglich am Einsatzort als Gesamtsystem aufgestellt und in Betrieb genommen werden muss. Dies kann die Herstellung, die Montage, den Transport sowie die Aufstellung und Inbetriebnahme vereinfachen und bzw. oder beschleunigen.According to the invention, these disadvantages can be overcome or at least reduced by arranging at least the first image acquisition unit, preferably at least the first camera, on the base or on a member, preferably on a member close to the base. In any case, on the one hand, an area can be detected which is further away from the end effector and thus can have a larger viewing angle. Also, the end effector itself can be detected. As a result, more information can be captured than with an arrangement of the first image acquisition unit on the end effector. On the other hand, the first image capturing unit can be arranged on the kinematics and preferably integrated into it, so that the arrangement, orientation and wiring of the electrical power supply, the control and the data transmission are carried out in advance and the kinematics according to the invention together with the first image capture unit only set up as an overall system at the place of use and must be put into operation. This can simplify and / or accelerate the manufacture, assembly, transport, installation and commissioning.

Wird die erste Bilderfassungseinheit dabei an der Basis angeordnet, welche relativ zu den Gliedern feststehend ist, so kann stets derselbe definierte Bilderfassungsbereich der Umgebung der Kinematik erfasst werden. Dies kann die Weiterverarbeitung vereinfachen.If the first image capture unit is arranged on the base, which is fixed relative to the limbs, the same defined image capture region of the kinematics environment can always be detected. This can simplify the further processing.

Wird die erste Bilderfassungseinheit an einem beliebigen Glied angeordnet, so kann je nach Positionierung und Orientierung ein unterschiedlicher Bereich der Umgebung der Kinematik erfasst werden, welcher stets größer sein kann als bei einer Anordnung der ersten Bilderfassungseinheit am Endeffektor. Durch die Bewegungen des Gliedes kann die Umgebung der Kinematik im Laufe des Betriebs erfasst werden, so dass insgesamt ein größerer Bereich der Umgebung erfasst werden kann als bei einer Anordnung der ersten Bilderfassungseinheit an der Basis. Dies kann die erfasste Umgebung vergrößern.If the first image acquisition unit is arranged on an arbitrary member, depending on the positioning and orientation, a different region of the kinematics environment can be detected, which can always be larger than in the case of an arrangement of the first image acquisition unit on the end effector. Due to the movements of the member, the environment of the kinematics can be detected in the course of the operation, so that overall a larger area of the environment can be detected than with an arrangement of the first image detection unit on the base. This can increase the captured environment.

Dabei die erste Bilderfassungseinheit vorzugsweise an einem basisnahen Glied anzuordnen kann es begünstigen, dass der Endeffektor miterfasst werden kann, denn je weiter die erste Bilderfassungseinheit von dem Endeffektor entfernt angeordnet ist, um so eher kann der Endeffektor aus unterschiedlichen Posen, d.h. Positionen und Orientierungen, der ersten Bilderfassungseinheit erfasst werden. Dies kann vorteilhaft sein, weil dem Endeffektor aufgrund seiner Interaktionsmöglichkeiten mit der Umgebung der Kinematik für deren Benutzung eine besondere Bedeutung zukommt.The first image acquisition unit preferably being arranged on a base-near member may favor the fact that the end effector can also be detected, since the farther the first image acquisition unit is located away from the end effector, the more likely the end effector can be made up of different poses, i. Positions and orientations, the first image acquisition unit are detected. This can be advantageous because the end effector is of particular importance because of its interaction possibilities with the kinematics environment for its use.

Vorteilhaft kann in jedem Fall auch sein, dass an den o.g. Positionen die erste Bilderfassungseinheit in der Basis bzw. vergleichsweise nahe der Basis in Relation zum Endeffektor angeordnet werden kann, so dass der negative Einfluss des Gewichts der ersten Bilderfassungseinheit auf die Bewegungen der Kinematik reduziert bzw. sogar vollständig vermieden werden kann. Auch kann die Kabelführung für die elektrische Energieversorgung sowie für die Signalübertragung kürzer und damit leichter sowie einfacher gestaltet werden. Dies kann auch Einschränkungen der Beweglichkeit der Kinematik durch derartige Kabel reduzieren oder vollständig vermeiden.It can also be advantageous in any case that the o.g. Positions the first image acquisition unit in the base or relatively close to the base in relation to the end effector can be arranged so that the negative influence of the weight of the first image acquisition unit on the movements of the kinematics can be reduced or even completely avoided. Also, the cable routing for the electrical power supply and for signal transmission can be made shorter and thus easier and easier. This can also reduce or completely avoid restrictions on the mobility of the kinematics through such cables.

Vorteilhaft kann ferner sein, dass die Basis sowie die Glieder und insbesondere die basisnahen Glieder in Relation zum Endeffektor sowie zu den endeffektornahen Gliedern vergleichsweise groß ausgebildet sind, so dass ein ausreichender Platz zur Verfügung stehen kann, um die erste Bilderfassungseinheit anzuordnen. Dies kann die Anordnung vereinfachen und auch flexibler gestalten. Ferner kann darauf verzichtet werden, als Bilderfassungseinheit eine möglichst kompakte und miniaturisierte Bilderfassungseinheite zu verwenden, was zusätzliche Kosten bedeuten könnte.It may also be advantageous that the base and the links and in particular the links close to the base are made comparatively large in relation to the end effector as well as to the end effector-proximate links, so that sufficient space can be available to arrange the first imaging unit. This can simplify the arrangement and also make it more flexible. Furthermore, it can be dispensed with to use the most compact and miniaturized Bildfassungseinheite as an image capture unit, which could mean additional costs.

Gemäß eines Aspekts der vorliegenden Erfindung ist die erste Bilderfassungseinheit an dem ersten Glied angeordnet. Dies kann die Kabelführung und deren Auswirkungen, wie zuvor beschrieben, gering halten. Gleichzeitig kann die erste Bilderfassungseinheit näher an den Endeffektor heran gebracht werden als bei einer Anordnung außerhalb der Kinematik bzw. an dessen Basis. Vorteilhaft kann auch sein, dass die erste Bilderfassungseinheit mit der Kinematik mitbeweglich angeordnet werden kann, so dass durch die Bewegungen der Kinematik verschiedene Bereiche der Umgebung der Kinematik von der ersten Bilderfassungseinheit erfasst werden können. Dies kann den Bereich vergrößern, welcher im Vergleich zu einer stationär an der Basis angeordneten ersten Bilderfassungseinheit von dieser erfasst werden kann.According to one aspect of the present invention, the first image capture unit is disposed on the first member. This can keep the cable routing and its effects low as described above. At the same time, the first image capture unit can be brought closer to the end effector than with an arrangement outside the kinematics or at its base. It can also be advantageous that the first image acquisition unit can be movably arranged with the kinematics so that different regions of the kinematics surrounding area can be detected by the kinematics of the kinematics by the first image acquisition unit. This can increase the area which can be detected by the latter in comparison with a first image acquisition unit arranged stationarily on the base.

Vorteilhaft kann hierbei auch sein, dass die Basis der Kinematik üblicherweise auf einem horizontal ausgerichteten Untergrund angeordnet wird, so dass sich das erste Glied vertikal in der Höhe erstreckt und durch das erste aktuierte Gelenk um die Hochachse gedreht werden kann. Wird somit die erste Bilderfassungseinheit an dem ersten Glied angeordnet, kann im Laufe der Drehbewegungen des ersten aktuierten Gelenks von der ersten Bilderfassungseinheit ein Großteil der Umgebung der Kinematik bis hin zu vollständigen 360° erfasst werden. Dies kann eine weitestgehend bis vollständige Erfassung der Umgebung der Kinematik mit einfachen Mitteln ermöglichen. Insbesondere können aufwendige Umrechnungen der erfassten Bilddaten z.B. in ein globales Koordinatensystem vermieden werden, weil durch die Rotation der ersten Bilderfassungseinheit um die Hochachse des ersten Gelenks bzw. des ersten Gliedes die Bilddaten direkt in zylindrischen Koordinaten um den Mittelpunkt der Basis erfasst werden können. It can also be advantageous in this case that the base of the kinematics is usually arranged on a horizontally aligned substrate, so that the first member extends vertically in height and can be rotated about the vertical axis by the first actuated joint. If the first image acquisition unit is thus arranged on the first member, a large part of the environment of the kinematics up to a complete 360 ° can be detected by the first image acquisition unit in the course of the rotational movements of the first actuated joint. This can allow a largely complete detection of the environment of the kinematics with simple means. In particular, complex conversions of the captured image data, e.g. be avoided in a global coordinate system, because by the rotation of the first image acquisition unit about the vertical axis of the first joint or the first member, the image data can be detected directly in cylindrical coordinates around the center of the base.

Vorteilhaft ist hierbei ferner, dass zur Bestimmung der Orientierung der Bilderfassungseinheit lediglich eine Sensorgröße z.B. des Drehgeber des ersten Gelenkes berücksichtigt werden muss und nicht z.B. sechs Sensorgrößen wie bei einer Endeffektorkamera. Mit anderen Worten kann sich lediglich eine Messungenauigkeit anstatt der Summe aus z.B. sechs Messungenauigkeiten auf die Bestimmung der Orientierung der Bilderfassungseinheit auswirken. Dies kann dann eine wesentliche Rolle spiele, wenn die Einzelbildaufnahmen auf Basis der Sensordaten des Kinematik fusioniert werden sollen. Entsprechend ist auch kein hochgenaues kinematisches Modell aller z.B. sechs Glieder und Gelenke erforderlich, sondern nur des ersten Gelenkes. It is also advantageous here for the determination of the orientation of the image acquisition unit to take into account only one sensor size, for example of the rotary encoder of the first joint, and not, for example, six sensor sizes as in the case of an end effector camera. In other words, only one measurement inaccuracy can affect the determination of the orientation of the image acquisition unit instead of the sum of, for example, six measurement inaccuracies. This can then play an essential role if the individual images are to be fused on the basis of the sensor data of the kinematics. Accordingly, no high-precision kinematic model of all, for example, six links and joints is required, but only the first joint.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist das erste Glied durch ein zweites aktuiertes Gelenk mit einem zweiten Glied verbunden, wobei die erste Bilderfassungseinheit an dem zweiten Glied angeordnet ist. Hierdurch kann die erste Bilderfassungseinheit noch näher an den Endeffektor herangebracht werden, so dass dieser bzw. die Umgebung des Endeffektors deutlicher erfasst werden kann. Auch können die zuvor beschriebenen Vorteile auf diese Art und Weise bei Kinematiken angewendet werden, deren erstes Glied zu kurz bzw. zu ungünstig gestaltet ausgebildet ist, um die erste Bilderfassungseinheit aufzunehmen. Dies ist üblicherweise bei klassischen seriellen Kinematiken wie sechsachsigen Industrierobotern der Fall, so dass die vorliegende Erfindung auf diese Kinematiken einfacher angewendet werden kann.According to another aspect of the present invention, the first member is connected to a second member through a second actuated hinge, the first image sensing unit being disposed on the second member. As a result, the first image capture unit can be brought even closer to the end effector, so that this or the environment of the end effector can be detected more clearly. Also, the advantages described above can be applied in this way in kinematics, the first member is designed too short or too unfavorable designed to accommodate the first image acquisition unit. This is usually the case with classical serial kinematics such as six-axis industrial robots, so that the present invention can be more easily applied to these kinematics.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist die erste Bilderfassungseinheit angeordnet und ausgerichtet, den Endeffektor zumindest in einer Pose, vorzugsweise im Wesentlichen in jeder Pose, zu erfassen. Unter einer Pose wird die Kombination von Position und Orientierung im dreidimensionalen Raum verstanden. Somit wird die Anordnung der ersten Bilderfassungseinheit derart gewählt, dass nicht nur die Umgebung der Kinematik sondern auch der Endeffektor zumindest in einer seiner Posen erfasst werden kann. Hierdurch können bildliche Informationen über den Endeffektor erfasst werden, um z.B. dessen Position und bzw. oder Orientierung bildlich zu überprüfen, welche z.B. unter Berücksichtigung von sensorisch erfassten Winkelstellungen mittels eines Modells der Kinematik berechnet wurde. Auch kann hierdurch ein Zustand des Endeffektors z.B. als Greifer bildlich überprüft werden, ob z.B. der Greifer geöffnet oder geschlossen ist sowie ob ein Gegenstand erfolgreich ergriffen wurde. Dies wird weiter unten noch näher erläutert werden.According to a further aspect of the present invention, the first image capture unit is arranged and aligned to detect the end effector in at least one pose, preferably substantially in each pose. A pose is the combination of position and orientation in three-dimensional space. Thus, the arrangement of the first image acquisition unit is selected such that not only the environment of the kinematics but also the end effector can be detected at least in one of its poses. As a result, visual information about the end effector can be acquired, e.g. to visually check its position and / or orientation, e.g. was calculated by taking into account sensory angle positions by means of a kinematics model. Also, this may cause a condition of the end effector, e.g. as a gripper, whether e.g. the gripper is open or closed and an object has been successfully gripped. This will be explained in more detail below.

Diese Überprüfung kann für umso mehr Posen des Endeffektors erfolgen, desto häufiger der Endeffektor von der ersten Bilderfassungseinheit erfasst werden kann, so dass es vorteilhaft sein kann, die erste Bilderfassungseinheit entsprechend anzuordnen und auszurichten, dass die Häufigkeit der bildlichen Erfassung des Endeffektors durch die erste Bilderfassungseinheit erhöht werden kann. Wie dies zu erfolgen hat, kann vom jeweiligen Anwendungsfall, d.h. von der jeweiligen konstruktiven Ausgestaltung der Kinematik sowie von der jeweiligen Anwedung, abhängen.This check can be carried out for all the more poses of the end effector, the more frequently the end effector can be detected by the first image acquisition unit, so that it may be advantageous to arrange and align the first image acquisition unit accordingly that the frequency of the image capture of the end effector by the first image acquisition unit can be increased. How this has to be done may depend on the particular application, i. depend on the particular structural design of the kinematics and the respective application.

Dabei kann es zu bevorzugen sein, die erste Bilderfassungseinheit derart anzuordnen und auszurichten, dass der Endeffektor im Wesentlichen in jeder Pose bildlich erfasst werden kann. Dies kann durch eine Anordnung und Ausrichtung umgesetzt werden, so dass der Endeffektor zumindest dann bildlich erfasst wird, wenn er sich in einer üblichen Pose, in einer üblichen Bewegung und bzw. oder bei einer üblichen Handlung befindet. Dies kann z.B. für übliche „Nehmen und Platzieren“-Anwendungen gelten, bei denen der Endeffektor üblicherweise einen Gegenstand von einem Untergrund, welcher üblicherweise dem Untergrund der Basis der Kinematik entspricht, durch Greifen aufnimmt, ein Stück vertikal anhebt, in der Horizontalen bewegt und anschließend mit einer vertikalen Bewegung auf demselben Untergrund oder in einer vergleichbaren Höhe absetzt. Entsprechend kann die erste Bilderfassungseinheit an einem Glied der Kinematik angeordnet und zumindest im Wesentlichen horizontal ausgerichtet werden, so dass der Endeffektor bei der zuvor beschriebenen Anwendung durchgängig oder zumindest im Wesentlichen durchgängig erfasst werden kann. Im Umkehrschluss kann die Erfassung von Posen ausgeschlossen werden, welche sehr unwahrscheinlich vom Endeffektor eingenommen werden wie z.B. Singularitäten.In this case, it may be preferable to arrange and align the first image capture unit in such a way that the end effector can be imaged in essentially any pose. This can be implemented by an arrangement and orientation so that the end effector is captured at least when it is in a conventional pose, motion, and / or act. This can e.g. for common take and place applications, where the end effector typically picks a piece vertically from a ground, which usually conforms to the base of the kinematics, lifts it vertically, then moves it horizontally and then vertically Moving on the same ground or at a comparable height. Accordingly, the first image acquisition unit can be arranged on a link of the kinematics and aligned at least substantially horizontally so that the end effector can be detected continuously or at least essentially continuously in the application described above. Conversely, the detection of poses, which are very unlikely to be taken by the end effector, such as, for example, can be ruled out. Singularities.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung weist die mehrgliedrige aktuierte Kinematik wenigstens eine zweite Bilderfassungseinheit, vorzugsweise wenigstens eine zweite Kamera, auf, welche an der Basis oder an demselben Glied wie die erste Bilderfassungseinheit oder an einem anderen Glied, vorzugsweise an einem anderen basisnahen Glied, angeordnet ist. Die zweite Bilderfassungseinheit kann unterschiedlich ausgebildet sein, um z.B. einen anderen Bereich des elektromagnetischen Spektrums zu erfassen, was z.B. durch eine Bilderfassung im Infrarotbereich unterschiedliche Darstellungen derselben Umgebung der Kinematik liefern kann. Vorzugsweise ist die zweite Bilderfassungseinheit zur Erfassung derselben Bereichs des elektromagnetischen Spektrums wie die erste Bilderfassungseinheit ausgebildet, so dass gleichzeitig mehr bildliche Informationen der Umgebung der Kinematik erfasst werden können. Dies kann die Informationen über die Umgebung der Kinematik erhöhen. Werden die beiden Bilderfassungseinheiten an unterschiedlichen Gliedern angeordnet, so kann gleichzeitig je nach Orientierung der beiden Glieder ein mehr oder weniger großer Bereich der Umgebung der Kinematik erfasst werden.According to a further aspect of the present invention, the multi-membered actuated kinematics has at least one second image acquisition unit, preferably at least one second camera, which is attached to the base or the same member as the first image acquisition unit or to another member, preferably to another base-proximate member. is arranged. The second image acquisition unit can be designed differently, for example, to detect a different region of the electromagnetic spectrum, which, for example, can provide different representations of the same environment of the kinematics by image acquisition in the infrared region. Preferably, the second image acquisition unit is designed to detect the same region of the electromagnetic spectrum as the first image acquisition unit, so that at the same time more visual information of the environment of the kinematics can be detected. This can increase the information about the environment of the kinematics. If the two image acquisition units are arranged on different links, then simultaneously depending on the orientation of the two links a more or less large area of the kinematics environment is detected.

Werden die beiden Bilderfassungseinheiten an demselben Glied angeordnet, so können die beiden Bilderfassungsbereiche fest aufeinander abgestimmt werden. Wird hierbei eine Überlappung der beiden Bilderfassungsbereiche vorgesehen, so kann in diesem Überlappungsbereich eine stereoskopische Bilderfassung erfolgen. Unter Stereoskopie wird dabei die Wiedergabe von Bildern mit einem räumlichen Eindruck von Tiefe verstanden, welcher physikalisch nicht vorhanden ist. Dies kann es ermöglichen, zumindest in diesem Bereich Tiefeninformationen aus der bildlichen Erfassung zu erhalten. Dies kann zu einem dreidimensionalen Verständnis der erfassten Umgebung der Kinematik führen, wie weiter unten noch näher erläutert werden wird. Werden die beiden Bilderfassungsbereiche vollständig nebeneinander ohne Überlappung bzw. mit nur geringfügiger Überlappung am Rand zueinander ausgerichtet, so kann gleichzeitig ein möglichst großer Bereich der Umgebung erfasst werden.If the two image detection units are arranged on the same element, then the two image detection regions can be firmly coordinated with one another. If an overlapping of the two image-capturing areas is provided, stereoscopic image capturing can take place in this overlapping area. Stereoscopy is understood to mean the reproduction of images with a spatial impression of depth which is physically absent. This can make it possible to obtain depth information from the image capture at least in this area. This can lead to a three-dimensional understanding of the detected environment of the kinematics, as will be explained in more detail below. If the two image-capturing areas are completely aligned next to one another without overlapping or with only slight overlap at the edge, at the same time the largest possible area of the surroundings can be detected.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist die zweite Bilderfassungseinheit ebenfalls angeordnet und ausgerichtet, den Endeffektor zumindest in einer Pose, vorzugsweise im Wesentlichen in jeder Pose, bildlich zu erfassen, wobei die zweite Bilderfassungseinheit vorzugsweise an demselben Glied wie die erste Bilderfassungseinheit angeordnet ist und die erste Bilderfassungseinheit und die zweite Bilderfassungseinheit einen zumindest abschnittsweise überlappenden Bilderfassungsbereich aufweisen. Hierdurch kann in diesem Überlappungsbereich eine stereoskopische Bilderfassung erfolgen, so dass zumindest im diesem Bereich Tiefeninformationen aus der bildlichen Erfassung erhalten werden können, wie zuvor bereits erwähnt. Dies kann zu einem dreidimensionalen Verständnis der erfassten Umgebung der Kinematik führen, wie weiter unten noch näher erläutert werden wird.According to another aspect of the present invention, the second imaging unit is also arranged and aligned to image-capture the end-effector in at least one pose, preferably substantially each pose, the second imaging unit preferably being disposed on the same member as the first imaging unit and the second imaging unit first image capture unit and the second image capture unit have an at least partially overlapping image capture area. As a result, stereoscopic image acquisition can take place in this overlapping region, so that depth information from the image acquisition can be obtained at least in this region, as already mentioned above. This can lead to a three-dimensional understanding of the detected environment of the kinematics, as will be explained in more detail below.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung weist die mehrgliedrige aktuierte Kinematik eine Mehrzahl von, vorzugsweise vier, Bilderfassungseinheiten, vorzugsweise eine Mehrzahl von, vorzugsweise vier, Kameras, auf, welche an der Basis und bzw. oder an einem Glied, vorzugsweise an einem basisnahen Glied, angeordnet sind, wobei die erste Bilderfassungseinheit, vorzugsweise und die zweite Bilderfassungseinheit, zur Mehrzahl der Bilderfassungseinheiten gehört. Dies kann es ermöglichen, einen größeren Bereich der Umgebung der Kinematik zu erfassen. Die mehreren Bilderfassungseinheiten können jeweils oder zumindest teilweise unterschiedliche Bereiche des elektromagnetischen Spektrums erfassen, was unterschiedliche Darstellungen derselben Umgebung der Kinematik liefern kann. Vorzugsweise können alle Bilderfassungseinheiten zur Erfassung derselben Bereichs des elektromagnetischen Spektrums wie die erste Bilderfassungseinheit ausgebildet sein, so dass gleichzeitig mehr bildliche Informationen der Umgebung der Kinematik erfasst werden können. Dies kann die Informationen über die Umgebung der Kinematik erhöhen.According to a further aspect of the present invention, the multi-unit actuated kinematics has a plurality of, preferably four, imaging units, preferably a plurality of, preferably four, cameras, which are on the base and / or on a member, preferably on a base-proximate member , wherein the first image acquisition unit, preferably and the second image acquisition unit, belongs to the plurality of image acquisition units. This can make it possible to cover a larger area of the kinematics environment. The plurality of image acquisition units may each or at least partially detect different regions of the electromagnetic spectrum, which may provide different representations of the same environment of the kinematics. Preferably, all the image acquisition units for acquiring the same region of the electromagnetic spectrum can be designed as the first image acquisition unit, so that at the same time more visual information of the environment of the kinematics can be detected. This can increase the information about the environment of the kinematics.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung sind die Bilderfassungseinheiten angeordnet und ausgerichtet, die Umgebung der mehrgliedrigen aktuierten Kinematik zumindest im Wesentlichen bildlich zu erfassen. Mit anderen Worten sind die Bilderfassungseinheiten derart angeordnet und ausgerichtet, dass die Bilderfassungseinheiten die Umgebung der Kinematik gleichzeitig möglichst vollständig bildlich erfassen können. Hierdurch kann es ermöglicht werden, zeitgleich eine möglichst vollständige Darstellung der Umgebung der Kinematik zu erhalten. Auch kann die bildliche Erfassung der Umgebung der Kinematik im Wesentlichen dahingehend umgesetzt werden, dass zumindest der Bereich der Umgebung erfasst wird, welchem eine besondere Bedeutung beigemessen wird, z.B. weil sich dort der Endeffektor oder ein vom Endeffektor zu greifendes Objekt befindet. Bereiche der Umgebung der Kinematik, welche dieses Kriterium nicht erfüllen und insbesondere diesem Bereich diametral zur Basis gegenüberliegen, können bei der bildlichen Erfassung außer Acht gelassen werden.In accordance with another aspect of the present invention, the image capture units are arranged and aligned to at least substantially capture the environment of the multi-unit actuated kinematics. In other words, the image acquisition units are arranged and aligned in such a way that the image acquisition units can simultaneously capture the surroundings of the kinematics as completely as possible. This makes it possible to obtain at the same time a complete representation of the environment of the kinematics. Also, the imaging of the environment of the kinematics can be substantially implemented so as to detect at least the area of the environment to which particular importance is attached, e.g. because there is the end effector or an object to be gripped by the end effector. Areas of the kinematics environment that do not meet this criterion and, in particular, face this area diametrically opposite the base, can be disregarded in the imaging.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung sind die Bilderfassungseinheiten angeordnet und ausgerichtet, eine 360°-Ansicht um die mehrgliedrige aktuierte Kinematik herum bildlich zu erfassen. Dies kann es ermöglichen, zeitgleich eine vollständige Darstellung der Umgebung der Kinematik zu erhalten. Dies kann z.B. die vollständige Überwachung des Arbeitsraums der Kinematik ermöglichen, um z.B. das Eindringen einer Person in den überwachten Arbeitsraum zu erkennen und die Kinematik dann in einen sicheren Zustand zu versetzen.In accordance with another aspect of the present invention, the image capture units are arranged and aligned to image a 360 ° view around the multi-unit actuated kinematics. This can make it possible at the same time to obtain a complete representation of the kinematics environment. This can e.g. allow complete monitoring of the working space of the kinematics, e.g. To detect the intrusion of a person in the monitored work space and then put the kinematics in a safe state.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung sind wenigstens zwei Bilderfassungseinheiten der Mehrzahl von Bilderfassungseinheiten angeordnet und ausgerichtet, die Umgebung der mehrgliedrigen aktuierten Kinematik abseits des Endeffektors, vorzugsweise zumindest im Wesentlichen gemeinsam, bildlich zu erfassen. Dies kann es ermöglichen, auch Bereiche der Umgebung der Kinematik bildlich zu erfassen, in welchen sich der Endeffektor nicht aufhält. Dies kann der Sicherheit dienen um z.B. das Eindringen einer Person in den überwachten Arbeitsraum zu erkennen, wenn sich diese Person aus einem Bereich der Kinematik nähert, welcher dem Endeffektor abgewandt ist, z.B. von hinten. Wird dies erkannt, so kann die Kinematik in einen sicheren Zustand versetzt werden.According to another aspect of the present invention, at least two image acquisition units of the plurality of image acquisition units are arranged and aligned to image the environment of the multi-unit actuated kinematics away from the end effector, preferably at least substantially in common. This can make it possible to also capture areas of the kinematics environment in which the end effector is not located. This can serve for safety, e.g. to detect the intrusion of a person into the monitored workspace as that person approaches a region of kinematics that faces away from the end effector, e.g. from behind. If this is detected, the kinematics can be put into a safe state.

Diese bildliche Erfassung zumindest teilweise stereoskopisch vorzunehmen kann es ermöglichen, z.B. beim Annähern einer Person dessen Entfernung zur Kinematik zu bestimmen und ggfs. erst beim Unterschreiten eines vorbestimmten mindesten Sicherheitsabstands die Kinematik in einen sicheren Zustand zu versetzen. Dies kann eine räumlich enge Zusammenarbeit der Kinematik mit Personen ermöglichen und gleichzeitig deren Sicherheit gewährleisten. Ebenso können die Annäherung eines mobilen Roboters, einer beweglichen Maschine sowie z.B. von Gegenständen auf einem sich bewegenden Transportband erkannt werden. At least partially stereoscopically, this pictorial detection can make it possible, for example, to determine the distance to the kinematics when approaching a person and, if necessary, to put the kinematics in a safe state only when falling below a predetermined minimum safety distance. This can enable a spatially close cooperation of the kinematics with persons and at the same time ensure their safety. Likewise, the approach of a mobile robot, a moving machine and, for example, objects on a moving conveyor belt can be detected.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung weist die mehrgliedrige aktuierte Kinematik wenigstens eine Bilddatenerfassungseinheit auf, welche ausgebildet ist, die erfassten Bilddaten von wenigstens der ersten Bilderfassungseinheit, vorzugsweise von mehreren Bilderfassungseinheiten, besonders vorzugsweise von allen Bilderfassungseinheiten, zu erhalten, wobei die Bilddatenerfassungseinheit ausgebildet ist, basierend auf den erfassten Bilddaten eine wenigstens zweidimensionale Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik zu erstellen. Mit anderen Worten können einzelne erfasste Bilddaten oder alle erfassten Bilddaten von der Bilddatenerfassungseinheit gesammelt und einzeln oder vorzugsweise gemeinsam ausgewertet werden. Die Bilddatenerfassungseinheit kann dabei vollständig oder teilweise, d.h. einzelne Funktionen dieser, hardwareseitig oder softwareseitig umgesetzt sein. Auch können die einzelnen Funktionen teilweise oder vollständig von einer Hardware-Komponente oder Software-Komponente umgesetzt werden.According to a further aspect of the present invention, the multi-unit actuated kinematics has at least one image data acquisition unit which is designed to obtain the acquired image data from at least the first image acquisition unit, preferably from several image acquisition units, particularly preferably from all image acquisition units, wherein the image data acquisition unit is designed, based on the acquired image data to create an at least two-dimensional representation of the detected environment of the multi-unit actuated kinematics. In other words, individual acquired image data or all captured image data can be collected by the image data acquisition unit and evaluated individually or preferably together. The image data acquisition unit can be completely or partially, i. individual functions of this, hardware or software implemented. Also, the individual functions can be partially or completely implemented by a hardware component or software component.

Die wenigstens zweidimensionale Darstellung der erfassten Umgebung der Kinematik kann diejenigen Bereiche der Umgebung der Kinematik umfassen, welche gleichzeitig oder zeitlich versetzt von wenigstens einer Bilderfassungseinheit und vorzugsweise von mehreren Bilderfassungseinheiten erfasst wurden. Hierdurch kann eine wenigstens zweidimensionale Darstellung der erfassten Umgebung der Kinematik erstellt werden, welche alle Informationen enthalten kann, welche sich bildlich erfassen lassen. Hierauf basierend können Auswertungen ermöglicht werden, wie weiter unten näher beschrieben werden wird.The at least two-dimensional representation of the detected environment of the kinematics can include those regions of the environment of the kinematics which were detected simultaneously or offset in time from at least one image capture unit and preferably from several image capture units. In this way, an at least two-dimensional representation of the detected environment of the kinematics can be created, which can contain all information that can be captured in a visual way. Based on this, evaluations can be made possible, as will be described in more detail below.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist die Bilddatenerfassungseinheit ausgebildet, ferner die erfassten Bilddaten von wenigstens einer zweiten Bilderfassungseinheit zu erhalten, welche mit der ersten Bilderfassungseinheit einen zumindest abschnittsweise überlappenden Bilderfassungsbereich aufweist, wobei die Bilddatenerfassungseinheit ausgebildet ist, basierend auf den erfassten Bilddaten des überlappenden Bilderfassungsbereichs eine dreidimensionale Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik, vorzugsweise in einem globalen Koordinatensystem, zu erstellen. Dies kann es ermöglichen, für den überlappenden Bilderfassungsbereich stereoskopische Bilddaten zu erzeugen, welche Tiefeninformationen enthalten können, so dass bildlich erfasste Objekte in ihrer Größe und in ihrem Abstand zur Kinematik bestimmt werden können. Dies kann es ermöglichen, eine dreidimensionale Darstellung zumindest des überlappenden Bilderfassungsbereichs der Umgebung der Kinematik zu erstellen. Hierauf basierend können Auswertungen ermöglicht werden, wie weiter unten näher beschrieben werden wird.According to another aspect of the present invention, the image data acquiring unit is configured to further obtain the acquired image data from at least one second image acquiring unit having the at least partially overlapping image capturing region with the first image acquiring unit, wherein the image data acquiring unit is configured based on the acquired image data of the overlapping image capturing region to create a three-dimensional representation of the detected environment of the multi-membered actuated kinematics, preferably in a global coordinate system. This may make it possible to generate stereoscopic image data for the overlapping image-capturing area, which may contain depth information, so that imaged objects can be determined in their size and their distance from the kinematics. This can make it possible to create a three-dimensional representation of at least the overlapping image capture region of the kinematics environment. Based on this, evaluations can be made possible, as will be described in more detail below.

Diese dreidimensionale Darstellung zumindest des überlappenden Bilderfassungsbereichs der Umgebung der Kinematik in einem globalen Koordinatensystem zu erstellen kann vorteilhaft sein, um diese Darstellung mit anderen Einheiten wie z.B. einer Steuerungseinheit der Kinematik austauschen und ohne Transformation der Koordinaten nutzen zu können. Dies kann die Nutzung vereinfachen und beschleunigen. Hierdurch kann es z.B. einer Auswertungseinheit eines Bilderfassunssystems oder einer Steuerungseinheit der Kinematik ermöglicht oder zumindest erleichtert werden, eine Bahnplanung durchzuführen bzw. das Abfahren einer Bahn zu überwachen, wie weiter unten noch näher beschrieben werden wird. Dies kann auch für eine Anzeigeeinheit eines Benutzers wie z.B. für einen Bildschirm gelten, welcher z.B. die Umgebung der Kinematik sowie dort erfasste Objekte wie z.B. vom Endeffektor zu greifende Gegenstände anzeigen kann. Eine derartige Darstellung der Umgebung der Kinematik kann insbesondere in einem globalen Koordinatensystem das Verständnis eines Benutzers für die Konfiguration der Kinematik und insbesondere die Pose des Endeffektors erleichtern, wie weiter unten noch näher beschrieben werden wird. Auch kann eine derartige Darstellung die Erkennung von drohenden Kollisionen erleichtern, wie weiter unten noch näher beschrieben werden wird.Creating this three-dimensional representation of at least the overlapping image capture region of the kinematics environment in a global coordinate system may be advantageous for rendering this representation with other entities such as e.g. exchange a control unit of the kinematics and to be able to use without transformation of the coordinates. This can simplify and speed up usage. This may be e.g. an evaluation unit of a Bildfassunssystems or a control unit of the kinematics allows or at least be facilitated to perform a path planning or to monitor the departure of a train, as will be described in more detail below. This can also be done for a display unit of a user, e.g. apply to a screen which e.g. the environment of the kinematics as well as objects detected there such as e.g. can display from the end effector to gripping objects. Such a representation of the environment of the kinematics can facilitate the understanding of a user for the configuration of the kinematics and in particular the pose of the end effector, in particular in a global coordinate system, as will be described in more detail below. Also, such a representation may facilitate the detection of impending collisions, as will be described in more detail below.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist die Bilddatenerfassungseinheit ausgebildet, ferner weitere erfasste Sensordaten der mehrgliedrigen aktuierten Kinematik zu erhalten, wobei die Bilddatenerfassungseinheit ausgebildet ist, basierend auf den erfassten Bilddaten, vorzugsweise des überlappenden Bilderfassungsbereichs, und auf den weiteren erfassten Sensordaten eine wenigstens zweidimensionale Darstellung, vorzugsweise eine dreidimensionale Darstellung, der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik, vorzugsweise in einem globalen Koordinatensystem, zu erstellen. Mit anderen Worten können Sensordaten wie z.B. Gelenkstellungen sowie ein kinematisches Model der Kinematik zusätzlich verwendet werden, um die aktuelle Konfiguration der Kinematik und insbesondere des Endeffektors zu bestimmen und in die Darstellung der erfassten Umgebung miteinzubringen. Ebenso können z.B. Geschwindigkeitsdaten, Beschleunigungsdaten, Momente, Antriebsströme sowie Daten einer Bilderfassungseinheit des Endeffektors mitverwendet werden. Sozusagen kann es zu einer Fusionierung der erfassten Bilddaten mit weiteren Sensordaten der Kinematik kommen, was es erlauben kann, bisher bereits bekannte Sensordaten einer derartigen Kinematik in den Kontext einer visuellen Wahrnehmung der Umgebung der Kinematik zu setzen.According to a further aspect of the present invention, the image data acquisition unit is configured to also obtain further detected sensor data of the multi-unit actuated kinematics, the image data acquisition unit being formed based on the acquired image data, preferably the overlapping image acquisition region, and an at least two-dimensional representation on the further acquired sensor data , preferably a three-dimensional representation, of the detected environment of the multi-membered actuated kinematics, preferably in a global coordinate system. In other words, sensor data such as joint positions as well as a kinematic model of kinematics can additionally be used to determine the current configuration of the kinematics and in particular the end effector to determine and bring in the representation of the detected environment. Likewise, for example, speed data, acceleration data, moments, drive currents as well as data of an image acquisition unit of the end effector can be included. As it were, a merging of the acquired image data with further sensor data of the kinematics may occur, which may allow previously known sensor data of such a kinematics to be placed in the context of a visual perception of the kinematics environment.

Dies kann die Genauigkeit einer zweidimensionalen Darstellung und insbesondere einer dreidimensionalen Darstellung der Umgebung der Kinematik verbessern, weil räumliche Daten vollkommen unterschiedlicher Herkunft unabhängig voneinander erfasst bzw. erstellt und anschließend miteinander verknüpft werden können. Dies kann zu einer sehr zuverlässigen und bzw. oder zu einer sehr genauen Darstellung der Umgebung der Kinematik führen, so dass hierauf basierende Folgeschritte entsprechend zuverlässig und bzw. oder genau sein können. Dies kann bisher nicht bekannte Möglichkeiten zur Benutzung von derartigen Kinematiken z.B. bei der Inbetriebnahme, bei der Programmierung und bzw. oder bei der Benutzung im Betrieb bieten, wie weiter unten noch näher beschrieben werden wird.This can improve the accuracy of a two-dimensional representation and in particular a three-dimensional representation of the environment of the kinematics, because spatial data of completely different origin can be independently acquired or created and then linked together. This can lead to a very reliable and / or very accurate representation of the kinematics environment, so that subsequent steps based thereon can be correspondingly reliable and / or accurate. This may provide previously unknown possibilities for using such kinematics e.g. during commissioning, during programming and / or during use in operation, as will be described in more detail below.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung weist die mehrgliedrige aktuierte Kinematik eine Auswertungseinheit auf, welche ausgebildet ist, die Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik in Relation zu weiteren Informationen der mehrgliedrigen aktuierten Kinematik auszuwerten und bzw. oder die Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik hinsichtlich weiterer Objekte auszuwerten.According to a further aspect of the present invention, the multi-unit actuated kinematics has an evaluation unit which is designed to evaluate the representation of the detected environment of the multi-membered actuated kinematics in relation to further information of the multi-membered actuated kinematics and / or the representation of the detected environment of the multi-membered kinematics evaluated kinematics with respect to other objects.

Wie bereits zuvor erwähnt, kann die Darstellung der erfassten Umgebung der Kinematik als zweidimensionale Darstellung und insbesondere als dreidimensionale Darstellung dazu verwendet werden, mit weiteren Informationen der Kinematik verglichen zu werden. Beispielsweise kann in dem Fall, dass ein Kontakt mit einem Objekt aufgrund von Sensoren der Kinematik erkannt wird, aufgrund der erfassten Bilddaten überprüft werden, ob sich überhaupt ein anderes Objekt oder eine Person in einer ausreichenden Nähe zu der Kinematik bzw. zu dem entsprechenden Gelenk bzw. Glied der Kinematik befindet. Dies kann ebenso in der umgekehrten Betrachtungsrichtung erfolgen. Hierdurch kann eine gegenseitige Plausibilitätsprüfung ermöglicht werden, um z.B. unnötige Unterbrechungen einer Anwendung zu vermeiden, was zu Verzögerungen z.B. in der Produktion führen könnte.As already mentioned above, the representation of the detected environment of the kinematics as a two-dimensional representation and in particular as a three-dimensional representation can be used to be compared with further information of the kinematics. For example, in the event that a contact with an object is detected on the basis of kinematics sensors, it can be checked on the basis of the acquired image data whether another object or a person is sufficiently close to the kinematics or to the corresponding joint or person Link to the kinematics is located. This can also be done in the reverse viewing direction. This allows a mutual plausibility check to be made, e.g. to avoid unnecessary interruptions of an application resulting in delays, e.g. could result in production.

Zusätzlich oder alternativ die Darstellung der erfassten Umgebung der Kinematik hinsichtlich weiterer Objekte auszuwerten kann wie bereits zuvor erwähnt hilfreich sein, um andere Objekte in der erfassten Umgebung der Kinematik zu erkennen, mit denen der Endeffektor interagieren soll wie z.B. zu greifende Objekte bei einer „Nehmen und Platzieren“-Anwendung. Mit anderen Worten kann die Darstellung der erfassten Umgebung der Kinematik zur Adaption der Bewegung der Kinematik und insbesondere des Endeffektors verwendet werden. Neben der bereits erwähnten Objekterkennung z.B. zu greifender bzw. zu manipulierender Objekte kann auch eine Kollisionserkennung erfolgen, um sich abzeichnende Kollisionen möglichst rechtzeitig vorab zu erkennen und z.B. durch ein Anhalten oder Stoppen der Bewegung der Kinematik zu vermeiden. Diese Objekterkennung kann auch die Erkennung weiterer mit der Kinematik interagierender Objekte wie z.B. eine weitere Kinematik oder eine Person umfassen. Hierzu kann es auch gehören, eine Intention einer Person wie z.B. dessen Bewegung bildlich zu erfassen und in den Kontext der Darstellung der erfassten Umgebung der Kinematik einzuordnen. Ebenso kann basierend auf der Darstellung der erfassten Umgebung der Kinematik eine dreidimensionale Bahnplanung erfolgen, um allgemein eine Trajektorie zu erstellen oder um im Rahmen einer adaptiven Bahnplanung durch die Änderung einer Trajektorie z.B. auf eine erkannte drohende Kollision sowie auf sonstige Veränderungen in der erfassten Umgebung der Kinematik zu reagieren. Dies kann vorzugsweise durch eine Online-Verarbeitung der Daten ausreichend schnell erfolgen, um unmittelbar auf Veränderungen in der erfassten Umgebung der Kinematik reagieren zu können.Additionally or alternatively, evaluating the representation of the detected environment of the kinematics with regard to other objects can, as already mentioned, be helpful in order to detect other objects in the detected environment of the kinematics with which the end effector is to interact, such as e.g. objects to grasp in a "take and place" application. In other words, the representation of the detected environment of the kinematics can be used to adapt the movement of the kinematics and in particular of the end effector. Besides the already mentioned object recognition, e.g. For objects to be gripped or manipulated, a collision detection can also be carried out in order to detect emerging collisions as early as possible in advance, and to detect e.g. by stopping or stopping the movement of the kinematics. This object recognition can also be used to detect further objects interacting with the kinematics, such as e.g. comprise a further kinematics or a person. It may also include an intention of a person such as to graphically capture its movement and place it in the context of the representation of the detected kinematics environment. Likewise, based on the representation of the detected environment of the kinematics, a three-dimensional path planning can be carried out to generally create a trajectory or, in the context of an adaptive path planning, by the change of a trajectory, e.g. to respond to a detected imminent collision and other changes in the detected kinematics environment. This can preferably be done quickly enough by an online processing of the data in order to be able to react immediately to changes in the detected environment of the kinematics.

Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist die Auswertungseinheit ferner ausgebildet, das Ergebnis der Auswertung einer Steuerungseinheit der mehrgliedrigen aktuierten Kinematik zur Verfügung zu stellen. Auf diese Art und Weise können die zuvor gewonnenen Informationen und Erkenntnisse in die Benutzung der Kinematik miteinfließen.According to a further aspect of the present invention, the evaluation unit is also designed to provide the result of the evaluation of a control unit of the multi-unit actuated kinematics. In this way, the previously obtained information and findings can be incorporated into the use of kinematics.

Dabei können die Bilddatenerfassungseinheit und die Auswertungseinheit zusammen mit der ersten Bilderfassungseinheit und ggfs. mit weiteren Bilderfassungseinheiten ein Bilderfassungssystem bilden, welches unabhängig von der Steuerungseinheit wie z.B. von dem Motion Control System der Kinematik umgesetzt und betrieben werden kann. Lediglich die Ergebnisse des Bilderfassungssystems können dann der Steuerungseinheit der Kinematik übergeben werden, so dass diese möglichst unbeeinflusst ihre Tätigkeit ausführen kann. Dies kann durch das Bilderfassungssystem eine entkoppelte und anwendungsunabhängige Überwachung der Umgebung der Kinematik ermöglichen, ohne den laufenden Betrieb der Kinematik zu beeinflussen. Die Bilddatenerfassungseinheit und die Auswertungseinheit können auch als eine gemeinsame Einheit realisiert sein. Die Bilddatenerfassungseinheit und die Auswertungseinheit können jeweils mittels Hardwar oder Software realisiert werden.In this case, the image data acquisition unit and the evaluation unit together with the first image acquisition unit and possibly with other image acquisition units form an image acquisition system, which can be implemented and operated independently of the control unit such as by the motion control system of kinematics. Only the results of the image acquisition system can then be transferred to the kinematic control unit so that it can carry out its activity as uninfluenced as possible. This can enable a decoupled and application-independent monitoring of the kinematics environment through the image acquisition system without affecting the ongoing operation of the kinematics. The Image data acquisition unit and the evaluation unit can also be realized as a common unit. The image data acquisition unit and the evaluation unit can each be realized by means of hardware or software.

Zwei Ausführungsbeispiele und weitere Vorteile der Erfindung werden nachstehend im Zusammenhang mit den folgenden Figuren erläutert. Darin zeigt:

1 eine perspektivische schematische Darstellung einer erfindungsgemäßen mehrgliedrigen aktuierten Kinematik gemäß eines ersten Ausführungsbeispiels von schräg oben von der Seite;
2 die Darstellung der 1 direkt von vorne;
3 eine schematische Draufsicht auf ein zweites Glied der mehrgliedrigen aktuierten Kinematik der 1;
4 eine perspektivische schematische Darstellung der 3;
5 ein Bilderfassungssystem, angewendet auf ein zweites Glied der mehrgliedrigen aktuierten Kinematik der 1;
6 eine perspektivische schematische Darstellung einer erfindungsgemäßen mehrgliedrigen aktuierten Kinematik gemäß eines zweiten Ausführungsbeispiels von schräg oben von der Seite;
7 die Darstellung der 6 direkt von vorne;
8 eine schematische Draufsicht auf ein zweites Glied der mehrgliedrigen aktuierten Kinematik der 6; und
9 eine perspektivische schematische Darstellung der 8.

Two embodiments and further advantages of the invention are explained below in connection with the following figures. It shows:

1 a perspective schematic representation of a multi-element actuated kinematics according to the invention according to a first embodiment obliquely from above from the side;
2 the representation of 1 directly from the front;
3 a schematic plan view of a second member of the multi-membered actuated kinematics of 1 ;
4 a perspective schematic representation of 3 ;
5 an imaging system applied to a second member of the multi-membered actuated kinematics of the 1 ;
6 a perspective schematic representation of a multi-element actuated kinematics according to the invention according to a second embodiment obliquely from above from the side;
7 the representation of 6 directly from the front;
8th a schematic plan view of a second member of the multi-membered actuated kinematics of 6 ; and
9 a perspective schematic representation of 8th ,

Die o.g. Figuren werden in kartesischen Koordinaten betrachtet. Es erstreckt sich eine Längsrichtung X, welche auch als Tiefe X bezeichnet werden kann. Senkrecht zur Längsrichtung X erstreckt sich eine Querrichtung Y, welche auch als Breite Y bezeichnet werden kann. Senkrecht sowohl zur Längsrichtung X als auch zur Querrichtung Y erstreckt sich eine vertikale Richtung Z, welche auch als Höhe Z bezeichnet werden kann.The above figures are considered in Cartesian coordinates. It extends a longitudinal direction X , which also as depth X can be designated. Perpendicular to the longitudinal direction X extends a transverse direction Y , which also as width Y can be designated. Perpendicular to both the longitudinal direction X as well as to the transverse direction Y extends a vertical direction Z , which also as height Z can be designated.

1 zeigt eine perspektivische schematische Darstellung einer erfindungsgemäßen mehrgliedrigen aktuierten Kinematik 1 gemäß eines ersten Ausführungsbeispiels von schräg oben von der Seite. 2 zeigt die Darstellung der 1 direkt von vorne. 3 zeigt eine schematische Draufsicht auf ein zweites Glied 11b der mehrgliedrigen aktuierten Kinematik 1 der 1. 4 zeigt eine perspektivische schematische Darstellung der 3. 1 shows a perspective schematic representation of a multi-membered actuated kinematics according to the invention 1 according to a first embodiment obliquely from the top of the page. 2 shows the representation of 1 directly from the front. 3 shows a schematic plan view of a second member 11b the multi-membered kinetic kinematics 1 of the 1 , 4 shows a perspective schematic representation of 3 ,

Die mehrgliedrige aktuierte Kinematik 1 ist in diesen beiden Ausführungsbeispielen als Roboter 1 und genauer gesagt als Knickarmroboter 1 ausgeführt. Der Knickarmroboter 1 ist mit einer Basis 10 feststehend auf einem Untergrund 3 angeordnet. Von der Basis 10 erstrecken sich mehrere Glieder 11 als serielle kinematische Kette, welche untereinander durch aktuierte Gelenke 12 in Form von aktuierten Drehgelenken 12 verbunden sind. Das letzte Glied 11 ist über ein aktuiertes Drehgelenk 12 mit einer Endeffektoreinheit 13 verbunden, welche einen Endeffektor 14 in Form eines Greifers 14 aufweist.The multi-membered kinematics 1 is in these two embodiments as a robot 1 and more specifically as articulated robot 1 executed. The articulated robot 1 is with a base 10 fixed on a ground 3 arranged. From the base 10 extend several limbs 11 as a serial kinematic chain, which among each other by aktuierte joints 12 in the form of actuated hinges 12 are connected. The last link 11 is via an actuated pivot 12 with an end effector unit 13 connected, which is an end effector 14 in the form of a gripper 14 having.

Genauer gesagt ist ein erstes Glied 11a gegenüber der Basis 10 mittels eines ersten aktuierten Drehgelenks 12a um eine Hochachse drehbar. In den Darstellungen der 1 und 2 ist ein zweites Glied 11b in der Querrichtung Y rechts neben dem ersten Glied 11a angeordnet und gegenüber diesem mittels eines zweiten aktuierten Drehgelenks 12b drehbar. Das zweite Glied 11b erstreckt sich vergleichsweise weit in der Höhe Z und ist im Wesentlichen zylindrisch länglich ausgebildet.More precisely, a first link 11a opposite the base 10 by means of a first actuated rotary joint 12a rotatable about a vertical axis. In the representations of the 1 and 2 is a second link 11b in the transverse direction Y right next to the first link 11a arranged and opposite this by means of a second actuated pivot 12b rotatable. The second link 11b extends comparatively far in height Z and is substantially cylindrical elongated.

Am oberen Ende des zweiten Glieds 11b ist in den Darstellungen der 1 und 2 ein drittes Glied 11c in der Querrichtung Y links neben dem zweiten Glied 11b angeordnet und gegenüber diesem mittels eines dritten aktuierten Drehgelenks 12c drehbar. Auch das dritte Glied 11c erstreckt sich vergleichsweise weit, jedoch in der Darstellung der 1 im Wesentlichen in der Längsrichtung X. Das dritte Glied 11c ist ebenfalls im Wesentlichen zylindrisch ausgebildet.At the upper end of the second link 11b is in the representations of 1 and 2 a third link 11c in the transverse direction Y to the left of the second link 11b arranged and opposite this by means of a third aktuierten swivel joint 12c rotatable. Also the third link 11c extends comparatively far, but in the representation of 1 essentially in the longitudinal direction X , The third link 11c is also substantially cylindrical.

Am oberen Ende des dritten Glieds 11c ist in den Darstellungen der 1 und 2 ein viertes Glied 11d in der Querrichtung Y rechts neben dem dritten Glied 11c angeordnet und gegenüber diesem mittels eines vierten aktuierten Drehgelenks 12d drehbar. In der Darstellung der 1 schließt sich an das vierte Glied 11d in der Längsrichtung X nach links ein fünftes Glied 11e an, welche mit dem vierten Glied 11d mittels eines fünften aktuierten Drehgelenks 12e drehbar verbunden ist. Mit dem fünften Glied 11e ist die Endeffektoreinheit 13 über ein sechstes aktuiertes Drehgelenk 12f verbunden.At the upper end of the third link 11c is in the representations of 1 and 2 a fourth link 11d in the transverse direction Y right next to the third link 11c arranged and opposite this by means of a fourth aktuierten swivel joint 12d rotatable. In the presentation of the 1 joins the fourth link 11d in the longitudinal direction X to the left a fifth link 11e which, with the fourth member 11d by means of a fifth actuated rotary joint 12e is rotatably connected. With the fifth member 11e is the end effector unit 13 via a sixth actuated rotary joint 12f connected.

Zur Steuerung des Knickarmroboters 1 ist eine Steuerungseinheit 15 vorgesehen, welche auch als Recheneinheit 15, als Hauptrechner 15 oder als Motion Control System 15 bezeichnet werden kann.For controlling the articulated robot 1 is a control unit 15 provided, which also as a computing unit 15 , as the host 15 or as a motion control system 15 can be designated.

Erfindungsgemäß weist das zweite Glied 11b vier Bilderfassungseinheiten 21, 22, 23, 24 auf, welche jeweils als Kamera 21, 22, 23, 24 ausgebildet sind, ein flächiges Bild in dem Bereich des elektromagnetischen Spektrum zu erfassen, welches vom menschlichen Auge erfasst werden kann. Dabei sind die vier Kameras 21, 22, 23, 24 in dem ersten Ausführungsbeispiel in der länglichen Erstreckung des zweiten Glieds 11b etwa mittig und in dessen zylindrischer Umfangsrichtung gleichverteilt, d.h. jeweils um ca. 90° zueinander versetzt, angeordnet.According to the invention, the second member 11b four image acquisition units 21 . 22 . 23 . 24 on, each as a camera 21 . 22 . 23 . 24 are designed to detect a planar image in the region of the electromagnetic spectrum, which can be detected by the human eye. Here are the four cameras 21 . 22 . 23 . 24 in the first Embodiment in the elongated extension of the second member 11b approximately centrally and uniformly distributed in the cylindrical circumferential direction, ie, offset by approximately 90 ° to each other, arranged.

Die erste Kamera 21 und die zweite Kamera 22 sind dabei derart ausgerichtet, dass sie jeweils den Endeffektor 14 bildlich erfassen können. In diesem Bereich bilden die erste Kamera 21 und die zweite Kamera 22 einen überlappenden Bilderfassungsbereich B aus, in welchem sich der Endeffektor 13 befindet. Weitere überlappende Bilderfassungsbereiche B werden gemeinsam von der zweiten Kamera 22 und der dritten Kamera 23, von der dritten Kamera 23 und der vierten Kamera 24 sowie von der vierten Kamera 24 und der ersten Kamera 21 ausgebildet. Die vier überlappenden Bilderfassungsbereiche B sind in der Umfangsrichtung zueinander durch vier Bilderfassungsbereiche A jeweils lediglich einer der Kameras 21, 22, 23, 24 beabstandet. Zwischen diesen Bereichen A, B bilden sich unmittelbar an dem zweiten Glied 11b tote Bereiche C aus, welche von keiner der Kameras 21, 22, 23, 24 erfasst werden können, siehe 3 und 4.The first camera 21 and the second camera 22 are aligned so that they each have the end effector 14 can capture. In this area form the first camera 21 and the second camera 22 an overlapping image capture area B out, in which the end effector 13 located. More overlapping image capture areas B be shared by the second camera 22 and the third camera 23 , from the third camera 23 and the fourth camera 24 as well as from the fourth camera 24 and the first camera 21 educated. The four overlapping image capture areas B are in the circumferential direction to each other through four image sensing areas A in each case only one of the cameras 21 . 22 . 23 . 24 spaced. Between these areas A . B form directly on the second link 11b dead areas C from which none of the cameras 21 . 22 . 23 . 24 can be detected, see 3 and 4 ,

Die Kameras 21, 22, 23, 24 sind gemäß des ersten Ausführungsbeispiels derart um das zweite Glied 11b herum angeordnet, dass die Umgebung des Knickarmroboters 1 in vollen 360° erfasst werden kann, von kleineren toten Bereichen C im Nahbereich des zweiten Glied 11b abgesehen, vgl. 3 und 4. Gleichzeitig sind die Kameras 21, 22, 23, 24 an dem zweiten Glied 11b angeordnet, weil sich dieses im Wesentlichen in der Höhe Z erstreckt, so dass die Kameras 21, 22, 23, 24 gegenüber dem Untergrund 3 erhöht angeordnet sind. Vorteilhaft ist auch, dass das zweite Glied 11b durch das erste aktuierte Drehgelenk 12a im Wesentlichen um die Hochachse des Knickarmroboters 1 gedreht werden kann, so dass die Kameras 21, 22, 23, 24 gegenüber der Horizontalen kaum gekippt werden, was die Transformation der erfassten Bilddaten in ein globales Koordinatensystem vereinfachen kann.The cameras 21 . 22 . 23 . 24 are according to the first embodiment in such a way around the second member 11b arranged around that the environment of the articulated robot 1 can be detected in full 360 °, from smaller dead areas C in the vicinity of the second link 11b apart, cf. 3 and 4 , At the same time are the cameras 21 . 22 . 23 . 24 on the second link 11b arranged because this is essentially in height Z extends, so the cameras 21 . 22 . 23 . 24 opposite the ground 3 are arranged elevated. It is also advantageous that the second member 11b through the first actuated hinge 12a essentially around the vertical axis of the articulated robot 1 can be rotated, so the cameras 21 . 22 . 23 . 24 barely tilted with respect to the horizontal, which can simplify the transformation of the captured image data into a global coordinate system.

Vorteilhaft ist insbesondere bei der Anordnung der vier Kameras 21, 22, 23, 24 am zweiten Glied 11b, dass der Endeffektor 14 stets im überlappenden Bilderfassungsbereich B der ersten Kamera 21 und der zweiten Kamera 22 bleibt, weil die einzige seitliche Drehung des Knickarmroboters 1 durch das erste aktuierte Drehgelenk 12a erfolgt und somit Drehungen um die Längsachse des zweiten Glieds 11b zwischen dem zweiten Glied 11b und dem Endeffektor 14 konstruktiv ausgeschlossen sind. Somit kann der Endeffektor 14 in nahezu jeder Pose von der ersten Kamera 21 und der zweiten Kamera 22 gemeinsam erfasst werden. Aufgrund der gemeinsamen erfassten Bilddaten des Endeffektors 14 erfolgt eine stereoskopische Bilderfassung sowohl des Endeffektors 14 selbst als auch seiner unmittelbaren Umgebung, so dass zumindest für diesen überlappenden Bilderfassungsbereich B der ersten Kamera 21 und der zweiten Kamera 22 Tiefeninformationen aus den erfassten Bilddaten gewonnen werden können.It is particularly advantageous in the arrangement of the four cameras 21 . 22 . 23 . 24 on the second link 11b that the end effector 14 always in the overlapping image capture area B the first camera 21 and the second camera 22 remains because the only lateral rotation of the articulated robot 1 through the first actuated hinge 12a takes place and thus rotations about the longitudinal axis of the second member 11b between the second link 11b and the end effector 14 are excluded constructively. Thus, the end effector 14 in almost every pose from the first camera 21 and the second camera 22 be recorded together. Due to the common captured image data of the end effector 14 Stereoscopic image acquisition of both the end effector 14 itself as well as its immediate environment, so at least for this overlapping image capture area B the first camera 21 and the second camera 22 Depth information can be obtained from the captured image data.

5 zeigt ein Bilderfassungssystem 2, angewendet auf ein zweites Glied 11b der mehrgliedrigen aktuierten Kinematik 1 der 1. Es ist schematisch dargestellt, dass die erfassten Bilddaten der vier Kameras 21, 22, 23, 24 von diesen an eine Bilddatenerfassungseinheit 20 übertragen werden. Die Bilddatenerfassungseinheit 20 erhält zusätzlich weitere Sensorinformationen wie z.B. die Winkelstellungen der aktuierten Drehgelenke 12, welche ohnehin erfasst und somit bekannt sind. Aus diesen Winkelstellungen lässt sich mittels eines kinematischen Modells des Knickarmroboters 1 z.B. die Pose des Endeffektors 14 bestimmen. Diese kann mit einer Pose abgeglichen werden, welche aus den erfassten Bilddaten bestimmt werden kann, so dass die beiden unterschiedlich bestimmten Posen des Endeffektors 14 miteinander abgeglichen werden können. Hierdurch kann eine genauere Bestimmung der Pose des Endeffektors 14 als bisher bekannt erfolgen. 5 shows an image capture system 2 , applied to a second link 11b the multi-membered kinetic kinematics 1 of the 1 , It is shown schematically that the captured image data of the four cameras 21 . 22 . 23 . 24 from these to an image data acquisition unit 20 be transmitted. The image data acquisition unit 20 additionally receives additional sensor information such as the angular positions of the actuated hinges 12 , which are recorded anyway and thus known. These angular positions can be determined by means of a kinematic model of the articulated robot 1 eg the pose of the end effector 14 determine. This can be matched with a pose that can be determined from the acquired image data, so that the two differently determined poses of the end effector 14 can be compared with each other. This allows a more accurate determination of the pose of the end effector 14 as previously known done.

Diese und weitere Informationen, welche unter Berücksichtigung der weiteren Sensorinformationen aus den erfassten Bilddaten aller vier Kameras 21, 22, 23, 24 gewonnen werden können, werden von der Bilddatenerfassungseinheit 20 zu einer dreidimensionalen Darstellung der erfassten Umgebung des Knickarmroboters 1 verarbeitet. Dabei kann der Knickarmroboter 1 um die Hochachse gedreht werden, so dass auch die Umgebung des Knickarmroboters 1 vollständig stereoskopisch erfasst werden kann und sich eine lückenlose 360°-Darstellung mit Tiefeninformationen ergibt. Diese dreidimensionale Darstellung wird in einem globalen Koordinatensystem erstellt, was das Verständnis sowie die weitere Verarbeitung erleichtern sowie beschleunigen kann.These and other information, taking into account the further sensor information from the captured image data of all four cameras 21 . 22 . 23 . 24 can be obtained from the image data acquisition unit 20 to a three-dimensional representation of the detected environment of the articulated robot 1 processed. In this case, the articulated robot 1 be rotated about the vertical axis, so that also the environment of the articulated robot 1 can be detected completely stereoscopically and results in a complete 360 ° representation with depth information. This three-dimensional representation is created in a global coordinate system, which can facilitate understanding and further processing and accelerate.

Diese dreidimensionale Darstellung der erfassten Umgebung in einem globalen Koordinatensystem wird dann einer Auswertungseinheit 25 übergeben, welche sich mit dem Inhalt dieser Darstellung auseinander setzt. Beispielsweise kann nun eine adaptive Bahnplanung, eine Kollisionsvermeidung, eine Objekterkennung, eine Personenerkennung und dergleichen erfolgen, indem die räumlichen Zusammenhänge zwischen dem Knickarmroboter 1 und z.B. einer Person bewertet werden. Das Ergebnis dieser Auswertung kann der Steuerungseinheit 15 des Knickarmroboters 1 übergeben werden, um dessen Betrieb ggfs. zu beeinflussen. Beispielsweise kann eine von der Auswertungseinheit 25 erstellte oder geänderte Trajektorie von der Steuerungseinheit 15 des Knickarmroboters 1 umgesetzt werden.This three-dimensional representation of the detected environment in a global coordinate system then becomes an evaluation unit 25 which deals with the content of this presentation. For example, an adaptive path planning, a collision avoidance, an object recognition, a person recognition and the like can now take place by the spatial relationships between the articulated robot 1 and, for example, a person. The result of this evaluation can be the control unit 15 of the articulated robot 1 be transferred, if necessary, to influence its operation. For example, one of the evaluation unit 25 Created or changed trajectory from the control unit 15 of the articulated robot 1 be implemented.

Die vier Kameras 21, 22, 23, 24, die Bilddatenerfassungseinheit 20 sowie die Auswertungseinheit 25 können zusammen als Bilderfassungssystem 2 bezeichnet werden, welches als unabhängiges System zum Knickarmroboter 1 ausgebildet sein kann. Lediglich die vier Kameras 21, 22, 23, 24 sind in das zweite Glied 11b zu integrieren. Ferner müssen lediglich die ohnehin erfassten weiteren Sensorinformationen wie z.B. die Winkelstellungen der aktuierten Drehgelenke 12 an die Bilddatenerfassungseinheit 20 übermittelt werden. Dies kann ohne Eingriffe in die Steuerungseinheit 15 und insbesondere in die Anwendungen des Knickarmroboters 1 erfolgen. Ferner kann das Ergebnis der Auswertung der Auswertungseinheit 25 an den Knickarmroboter 1 übergeben werden, so dass dieses verwendet werden kann, ohne jedoch den Betrieb und insbesondere die Anwendungen des Knickarmroboters 1 zu stören. Mit anderen Worten kann die Umsetzung des erfindungsgemäßen Verfahrens unabhängig vom bisher bekannten Betrieb des Knickarmroboters 1 erfolgen, so dass dieser seine Anwendungen wie bisher bekannt ausführen kann. Hierdurch können die zuvor beschriebenen Eigenschaften und Vorteile unabhängig umgesetzt und mit minimalem Aufwand und ohne Störungen des Betriebs und insbesondere der Anwendungen des Knickarmroboters 1 an diesen übergeben werden.The four cameras 21 . 22 . 23 . 24 , the image data acquisition unit 20 as well as the evaluation unit 25 can work together as an image capture system 2 be designated, which as an independent system for articulated robot 1 can be trained. Only the four cameras 21 . 22 . 23 . 24 are in the second link 11b to integrate. Furthermore, only the further sensor information that has been recorded anyway, such as the angular positions of the actuated rotary joints, must be used 12 to the image data acquisition unit 20 be transmitted. This can be done without interfering with the control unit 15 and in particular in the applications of the articulated robot 1 respectively. Furthermore, the result of the evaluation of the evaluation unit 25 to the articulated robot 1 so that this can be used, but without the operation and in particular the applications of the articulated robot 1 disturb. In other words, the implementation of the method according to the invention can be independent of the previously known operation of the articulated robot 1 be carried out so that it can perform its applications as previously known. As a result, the properties and advantages described above can be implemented independently and with minimal effort and without disturbing the operation and in particular the applications of the articulated robot 1 be handed over to this.

6 zeigt eine perspektivische schematische Darstellung einer erfindungsgemäßen mehrgliedrigen aktuierten Kinematik 1 gemäß eines zweiten Ausführungsbeispiels von schräg oben von der Seite. 7 zeigt die Darstellung der 6 direkt von vorne. 8 zeigt eine schematische Draufsicht auf ein zweites Glied 11b der mehrgliedrigen aktuierten Kinematik 1 der 6. 9 zeigt eine perspektivische schematische Darstellung der 8. 6 shows a perspective schematic representation of a multi-membered actuated kinematics according to the invention 1 according to a second embodiment obliquely from the top of the page. 7 shows the representation of 6 directly from the front. 8th shows a schematic plan view of a second member 11b the multi-membered kinetic kinematics 1 of the 6 , 9 shows a perspective schematic representation of 8th ,

In diesem zweiten Ausführungsbeispiel sind die vier Kameras 21, 22, 23, 24 derart an dem zweiten Glied 11b angeordnet, dass durch die erste Kamera 21 und durch die zweite Kamera 22 eine erste stereoskopische Kamera gebildet wird, welche im Wesentlichen einen überlappenden Bilderfassungsbereich B bildet, welcher direkt dem Endeffektor 14 zugewandt ist. Die dritte Kamera 23 und die vierte Kamera 24 bilden eine zweite stereoskopische Kamera, welche im Wesentlichen einen überlappenden Bilderfassungsbereich B bildet, welcher direkt dem Endeffektor 14 abgewandt ist. Diese beiden überlappenden Bilderfassungsbereiche B sind durch tote Bereiche C zueinander beabstandet.In this second embodiment, the four cameras 21 . 22 . 23 . 24 such on the second member 11b arranged that through the first camera 21 and through the second camera 22 a first stereoscopic camera is formed, which essentially has an overlapping image capture area B which forms directly the end effector 14 is facing. The third camera 23 and the fourth camera 24 form a second stereoscopic camera, which essentially has an overlapping image capture area B which forms directly the end effector 14 turned away. These two overlapping image capture areas B are through dead areas C spaced apart.

Hierdurch kann jeweils ein sehr großer stereoskopischer Bereich B geschaffen werden, so dass Tiefeninformationen entsprechend großflächig direkt, d.h. ohne Drehung des Knickarmrobtoters 1, erhalten werden können. Diese Informationen können für die beiden toten Bereiche C ebenfalls erfasst werden, indem der Knickarmroboter 1 um seine Hochachse gedreht wird. Dies kann die Erstellung einer dreidimensionalen Darstellung der erfassten Umgebung des Knickarmroboters 1 erleichtern und beschleunigen. Ferner kann die Umgebung zumindest im Wesentlichen weiterhin ringsherum um den Knickarmroboter 1 überwacht werden.This can each have a very large stereoscopic area B be created so that depth information correspondingly large area directly, ie without rotation of Knickarmrobtoters 1 , can be obtained. This information can be for the two dead areas C also be detected by the articulated robot 1 is rotated around its vertical axis. This can be the creation of a three-dimensional representation of the detected environment of the articulated robot 1 facilitate and accelerate. Furthermore, the environment may at least substantially continue around the articulated robot 1 be monitored.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

AA: Bilderfassungsbereich einer Kamera 21, 22,23,24 Image capture area of a camera 21 . 22 . 23 . 24
BB: überlappender Bilderfassungsbereich mehrerer Kameras 21, 22, 23, 24overlapping image capture area of multiple cameras 21 . 22 . 23 , 24
CC: toter Bereich der Kameras 21, 22, 23, 24 dead area of the cameras 21 . 22 . 23 . 24
XX: Längsrichtung; TiefeLongitudinal direction; depth
YY: Querrichtung; BreiteTransverse direction; width
ZZ: vertikale Richtung; Höhe vertical direction; height
11: mehrgliedrige aktuierte Kinematik; (Knickarm-)Robotermulti-membered kinematics; (Articulated arm) Robot
1010: BasisBase
1111: Gliederlimbs
11a11a: erstes Gliedfirst link
11b11b: zweites Gliedsecond link
11c11c: drittes Gliedthird member
11d11d: viertes Gliedfourth member
11e11e: fünftes Gliedfifth link
1212: aktuierte (Dreh-)Gelenkeactuated (rotary) joints
12a12a: erstes aktuiertes Gelenkfirst actuated joint
12b12b: zweites aktuiertes Gelenksecond actuated joint
12c12c: drittes aktuiertes Gelenkthird actuated joint
12d12d: viertes aktuiertes Gelenkfourth actuated joint
12e12e: fünftes aktuiertes Gelenkfifth actuated joint
12f12f: sechstes aktuiertes Gelenksixth actuated joint
1313: Endeffektoreinheitend effector
1414: Endeffektor; Greiferend effector; grab
1515: Steuerungseinheit; Recheneinheit; Hauptrechner; Motion Control SystemControl unit; Processing unit; Host computer; Motion Control System
22: BilderfassungssystemImage capture system
2020: BilddatenerfassungseinheitImage data acquisition unit
2121: erste Bilderfassungseinheit; erste Kamerafirst image capture unit; first camera
2222: zweite Bilderfassungseinheit; zweite Kamerasecond image capture unit; second camera
2323: dritte Bilderfassungseinheit; dritte Kamerathird image capture unit; third camera
2424: vierte Bilderfassungseinheit; vierte Kamerafourth image capture unit; fourth camera
2525: Auswertungseinheitevaluation unit
33: Untergrundunderground

Claims

Mehrgliedrige aktuierte Kinematik (1), mit mehreren Gliedern (11), welche durch aktuierte Gelenke (12) miteinander verbunden sind, mit einer Basis (10), welche relativ zu den Gliedern (11) feststehend angeordnet und durch ein erstes aktuiertes Gelenk (12a) mit einem ersten Glied (11a) verbunden ist, mit einem Endeffektor (14), welcher durch ein aktuiertes Gelenk (12) mit einem Glied (11) verbunden ist, und mit wenigstens einer ersten Bilderfassungseinheit (21), dadurch gekennzeichnet, dass wenigstens die erste Bilderfassungseinheit (21) an der Basis (10) oder an einem Glied (11) angeordnet und ausgerichtet ist, den Endeffektor (14) zumindest in einer Pose bildlich zu erfassen.A multi-unit actuated kinematics (1) having a plurality of links (11) interconnected by actuated hinges (12), a base (10) fixed relative to the links (11), and a first actuated hinge (12a ) is connected to a first link (11a), an end effector (14) connected to a link (11) by an actuated link (12) and at least one first imaging unit (21), characterized in that at least the first image acquisition unit (21) is arranged on the base (10) or on a member (11) and aligned to image-capture the end effector (14) in at least one pose.

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 1, dadurch gekennzeichnet, dass die erste Bilderfassungseinheit (21) an dem ersten Glied (11a) angeordnet ist.Multi-membered kinematics (1) after Claim 1 , characterized in that the first image detection unit (21) is arranged on the first member (11a).

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 1, dadurch gekennzeichnet, dass das erste Glied (11a) durch ein zweites aktuiertes Gelenk (12b) mit einem zweiten Glied (11b) verbunden ist, wobei die erste Bilderfassungseinheit (21) an dem zweiten Glied (11b) angeordnet ist.Multi-membered kinematics (1) after Claim 1 characterized in that the first member (11a) is connected to a second member (11b) by a second actuated hinge (12b), the first imaging unit (21) being disposed on the second member (11b).

Mehrgliedrige aktuierte Kinematik (1) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste Bilderfassungseinheit (21) angeordnet und ausgerichtet ist, den Endeffektor (14) im Wesentlichen in jeder Pose bildlich zu erfassen.Multi-unit actuated kinematics (1) according to one of the preceding claims, characterized in that the first image acquisition unit (21) is arranged and aligned to image-capture the end-effector (14) substantially in each pose.

Mehrgliedrige aktuierte Kinematik (1) nach einem der vorangehenden Ansprüche, gekennzeichnet durch wenigstens eine zweite Bilderfassungseinheit (22), welche an der Basis (10) oder an demselben Glied (11) wie die erste Bilderfassungseinheit (21) oder an einem anderen Glied (11) angeordnet ist.Multi-unit actuated kinematics (1) according to one of the preceding claims, characterized by at least one second image acquisition unit (22) which is attached to the base (10) or to the same member (11) as the first image acquisition unit (21) or to another member (11 ) is arranged.

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 5, dadurch gekennzeichnet, dass die zweite Bilderfassungseinheit (22) ebenfalls angeordnet und ausgerichtet ist, den Endeffektor (14) zumindest in einer Pose bildlich zu erfassen.Multi-membered kinematics (1) after Claim 5 , characterized in that the second image capture unit (22) is also arranged and aligned to image capture the end effector (14) at least in one pose.

Mehrgliedrige aktuierte Kinematik (1) nach einem der vorangehenden Ansprüche, gekennzeichnet durch eine Mehrzahl von Bilderfassungseinheiten (21, 22, 23, 24), welche an der Basis (10) und/oder an einem Glied (11) angeordnet sind, wobei die erste Bilderfassungseinheit (21) zur Mehrzahl der Bilderfassungseinheiten (21, 22, 23, 24) gehört.Multi-unit actuated kinematics (1) according to one of the preceding claims, characterized by a plurality of image acquisition units (21, 22, 23, 24) which are arranged on the base (10) and / or on a member (11), the first Image capture unit (21) to the plurality of image acquisition units (21, 22, 23, 24) belongs.

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 7, dadurch gekennzeichnet, dass die Bilderfassungseinheiten (21, 22, 23, 24) angeordnet und ausgerichtet sind, die Umgebung der mehrgliedrigen aktuierten Kinematik (1) zumindest im Wesentlichen bildlich zu erfassen.Multi-membered kinematics (1) after Claim 7 , characterized in that the image detection units (21, 22, 23, 24) are arranged and aligned to at least substantially detect the environment of the multi-unit actuated kinematics (1).

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Bilderfassungseinheiten (21, 22, 23, 24) angeordnet und ausgerichtet sind, eine 360°-Ansicht um die mehrgliedrige aktuierte Kinematik (1) herum bildlich zu erfassen.Multi-membered kinematics (1) after Claim 7 or 8th , characterized in that the image capture units (21, 22, 23, 24) are arranged and aligned to image capture a 360 ° view around the multi-unit actuated kinematics (1).

Mehrgliedrige aktuierte Kinematik (1) nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass wenigstens zwei Bilderfassungseinheiten (23, 24) der Mehrzahl von Bilderfassungseinheiten (21, 22, 23, 24) angeordnet und ausgerichtet sind, die Umgebung der mehrgliedrigen aktuierten Kinematik (1) abseits des Endeffektors (14) bildlich zu erfassen.Multi-membered kinematics (1) after one of the Claims 7 to 9 characterized in that at least two image acquisition units (23, 24) of the plurality of image acquisition units (21, 22, 23, 24) are arranged and aligned to image the environment of the multi-unit actuated kinematics (1) away from the end effector (14).

Mehrgliedrige aktuierte Kinematik (1) nach einem der vorangehenden Ansprüche, gekennzeichnet durch wenigstens eine Bilddatenerfassungseinheit (20), welche ausgebildet ist, die erfassten Bilddaten von wenigstens der ersten Bilderfassungseinheit (21) zu erhalten, wobei die Bilddatenerfassungseinheit (20) ausgebildet ist, basierend auf den erfassten Bilddaten eine wenigstens zweidimensionale Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik (1) zu erstellen.Multi-unit actuated kinematics (1) according to one of the preceding claims, characterized by at least one image data acquisition unit (20), which is designed to obtain the acquired image data from at least the first image acquisition unit (21), wherein the image data acquisition unit (20) is formed based on To create the captured image data at least a two-dimensional representation of the detected environment of the multi-unit actuated kinematics (1).

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 11, dadurch gekennzeichnet, dass die Bilddatenerfassungseinheit (20) ausgebildet ist, ferner die erfassten Bilddaten von wenigstens einer zweiten Bilderfassungseinheit (22) zu erhalten, welche mit der ersten Bilderfassungseinheit (21) einen zumindest abschnittsweise überlappenden Bilderfassungsbereich (B) aufweist, wobei die Bilddatenerfassungseinheit (20) ausgebildet ist, basierend auf den erfassten Bilddaten des überlappenden Bilderfassungsbereichs (B) eine dreidimensionale Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik (1) zu erstellen. Multi-membered kinematics (1) after Claim 11 characterized in that the image data acquisition unit (20) is configured to further obtain the acquired image data from at least one second image acquisition unit (22) having an image capture area (B) overlapping at least in sections with the first image capture unit (21), the image data acquisition unit ( 20) is adapted to create a three-dimensional representation of the detected environment of the multi-unit actuated kinematics (1) based on the acquired image data of the overlapping image capture area (B).

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Bilddatenerfassungseinheit (20) ausgebildet ist, ferner weitere erfasste Sensordaten der mehrgliedrigen aktuierten Kinematik (1) zu erhalten, wobei die Bilddatenerfassungseinheit (20) ausgebildet ist, basierend auf den erfassten Bilddaten und auf den weiteren erfassten Sensordaten eine wenigstens zweidimensionale Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik (1) zu erstellen.Multi-membered kinematics (1) after Claim 11 or 12 , characterized in that the image data acquisition unit (20) is adapted to further receive further detected sensor data of the multi-unit actuated kinematics (1), wherein the image data acquisition unit (20) is formed based on the acquired image data and on the other detected sensor data at least two-dimensional To create a representation of the detected environment of the multi-membered actuated kinematics (1).

Mehrgliedrige aktuierte Kinematik (1) nach einem der Ansprüche 11 bis 13, gekennzeichnet durch eine Auswertungseinheit (25), welche ausgebildet ist, die Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik (1) in Relation zu weiteren Informationen der mehrgliedrigen aktuierten Kinematik (1) auszuwerten, und/oder die Darstellung der erfassten Umgebung der mehrgliedrigen aktuierten Kinematik (1) hinsichtlich weiterer Objekte auszuwerten.Multi-membered kinematics (1) after one of the Claims 11 to 13 characterized by an evaluation unit (25) which is designed to evaluate the representation of the detected environment of the multi-membered actuated kinematics (1) in relation to further information of the multi-membered actuated kinematics (1), and / or the representation of the detected environment of the multi-membered actuated ones Kinematics (1) to evaluate with respect to other objects.

Mehrgliedrige aktuierte Kinematik (1) nach Anspruch 14, dadurch gekennzeichnet, dass die Auswertungseinheit (25) ferner ausgebildet ist, das Ergebnis der Auswertung einer Steuerungseinheit (15) der mehrgliedrigen aktuierten Kinematik (1) zur Verfügung zu stellen.Multi-membered kinematics (1) after Claim 14 , characterized in that the evaluation unit (25) is further configured to provide the result of the evaluation of a control unit (15) of the multi-unit actuated kinematics (1).