DE102014113179B4 - Method of determining representative points that indicate edges and vertices of a 3D object - Google Patents

Abstract

Verfahren zum Ermitteln von repräsentativen Punkten PKi für erhabene Kanten und von repräsentativen Punkten PEi für erhabene Ecken einer aktuellen 3D-Form eines Objekts, mit folgenden Schritten: 1.1. Erfassen und/oder Bereitstellen einer 3D-Punktewolke P, die Koordinaten einer Vielzahl von Punkten Pi der Oberfläche der aktuellen 3D-Form des Objektes angibt, 1.2.1. für jeden Punkt Pi der 3D-Punktewolke P Ermitteln von Ebenen Ti,k,n, die durch den Punkt Pi und dazu unmittelbar benachbarte zwei Punkte Pi,k, Pi,n definiert sind, mit bi := Anzahl der zu Pi unmittelbar benachbarten Punkte, k ≠ n, und n, k ∊ [1, 2, ..., bi], 1.2.2. Ermitteln des relativ zum Objekt nach Außen gerichteten Normalenvektors Ni,k,n der jeweiligen Ebenen Ti,k,n, 1.3.1. für jeden Punkt Pi der 3D-Punktewolke P Ermitteln von Ebenen Oi,k,n, die durch drei zum Punkt Pi unmittelbar benachbarte Punkte Pi,k, Pi,n, Pi,m definiert sind, mit bi := Anzahl der zu Pi unmittelbar benachbarten Punkte, k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m und n, k, m ∊ [1, 2, ..., bi], 1.3.2. Ermitteln eines gerichteten Abstands di,k,n des Punktes Pi relativ zur Ebene Oi,k,n, wobei ein relativ zum Objekt nach Außen gerichteter Abstand di,k,n positiv, und ein relativ zum Objekt nach innen gerichtete Abstand di,k,n negativ ...A method of obtaining representative points PKi for raised edges and representative points PEi for raised corners of a current 3D shape of an object, comprising the steps of: 1.1. Detecting and / or providing a 3D point cloud P indicating coordinates of a plurality of points Pi of the surface of the current 3D shape of the object, 1.2.1. for each point Pi of the 3D point cloud P Determine planes Ti, k, n which are defined by the point Pi and immediately adjacent two points Pi, k, Pi, n, where bi: = number of points directly adjacent to Pi , k ≠ n, and n, k ε [1, 2, ..., bi], 1.2.2. Determining the relative to the object outward normal vector Ni, k, n of the respective levels Ti, k, n, 1.3.1. for each point Pi of the 3D point cloud P determining planes Oi, k, n, which are defined by three points Pi, k, Pi, n, Pi, m immediately adjacent to the point Pi, with bi: = number of direct to Pi neighboring points, k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m and n, k, m ε [1, 2, ..., bi], 1.3.2. Determining a directed distance di, k, n of the point Pi relative to the plane Oi, k, n, wherein a distance di, k, n directed outwardly relative to the object is positive, and a distance di, k directed inward relative to the object n negative ...

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln von repräsentativen Punkten, die erhabene Kanten und erhabene Ecken einer aktuellen 3D-Form eines Objekts angeben. Weiterhin betrifft die Erfindung ein Computersystem, ein digitales Speichermedium, ein Computer-Programm-Produkt, und ein Computer-Programm. Die Erfindung findet insbesondere Anwendung in der Robotik. The invention relates to a method for determining representative points indicating raised edges and raised corners of a current 3D shape of an object. Furthermore, the invention relates to a computer system, a digital storage medium, a computer program product, and a computer program. The invention finds particular application in robotics.

Roboter werden heute zunehmend in Bereichen eingesetzt, in denen es zu Interaktionen zwischen dem Roboter, seiner Umgebung, und insbesondere auch mit Menschen kommt. Roboter weisen für diese Interaktionen bzw. zur Manipulation ihrer Umgebung Roboterarme mit typischerweise am freien des Roboterarms angeordneten Effektoren auf. Ein solcher Effektor weist typischerweise zumindest ein Werkzeugen und/oder einen Greifer zum Greifen und Manipulieren von Objekten auf. Today, robots are increasingly used in areas where there are interactions between the robot, its environment, and especially with humans. Robots have robot arms for these interactions or for the manipulation of their surroundings with typically on the free of the robot arm arranged effectors. Such an effector typically includes at least one tool and / or gripper for gripping and manipulating objects.

Effektoren besitzen abhängig von ihrer aktuellen 3D-Form teilweise scharfe Kanten und/oder Ecken, von denen eine potentielle Verletzungs- oder Beschädigungsgefahr ausgeht, wenn es zu einer Kollision eines solchen Effektors mit einem Objekt in der Umgebung des jeweiligen Roboters, insbesondere mit einem Menschen kommt. Die Kenntnis der genauen Anordnung und Orientierung solcher Kanten und Ecken abhängig von der aktuellen 3D-Form des Effektors ist für die Steuerung von Robotern wesentlich. Depending on their current 3D shape, effectors have partly sharp edges and / or corners which pose a potential risk of injury or damage when a collision of such an effector with an object occurs in the vicinity of the respective robot, in particular with a human , The knowledge of the exact arrangement and orientation of such edges and corners depending on the current 3D shape of the effector is essential for the control of robots.

Aus dem Artikel von C. Weber, S. Hahmann, H. Hagen: „Sharp Feature Detection in Point Clouds“, in IEEE 2010 Shape Modelling International Conference (SMI), 2010, S. 175–186 ist ein Verfahren zum Ermitteln von repräsentativen Punkten für erhabene Kanten und von repräsentativen Punkten für erhabene Ecken einer 3D-Form eines Objekts bekannt. Der darin offenbarte Algorithmus basiert direkt auf einer unstrukturierten Punktewolke, sodass keine Oberflächen Rekonstruktionen erforderlich sind. Wesentlich für dieses Verfahren ist die automatisierte Ermittlungadapter die wallsensitive Parameter, welche die Zuverlässigkeit des Verfahrens signifikant erhöhen und welche die Identifikation von erhabenen Kanten robuster machen. From the article by C. Weber, S. Hahmann, H. Hagen: "Sharp Feature Detection in Point Clouds", in IEEE 2010 Shape Modeling International Conference (SMI), 2010, pp. 175-186 is a method for determining representative Points for raised edges and representative points for raised corners of a 3D shape of an object are known. The algorithm disclosed therein is based directly on an unstructured point cloud, so no surface reconstructions are required. Essential to this process, the automated detection adapters are the wall-sensitive parameters that significantly increase the reliability of the process and that make the identification of raised edges more robust.

Die Dissertation von X. Li, „Feature Point on Point-Based Surface and their Applications“, University of Michigan, 2009 offenbart ein Verfahren zur effektiven Erkennung von hervorstehenden, erhabenen Punkten einer komplexen 3-D Geometrie. Das Verfahren basiert auf einer Skalen-Raum Repräsentation einer Eingabefläche und benutzt lokale Extrema der Differenz entlang der normalen Richtung zwischen benachbarten Skalen als erhabene Punkte. The dissertation by X. Li, "Feature Point on Point-Based Surface and their Applications," University of Michigan, 2009 discloses a method for effectively detecting protruding, raised points of a complex 3-D geometry. The method is based on a scale-space representation of an input area and uses local extrema of the difference along the normal direction between adjacent scales as raised points.

Aufgabe der Erfindung ist es, ein Verfahren anzugeben, mittels dem scharfe Kanten und Ecken repräsentierende Punkte einer aktuellen 3D-Form einfach und erforderlichenfalls in Echtzeit ermittelbar sind. The object of the invention is to specify a method by means of which sharp edges and corners representing points of a current 3D shape can be determined simply and, if necessary, in real time.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in der Figur dargestellt sind.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description, as well as the explanation of embodiments of the invention, which are illustrated in the figure.

Die Aufgabe ist gemäß eines ersten Aspekts gelöst durch ein Verfahren zum Ermitteln von repräsentativen Punkten PK_i für erhabene Kanten und von repräsentativen Punkten PE_i für erhabene Ecken einer aktuellen 3D-Form eines Objekts. Das Objekt ist bevorzugt ein Roboter, ein Roboterarm, ein Effektor eines Roboters, oder insbesondere eine Gesamtheit aus einem solchen Effektor und einem von diesem bspw. gegriffenen Objekt. Das vorgeschlagene Verfahren umfasst folgende Schritte. The object is achieved according to a first aspect by a method for determining representative points PK _i for raised edges and of representative points PE _i for raised corners of a current 3D shape of an object. The object is preferably a robot, a robot arm, an effector of a robot, or in particular a whole of such an effector and an object gripped by it, for example. The proposed method comprises the following steps.

In einem ersten Schritt erfolgt ein Erfassen und/oder ein Bereitstellen einer 3D-Punktwolke P, die Koordinaten einer Vielzahl von Punkten P_i der Oberfläche der aktuellen 3D-Form des Objektes angibt. Vorteilhaft wird die 3D-Punktewolke P mittels eines Dynamischen Modells der 3D-Form des Objektes ermittelt. Alternativ oder zusätzlich kann die 3D-Punktewolke P durch 3D-Abtastung des Objekts mittels bspw. optischer und/oder akustischer Sensoren ermittelt werden. In letzterem Fall können insbesondere Laserscanner, Lidarsysteme und/oder Ultraschallsysteme zur Abtastung des Objekts genutzt werden. Die Auswertung der erfassten Sensor-Messdaten zur Erzeugung der 3D-Punktwolke P kann weiterhin auf einer 3D-Bildverarbeitung beruhen. In a first step, detection and / or provision of a 3D point cloud P, which indicates coordinates of a multiplicity of points P _{i of} the surface of the current 3D shape of the object, takes place. Advantageously, the 3D point cloud P is determined by means of a dynamic model of the 3D shape of the object. Alternatively or additionally, the 3D point cloud P can be determined by 3D scanning of the object by means of, for example, optical and / or acoustic sensors. In the latter case, in particular laser scanners, lidar systems and / or ultrasound systems can be used to scan the object. The evaluation of the acquired sensor measurement data for generating the 3D point cloud P can furthermore be based on 3D image processing.

Somit kann die 3D-Punktwolke P bspw. direkt gemessen oder rekonstruiert werden. Des Weiteren kann sie auch aus CAD-Daten (bspw. aus Konstruktions- bzw. Modellierungsdaten) algorithmisch erzeugt und bereitgestellt werden. Thus, the 3D point cloud P can for example be measured or reconstructed directly. Furthermore, it can also be generated and provided algorithmically from CAD data (for example from design or modeling data).

Vorteilhaft wird die die Oberfläche der aktuellen 3D-Form des Objekts Oberflächen angebende 3D-Punktewolke P derart ermittelt, dass die Punkte P_i der 3D-Punktewolke P die Oberfläche des Objekts flächendeckend und mit einer homogenen Flächendichte angeben. Vorteilhaft ist weiterhin die Flächendichte der Punktbelegung der Oberfläche des Objekts so hoch, dass Ecken und Kanten des Objekts mit hinreichender Genauigkeit aufgelöst und damit erfasst sind. Die Koordinaten der 3D-Punktewolke P beziehen sich dabei vorteilhaft auf ein Koordinatensystem, in dem das Objekt selbst ruht, so dass Transformationen in andere Koordinatensysteme erforderlichenfalls mit den bekannten Verfahren leicht durchführbar sind. The 3D point cloud P indicating the surface of the current 3D shape of the object surfaces is advantageously determined such that the points P _{i of} the 3D point cloud P indicate the surface of the object across the surface and with a homogeneous area density. Furthermore, the area density of the point occupancy of the surface of the object is advantageously so high that corners and edges of the object are resolved with sufficient accuracy and thus captured. The coordinates of the 3D point cloud P advantageously relate to a coordinate system in which the object itself rests, so that If necessary, transformations into other coordinate systems can be carried out easily with the known methods.

In einem zweiten Schritt erfolgt für jeden Punkt P_i der 3D-Punktewolke P ein Ermitteln von Ebenen T_i,k,n, die durch den Punkt P_i und dazu unmittelbar benachbarte zwei Punkte P_i,k, P_i,n definiert sind, mit b_i := Anzahl der zu P_i unmittelbar benachbarten Punkte, k ≠ n, und n, k ∊ [1, 2, ..., b_i]. Die Zahl der dabei ermittelten Ebenen bestimmt sich durch die Zahl b_i der zu dem jeweiligen Punkt P_i unmittelbar benachbarten Punkte. Befinden sich der Punkt P_i und alle direkt dazu benachbarten Punkte P_i,k bzw. P_i,n in einer Ebene, so ergibt sich für den Punkt P_i logischerweise nur eine Ebene T_i,k,n. Liegt der Punkt P_i auf einer Kante, dann ergeben sich für den Punkt P_i zwei Ebenen T_i,k,n, die sich entlang der Kante schneiden. Ist der Punkt P_i ein Eckpunkt (d.h. die Spitze einer Ecke), dann ergeben sich je nach Geometrie der Ecke zumindest drei Ebenen T_i,k,n. Ist der Punkt P_i die Spitze eines Kegels, dann ergeben sich theoretisch unendlich viele Ebenen T_i,k,n. In a second step, for each point P _{i of} the 3D point cloud P, a determination of planes T _{i, k, n is defined} , which are defined by the point P _i and immediately adjacent two points P _{i, k} , P _{i, n} , with b _i : = number of points immediately adjacent to P _i , k ≠ n, and n, k ε [1, 2, ..., b _i ]. The number of levels determined thereby is determined by the number b _{i of} the points immediately adjacent to the respective point P _i . If the point P _i and all directly adjacent points P _{i, k} or P _{i, n are} in one plane, the result for the point P _{i is} logically only one plane T _{i, k, n} . If the point P _i lies on one edge, then for the point P _i, two planes T _{i, k, n} which intersect along the edge result. If the point P _{i is} a vertex (ie the vertex of a vertex), then depending on the geometry of the vertex, at least three planes T _{i, k, n result} . If the point P _{i is} the tip of a cone, theoretically there are infinitely many planes T _{i, k, n} .

In einem dritten Schritt erfolgt ein Ermitteln des relativ zum Objekt nach Außen gerichteten Normalenvektors N_i,k,n für die jeweiligen im zweiten Schritt ermittelten Ebenen T_i,k,n. In a third step, the normal vector N _{i, k, n} directed relative to the object is determined for the respective planes T _{i, k, n} determined in the second step.

In einem vierten Schritt erfolgt für jeden Punkt P_i der 3D-Punktewolke P ein Ermitteln von Ebenen O_i,k,n, die durch drei zum Punkt P_i unmittelbar benachbarte Punkte P_i,k, P_i,n, P_i,m definiert sind, mit b_i := Anzahl der zu P_i unmittelbar benachbarten Punkte, k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m und n, k, m ∊ [1, b_i]. In a fourth step is carried out for each point P _i of the 3D point cloud P a determination of levels of O _{i, k, n,} the _n by three to point P _i immediately adjacent points P _{i, k,} P _i, P _{i, m} with b _i : = number of points immediately adjacent to P _i , k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m and n, k, m ε [1, b _i ].

In einem fünften Schritt erfolgt ein Ermitteln eines gerichteten (senkrechten) Abstands d_i,k,n des Punktes P_i relativ zu jeder der Ebenen O_i,k,n, wobei ein relativ zum Objekt nach Außen gerichteter Abstand d_i,k,n positiv, und ein relativ zum Objekt nach innen gerichteter Abstand d_i,k,n negativ ist. Natürlich können die Vorzeichen des Abstandes Abstand d_i,k,n auch umgedreht definiert sein, wobei sich im weiteren Verfahren die angegebenen Relationen entsprechend ändern. In a fifth step, a directional (vertical) distance d _{i, k, n of} the point P _i relative to each of the planes O _{i, k, n is determined} , wherein a distance d _{i, k, n} directed outward relative to the object positive, and a distance d _{i, k, n} directed inwardly relative to the object is negative. Of course, the signs of the distance distance d _{i, k, n can} also be defined in an inverted manner, with the specified relations changing correspondingly in the further method.

In einem sechsten Schritt erfolgt ein Aussortieren derjenigen konkaven Punkte P_i aus der 3D-Punktewolke P für die für zumindest eine der Ebenen O_i,k,n gilt: d_i,k,n ≤ 0, zur Erzeugung einer 3D-Punktwolke P* mit konvexen Punkten P_i*, für die gilt: d_i,k,n > 0. Durch diesen Schritt werden also all jene Punkte P_i aus der ursprünglichen 3D-Punktewolke P entfernt, die auf konkaven Bereichen der Oberfläche des Objekts liegen. In a sixth step, those concave points P _{i are} sorted out of the 3D point cloud P for which at least one of the planes O _{i, k, n} holds: d _{i, k, n} ≦ 0, for generating a 3D point cloud P * with convex points P _i *, for which applies: d _{i, k, n} > 0. By this step, therefore, all those points P _{i are} removed from the original 3D point cloud P, which lie on concave areas of the surface of the object.

In einem siebten Schritt erfolgt für jeden konvexen bzw. erhabenen Punkt P_i* ein Zusammenfassen bzw. ein Einteilen der zugehörigen Normalenvektoren N_i,k,n zu einer Anzahl p_i Cluster C_i,_q mit q = 1, 2, ... p_i, wobei die Normalenvektoren N_i,k,n jedes Clusters C_i,q sich dadurch auszeichnen, dass sie sich nur durch eine vorgegebene Distanzgröße D voneinander unterscheiden. Die konkrete Anzahl p_i ergibt sich dabei dadurch, wie viele Cluster C_i,q erforderlich sind, um die Normalenvektoren N_i,k,n entsprechend der Vorgabe der Distanzgröße D in Cluster C_i,q einzuteilen. Vorteilhaft umfasst dieser Schritt ein Cluster-Verfahren, insbesondere ein hierarchisches Cluster-Verfahren, oder ein k-Means-Cluster-Verfahren. Diese und weitere einsetzbare Cluster-Verfahren sind hinreichend bekannt. In a seventh step, for each convex or raised point P _i *, a combination or division of the associated normal vectors N _{i, k, n} into a number p _{i of} clusters C _i , _q with q = 1, 2,... p _i , wherein the normal vectors N _{i, k, n of} each cluster C _{i, q} are characterized in that they differ from each other only by a predetermined distance variable D. The specific number p _i results here from how many clusters C _{i, q are} required in order to divide the normal vectors N _{i, k, n} into clusters C _{i, q in} accordance with the specification of the distance variable D. Advantageously, this step comprises a cluster method, in particular a hierarchical cluster method, or a k-means cluster method. These and other applicable cluster methods are well known.

Die Distanzgröße D ist vorteilhaft der Betrag des Differenzvektors der jeweiligen Normalenvektoren N_i,k,n untereinander. Mit anderen Worten, werden einem Cluster C_i,q alle die Normalenvektoren N_i,k,n zugeordnet bzw. in dem Cluster C_i,q zusammengefasst, die im Wesentlichen in dieselbe Richtung zeigen, und daher nur um die vorgegebene Distanzgröße D voneinander abweichen. Die Vorgabe der Distanzgröße D ist eine Stellgröße des Verfahrens, die auch in Abhängigkeit der Flächendichte der Punkte P_i* entsprechend zu wählen ist. The distance variable D is advantageously the magnitude of the difference vector of the respective normal vectors N _{i, k, n} with one another. In other words, a cluster C _{i, q} all the normal vectors N _{i, k, n are} assigned or summarized in the cluster C _{i, q} , which point in substantially the same direction, and therefore differ only by the predetermined distance size D. , The specification of the distance variable D is a manipulated variable of the method, which is also to be selected according to the area density of the points P _i *.

In einem achten Schritt erfolgt für jeden Punkt P_i* ein Ermitteln bzw. Bereitstellen der Anzahl p_i der Cluster C_i,q. Die Anzahl p_i wird praktisch schon im siebten Schritt ermittelt und nun bereitgestellt. In an eighth step, for each point P _i *, the number p _{i of} the clusters C _{i, q is} determined or made available. The number p _i is practically already determined in the seventh step and now provided.

In einem neunten Schritt erfolgt ein Aussortieren jedes Punktes P_i* aus der 3D-Punktwolke P*, für den die Anzahl p_i ungleich 2 oder 3 oder 4 ist, zur Erzeugung einer 3D-Punktwolke P** mit Punkten P_i**, für die p_i gleich 2 oder 3 oder 4 ist. Es kann der Fall vorkommen, dass durch das bisher beschriebene Verfahren mehr als eine Ecke/Kante pro echte Ecke/Kante gefunden wird. Um in jedem Falle eine Eindeutigkeit zu erzielen, sollte vorteilhaft ein Clusterschritt dem neunten Schritt nachgeschaltet werden. In a ninth step, a sorting out of each point P _i * from the 3D point cloud P *, for which the number p _{i is} not equal to 2 or 3 or 4, is effected in order to generate a 3D point cloud P ** with points P _i **, for which p _{i is} equal to 2 or 3 or 4. It may be the case that the method described so far finds more than one corner / edge per true corner / edge. In order to achieve unambiguousness in any case, a cluster step should advantageously follow the ninth step.

In einem zehnten Schritt erfolgt schließlich auf Basis der 3D-Punktwolke P** ein Ermitteln der repräsentativen Punkte PK_i für erhabene Kanten als Punkte P_i**, für die p_i gleich 2 ist, und ein Ermitteln der repräsentativen Punkte PE_i für erhabene Ecken als Punkte P_i**, für die p_i gleich 3 oder 4 ist. Vorteilhaft wird zur Ermittlung der Punkte PK_i ein RANSAC-Algorithmus ausgeführt wird. RANSAC (engl. für „RANdom SAmple Consensus) ist ein Algorithmus zur Schätzung eines Modells innerhalb einer Reihe von Messwerten mit Ausreißern und groben Fehlern. RANSAC unterstützt Ausgleichsverfahren (bspw. die Methode der kleinsten Quadrate) durch Berechnung einer um Ausreißer bereinigten Datenmenge, des sogenannten Consensus Sets. Weitere Details sind leicht dem einschlägigen Stand der Technik zu entnehmen. Finally, in a tenth step, on the basis of the 3D point cloud P **, a determination of the representative points PK _i for raised edges as points P _i **, for which p _{i is} equal to 2, and determination of the representative points PE _i for raised ones takes place Corners as points P _i ** for which p _i equals 3 or 4. Advantageously, a RANSAC algorithm is executed to determine the points PK _i . RANSAC (RANdom SAmple Consensus) is an algorithm for estimating a model within a set of outlier and gross error metrics. RANSAC supports equalization methods (eg the method of the least squares) by calculating an amount of data that has been adjusted for outliers, the so-called consensus set. Further details can be easily found in the relevant prior art.

Die derart ermittelten Punkte PK_i und PE_i sind Punkte, die erhabene Kanten und erhabene Ecken einer aktuellen 3D-Form des Objekts, und somit Oberflächenkonturen des Objekts repräsentieren bzw. angeben, die bei einer Kollision des Objekts mit einem Kollisionsobjekt potentiell Verletzungen bzw. Beschädigungen am Kollisionsobjekt bewirken können. Das vorgeschlagene Verfahren wird vorteilhaft automatisiert und in Echtzeit ausgeführt. The thus determined points PK _i and PE _i are points that represent raised edges and raised corners of a current 3D shape of the object, and thus surface contours of the object, which potentially causes injury or damage in the event of a collision of the object with a collision object can cause the collision object. The proposed method is advantageously automated and executed in real time.

In einer vorteilhaften Weiterbildung des Verfahrens wird die Punktwolke P zeitabhängig erfasst und/oder bereitgestellt (d.h. P = P(t)), so dass Änderungen der 3D-Form des Objektes in Echtzeit aktuell erfasst und in Form einer zeitabhängigen Punktewolke P(t) als Eingangsdaten für das Verfahren bereitgestellt werden. Somit werden auch die Punkte PK_i und PE_i zeitabhängig ermittelt, d.h. PK_i = PK_i(t) und PE_i = PE_i(t), so dass eine sich zeitlich ändernde 3D-Form des Objektes, als sich zeitlich ändernde repräsentative Punkte, die erhabene Kanten (PK_i(t)) und erhabene Ecken PE_i(t) der 3D-Form des Objekts angeben, ermittelt werden. Grundsätzlich können neben den Kanten und Ecken durch das Verfahren weitere geometrische Primitive berücksichtigt werden. In an advantageous development of the method, the point cloud P is detected as a function of time and / or provided (ie P = P (t)), so that changes in the 3D shape of the object are currently recorded in real time and in the form of a time-dependent point cloud P (t) Input data are provided for the method. Thus, the points PK _i and PE _{i are} determined time-dependent, ie PK _i = PK _i (t) and PE _i = PE _i (t), so that a time-varying 3D shape of the object, as time-varying representative points which specify raised edges (PK _i (t)) and raised corners PE _i (t) of the 3D shape of the object. In principle, besides the edges and corners by the method further geometrical primitives can be considered.

In einer weiteren vorteilhaften Weiterbildung des Verfahrens werden diejenigen Punkte PE_i der 3D-Punktwolke P** eliminiert, die innenliegende Ecken des Objektes, d.h. Ecken, deren Spitze dem Inneren des Objektes zugewandt ist, repräsentieren. In einer weiteren vorteilhaften Weiterbildung des Verfahrens werden diejenigen Punkte PE_i der 3D-Punktwolke P** eliminiert, die Ecken des Objekts repräsentieren, die nicht auf einer durch Punkte PK_i repräsentierten Kante liegen. In a further advantageous development of the method, those points PE _{i of} the 3D point cloud P ** are eliminated, which represent inner corners of the object, ie, corners whose tip faces the interior of the object. In a further advantageous development of the method, those points PE _{i of} the 3D point cloud P ** which represent corners of the object which do not lie on an edge represented by points PK _i are eliminated.

In einer weiteren vorteilhaften Weiterbildung des Verfahrens werden diejenigen Punkte PK_i der 3D-Punktwolke P** eliminiert, die eine Kante repräsentieren, die aber entlang der Kante eine Dichte aufweisen, die einen vorgegebenen Grenzwert unterschreitet. In a further advantageous development of the method the points PK _i of the 3D point cloud P eliminated ** representing an edge, but have a density along the edge of which falls below a predetermined limit.

In einer weiteren vorteilhaften Weiterbildung des Verfahrens werden diejenigen Punkte diejenigen Punkte PK_i der 3D-Punktwolke P** eliminiert werden, die innenliegende Kanten des Objektes repräsentieren. In a further advantageous development of the method, those points are the points PK _i of the 3D point cloud ** P are eliminated, representing the inside edges of the object.

Die letzten vier angeführten Weiterbildungen dienen insbesondere dazu, die Anzahl der Punkte der 3D-Punktwolke P** zu verringern, um so insbesondere die für die Durchführung des Verfahrens erforderliche Rechenleitung zu minimieren und die Echtzeittauglichkeit des Verfahrens zu erhöhen. The last four cited further developments serve, in particular, to reduce the number of points of the 3D point cloud P ** in order in particular to minimize the computation required for carrying out the method and to increase the real-time capability of the method.

Die Erfindung betrifft weiterhin ein Computersystem, mit einer Datenverarbeitungsvorrichtung, wobei die Datenverarbeitungsvorrichtung derart ausgestaltet ist, dass ein Verfahren, wie vorstehend beschrieben, auf der Datenverarbeitungsvorrichtung ausgeführt wird. The invention further relates to a computer system having a data processing device, wherein the data processing device is configured such that a method as described above is performed on the data processing device.

Die Erfindung betrifft weiterhin ein Digitales Speichermedium mit elektronisch aus lesbaren Steuersignalen, wobei die Steuersignale so mit einem programmierbaren Computersystem zusammenwirken können, dass ein Verfahren, wie vorstehend beschrieben, ausgeführt wird. The invention further relates to a digital storage medium with electronically readable control signals, wherein the control signals can cooperate with a programmable computer system such that a method as described above is carried out.

Die Erfindung betrifft weiterhin ein Computer-Programm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wie vorstehend beschrieben, wenn der Programmcode auf einer Datenverarbeitungsvorrichtung ausgeführt wird. The invention further relates to a computer program product having program code stored on a machine-readable carrier for carrying out the method, as described above, when the program code is executed on a data processing device.

Die Erfindung betrifft schließlich ein Computer-Programm mit Programmcodes zur Durchführung des Verfahrens, wie vorstehend beschrieben, wenn das Programm auf einer Datenverarbeitungsvorrichtung abläuft. Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Finally, the invention relates to a computer program with program codes for carrying out the method, as described above, when the program runs on a data processing device. Further advantages, features and details will become apparent from the following description in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. The same, similar and / or functionally identical parts are provided with the same reference numerals.

Es zeigt: It shows:

1 einen schematisierten Ablaufplan eines Ausführungsbeispiels des vorgeschlagenen Verfahrens. 1 a schematic flowchart of an embodiment of the proposed method.

1 zeigt einen schematisierten Ablaufplan eines Ausführungsbeispiels des vorgeschlagenen Verfahrens zum Ermitteln von repräsentativen Punkten PK_i für erhabene Kanten und von repräsentativen Punkten PE_i für erhabene Ecken einer aktuellen 3D-Form eines Objekts. Das Verfahren umfasst folgende Schritte. 1 FIG. 12 shows a schematic flow diagram of one embodiment of the proposed method for determining representative points PK _i for raised edges and of representative points PE _i for raised corners of a current 3D shape of an object. The method comprises the following steps.

In einem ersten Schritt 101 erfolgt ein Erfassen und/oder Bereitstellen einer 3D-Punktewolke P, die Koordinaten einer Vielzahl von Punkten P_i der Oberfläche der aktuellen 3D-Form des Objektes angibt. In einem zweiten Schritt 102 erfolgt für jeden Punkt P_i der 3D-Punktewolke P ein Ermitteln von Ebenen T_i,k,n, die durch den Punkt P_i und dazu unmittelbar benachbarte zwei Punkte P_i,k, P_i,n definiert sind, mit b_i := Anzahl der zu P_i unmittelbar benachbarten Punkte, k ≠ n, und n, k ∊ [1, 2, ..., b_i]. In einem dritten Schritt 103 erfolgt ein Ermitteln des relativ zum Objekt nach Außen gerichteten Normalenvektors N_i,k,n der jeweiligen Ebenen T_i,k,n. In einem vierten Schritt 104 erfolgt für jeden Punkt P_i der 3D-Punktewolke P ein Ermitteln von Ebenen O_i,k,n, die durch drei zum Punkt P_i unmittelbar benachbarte Punkte P_i,k, P_i,n, P_i,m definiert sind, mit b_i := Anzahl der zu P_i unmittelbar benachbarten Punkte, k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m und n, k, m ∊ [1, 2, ..., b_i]. In einem fünften Schritt 105 erfolgt ein Ermitteln eines gerichteten Abstands d_i,k,n des Punktes P_i relativ zur Ebene O_i,k,n, wobei ein relativ zum Objekt nach Außen gerichteter Abstand d_i,k,n positiv, und ein relativ zum Objekt nach innen gerichtete Abstand d_i,k,n negativ ist. In einem sechsten Schritt 106 erfolgt ein Aussortieren derjenigen konkaven Punkte P_i aus der 3D-Punktewolke P für die gilt: d_i,k,n ≤ 0, zur Erzeugung einer 3D-Punktwolke P* mit konvexen Punkten P_i*, für die gilt: d_i > 0. In einem siebten Schritt 107 erfolgt für jeden Punkt P_i* ein Zusammenfassen der zugehörigen Normalenvektoren N_i,k,n zu einer Anzahl p_i, Clustern C_i,q, mit q = 1, 2, ..., p_i, wobei die Normalenvektoren N_i,k,n jedes Clusters C_i,q sich dadurch auszeichnen, dass sie sich nur durch eine vorgegebene Distanzgröße D voneinander unterscheiden. In einem achten Schritt 108 erfolgt ein Ermitteln der Anzahl p_i der Cluster C_i,q. In einem neunten Schritt 109 erfolgt ein Aussortieren jedes Punktes P_i* aus der 3D-Punktwolke P* für den die Anzahl p_i ungleich 2 oder 3 oder 4 ist, zur Erzeugung einer 3D-Punktwolke P** mit Punkten P_i**, für die p_i gleich 2 oder 3 oder 4 ist. In einem zehnten Schritt 110 erfolgt auf Basis der 3D-Punktwolke P** Ermitteln der repräsentativen Punkte PK_i für erhabene Kanten als Punkte P_i**, für die p_i gleich 2 ist, und Ermitteln der repräsentativen Punkte PE_i für erhabene Ecken als Punkte P_i**, für die p_i gleich 3 oder 4 ist. In a first step 101 there is a detection and / or provision of a 3D point cloud P which indicates coordinates of a plurality of points P _{i of} the surface of the current 3D shape of the object. In a second step 102 For each point P _{i of} the 3D point cloud P, a determination is made of planes T _{i, k, n} which are defined by the point P _i and immediately adjacent two points P _{i, k} , P _{i, n} , with b _i : = Number of points immediately adjacent to P _i , k ≠ n, and n, k ε [1, 2, ..., b _i ]. In a third step 103 a determination is made of the normal vector N _{i, k, n of} the respective planes T _{i, k, n} directed outward relative to the object. In a fourth step 104 is carried out for each point P _i of the 3D point cloud P a determination of levels of O _{i, k, n,} the _n by three to point P _i immediately adjacent points P _{i, k,} P _i, P _{i, m} are as defined, with b _i : = number of points immediately adjacent to P _i , k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m and n, k, m ε [1, 2, ..., b _i ]. In a fifth step 105 a determination is made of a directed distance d _{i, k, n of} the point P _i relative to the plane O _{i, k, n} , wherein a distance d _{i, k, n} directed outwardly relative to the object is positive, and a direction relative to the object is inward directed distance d _{i, k, n is} negative. In a sixth step 106 the concave points P _{i are} sorted out of the 3D point cloud P for which: d _{i, k, n} ≦ 0, for generating a 3D point cloud P * with convex points P _i *, for which: d _i > 0 In a seventh step 107 For each point P _i *, a combination of the associated normal vectors N _{i, k, n} into a number p _i, clusters C _{i, q} , with q = 1, 2,..., p _i , whereby the normal vectors N _{i, k, n of} each cluster C _{i, q} are characterized in that they differ from each other only by a predetermined distance variable D. In an eighth step 108 a determination is made of the number p _{i of} the clusters C _{i, q} . In a ninth step 109 there is a sorting out of each point P _i * from the 3D point cloud P * for which the number p _{i is} not equal to 2 or 3 or 4, for generating a 3D point cloud P ** with points P _i **, for the p _i equal 2 or 3 or 4. In a tenth step 110 based on the 3D point cloud P **, obtain the representative points PK _i for raised edges as points P _i ** for which p _{i is} equal to 2, and determine the representative points PE _i for raised corners as points P _i ** for which p _{i is} equal to 3 or 4.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird. Although the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description of the figures enable one skilled in the art to practice the exemplary embodiments, and those of skill in the knowledge of the disclosed inventive concept may make various changes, for example, to the operation or arrangement of particular elements recited in an exemplary embodiment, without Protected area, which is defined by the claims and their legal equivalents, such as further explanation in the description.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

101–110 101-110

Verfahrensschritte steps

Claims (13)

Verfahren zum Ermitteln von repräsentativen Punkten PK_i für erhabene Kanten und von repräsentativen Punkten PE_i für erhabene Ecken einer aktuellen 3D-Form eines Objekts, mit folgenden Schritten: 1.1. Erfassen und/oder Bereitstellen einer 3D-Punktewolke P, die Koordinaten einer Vielzahl von Punkten P_i der Oberfläche der aktuellen 3D-Form des Objektes angibt, 1.2.1. für jeden Punkt P_i der 3D-Punktewolke P Ermitteln von Ebenen T_i,k,n, die durch den Punkt P_i und dazu unmittelbar benachbarte zwei Punkte P_i,k, P_i,n definiert sind, mit b_i := Anzahl der zu P_i unmittelbar benachbarten Punkte, k ≠ n, und n, k ∊ [1, 2, ..., b_i], 1.2.2. Ermitteln des relativ zum Objekt nach Außen gerichteten Normalenvektors N_i,k,n der jeweiligen Ebenen T_i,k,n, 1.3.1. für jeden Punkt P_i der 3D-Punktewolke P Ermitteln von Ebenen O_i,k,n, die durch drei zum Punkt P_i unmittelbar benachbarte Punkte P_i,k, P_i,n, P_i,m definiert sind, mit b_i := Anzahl der zu P_i unmittelbar benachbarten Punkte, k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m und n, k, m ∊ [1, 2, ..., b_i], 1.3.2. Ermitteln eines gerichteten Abstands d_i,k,n des Punktes P_i relativ zur Ebene O_i,k,n, wobei ein relativ zum Objekt nach Außen gerichteter Abstand d_i,k,n positiv, und ein relativ zum Objekt nach innen gerichtete Abstand d_i,k,n negativ ist, 1.3.3. Aussortieren derjenigen konkaven Punkte P_i aus der 3D-Punktewolke P für die gilt: d_i,k,n ≤ 0, zur Erzeugung einer 3D-Punktwolke P* mit konvexen Punkten P_i*, für die gilt: d_i > 0, 1.4.1. für jeden Punkt P_i* Zusammenfassen der zugehörigen Normalenvektoren N_i,k,n zu einer Anzahl p_i, Clustern C_i,q, mit q = 1, 2, ..., p_i, wobei die Normalenvektoren N_i,k,n jedes Clusters C_i,q sich dadurch auszeichnen, dass sie sich nur durch eine vorgegebene Distanzgröße D voneinander unterscheiden, 1.4.2. Ermitteln der Anzahl p_i der Cluster C_i,q, 1.4.3. Aussortieren jedes Punktes P_i* aus der 3D-Punktwolke P* für den die Anzahl p_i ungleich 2 oder 3 oder 4 ist, zur Erzeugung einer 3D-Punktwolke P** mit Punkten P_i**, für die p_i gleich 2 oder 3 oder 4 ist, 1.5. auf Basis der 3D-Punktwolke P** Ermitteln der repräsentativen Punkte PK_i für erhabene Kanten als Punkte P_i**, für die p_i gleich 2 ist, und Ermitteln der repräsentativen Punkte PE_i für erhabene Ecken als Punkte P_i**, für die p_i gleich 3 oder 4 ist. Method for determining representative points PK _i for raised edges and of representative points PE _i for raised corners of a current 3D shape of an object, comprising the following steps: 1.1. Detecting and / or providing a 3D point cloud P indicating coordinates of a plurality of points P _{i of} the surface of the current 3D shape of the object, 1.2.1. for each point P _{i of} the 3D point cloud P, determining planes T _{i, k, n} which are defined by the point P _i and immediately adjacent two points P _{i, k} , P _{i, n} , where b _i : = number the points directly adjacent to P _i , k ≠ n, and n, k ε [1, 2, ..., b _i ], 1.2.2. Determining the relative to the object outwardly directed normal vector N _{i, k, n of} the respective levels T _{i, k, n} , 1.3.1. for each point P _i of the 3D point cloud P determining levels O _{i, k, n,} the _n by three to point P _i immediately adjacent points P _{i, k,} P _i, P _{i, m} are as defined, with b _i : = Number of points directly adjacent to P _i , k ≠ n ≠ m, k ≠ n, k ≠ m, n ≠ m and n, k, m ε [1, 2, ..., b _i ], 1.3. second Determining a directional distance d _{i, k, n of} the point P _i relative to the plane O _{i, k, n} , wherein a distance d _{i, k, n} directed outwardly relative to the object is positive, and a distance inwardly relative to the object d _{i, k, n is} negative, 1.3.3. Sorting out those concave points P _i from the 3D point cloud P for which: d _{i, k, n} ≤ 0, for generating a 3D point cloud P * with convex points P _i *, for which applies: d _i > 0, 1.4 .1. for each point P _i * combine the associated normal vectors N _{i, k, n} into a number p _i, clusters C _{i, q} , where q = 1, 2, ..., p _i , where the normal vectors N _{i, k, n of} each cluster C _{i, q} are characterized in that they differ from each other only by a given distance variable D, 1.4.2. Determine the number p _{i of} the clusters C _{i, q,} 1.4.3. Sorting out each point P _i * from the 3D point cloud P * for which the number p _{i is} not equal to 2 or 3 or 4, for generating a 3D point cloud P ** with points P _i **, for the p _{i is} equal to 2 or 3 or 4 is 1.5. on the basis of the 3D point cloud P ** determining the representative points PK _i for raised edges as points P _i ** for which p _{i is} equal to 2, and determining the representative points PE _i for raised corners as points P _i **, for which p _{i is} equal to 3 or 4. Verfahren nach Anspruch 1, bei dem die 3D-Punktewolke P auf Basis eines 3D-Modells des Objekts und/oder auf Basis einer 3D-Abtastung des Objekts erzeugt wird.  Method according to Claim 1, in which the 3D point cloud P is generated on the basis of a 3D model of the object and / or on the basis of a 3D scan of the object. Verfahren nach Anspruch 1 oder 2, bei dem der Schritt 1.4.1. ein Cluster-Verfahren, wie ein hierarchisches Cluster-Verfahren, ein k-Means-Cluster-Verfahren, umfasst. Method according to Claim 1 or 2, in which the step 1.4.1. a clustering method, such as a hierarchical clustering method, a k-means clustering method. Verfahren nach einem der Ansprüche 1 bis 3, bei dem im Schritt 1.5. zur Ermittlung der Punkte PK_i ein RANSAC-Algorithmus ausgeführt wird. Method according to one of claims 1 to 3, wherein in step 1.5. to determine the points PK _i a RANSAC algorithm is executed. Verfahren nach einem der Ansprüche 1 bis 4, bei dem diejenigen Punkte PK_i der 3D-Punktwolke P** eliminiert werden, die innenliegende Kanten des Objektes repräsentieren. Method according to one of claims 1 to 4, wherein those points PK _{i of} the 3D point cloud P ** are eliminated, representing the inner edges of the object. Verfahren nach einem der Ansprüche 1 bis 5, bei dem diejenigen Punkte PE_i der 3D-Punktwolke P** eliminiert werden, die innenliegende Ecken des Objektes repräsentieren. Method according to one of claims 1 to 5, wherein those points PE _{i of} the 3D point cloud P ** are eliminated, representing the inside corners of the object. Verfahren nach einem der Ansprüche 1 bis 6, bei dem diejenigen Punkte PE_i der 3D-Punktwolke P** eliminiert werden, die Ecken repräsentieren, die nicht auf einer durch Punkte PK_i repräsentierten Kante liegen. Method according to one of Claims 1 to 6, in which those points PE _{i of} the 3D point cloud P ** which represent corners which do not lie on an edge represented by points PK _i are eliminated. Verfahren nach einem der Ansprüche 1 bis 7, bei dem diejenigen Punkte PK_i der 3D-Punktwolke P** eliminiert werden, die eine Kante repräsentieren, die aber entlang der Kante eine Dichte aufweisen, die einen vorgegebenen Grenzwert unterschreitet. Method according to one of claims 1 to 7, wherein those points PK _{i of} the 3D point cloud P ** are eliminated, which represent an edge, but along the edge have a density that falls below a predetermined limit. Verfahren nach einem der Ansprüche 1 bis 8, bei dem das Objekt ein Roboter, ein Roboterarm, oder ein Effektor eines Roboters ist.  Method according to one of claims 1 to 8, wherein the object is a robot, a robot arm, or an effector of a robot. Computersystem, mit einer Datenverarbeitungsvorrichtung, wobei die Datenverarbeitungsvorrichtung derart ausgestaltet ist, dass ein Verfahren nach einem der Ansprüche 1 bis 9 auf der Datenverarbeitungsvorrichtung ausgeführt wird.  Computer system, comprising a data processing device, wherein the data processing device is configured such that a method according to one of claims 1 to 9 is carried out on the data processing device. Digitales Speichermedium mit elektronisch aus lesbaren Steuersignalen, wobei die Steuersignale so mit einem programmierbaren Computersystem zusammenwirken können, dass ein Verfahren nach einem der Ansprüche 1 bis 9 ausgeführt wird.  A digital storage medium having electronically readable control signals, wherein the control signals may interact with a programmable computer system such that a method according to any one of claims 1 to 9 is performed. Computer-Programm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9, wenn der Programmcode auf einer Datenverarbeitungsvorrichtung ausgeführt wird.  A computer program product having program code stored on a machine-readable medium for carrying out the method according to one of claims 1 to 9, when the program code is executed on a data processing device. Computer-Programm mit Programmcodes zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9, wenn das Programm auf einer Datenverarbeitungsvorrichtung abläuft.  Computer program with program codes for carrying out the method according to one of claims 1 to 9, when the program runs on a data processing device.

Images