SE524796C2 - collision Protection - Google Patents

Abstract

Method and arrangement for a robot having an associated sensor system for preventing collisions between robot or a gripper arranged on the robot and its surroundings when picking up components, involving the following steps: creation of an image or multi-dimensional representation of a pick-up arena which is supplied with components; identification of the components and their orientation; and definition of one or more following: the gripper, the robot and the area of the pick-up arena, the sensor system monitoring prohibited areas for the robot or the gripper arranged on the robot.

Description

524 796 nu n o -s v v »n o. ~ u ~ q 1 q u u v o H.- :H .s a s i . . . . , , , , , u n s rn o s . | . , . . , 2 o u v a u ; x v » o » a c - I u o » u . nu Enligt föreliggande uppfinning åstadkoms en förbättrad plockning av detaljer med en guidad robot, som har de kännetecknande egenskaperna som anges i patentkrav 1. 524 796 nu n o -s v v »n o. ~ U ~ q 1 q u u v o H.-: H .s a s i. . . . ,,,,, u n s rn o s. | . ,. . , 2 o u v a u; x v »o» a c - I u o »u. According to the present invention, an improved picking of details is achieved with a guided robot, which has the characteristic features stated in claim 1.

Sammanfattning av uppfmningen Anordningen enligt föreliggande uppfinning innefattar ett sensorsystem såsom exempelvis ett kamerasystern (visionsystern), ett optiskt 3D-mätsystem eller en laserutrustning, varmed en bild eller en flerdimensionell volym av plockarenan skapas.Summary of the Invention The device according to the present invention comprises a sensor system such as, for example, a camera system (vision system), a 3D optical measuring system or a laser equipment, with which an image or a three-dimensional volume of the picking arena is created.

I sensorsystemet identifieras detaljerna och deras orientering.The sensor system identifies the details and their orientation.

Den erhållna informationen om orienteringen används för att guida roboten att gripa detaljen.The information obtained about the orientation is used to guide the robot to grasp the detail.

I sensorsystemet definieras vad som är gripdon och/eller robot samt området vid plockarenan.In the sensor system they are identified what is the gripper and / or robot as well as the area at the picking arena.

Resultatet från samma eller annat sensorsystem används sedan för att undvika att roboten eller gripdonet kolliderar med närliggande detaljer eller med omgivningen.The result from the same or another sensor system is then used to avoid the robot or gripper colliding with nearby details or with the surroundings.

Ej tillåtna områden för det ovan nämnda gripdonet och roboten kontrolleras, för att under drift, innan detalj en hämtats alternativt gripits av roboten, förhindra att kollision inträffar.Unauthorized areas for the above-mentioned gripper and the robot are checked, in order to prevent a collision from occurring during operation, before a detail has been retrieved or gripped by the robot.

Detta sker genom att man i sensorsystemet lär in de detaljer som ska eftersökas, samt var på detaljen den skall gripas. Den så kallade inlärningen sker genom att detaljen definieras på ett eller på flera olika sätt, exempelvis väljs ett område i en bild av detalj en där avkänningen skall ske, varvid någon form av mönsterigenkänning används eller genom att blobparametrar definieras för detalj en. Med blobparametrar menas exempelvis ett avgränsats områdes (en blobs) area, omkrets, största längd, minsta längd, kompakthet är area per omkrets. I drift söker systemet efier den inlärda detaljen, vilket oftast sker med någon forrn av bildbehandling.This is done by teaching the sensor system to be searched for in the sensor system, as well as where on the detail it is to be seized. The so-called learning takes place by the detail being fi niered in one or in olika your different ways, for example an area is selected in an image of detail one where the sensing is to take place, whereby some form of pattern recognition is used or by blob parameters being för niered for detail. By blob parameters is meant, for example, the area of a delimited area (a blobs), perimeter, maximum length, minimum length, compactness is area per perimeter. In operation, the system searches for the learned detail, which usually happens with some form of image processing.

Kort beskrivning av ritningarna Figur 1 visar inlärning av en detalj med grippositionen inritad. Grippositionens centrum är vid den tunna cirkeln 1 med en rotationsorientering enligt det tunna 524 796 3 n. »- lodräta sträcket 2. Systemet söker efter detaljer som liknar detaljen 4.Brief description of the drawings Figure 1 shows learning of a detail with the gripping position drawn. The center of the gripping position is at the thin circle 1 with a rotational orientation according to the thin 524 796 3 n. »- vertical distance 2. The system searches for details similar to the part 4.

Rektanglarna 3 beskriver gripfingrarna.Rectangles 3 describe the grippers.

Figur 2 visar delar från ett exempel på ett grafiskt gränssnitt för inlärning av giipdonets utseende och placering i förhållande till giipdonets referensposition, TCP. Beteckningen A beskriver avståndet mellan TCP och gripfingrarna 3.Figure 2 shows parts from an example of a Greek interface for learning the appearance and location of the device in relation to the reference position of the device, TCP. The designation A describes the distance between the TCP and the grippers 3.

Beteckningama B och C beskriver gripfingrarnas 3 omfång.The designations B and C describe the scope of the catchers 3.

Figur 3 visar en bild från inläming av detaljer där tröskling används för att definiera detaljen inom plockområde. I detta exempel fungerar denna metod bra, fór de tre mindre detaljerna 6, men på den stora detaljen 5 saknas väsentliga delar 7, se figur 4.Figure 3 shows an image from the submission of details where a sill is used to de fi nier the detail within the picking area. In this example, this method works well, for the three smaller details 6, but on the large part 5 essential parts 7 are missing, see Figure 4.

Figur 4a visar en detalj 5 som ska läras in.Figure 4a shows a detail 5 to be learned.

Figur 4b visar två detaljer 5, 6 och där delar av den större detaljen 5 (järnrör figur 4a) blivit osynlig vid tröskling, exempelvis p.g.a. bakgrund eller ljussättning, Figur 4c visar två detaljer 5, 6 där delar av detaljen 5 görs synlig genom att man vid inlärningen t.ex. manuellt definierar det ljusare gråa området 7 i förhållande till detaljens 5 läge och på så sätt skapas den önskade definitionen av hela detaljen 5.Figure 4b shows two details 5, 6 and where parts of the larger part 5 (iron pipe figure 4a) have become invisible at the threshold, for example due to background or lighting, Figure 4c shows two details 5, 6 where parts of the detail 5 are made visible by learning e.g. manually they fi deny the lighter gray area 7 in relation to the position of the part 5 and thus the desired definition of the whole detail 5 is created.

Figur 4d visar två detaljer som är korrekt definierade inom plockarenan.Figure 4d shows two details that are correctly defined within the picking arena.

Figur 5 visar tre detaljer 9, 10, ll som inte kan plockas p. g.a. kollision och en detalj 8 som kan plockas. När den första detaljen 9 har plockats blir ytterligare minst en detalj 10 (den till höger i figuren) möjlig att plocka.Figure 5 shows three details 9, 10, 11 which cannot be picked due to collision and a detail 8 that can be picked. When the first part 9 has been picked, at least one more detail 10 (the one on the right in the clock) becomes possible to pick.

Detaljerad beskrivning av uppfinningen Anordningen enligt föreliggande uppfinning innefattar ett sensorsystern såsom, exempelvis ett kamerasystem (visionsystem), ett optiskt 3D-mätsystem eller en laserutrustning, varmed en bild eller en flerdimensionell volym av plockarenan skapas. I sensorsysternet identifieras detaljema och deras orientering. .se nu 524 796 4 Den erhållna informationen om orienteringen används fór att guida roboten att gripa detaljen.Detailed description of the invention The device according to the present invention comprises a sensor system such as, for example, a camera system (vision system), a 3D optical measuring system or a laser equipment, with which an image or a three-dimensional volume of the picking arena is created. The sensor system identifies the details and their orientation. .se nu 524 796 4 The information obtained about the orientation is used to guide the robot to grasp the part.

I sensorsystemet definieras vad som är gripdon, robot samt området vid plockarenan innan drifi. Med gripdon eller giipfingrar avses alla fonner av verktyg fór att få med sig detaljen, till exempel par av fingrar som griper om detalj en, tre fingrar som griper om en cylinder eller i ett hål likt en svarvchuck, sugkopp eller sugkoppar, magnet eller magneter ovs. Nödvändigtvis definieras inte alla dessa delar fóre drift, oftast definieras bara gripfingrarna. Gripdon kan exempelvis definieras genom att man bara talar om ifall detaljers TCP ligger närmare varandra än ett visst antal millimeter, vilket i så fall medfór att detaljerna inte skall plockas.The sensor system defines what is the gripper, robot and the area at the picking arena before driving fi. By grippers or grippers is meant all shapes of tools for grasping the detail, for example pairs of tongs gripping detail one, three tongs gripping a cylinder or in a hole like a lathe chuck, suction cup or suction cups, magnet or magnets etc. . Not all of these parts are necessarily disassembled before operation, usually they are only disassembled by the grippers. Grips can, for example, be fi niered by only telling if the TCP of the parts is closer to each other than a certain number of millimeters, which in that case means that the parts should not be picked.

Med robot avses till exempel enklare rörliga systern av få linjärenheter som kan styras till ett bestämt läge, fyraxliga plockrobotar, sexaxliga industrirobotar mm. Robotarna kan vara golv-, vägg- eller takmonterade. Resultatet från sensorsystemet används sedan fór att undvika att roboten eller gripdonet kolliderar med närliggande detaljer eller med omgivningen. Gripdonet, roboten samt ej tillåtna områden definieras i normalt 2 eller 3 dimensioner, d.v.s. i två dimensioner som betecknas såsom planet eller i tre dimensioner som betecknas såsom rummet. Omgivningen, gripdonet och roboten definieras tillsammans eller var fór sig i förhållande till gripdonets centrum, se exempel på gripfingerdefinition i figur 2. Definitionen kan exempelvis ske manuellt genom ett grafiskt gränssnitt eller från en virtuell modell som importeras till systemet eller genom inläsning med sensorsysternet.By robot is meant, for example, simpler movable sister of few linear units that can be controlled to a specific position, four-axis picking robots, six-axis industrial robots and more. The robots can be floor, wall or ceiling mounted. The result from the sensor system is then used to avoid the robot or gripper colliding with nearby details or with the surroundings. The gripper, the robot and the unauthorized areas they are fi niered in normally 2 or 3 dimensions, i.e. in two dimensions denoted as the plane or in three dimensions denoted as space. The environment, the gripper and the robot are jointed or moved in relation to the center of the gripper, see examples of gripper degeneration in Figure 2. The joint can be done manually, for example, through a Greek interface or from a virtual model imported into the system or by loading with the sensor system.

Ej tillåtna områden för ovan nämnda gripdonet eller roboten kontrolleras, fór att under drifi innan detalj en hämtats alternativt gripits av roboten, förhindra att kollision inträffar. Kollision inträffar om gripdonet eller roboten inkräktar på områden där det finns detaljer eller förbjudna närliggande områden. Om kontrollen resulterar i att kollision kommer att ske, plockas inte detaljen. En variant är att man bara kontrollerar att detaljernas centrum inte ligger fór nära varandra, man slipper då att definiera gripfingrar och gripverktyg. Om en detalj ligger fór nära en annan kommer den inte att plockas. Detaljer plockas inte om avståndet mellan dem understiger ett visst på fórhand bestämt mått. De detalj er som inte plockas p.g.a. ovan nämnda anledning, kan ibland plockas senare efter 524 796 5 senare efter det att de närliggande detaljerna, som var plockbara, har plockats eller genom att detaljerna omorienterats av anordningen som förser plockarenan med detalj er. Det kan utföras genom att detaljerna transporteras via en anordning som omgrupperar dem och varmed de återigen tillåts passera plockarenan eller genom att roboten flyttar på detalj erna. Detta sker genom att man i sensorsystemet lär in de detaljer som ska eftersökas, samt var detaljen skall gripas, se figur l. Den så kallade inlämingen sker genom att detaljen definieras på ett eller på flera olika sätt, exempelvis väljs ett område i en bild av detaljen som avkänningen skall ske, varvid någon form av igenkänning av mönster används eller genom att blobparametrar definieras för detalj en.Unauthorized areas for the above-mentioned gripper or robot are checked, in order to prevent collisions from occurring or being gripped by the robot during operation. Collision occurs if the gripper or robot encroaches on areas where there are details or forbidden nearby areas. If the inspection results in a collision, the part will not be picked. One variant is that you only check that the center of the details is not too close to each other, you then avoid defining grippers and gripping tools. If one detail is too close to another, it will not be picked. Details are not picked if the distance between them is less than a certain pre-determined dimension. The details that are not picked due to for the above-mentioned reason, can sometimes be picked later after the adjacent details, which were pickable, have been picked or by the details being reoriented by the device providing the picking arena with details. This can be done by transporting the details via a device that regroups them and allows them to pass through the picking arena again, or by the robot fl moving the details. This is done by learning in the sensor system the details to be searched for, and where the detail is to be seized, see figure 1. The so-called submission takes place by the detail being fi niered in one or in på your different ways, for example an area is selected in an image of the detail in which the sensing is to take place, using some form of pattern recognition or by blocking the parameters for detail.

Beskrivningen för de ej tillåtna områdena för gripdonet och roboten definieras var för sig eller tillsammans med en eller flera av följande metoder: I sensorresultatet kan detaljerna skiljas från omgivningen genom tröskling, se figur 3.The description of the unauthorized areas of the gripper and the robot they are varniered individually or together with one or fl era of the following methods: In the sensor result, the details can be separated from the environment by threshold, see figure 3.

Med tröskling menas att skapa en binär bild. Det förekommer flera varianter på tekniken för att tröskla bilden. I detta fall används det för att skapa en bild där detalj erna är vita och omgivningen svart eller tvärt om. Anordningen är inte beroende av någon speciell metod för tröskling utan det är möjligt att använda ett enkelt fast tröskelvärde eller mera sofistikerade lösningar med automatisk justering av tröskelvärde i förhållande till variationer mellan bilder över tiden, med ett över bilden varierande tröskelvärde anpassat efter lokala variationer i ljussättning eller olika varianter av färgkodning av detalj respektive bakgrund mm.By threshold is meant to create a binary image. There are fl your variations on the technology for thresholding the image. In this case, it is used to create an image where the details are white and the surroundings black or vice versa. The device does not depend on any particular method of thresholding, but it is possible to use a simple fixed threshold value or more sophisticated solutions with automatic adjustment of threshold value in relation to variations between images over time, with a threshold value varying above the image adapted to local variations in lighting or different variants of color coding of detail and background etc.

Definieringen av ej tillåtna områden sker vid inlärning i förhållande till de inlärda grippositionerna. Systemet efiersöker flera detaljer i sensorresultatet och ej tillåtna områden i förhållande till de erhålla sökresultaten markeras, se figur 4. Denna metod används till exempel då delar av detaljen inte med säkerhet kan särskiljas från omgivningen genom tröskling. Det finns många olika metoder för att söka detaljen som i princip alla kan användas för denna anordning för kollisionsskydd.The fi initiation of unauthorized areas takes place during learning in relation to the learned gripping positions. The system e fi searches fl your details in the sensor result and non-permitted areas in relation to the obtained search results are marked, see figure 4. This method is used, for example, when parts of the part cannot be reliably distinguished from the environment by thresholding. There are many different methods of searching for the detail which in principle can all be used for this device for collision protection.

Det kan även förekomma delar på en detalj som inte utgör risk för kollision, de delar av detaljema kan tas bort från detaljdefinitionen på samma sätt som man gör osynliga delar synliga.There may also be parts of a detail that do not pose a risk of collision, those parts of the details can be removed from the detail section in the same way as invisible parts are made visible.

Ovan har beskrivits flera sätt att erhålla flerdimensionella beskrivningar alternativt ornråden av robotens, gripdonets volym alternativt volymer inom » - « « v u | | n t | .- 524 796 6 området samt även ej tillåtna områden, i samma rum/koordinatsystem för varje gripläge. Om några av dessa beskrivningar alternativt ornråden överlappar varandra föreligger det en risk för kollision. Med anordningen enligt föreliggande uppfinning läser systemet av plockarenan, löpande under drifi, och tillåter bara roboten att plocka detaljer vars beskrivningar, alternativt område, inte överlappar varandra, varmed kollisioner undviks. Se figur 5.Above has been described fl your ways of obtaining fldimensional descriptions or instructions of the robot, gripper volume or volumes within »-« «v u | | n t | .- 524 796 6 area as well as non-permitted areas, in the same room / coordinate system for each gripping position. If any of these descriptions or advice overlaps, there is a risk of a collision. With the device according to the present invention, the system reads the picking arena, continuously during drive fi, and only allows the robot to pick details whose descriptions, alternatively area, do not overlap, thus avoiding collisions. See Figure 5.

Det är även möjligt att definiera ett område som följer till exempel ett transportbands rörelse. Sensom är då ofiast placerad över ett armat geometriskt omrâde än plockarenan. Gripdonet, roboten samt ej tillåtna områden medges även att definieras i en rymd som flyttas med en transportbana.It is also possible to de fi nier an area that follows, for example, the movement of a conveyor belt. The sensor is then best placed over an armored geometric area other than the picking arena. The gripper, the robot and unauthorized areas are also permitted to be fi niered in a space fl surface with a transport path.

Med metod och anordning enligt föreliggande uppfinning ges en möjlighet att genomföra nämnda styrning av robot och gripdon i drifi samt att komplettera den virtuella världen med detaljer som har ett okänt läge. Det okända läget blir hanterbart genom sensorsystemet som lär in bl.a. detaljerna och läser av plockarenan varmed roboten tillåts plocka detaljerna utan att riskera att krocka med närliggande omgivning.With the method and device according to the present invention, it is possible to carry out the said control of the robot and grippers in the drive and to supplement the virtual world with details that have an unknown location. The unknown position becomes manageable through the sensor system which teaches e.g. the details and reads the picking arena, which allows the robot to pick the details without risking colliding with nearby surroundings.

Stegen i metod och med anordning vid robot och gripdon vid plockning av detaljer med guidad robot med ett tillhörande sensorsystem kan genomföras i valfri möjlig ordning.The steps in method and with device for robot and gripper when picking parts with guided robot with an associated sensor system can be carried out in any possible order.

Claims (1)

1. 0 l5 20 25 30 524 796 1 .en a. PATENTKRAV . Metod vid robot med ett tillhörande sensorsystern för att vid plockning av detaljer förhindra kollision mellan robot eller ett på roboten anordnat gripdon och dess omgivning, innefattande stegen att: skapa en bild eller en flerdimensionell avbildning av en plockarena som förses med detaljer; identifiera detaljema och deras orientering; samt definiera en eller flera av vad som är gripdonet, vad som är roboten samt vad som är området vid plockarenan, kännetecknat av att sensorsystemet kontrollerar ej tillåtna områden ßr roboten eller det på roboten anordnade gripdonet genom att skilja detaljer från underlaget, i två eller fler dimensioner varefter sensorsystemet tillåter robotens gxipdon att påbörja plockning av detalj då detaljen av sensorsystemet identifierats som plockbar utan risk för kollision. . Metod enligt krav 1, varvid de ej tillåtna områdena definieras genom tröskling, i tvâ eller fler dimensioner. . Metod enligt kraven l eller 2, varvid de ej tillåtna områdena definieras för en detaljs olika lägen i förhållande till detaljens grippunkter, i två eller fler dimensioner, så att därmed utifrån upphittade detaljer erhålla ej tillåtna områdena i sensoms avbildningsområde . . Metod enligt något av föregående krav, varvid de ej tillåtna områdena revideras med utgångspunkt från information om vilka detaljer som plockas. . Metod enligt något av ñregående krav, varvid även tillåtna områdena definieras i förhållande till detaljens grippunkter, i två eller fler dimensioner. . Metod enligt något av föregående krav, varvid kontroll av risk för kollision sker genom att beräkna överlapp av ej tillåtna områden och roboten eller det på roboten anordnade gripdonet. . Anordning vid robot med ett tillhörande sensorsystern för att vid plockning av detaljer förhindra kollision mellan robot eller ett på roboten anordnat gtipdon och dess 10 15 20 :I n. n. - e H u n .- | n - o 52 6; .- -o o o v. . av 0 ~ I ° ' . -. ... . 1.» . v." . - n n. u. .. . -..-... t. -- - O I I lb I 0 O I' Ü . u u . n e H ~ omgivning, innefattande medel ßr genomförande av stegen att: skapa en bild eller en flerdimensionell avbildning av en plockarena som förses med detaljer; identifiera detaljerna och deras orientering; samt definiera en eller flera av vad som år giipdonet, vad som är roboten, samt vad som är området vid plockarenan; kännetecknad av att sensorsystemet innefattar medel för kontroll av ej tillåtna områden för roboten eller det på roboten anordnade gripdonet genom att skilja detaljer från underlaget, i två eller fler dimensioner varefter sensorsystemet tillåter robotens gripdon att påbörja plockning av detalj då detaljen av sensorsystemet identifierats som plockbar utan risk för kollision. . Anordning enligt krav 7, varvid de ej tillåtna områdena definieras genom tröskling, i två eller fler dimensioner. . Anordning enligt kraven 7 eller 8 , varvid de ej tillåtna områdena definieras för en detaljs olika lägen i förhållande till detaljens grippunkter, i två eller fler dimensioner, så att därmed utifrån upphittade detaljer erhålla ej tillåtna områdena i sensorns avbildningsområde. 10. Anordning enligt något av föregående 7 - 9, varvid de ej tillåtna områdena revideras med utgångspunkt från information om vilka detaljer som plockas. ll. Anordning enligt något av föregående 7 - 10, varvid även tillåtna områdena definieras i ñrhållande till detaljens grippunkter, i två eller fler dimensioner. 12. Anordning enligt något av föregående 7 - 1 1, varvid kontroll av risk för kollision sker genom att beräkna överlapp av ej tillåtna områden och roboten eller det på roboten anordnade gripdonet.1. 0 l5 20 25 30 524 796 1 .en a. PATENT REQUIREMENTS. Method in a robot with an associated sensor system for preventing collision when picking details between a robot or a gripper arranged on the robot and its surroundings, comprising the steps of: creating an image or a three-dimensional image of a picking arena provided with details; identify the details and their orientation; and define one or fl era of what is the gripper, what is the robot and what is the area at the picking arena, characterized in that the sensor system checks unauthorized areas ßr the robot or the gripper arranged on the robot by separating details from the substrate, in two or fls dimensions after which the sensor system allows the robot's gxipdon to start picking up detail when the detail of the sensor system has been identified as pickable without risk of collision. . Method according to claim 1, wherein the impermissible areas are defined by threshold, in two or three dimensions. . Method according to claims 1 or 2, wherein the impermissible areas are defined for a different positions of a detail in relation to the gripping points of the part, in two or fl er dimensions, so that thus obtained from details obtained the impermissible areas in the sensor's imaging area. . Method according to one of the preceding claims, wherein the non-permitted areas are revised on the basis of information about which details are picked. . Method according to one of the preceding claims, in which the permitted areas are also denoted in relation to the gripping points of the part, in two or three dimensions. . Method according to one of the preceding claims, wherein control of the risk of collision takes place by calculating the overlap of unauthorized areas and the robot or the gripper arranged on the robot. . Device for robots with an associated sensor sister to prevent collisions between a robot or a gtip device arranged on the robot and its 10 when picking up details: I n. N. - e H u n .- | n - o 52 6; .- -o o o v. of 0 ~ I ° '. -. .... 1. » . v. ". - n nu ... -..-... t. - - OII lb I 0 OI 'Ü. uu. ne H ~ environment, including means for carrying out the steps of: creating an image or a fl dimensional representation of a picking arena provided with details; identify the details and their orientation; and define one or fl era of what is the vehicle, what is the robot, and what is the area at the picking arena; characterized in that the sensor system includes means for checking permitted areas for the robot or the gripper arranged on the robot by separating details from the ground, in two or three dimensions, after which the sensor system allows the robot gripper to start picking detail when the part of the sensor system has been identified as pickable without risk of collision. wherein the impermissible areas are denoted by threshold, in two or more dimensions .. Device according to claims 7 or 8, wherein the impermissible areas are denoted for a different positions of a detail in relation to the gripping points of the detail, in two or fl er dimensions, so that thus from outside found details obtain the impermissible areas in the sensor's imaging area. Device according to any one of the preceding 7 - 9, wherein the impermissible areas are revised on the basis of information about which details are picked. ll. Device according to one of the preceding 7 to 10, wherein also the permitted areas are denoted in relation to the gripping points of the part, in two or three dimensions. Device according to any one of the preceding 7 - 1 1, wherein control of the risk of collision takes place by calculating the overlap of unauthorized areas and the robot or the gripper arranged on the robot.