DE102004006596A1 - System for automatic determining the position of items especially for robotic handling has camera images compared with stored templates and with rejection control - Google Patents
System for automatic determining the position of items especially for robotic handling has camera images compared with stored templates and with rejection control Download PDFInfo
- Publication number
- DE102004006596A1 DE102004006596A1 DE102004006596A DE102004006596A DE102004006596A1 DE 102004006596 A1 DE102004006596 A1 DE 102004006596A1 DE 102004006596 A DE102004006596 A DE 102004006596A DE 102004006596 A DE102004006596 A DE 102004006596A DE 102004006596 A1 DE102004006596 A1 DE 102004006596A1
- Authority
- DE
- Germany
- Prior art keywords
- template
- screen
- workpiece
- camera
- stored templates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010191 image analysis Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
- G05B19/056—Programming the PLC
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/10—Plc systems
- G05B2219/14—Plc safety
- G05B2219/14109—Repair on or off-line
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32214—Display on screen what fault and which tool and what order to repair fault
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
Description
Die Erfindung betrifft die Handeingabe der Pose von Werkstücken, die mittels Roboter gegriffen oder bearbeitet werden sollen.The The invention relates to the manual input of the pose of workpieces which be gripped or processed by robot.
Zum Steuern von Robotern oder sonstigen Handhabungssystemen oder Bearbeitungssystemen (im folgenden einfach Roboter genannt) werden Sensorsysteme eingesetzt, die die Position und Drehlage (kurz Pose) von Werkstücken in mehreren Freiheitsgraden bestimmen und an den Roboter weitergeben. Solche Sensorsysteme können verschiedener Art sein, z.B. Bildverarbeitungssysteme, Laser-Meßsysteme, Ultraschall-Meßsysteme.To the Controlling robots or other handling systems or processing systems (simply called robots in the following) sensor systems are used, the position and rotational position (short pose) of workpieces in determine several degrees of freedom and pass them on to the robot. Such sensor systems can be of various types, e.g. Image processing systems, laser measuring systems, Ultrasonic measurement systems.
Wenn in solchen Anlagen Störungen auftreten, sei es durch Ausfall des Sensorsystems oder eines Teils davon oder aufgrund von Problemen mit dem aktuellen Werkstück, das vorgegebenen Bedingungen nicht genügt, entstehen größere Ausfallzeiten durch die notwendigen Eingriffe (Öffnen der Schutztür, Herausnehmen des Werkstücks, Wiederstarten der Anlage..). Außerdem muß das herausgenommene Werkstück gehandhabt und ggf. verschrottet werden.If in such plants disturbances occur due to failure of the sensor system or a part or because of problems with the current workpiece, the given conditions is not sufficient, resulting in greater downtime through the necessary interventions (opening the protective door, removing it of the workpiece, Restart the system ..). Furthermore that must be removed workpiece handled and if necessary scrapped.
Aufgabe der Erfindung ist es, die bei solchen Störungen unumgänglichen Ausfallzeiten zu minimieren und verarbeitbare Werkstücke nicht verschrotten zu müssen.task The invention is the inevitable in such disorders Minimize downtime and workpieces that can not be processed to scrap.
Das Problem wird nach Anspruch 1 gelöst.The Problem is solved according to claim 1.
Dabei kann es sich bei dem Sensorsystem um ein Bildverarbeitungssystem handeln, das im Normalfall die Position und Drehlage des Werkstücks automatisch bestimmt, bei bestimmten Problemfällen (Beispiel: Fehlen normalerweise vorhandener Werkstückmerkmale bei Guß-Rohlingen) jedoch Rückweisungen liefern muss. Für die Handeingabe nach Anspruch 1 werden dann vorzugsweise Kamera und Bildschirm des Bildverarbeitungssystems benutzt.there For example, the sensor system may be an image processing system act, which normally the position and rotational position of the workpiece automatically determined, in certain problem cases (example: usually lack existing workpiece features in cast blanks) however, rejections must deliver. For the manual input according to claim 1 are then preferably camera and screen of the image processing system.
Bei
Störungen
wird nach Anspruch 1 alleine aufgrund der Handbedienung am Bildschirm
und automatisch durch geführter
Rechnungen, ohne in den Prozeß selbst
mechanisch eingreifen zu müssen,
die aktuelle Pose des Werkstücks
berechnet und an den Roboter übermittelt.
Hierzu verändert
die Bedienperson eine auf dem Bildschirm dargestellte Schablone
derart, daß die
Schablone auf dem Bildschirm mit der Darstellung des Werkstücks korrespondiert.
Bei einfachen 2D-Systemen (Freiheitsgrade x, y, alpha) genügt als Veränderung eine
Verschiebung und Verdrehung einer starren Schablone. Bei 3D-Systemen
mit
Die Kamera kann fest montiert sein oder beweglich, z.B. am Roboter selbst.The Camera may be fixed or movable, e.g. on the robot itself.
Die
Die
Veränderung
kann allgemein realisiert werden mit bekannten verfahren wie Betätigen von
realen Knöpfen
oder Joysticks, oder in den Bildschirm eingeblendeten Bedienelementen
oder durch Drag-and-Drop-Technik oder durch Anclicken signifikanter
Punkte als Merkmale. (Beispiel: Löcher und Ecken). Die verbindenden
Linien
In besonderer Ausgestaltung handelt es sich um einen Touch Screen Monitor, auf dem die Schablone bzw. die Merkmale direkt verschoben und verdreht werden können, wie dies bei CAD-Systemen üblich ist.In special embodiment is a touch screen monitor, on which the template or the characteristics are moved and twisted directly can be as usual with CAD systems is.
Die Schablone kann verschiedenste Ausführungsformen besitzten. Prinzipiell genügen bei 2D-Systemen (Freiheitsgrade x, y, alpha) beispielsweise zwei gerade Kanten, oder zwei Punkte oder ein Punkt und eine Kante, die grafisch als Overlay in das Bild eingeblendet werden. In der Praxis wird man jedoch eine mehr bildhafte Darstellung des Werkstücks wählen, um der Bedienperson die Assoziation zu der Erscheinungsweise des Werkstücks zu erleichtern. Vorteilhaft ist es dabei, signifikante Punkte besonders herausgehoben darzustellen.The Template can have a variety of embodiments. in principle suffice in 2D systems (degrees of freedom x, y, alpha), for example, two straight edges, or two points or a point and an edge that graphically as an overlay in the image. In practice However, you will choose a more pictorial representation of the workpiece to to facilitate the operator's association with the appearance of the workpiece. It is advantageous, significant points outweighed display.
In Sonderfällen genügt es, eine Visualisierung der im Normalfall verwendeten Bildverarbeitungsmerkmale des Bildverarbeitungssystems (Beispiele: Konturen, Löcher, Testpunkte, Templates) als Schablone für die Handeingabe zu verwenden.In special cases enough It is a visualization of the normally used image processing features of the image processing system (examples: contours, holes, test points, Templates) as a template for the Manual input to use.
In besonderer Ausgestaltung wird für 3D-Systeme eine Kamera mit kurzberennweitigem Objektiv eingesetzt und eine Schablone mit mindestens drei punktuellen, im Bild weit auseinder liegenden Merkmalen. In besonderer Ausgestaltung werden für 3D-Systeme mindestens zwei Kameras eingesetzt mit mindestens einer Schablone pro Kamera. Über die Handeingabe ist es auch in diesen Fällen möglich, die Werktückpose automatisch zu berechnen. Dazu werden die bekannten Methoden verwendet, wie sie aus der automatischen 3D-Bildanalyse bekannt sind. Damit können zum Beispiel aufgrund einfacher Handeingabe schwierige, nicht automatisch voll beherrschbare Einzelfälle beim sog. Griff in die Kiste oder durcheinander und übereinander auf einem Förderband liegender Teile gehandhabt werden. Ein spezieller Fall ist dabei der Einsatz von vorzugsweise drei Kameras, die aus verschiedenen Richtungen auf das Werkstück bzw. auf die Werkstücke orientiert sind, wobei bei der Handbedienung pro Kamera je mindestens ein punktuelles Merkmal (z.B. ein Loch, für jede Kamera ein anderes Merkmal) angeclickt wird. Aus den so manuell gewonnenen Daten kann bei kalibrierten Kameras mit verfahren, die aus der Bildauswertung bekannt sind, die 3D-Werkstückpose berechnet werden.In special embodiment is for 3D systems a camera with kurzberennweitigem lens used and a template with at least three punctiform, in the picture far outlying features. In a special embodiment for 3D systems at least two cameras used with at least one template per camera. About the Manual input, it is also possible in these cases, the work piece pose automatically to calculate. For this purpose, the known methods are used, such as they are known from automatic 3D image analysis. This can be used for Example due to easy manual entry difficult, not automatic fully controllable individual cases in the so-called. Handle in the box or on each other and on top of each other a conveyor belt lying parts are handled. A special case is included the use of preferably three cameras, made up of different Directions on the workpiece or on the workpieces are oriented, with the hand control per camera ever at least a punctiform feature (for example, a hole, a different feature for each camera) is clicked. From the so manually obtained data can be calibrated Cameras with methods known from image analysis, the 3D workpiece pose be calculated.
Notwendige
Anzahl der Kameras sowie Art und Anzahl der Schablonenmerkmale ergeben
sich generell aus geometrischen Überlegungen,
wie aus der automatischen Bildanalyse bekannt (Schablonenmerkmale sind
explizit oder implizit Bestandteil der Schablone, z.B. besitzt eine
Rechteckschablone
Beispiele: Examples:
Natürlich genügt beim Einsatz von mehreren Kameras ein einzelner Bildschirm, auf dem die Werkstückbilder gleichzeitig (nebeneinander) oder zeitlich hintereinander dargestellt werden.Of course, that's enough Use of multiple cameras a single screen on which the Workpiece Images simultaneously (next to each other) or in chronological order become.
Die vorliegende Erfindung besitzt eine besondere Bedeutung für sogenannte Assistenzsysteme, wie sie derzeit intensiv erforscht bzw. entwickelt werden; bei Ihnen befindet sich in der Nähe des Roboters immer eine Bedienperson, die bei Problemen sofort für die Handeingabe zur Verfügung steht.The The present invention has special significance for so-called Assistance systems, as currently being intensively researched or developed become; you always have one near the robot Operator who is immediately available for manual input in case of problems.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004006596A DE102004006596B4 (en) | 2004-02-10 | 2004-02-10 | Manual input of workpiece poses |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004006596A DE102004006596B4 (en) | 2004-02-10 | 2004-02-10 | Manual input of workpiece poses |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102004006596A1 true DE102004006596A1 (en) | 2005-09-01 |
DE102004006596B4 DE102004006596B4 (en) | 2007-02-15 |
Family
ID=34813239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102004006596A Expired - Lifetime DE102004006596B4 (en) | 2004-02-10 | 2004-02-10 | Manual input of workpiece poses |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102004006596B4 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008104426A3 (en) * | 2007-02-28 | 2008-11-13 | Kuka Roboter Gmbh | Industrial robot, and methods for determining the position of an industrial robot relative to an object |
CN111851295A (en) * | 2019-08-26 | 2020-10-30 | 东南大学 | Intelligent bridge pier template loading and unloading device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4871252A (en) * | 1986-10-30 | 1989-10-03 | The Regents Of The University Of California | Method and apparatus for object positioning |
DE4421699A1 (en) * | 1994-06-21 | 1996-01-04 | Hartmut Prof Janocha | Sensor-assisted pose adaption or generation system for robot handling device |
EP1020383A1 (en) * | 1997-10-27 | 2000-07-19 | Kabushiki Kaisha Yaskawa Denki | Loading pattern generating method |
DE19930087A1 (en) * | 1999-06-30 | 2001-01-11 | Charalambos Tassakos | Control of the positioning of a robot type handling device with optical sensors is improved by storage of future movement points in memory to enable the robot to follow a path more quickly with no loss of positioning accuracy |
DE10118514A1 (en) * | 2001-04-16 | 2002-10-24 | Vmt Bildverarbeitungssysteme G | Method for stabilizing the working point for contactless 3D position detection of an object using digital cameras |
EP0776739B1 (en) * | 1992-01-21 | 2003-04-23 | Sri International | Surgical System |
DE10159574A1 (en) * | 2001-10-15 | 2003-04-30 | Hermann Tropf | Relative movement correction method for robot gripper or machining tool comparing reference images and/or image data with actual images or image data |
US6681151B1 (en) * | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
-
2004
- 2004-02-10 DE DE102004006596A patent/DE102004006596B4/en not_active Expired - Lifetime
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4871252A (en) * | 1986-10-30 | 1989-10-03 | The Regents Of The University Of California | Method and apparatus for object positioning |
EP0776739B1 (en) * | 1992-01-21 | 2003-04-23 | Sri International | Surgical System |
DE69332914T2 (en) * | 1992-01-21 | 2004-02-26 | Sri International, Menlo Park | Surgical system |
DE4421699A1 (en) * | 1994-06-21 | 1996-01-04 | Hartmut Prof Janocha | Sensor-assisted pose adaption or generation system for robot handling device |
EP1020383A1 (en) * | 1997-10-27 | 2000-07-19 | Kabushiki Kaisha Yaskawa Denki | Loading pattern generating method |
DE19930087A1 (en) * | 1999-06-30 | 2001-01-11 | Charalambos Tassakos | Control of the positioning of a robot type handling device with optical sensors is improved by storage of future movement points in memory to enable the robot to follow a path more quickly with no loss of positioning accuracy |
US6681151B1 (en) * | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
DE10118514A1 (en) * | 2001-04-16 | 2002-10-24 | Vmt Bildverarbeitungssysteme G | Method for stabilizing the working point for contactless 3D position detection of an object using digital cameras |
DE10159574A1 (en) * | 2001-10-15 | 2003-04-30 | Hermann Tropf | Relative movement correction method for robot gripper or machining tool comparing reference images and/or image data with actual images or image data |
Non-Patent Citations (2)
Title |
---|
JP 11-239989 A (Internet: http://aipn.ipdl.ncipi. go.jp/AI2/cgi-bin/AIPNSEARCH) |
JP 11239989 A (Internet: http://aipn.ipdl.ncipi. go.jp/AI2/cgi-bin/AIPNSEARCH) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008104426A3 (en) * | 2007-02-28 | 2008-11-13 | Kuka Roboter Gmbh | Industrial robot, and methods for determining the position of an industrial robot relative to an object |
CN111851295A (en) * | 2019-08-26 | 2020-10-30 | 东南大学 | Intelligent bridge pier template loading and unloading device |
Also Published As
Publication number | Publication date |
---|---|
DE102004006596B4 (en) | 2007-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018009025B4 (en) | Robot control device for setting a motion coordinate system | |
DE102018009023B4 (en) | Teaching device for carrying out robot teaching processes and teaching methods | |
DE102016006704B4 (en) | Robot controller with a function to display robot and force | |
DE60127644T2 (en) | Teaching device for a robot | |
DE102016000105B4 (en) | SIMULATION DEVICE FOR ROBOTIC SYSTEM | |
DE102015000587B4 (en) | A robot programming device for creating a robot program for taking an image of a workpiece | |
DE102015107436B4 (en) | Trainable path control | |
DE102019109624B4 (en) | Robot motion teaching device, robot system and robot controller | |
DE102010017763A1 (en) | Device for displaying the toolpath for machine tools | |
DE102016102902A1 (en) | Numerical control unit for controlling a machine tool | |
DE102009029062A1 (en) | Method and device for processing status monitoring | |
DE102010036499A1 (en) | Tool vector display device for a machine tool with a rotation axis | |
DE102013114372A1 (en) | LASTSTAND DISPLAY FOR A TOOL MACHINE | |
DE102020110252B4 (en) | Vibration display device, operating program creation device and system | |
DE102021103726A1 (en) | Measurement parameter optimization method and device as well as computer control program | |
EP3168701B1 (en) | Method for representing the processing in a machine tool | |
DE112017007903B4 (en) | Holding position and orientation teaching device, holding position and orientation teaching method and robot system | |
DE102006005990B4 (en) | Workpiece measurement for 3-D position detection in several multi-robot stations | |
DE3438007C2 (en) | ||
DE102020204103A1 (en) | WAVE SHAPE DISPLAY DEVICE AND SHAFT DISPLAY METHOD | |
DE102018004326B4 (en) | Robot teaching device for setting teaching points based on a moving image of a workpiece | |
DE19914862B4 (en) | Method and device for measuring a contour profile of a workpiece | |
DE102004006596A1 (en) | System for automatic determining the position of items especially for robotic handling has camera images compared with stored templates and with rejection control | |
DE102018124671A1 (en) | Method and device for creating a robot control program | |
DE102015206203A1 (en) | Image measuring apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8364 | No opposition during term of opposition | ||
R071 | Expiry of right |