-
Hintergrund der Erfindung
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine Datenerzeugungsvorrichtung zur Erzeugung von Daten, die für einen Erfassungsvorgang mittels eines visuellen Sensors verwendet werden, der in einem virtuellen Raum angeordnet ist, und ein Erfassungssimulationssystem mit der Datenerzeugungsvorrichtung.
-
2. Beschreibung des verwandten Stands der Technik
-
In einer Offline-Simulation gemäß dem Stand der Technik werden – zur Erfassung der Position und der Ausrichtung eines Werkstücks in einem Robotersystem mit einem visuellen Sensor – zuerst die Positionen eines Roboters, eines visuellen Sensors und eines Werkstücks oder einer Schablone zum Halten des Werkstücks bestimmt. Dann wird eine Kalibrierung zur Assoziierung des visuellen Sensors mit dem Roboter ausgeführt.
-
Die
JP H06-137840 A offenbart zum Beispiel eine automatische Kalibrierungsvorrichtung, wobei ein Kalibrierungswerkstück mit ovalen Referenzlernpunkten durch eine Kamera aufgenommen wird und die Position von jedem Lernpunkt auf einem Bild auf der Grundlage der Positionen und Ausrichtungen der Referenzlernpunkte identifiziert wird, um automatisch mit der Position in einem Raum assoziiert zu werden. Dann wird ein Kameraparameter unter Verwendung eines Satzes von Bildkoordinatenwerten und Raumkoordinatenwerten auf jedem Lernpunkt berechnet.
-
Die
JP H06-175712 A offenbart ein automatisches Kalibrierungsverfahren, in dem Tinte usw. auf eine untere Oberfläche eines Werkzeugs aufgebracht wird, das an einer Frontachse eines Roboters angefügt ist. Des Weiteren wird die Form des Werkzeugs auf eine beliebige Koordinatenebene übertragen. Dann wird ein übertragenes Bild aus einer Vielzahl von Positionen unter Verwendung eines visuellen Sensors aufgenommen, der an die Frontachse angefügt ist, wobei die Koordinate der Frontachse des Roboters auf der Grundlage der aufgenommenen Daten unter Verwendung eines Bildprozessors und eines Host-Computers erfasst wird. Des Weiteren wird die Positionsbeziehung zwischen der Frontachse des Roboters, dem Werkzeug und dem visuellen Sensor auf der Grundlage der Koordinate berechnet.
-
Die
JP H10-340112 A offenbart einen Roboter mit einer automatischen Kalibrierungsfunktion, wobei der Roboter einen Roboterkörper, an den eine Roboterhand zum Ergreifen eines Werkstücks angefügt ist, eine Kamera und einen Bildprozessor aufweist. Der Roboter weist weiterhin eine Messlehre, die in Form des Werkstücks ausgebildet ist, eine Einrichtung zum Messen der Position der Messlehre auf der Grundlage eines Bildes der Messlehre, die durch die Roboterhand ergriffen wird und auf der Kamera positioniert ist, und eine Einrichtung zur Berechnung des Abgleichs der Koordinaten des Roboterkörpers und der Kamera auf der Grundlage der Steuerposition des Roboterkörpers und der Position der Messlehre auf.
-
Des Weiteren offenbart die
JP H08-071972 A ein automatisches Einstellverfahren, wobei ein Roboter eine Ausrichtungsplatte mit Kreisen bei deren vier Ecken ergreift und die Ausrichtungsplatte entlang Roboterkoordinatenachsen in jedem visuellen Feld einer Kamera und zwischen jedem visuellen Feld bewegt. Dann wird die Koordinate des Mittelpunkts des Kreises in jedem visuellen Feld berechnet, um eine Kalibrierung auszuführen und eine Neigung der Kamera auf der Grundlage einer Abweichung zwischen den Kreisen auf einer Kamerakoordinate zu berechnen. Außerdem wird die Koordinate des Mittelpunkts des Kreises berechnet, während die visuellen Felder einander überlappen, und es wird ein Betrag der Überlappung der visuellen Felder und eine Abweichung der Kameraachse auf der Grundlage der Abweichung zwischen den Kreisen auf der Kamerakoordinate berechnet.
-
Wie vorstehend beschrieben wurde, wurden einige Techniken gemäß dem Stand der Technik offenbart, in denen die Kalibrierung ausgeführt wird, um die Positionsbeziehung zwischen dem Roboter und dem visuellen Sensor zu identifizieren. In einer derartigen Kalibrierung ist ein Messvorgang unter Verwendung des visuellen Sensors erforderlich. Des Weiteren erfordert eine derartige Kalibrierung besonderes Wissen und viel Zeit, was den menschlichen Bediener belastet.
-
Kurzfassung der Erfindung
-
Deshalb besteht eine Aufgabe der Erfindung in der Bereitstellung einer Datenerzeugungsvorrichtung und eines Erfassungssimulationssystems, die in der Lage sind, eine Offline-Simulation unter Verwendung eines visuellen Sensors auszuführen, ohne die Kalibrierung zur Assoziierung des visuellen Sensors mit dem Roboter auszuführen.
-
Gemäß einer Ausgestaltung der Erfindung ist eine Datenerzeugungsvorrichtung zur Erzeugung von Daten, die in einem Erfassungsvorgang unter Verwendung eines visuellen Sensors verwendet werden, auf der Grundlage von Positionen dreidimensionaler Modelle eines Roboters, des visuellen Sensors und eines Objekts, die in einem virtuellen Raum angeordnet sind, vorgesehen, wobei die Datenerzeugungsvorrichtung umfasst: einen Ausweisungsabschnitt für eine Roboterplatzierungsposition, der eine Platzierungsposition des Roboters in dem virtuellen Raum auf der Grundlage eines Referenzkoordinatensystems ausweist, das in dem virtuellen Raum definiert ist; einen Ausweisungsabschnitt für eine Platzierungsposition eines visuellen Sensors, der eine Platzierungsposition des visuellen Sensors in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; einen Platzierungspositionsspeicherabschnitt, der die Platzierungspositionen des Roboters und des visuellen Sensors speichert; einen Positionsbeziehungsberechnungsabschnitt, der eine Positionsbeziehung zwischen einem Roboterkoordinatensystem, das in Relation zu dem Roboter definiert ist, und einem Sensorkoordinatensystem, das in Relation zu dem visuellen Sensor definiert ist, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors berechnet; und einen Speicherabschnitt für eine Positionsbeziehung, der die Positionsbeziehung zwischen dem Roboterkoordinatensystem und dem Sensorkoordinatensystem als Daten speichert, die in einem Erfassungsvorgang des visuellen Sensors verwendet werden.
-
In einem bevorzugten Ausführungsbeispiel umfasst die Datenerzeugungsvorrichtung weiterhin: einen Objektpositionsausweisungsabschnitt, der eine Position des Objekts in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; und einen CG-Bilderzeugungsabschnitt, der ein Computergrafikbild erzeugt, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Objekt durch den visuellen Sensor aufgenommen wird, auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor und dem Objekt.
-
In einem bevorzugten Ausführungsbeispiel ist das dreidimensionale Modell des visuellen Sensors an einen beweglichen Abschnitt des dreidimensionalen Modells des Roboters angefügt.
-
Gemäß einer weiteren Ausgestaltung der Erfindung ist ein Erfassungssimulationssystem vorgesehen, das umfasst: die Datenerzeugungsvorrichtung gemäß der Erfindung; und einen Bildprozessor, der einen Erfassungsvorgang des Objekts unter Verwendung der Daten ausführt, die in dem Erfassungsvorgang des visuellen Sensors verwendet werden.
-
In einem bevorzugten Ausführungsbeispiel umfasst der Bildprozessor: einen Erfassungsverarbeitungsabschnitt, der den Erfassungsvorgang in Relation zu dem Computergrafikbild unter Verwendung der Daten ausführt; und einen Objektpositionsberechnungsabschnitt, der eine Position des Objekts auf der Grundlage eines Ergebnisses des Erfassungsvorgangs durch den Erfassungsverarbeitungsabschnitt berechnet.
-
In einem bevorzugten Ausführungsbeispiel ist das dreidimensionale Modell des visuellen Sensors an einen beweglichen Abschnitt des dreidimensionalen Modells des Roboters angefügt.
-
Kurze Beschreibung der Zeichnungen
-
Die vorstehend beschriebenen und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden durch die nachfolgende Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen deutlicher werden. Es zeigen:
-
1 eine Funktionsblockdarstellung eines Erfassungssimulationssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 ein Ablaufdiagramm, das eine Prozedur des Erfassungssimulationssystems der vorliegenden Erfindung zeigt;
-
3 ein Anzeigebeispiel eines Zustands, in dem ein Roboter, ein visueller Sensor, ein Werkstück und eine Schablone in einem virtuellen Raum platziert sind;
-
4 einen Zustand, in dem ein Roboterkoordinatensystem und ein Sensorkoordinatensystem in Relation zu dem Roboter und dem visuellen Sensor jeweils in dem virtuellen Raum definiert sind;
-
5 ein Beispiel eines CG-Bildes, das durch Aufnehmen des Werkstücks mittels des visuellen Sensors erlangt ist;
-
6 ein Beispiel, in dem die Position des Werkstücks korrigiert ist; und
-
7 ein Beispiel, in dem der visuelle Sensor an einen beweglichen Abschnitt des Roboters angefügt ist.
-
Ausführliche Beschreibung
-
1 zeigt eine Funktionsblockdarstellung eines Erfassungssimulationssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Erfassungssimulationssystem 10 umfasst eine Datenerzeugungsvorrichtung 12, die Daten, die für einen Erfassungsvorgang erforderlich sind, unter Verwendung eines visuellen Sensors auf der Grundlage der Positionen eines Roboters, des visuellen Sensors und eines Objekts erzeugt, die in einem virtuellen Raum positioniert sind, und einen Bildprozessor 14, der den Erfassungsvorgang der Position des Objekts unter Verwendung der Daten ausführt.
-
Die Datenerzeugungsvorrichtung 12 weist auf: einen Platzierungsabschnitt 16, der dreidimensionale Modelle eines Roboters, eines visuellen Sensors und eines Objektes in einem virtuellen Raum platziert; einen Ausweisungsabschnitt 18 für eine Roboterplatzierungsposition, der eine Platzierungsposition des Roboters in dem virtuellen Raum auf der Grundlage eines Referenzkoordinatensystems ausweist, das in dem virtuellen Raum definiert ist; einen Ausweisungsabschnitt 20 für eine Platzierungsposition eines visuellen Sensors, der eine Platzierungsposition des visuellen Sensors in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; einen Platzierungspositionsspeicherabschnitt 22, der die Platzierungspositionen des Roboters und des visuellen Sensors speichert; einen Berechnungsabschnitt 24 für eine Positionsbeziehung, der eine Positionsbeziehung zwischen einem Roboterkoordinatensystem, das in Relation zu dem Roboter definiert ist, und einem Sensorkoordinatensystem, das in Relation zu dem visuellen Sensor definiert ist, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors berechnet; und einen Positionsbeziehungsspeicherabschnitt 26, der die Positionsbeziehung zwischen dem Roboterkoordinatensystem und dem Sensorkoordinatensystem als Daten speichert, die in einem Erfassungsvorgang des visuellen Sensors verwendet werden; einen Ausweisungsabschnitt 28 für eine Objektposition, der eine Position des Objekts in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; und einen CG-Bilderzeugungsabschnitt 30, der ein Computergrafikbild, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Objekt durch den visuellen Sensor aufgenommen wird, auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor und dem Objekt erzeugt.
-
Demgegenüber weist der Bildprozessor 14 auf: einen Erfassungsverarbeitungsabschnitt 32, der den Erfassungsvorgang in Relation zu dem Computergrafikbild unter Verwendung der vorstehend beschriebenen Daten ausführt; und einen Objektpositionsberechnungsabschnitt 34, der eine Position des Objekts auf der Grundlage eines Ergebnisses des Erfassungsvorgangs durch den Erfassungsverarbeitungsabschnitt 32 berechnet. Nachstehend wird eine Prozedur unter Verwendung des Erfassungssimulationssystems 10 unter Bezugnahme auf 2 und 3 beschrieben werden.
-
2 zeigt ein Ablaufdiagramm, das wiederum die Prozedur des Erfassungssimulationssystems 10 zeigt, und 3 zeigt ein Anzeigebeispiel eines Zustands, in dem die dreidimensionalen Modelle des Roboters, des visuellen Sensors und des Objekts in dem virtuellen Raum platziert sind. Zuerst, wie in 3 gezeigt, werden dreidimensionale Modelle eines Roboters 36, einer Steuervorrichtung 38 zum Steuern des Roboters 36, eines visuellen Sensors 40, wie einer Kamera, eines Werkstücks 42 und einer Schablone 44 zum Halten des Werkstücks 42 in dem virtuellen Raum platziert (Schritt S1). In dem gezeigten Ausführungsbeispiel ist der Roboter 36 ein Mehrgelenksroboter mit sechs Achsen, der eine Basis 46, einen Drehkörper 48, der drehbar an die Basis 46 angefügt ist, einen Oberarm 50, der drehbar an den Drehkörper 48 angefügt ist, einen Unterarm 52, der drehbar an den Oberarm 50 angefügt ist, ein Handgelenkelement 54, das drehbar an den Unterarm 52 angefügt ist, und ein Arbeitswerkzeug 56 aufweist, das an das Handgelenkelement 54 angefügt ist. In diesem Fall kann eine Simulation ausgeführt werden, wobei ein vorbestimmter Vorgang, wie eine maschinelle Bearbeitung oder ein Schweißvorgang des Werkstücks 42, ausgeführt wird.
-
Hierbei kann das durch den visuellen Sensor aufgenommene Objekt zumindest eines aus Werkstück und Schablone umfassen. In dem Ausführungsbeispiel wird das Werkstück 42, das durch die Schablone 44 gehalten wird, durch den visuellen Sensor 40 aufgenommen. In der vorliegenden Erfindung ist es – obwohl es erforderlich ist, den Roboter, den visuellen Sensor und das Objekt in dem virtuellen Raum zu platzieren – nicht erforderlich, die Gesamtheit des Roboters, des visuellen Sensors und des Objekts auf einem Schirm usw. anzuzeigen, der für einen Bediener sichtbar ist.
-
Als nächstes wird in Schritt S2 auf der Grundlage eines Referenzkoordinatensystems 58, das in dem virtuellen Raum definiert ist, eine Platzierungsposition des Roboters 36 in dem virtuellen Raum ausgewiesen. In ähnlicher Weise wird in Schritt S3 auf der Grundlage des Referenzkoordinatensystems 58 eine Platzierungsposition des visuellen Sensors 6 in dem virtuellen Raum ausgewiesen. In dem nächsten Schritt S4 werden jeweils die Platzierungspositionen des Roboters 36 und des visuellen Sensors 40 gespeichert, die in Schritten S2 und S3 ausgewiesen wurden.
-
Als nächstes, wie in 4 gezeigt, wird ein Roboterkoordinatensystem 60 in Relation zu dem Roboter 36 definiert, und wird in ähnlicher Weise ein Sensorkoordinatensystem 62 in Relation zu dem visuellen Sensor 40 definiert. Dann wird auf der Grundlage der Platzierungspositionen des Roboters 36 und des visuellen Sensors 40 eine Positionsbeziehung zwischen dem Roboterkoordinatensystem 60 und dem Sensorkoordinatensystem 62 berechnet (Schritt S5). Diese Positionsbeziehung kann zum Beispiel als eine Koordinate (X, Y, Z) des Ursprungs von einem des Roboterkoordinatensystems 60 und des Sensorkoordinatensystems 62 relativ zu dem Ursprung des jeweils anderen des Roboterkoordinatensystems 60 und des Sensorkoordinatensystems 62 bestimmt werden. In dem gezeigten Ausführungsbeispiel sind sowohl das Roboterkoordinatensystem 60 als auch das Sensorkoordinatensystem 62 orthogonale Koordinatensysteme. Es kann jedoch zumindest eines der Koordinatensysteme ein Polarkoordinatensystem (r, θ, z) sein.
-
Als nächstes wird in Schritt S6 die Positionsbeziehung, die in Schritt S5 berechnet wurde, als Daten gespeichert, die für den Erfassungsvorgang unter Verwendung des visuellen Sensors 40 erforderlich sind. Die Daten können in der Steuervorrichtung 38 gespeichert werden oder können als eine separate Datei gespeichert werden. Zudem kann als die Daten, die für den Erfassungsvorgang unter Verwendung des visuellen Sensors erforderlich sind, außer der vorstehend beschriebenen Positionsbeziehung, ein Parameter, wie eine Fokallenge, eine Bildgröße (oder die Anzahl der Pixel), eine Verzerrung einer Linse, eine Pixelgröße und ein Aspektverhältnis des Pixels usw. des visuellen Sensors gespeichert werden.
-
In dem nächsten Schritt S7 wird auf der Grundlage des Referenzkoordinatensystems 58 die Platzierungsposition des Objekts (zumindest eines aus Werkstück 42 und Schablone 44) in dem virtuellen Raum ausgewiesen. Als nächstes wird in Schritt S8 auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor 40 und dem Werkstück 42 oder der Schablone 44 ein Computergrafik-(CG, computer graphics)-Bild erzeugt, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Werkstück 42 oder die Schablone 44 durch den visuellen Sensor aufgenommen wird oder werden. 5 zeigt ein Beispiel eines CG-Bildes, das erlangt wird, indem das Werkstück 42 mittels des visuellen Sensors 40 aufgenommen wird.
-
Schließlich wird in Schritt S9 unter Verwendung der Daten, die für den Erfassungsvorgang des visuellen Sensors erforderlich sind, der Erfassungsvorgang in Relation zu dem CG-Bild ausgeführt, das in Schritt S8 erzeugt ist, und wird dann auf der Grundlage eines Ergebnisses des Erfassungsvorgangs die Position des Werkstücks 42 oder der Schablone relativ zu dem Roboter 36 berechnet. In diesem Vorgang kann nach Bedarf der Parameter verwendet werden, wie die Fokallenge, die Bildgröße (oder die Anzahl der Pixel), die Verzerrung der Linse, die Pixelgröße und das Aspektverhältnis des Pixels usw. des visuellen Sensors.
-
6 zeigt ein Beispiel der Prozedur in Schritt S9. In Relation zu einer Referenzaufnahmeposition des Werkstücks, die durch eine gestrichelte Linie 64 dargestellt ist, wenn eine Aufnahmeposition des Werkstücks, die erlangt wird, indem das Werkstück 42 mittels des visuellen Sensors 40 in einem bestimmten Zustand in dem virtuellen Raum aufgenommen wird, eine Position ist, die durch das Bezugszeichen 66 angegeben ist, dann entspricht eine Differenz (oder ein Betrag an Versatz) 68 zwischen der Aufnahmeposition 66 und der Referenzaufnahmeposition 64 einem Betrag an Positionskorrektur für das Werkstück 42 in diesem Zustand. Unter Verwendung des Betrags an Positionskorrektur kann die Position des Werkstücks 42 relativ zu dem visuellen Sensor 40 berechnet werden. Auf der Grundlage der Positionsbeziehung zwischen dem visuellen Sensor 40 und dem Werkstück 42, die wie vorstehend beschrieben berechnet wurde, und auf der Grundlage der gespeicherten Positionsbeziehung zwischen dem Roboter (oder dem Roboterkoordinatensystem 60) und dem visuellen Sensor 40 (oder dem Sensorkoordinatensystem 62) kann die Position des Werkstücks 42 relativ zu dem Roboter 36 berechnet werden, wodurch eine präzise Offline-Simulation des Betriebs des Roboters 36 in Relation zu dem Werkstück 42 ausgeführt werden kann.
-
In der vorliegenden Erfindung ist – durch Berechnung und Speicherung der Positionsbeziehung zwischen dem Roboter (oder dem Roboterkoordinatensystem) und dem visuellen Sensor (oder dem Sensorkoordinatensystem) – eine Kalibrierung für die Assoziierung des Roboters und des visuellen Sensors nicht erforderlich. Deshalb kann der Bediener die Simulation in kurzer Zeit ohne Verwendung besonderen Wissens ausführen, wodurch die Arbeitslast des Bedieners deutlich verringert wird.
-
In dem vorstehend beschriebenen Ausführungsbeispiel werden der Roboter 36 und der visuelle Sensor 42 separat positioniert, und werden die Position und die Ausrichtung des visuellen Sensors 40 durch die Bewegung des Roboters 36 nicht verändert. In einem modifizierten Ausführungsbeispiel jedoch, wie in 7 gezeigt, kann der visuelle Sensor 40 an einen beweglichen Abschnitt (wie den Unterarm oder das Handgelenkelement) oder ein Bindeglied des beweglichen Abschnitts des Roboters 36 angefügt (oder fixiert) sein. Ebenso in diesem Fall können – ähnlich dem vorstehend beschriebenen Ausführungsbeispiel – die Position und die Ausrichtung des visuellen Sensors 40 auf der Grundlage der Position und des Drehwinkels jeder Achse des Roboters berechnet werden, wodurch die Positionsbeziehung zwischen dem Roboter (oder dem Roboterkoordinatensystem) und dem visuellen Sensor (oder dem Sensorkoordinatensystem) berechnet und gespeichert werden können.
-
In der Datenerzeugungsvorrichtung gemäß der vorliegenden Erfindung können die Daten, die für den Erfassungsvorgang des visuellen Sensors verwendet werden, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors erzeugt werden. Deshalb ist es nicht erforderlich, den Kalibrierungsvorgang zur Assoziierung des Roboters mit dem visuellen Sensor auszuführen, wodurch kein besonderes Wissen erforderlich ist, die Betriebszeit verringert wird und die Arbeitslast des Bedieners deutlich verringert werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 06-137840 A [0003]
- JP 06-175712 A [0004]
- JP 10-340112 A [0005]
- JP 08-071972 A [0006]
