JP7482364B2 - Robot-mounted mobile device and system - Google Patents
Robot-mounted mobile device and system Download PDFInfo
- Publication number
- JP7482364B2 JP7482364B2 JP2021526426A JP2021526426A JP7482364B2 JP 7482364 B2 JP7482364 B2 JP 7482364B2 JP 2021526426 A JP2021526426 A JP 2021526426A JP 2021526426 A JP2021526426 A JP 2021526426A JP 7482364 B2 JP7482364 B2 JP 7482364B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- camera
- axis
- posture
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000036544 posture Effects 0.000 claims description 171
- 238000012937 correction Methods 0.000 claims description 95
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 22
- 238000003754 machining Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 65
- 238000003860 storage Methods 0.000 description 28
- 239000000463 material Substances 0.000 description 18
- 239000000047 product Substances 0.000 description 17
- 230000009466 transformation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000001131 transforming effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Description
本開示は、工作機械に対して作業を行うロボット、ロボットを搭載し、工作機械に対して設定された作業位置に移動可能な移動装置、これらから構成されるシステム等に関する。 The present disclosure relates to a robot that performs work on a machine tool, a mobile device that is equipped with a robot and can move to a work position set for the machine tool, and a system composed of these.
従来、上述したシステムの一例として、特開２０１７－１３２００２号公報（日本国特許出願公開公報、下記特許文献１）に開示されたシステムが知られている。このシステムでは、ロボットを搭載した無人搬送車が、工作機械に対して設定された作業位置に移動し、当該作業位置において、ロボットにより工作機械に対してワークの着脱等の作業が実行される。 One example of the above-mentioned system is disclosed in JP 2017-132002 A (Japanese Patent Application Publication No. 2017-132002, Patent Document 1 below). In this system, an automated guided vehicle equipped with a robot moves to a work position set for a machine tool, and at the work position, the robot performs work such as attaching and detaching a workpiece to the machine tool.
このようなシステムでは、無人搬送車によって移動する一台のロボットにより、複数の工作機械に対してワークの着脱等の作業を実施することができるので、工作機械に対してロボットを固定した状態で配設する場合に比べて、工作機械のレイアウトの自由度が増すため、工作機械のレイアウトをより生産効率を高めることが可能なレイアウトに設定することができる。また、ロボットを固定状態で配設した旧来のシステムに比べて、一台のロボットにより、より多くの工作機械に対して作業を行うことができるので、設備費用の低廉化を図ることができる。 In such a system, a single robot moved by an automated guided vehicle can perform tasks such as attaching and detaching workpieces to multiple machine tools, which allows for greater freedom in the layout of the machine tools compared to when the robot is fixedly installed relative to the machine tools, making it possible to set the layout of the machine tools in a way that can further increase production efficiency. Also, compared to older systems in which the robot was installed in a fixed state, a single robot can perform work on a larger number of machine tools, which allows for lower equipment costs.
その一方、無人搬送車は車輪を用いて自走する構造であるが故に、前記作業位置に停止するその位置決め精度は必ずしも高いものとは言えない。このため、ロボットが工作機械に対して正確な作業を行うためには、無人搬送車を前記作業位置へ位置決めした際のロボットの姿勢と、制御上の基準となる所謂ティーチング時に設定されたロボットの基準姿勢とを比較して、その誤差量を検出し、当該誤差量に応じてロボットの作業姿勢を補正する必要がある。 On the other hand, because an automated guided vehicle is structured to move on its own using wheels, the positioning accuracy with which it stops at the work position is not necessarily high. For this reason, in order for a robot to perform accurate work on a machine tool, it is necessary to compare the posture of the robot when the automated guided vehicle is positioned at the work position with the reference posture of the robot set during so-called teaching, which serves as a control standard, to detect the amount of error, and to correct the working posture of the robot according to the amount of error.
このようなロボットの姿勢を補正する技術として、従来、特開２０１６－２２１６２２号公報（日本国特許出願公開公報、下記特許文献２）に開示されるような位置補正手法が知られている。具体的には、この位置補正手法は、２つの較正用マーカからなる視覚ターゲットを工作機械の外表面に配設し、ロボットの可動部に設けられたカメラにより、前記視覚ターゲットを撮像し、得られた画像と、カメラの位置及び姿勢とを基に、ロボットと工作機械との相対的な位置関係を測定し、測定された位置関係に基づいて、ロボットの作業姿勢を補正するというものである。
A known technique for correcting the posture of such a robot is the position correction method disclosed in JP 2016-221622 A (Japanese Patent Application Publication No. 2016-221622,
ところが、上述した従来の位置補正手法では、例えば、ロボットのハンドなどを工作機械内に進入させ、当該ハンドを用いて工作機械のチャックなどに対してワークの着脱を行う際に、この着脱作業を行うロボットの姿勢を正確に補正することができなかった。 However, with the conventional position correction methods described above, for example, when a robot's hand is inserted into a machine tool and used to attach or detach a workpiece to or from a chuck of the machine tool, it is not possible to accurately correct the posture of the robot performing the attachment or detachment task.
即ち、前記無人搬送車は、比較的自由度の高い車輪の動作によって移動するように構成されているため、ロボットが搭載された載置面は床面に対して傾き易く、また、搭載するロボットの姿勢の変化に応じて、言い換えれば、ロボットの重心位置の変化に応じて、当該傾きが変動し易いという特性を有している。 In other words, because the automated guided vehicle is configured to move by the operation of wheels with a relatively high degree of freedom, the surface on which the robot is mounted is prone to tilt with respect to the floor surface, and this tilt also has the characteristic of being prone to change according to changes in the posture of the mounted robot, in other words, according to changes in the position of the center of gravity of the robot.
このため、上述したワークの着脱を行う際に、ロボットがそのハンドを工作機械内に進入させた姿勢を取るとき、言い換えれば、ロボットのアームが前記無人搬送車から大きくオーバハングした状態となるときの前記載置面の傾きは、ロボットのハンドが工作機械の機外に在り、アームが前記無人搬送車からオーバハングしていないか、或いはオーバハングしていたとしても少量である場合の傾きよりも大きなものとなる。 For this reason, when the robot takes a position in which its hand has entered the machine tool during the attachment and detachment of the workpiece described above, in other words, when the robot's arm is in a state in which it significantly overhangs the automated guided vehicle, the inclination of the placement surface described above is greater than the inclination when the robot's hand is outside the machine tool and the arm does not overhang the automated guided vehicle, or if it does overhang, it is only slightly.
したがって、上述した従来の位置補正手法のように、較正用マーカである視覚ターゲットを工作機械の外表面に配設し、ロボットが工作機械の機外に在る状態で、ロボットの位置補正量（姿勢補正量）を取得しても、得られた位置補正量を用いては、ロボットのハンドが工作機械内にあるときに実行されるワークの着脱動作については、当該ロボットの姿勢を正確には補正することができない。 Therefore, even if a visual target, which is a calibration marker, is placed on the outer surface of the machine tool and the position correction amount (posture correction amount) of the robot is obtained when the robot is outside the machine tool, as in the conventional position correction method described above, the obtained position correction amount cannot be used to accurately correct the posture of the robot for the workpiece attachment/detachment operation performed when the robot's hand is inside the machine tool.
そして、ワークを着脱する際のロボットの姿勢を正確に補正することができなければ、チャックに対してロボットハンドを正確に位置決めすることができず、例えば、前記チャックがコレットチャックなど、把持部の動き代（ストローク）が極僅か、即ち、ワークとチャックとの間のクリアランスが極僅かであるチャックの場合には、当該チャックに対してワークを確実に把持させることができない可能性が生じる。 If the robot's posture cannot be accurately corrected when attaching or detaching a workpiece, the robot hand cannot be accurately positioned relative to the chuck. For example, if the chuck is a collet chuck or other chuck in which the movement (stroke) of the gripping part is very small, i.e., the clearance between the workpiece and the chuck is very small, it may not be possible to securely grip the workpiece in the chuck.
そして、ワークの着脱を確実に実行することができなければ、当該システムの稼働率が低下することになる。当該システムにおいては、生産効率の良い無人化を実現することはできない。 If the workpieces cannot be attached and detached reliably, the system's operating rate will decrease. With this system, it will be impossible to achieve unmanned operation with good production efficiency.
さらに、特許文献２に開示された位置補正手法では、２つの較正用マーカをそれぞれカメラによって撮像するようにしているので、較正用マーカを撮像するためのロボットの動作時間が長く、このため、当該システムにおける生産効率が低くなる。
Furthermore, in the position correction method disclosed in
そこで、本開示は、請求の範囲に記載したシステム、及びロボット搭載移動装置を提供するものである。
Therefore, the present disclosure provides a system and a robot-mounted mobile device as described in the claims.
以上のように、本開示によれば、ロボットが実際に作業する工作機械内に配置された識別図形を用いて、ロボットの姿勢を補正するようにしているので、当該姿勢を正確に補正することができ、これにより、ロボットは、高い動作精度が求められる作業でも、当該作業を精度良く実行することができる。 As described above, according to the present disclosure, the posture of the robot is corrected using an identification figure placed in the machine tool on which the robot actually works, so that the posture can be accurately corrected, and the robot can therefore perform tasks with high precision, even when those tasks require high operating accuracy.
以下、具体的な実施の形態について、図面を参照しながら説明する。 Specific embodiments are described below with reference to the drawings.
（第１の実施形態）
図１及び図２に示すように、第１の実施形態のシステム１は、工作機械１０、周辺装置としての材料ストッカ２０及び製品ストッカ２１、無人搬送車３５、この無人搬送車３５に搭載されるロボット２５、ロボット２５に装着されるカメラ３１、並びにロボット２５及び無人搬送車３５を制御する制御装置４０などから構成される。
First Embodiment
As shown in Figures 1 and 2, the system 1 of the first embodiment is composed of a
第１の実施形態の工作機械は、工作機械内に識別図形を配置する構成である。特に、識別画像が加工領域内に配置されている形態が好ましい。 The machine tool of the first embodiment is configured to place an identification figure within the machine tool. In particular, a configuration in which the identification image is placed within the machining area is preferred.
第１の実施形態のロボット搭載移動装置は、カメラとハンド部と第１アーム部と第２アーム部とを有するロボットと、ロボットのハンド部の位置を制御する制御部と、ロボットが搭載された移動部と、を有する。移動部は工作機械の周辺などを移動可能な構成になっている。 The robot-mounted mobile device of the first embodiment has a robot having a camera, a hand unit, a first arm unit, and a second arm unit, a control unit that controls the position of the hand unit of the robot, and a mobile unit on which the robot is mounted. The mobile unit is configured to be movable around the machine tool, etc.
図４に示すように、前記工作機械１０は、ワークＷ（Ｗ’）を把持するチャック１２が装着される主軸１１を備え、この主軸１１が鉛直方向に沿って設けられた立形のＮＣ（数値制御）旋盤であり、ワークＷ（Ｗ’）に対して旋削加工を行うことができるようになっている。また、主軸１１の近傍には接触子１４及びこれを支持する支持バー１５を備えたツールプリセッタ１３が設けられており、この支持バー１５は、当該主軸１１の軸線に沿って、加工領域に対して進退可能に設けられており、その加工領域側の端面にセラミック製の表示板１６が設けられ、この表示板１６に、図５に示した識別図形が描画されている。尚、表示板１６は水平面上に位置するように設けられている。
As shown in FIG. 4, the
尚、図４では、支持バー１５及び接触子１４が加工領域内に進出した状態を図示しているが、支持バー１５及び接触子１４が後退して、接触子１４及び表示板１６が収納領域内に収納された状態で、シャッタ１７が閉じることにより、接触子１４及び表示板１６は加工領域から隔離される。
Note that FIG. 4 shows the
また、本例の識別図形は複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。図５では、黒色の画素に斜線を付している。このような識別図形には、ＡＲマーカやＡｐｒｉｌＴａｇと称されるものがある。また、識別図形が小さい場合には、当該識別図形上にレンズを設けるなどして、後述するカメラ３１により拡大された画像が撮像されるようにしても良い。
The identification figure in this example has a matrix structure in which multiple square pixels are arranged two-dimensionally, and each pixel is displayed in white or black. In FIG. 5, black pixels are shaded. Such identification figures include those called AR markers and April Tags. In addition, if the identification figure is small, a lens may be placed on the identification figure so that an enlarged image can be captured by the
前記材料ストッカ２０は、図１において工作機械１０の左隣に配設され、当該工作機械１０で加工される複数の材料（加工前ワークＷ）をストックする装置である。また、前記製品ストッカ２１は、図１において工作機械１０の右隣に配設され、当該工作機械１０で加工された複数の製品、又は半製品（加工済ワークＷ’）をストックする装置である。
The
図１に示すように、前記無人搬送車３５には、その上面である載置面３６に前記ロボット２５が搭載され、また、オペレータが携帯可能な操作盤３７が付設されている。尚、この操作盤３７は、データの入出力を行う入出力部、当該無人搬送車３５及びロボット２５を手動操作する操作部、並びに画面表示可能なディスプレイなどを備えている。
As shown in FIG. 1, the automated guided
また、無人搬送車３５は、工場内における自身の位置を認識可能なセンサ（例えば、レーザ光を用いた距離計測センサ）を備えており、前記制御装置４０による制御の下で、前記工作機械１０、材料ストッカ２０及び製品ストッカ２１が配設される領域を含む工場内を無軌道で走行するように構成され、本例では、前記工作機械１０、材料ストッカ２０及び製品ストッカ２１のそれぞれに対して設定された各作業位置に経由する。
The automated guided
図１及び図３に示すように、本実施形態のロボット２５は、第１アーム２６、第２アーム２７及び第３アーム２８の３つのアームを備えた多関節型のロボットであり、第３アーム２８の先端部にはエンドエフェクタとしてのハンド２９が装着され、また、支持バー３０を介して１つのカメラ３１が装着されている。
As shown in Figures 1 and 3, the
ただし、この形態に限定されない。ロボットは、(i)カメラと、(ii)ワークまたは工具を把持するためのハンド部と、(iii)前記ハンド部を可動可能に繋いでいる第２アーム部と、(iv)第２アーム部と可動可能に繋いでいる第１アーム部と、を有していればよい。本実施形態のロボット２５と対比すると、ハンド部はハンド２９が相当し、第２アーム部は、第２アーム２７と回転可能（可動可能）に結合するジョイント部とが相当し、第１アーム部は、第１アーム２６と回転可能（可動可能）に結合するジョイント部とが相当する。なお、本実施形態のロボットの第３アーム２８と回転可能や進退可能（可動可能）に結合するジョイント部とが第２アーム部に相当すると解してもよい。つまり、本実施形態では、アームが３つあるが、少なくとも２つのアームがあればよい。
However, the present invention is not limited to this form. The robot only needs to have (i) a camera, (ii) a hand unit for gripping a workpiece or a tool, (iii) a second arm unit that movably connects the hand unit, and (iv) a first arm unit that movably connects to the second arm unit. In comparison with the
図２に示すように、本実施形態の制御装置４０は、動作プログラム記憶部４１、移動位置記憶部４２、動作姿勢記憶部４３、マップ情報記憶部４４、基準画像記憶部４５、手動運転制御部４６、自動運転制御部４７、マップ情報生成部４８、位置認識部４９、補正量算出部５０及び入出力インターフェース５１から構成される。そして、制御装置４０は、この入出力インターフェース５１を介して、前記工作機械１０、材料ストッカ２０、製品ストッカ２１、ロボット２５、カメラ３１、無人搬送車３５及び操作盤３７に接続している。なお、制御装置４０は、この形態に限定されるものではない。制御装置４０は、少なくとも、ロボットのハンド部の位置を制御する制御部を有していればよく、他の記憶部等は別の装置が有していてもよい。
As shown in FIG. 2, the control device 40 of this embodiment is composed of an operation program memory unit 41, a movement
尚、制御装置４０は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを含むコンピュータから構成され、前記手動運転制御部４６、自動運転制御部４７、マップ情報生成部４８、位置認識部４９、補正量算出部５０及び入出力インターフェース５１は、コンピュータプログラムによってその機能が実現され、後述する処理を実行する。また、動作プログラム記憶部４１、移動位置記憶部４２、動作姿勢記憶部４３、マップ情報記憶部４４及び基準画像記憶部４５はＲＡＭなどの適宜記憶媒体から構成される。本例では、制御装置４０は無人搬送車３５に付設され、適宜通信手段によって工作機械１０、材料ストッカ２０及び製品ストッカ２１と接続されるとともに、ロボット２５、カメラ３１、無人搬送車３５及び操作盤３７とは有線又は無線によって接続されている。但し、このような態様に限られるものではなく、制御装置４０は無人搬送車３５以外の適宜位置に配設されていても良い。この場合、制御装置４０は適宜通信手段によって各部と接続される。
The control device 40 is composed of a computer including a CPU, RAM, ROM, etc., and the functions of the manual
前記手動運転制御部４６は、オペレータにより前記操作盤３７から入力される操作信号に従って、前記無人搬送車３５、ロボット２５及びカメラ３１を動作させる機能部である。即ち、オペレータは、この手動運転制御部４６による制御の下で、操作盤３７を用いた、前記無人搬送車３５、ロボット２５及びカメラ３１の手動操作を実行することができる。
The manual
前記動作プログラム記憶部４１は、生産時に前記無人搬送車３５及び前記ロボット２５を自動運転するための自動運転用プログラム、並びに後述する工場内のマップ情報を生成する際に前記無人搬送車３５を動作させるためのマップ生成用プログラムを記憶する機能部である。自動運転用プログラム及びマップ生成用プログラムは、例えば、前記操作盤３７に設けられた入出力部から入力され、当該動作プログラム記憶部４１に格納される。
The operation program storage unit 41 is a functional unit that stores an automatic driving program for automatically driving the automatic guided
尚、この自動運転用プログラムには、無人搬送車３５が移動する目標位置としての移動位置、移動速度及び無人搬送車３５の向きに関する指令コードが含まれ、また、ロボット２５が順次動作する当該動作に関する指令コード、及び前記カメラ３１の操作に関する指令コードが含まれる。また、マップ生成用プログラムは、前記マップ情報生成部４８においてマップ情報を生成できるように、無人搬送車３５を無軌道で工場内を隈なく走行させるための指令コードが含まれる。
The automatic driving program includes command codes related to the target position to which the automated guided
前記マップ情報記憶部４４は、無人搬送車３５が走行する工場内に配置される機械、装置、機器など（装置等）の配置情報を含むマップ情報を記憶する機能部であり、このマップ情報は前記マップ情報生成部４８によって生成される。
The map
前記マップ情報生成部４８は、詳しくは後述する前記制御装置４０の自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納されたマップ生成用プログラムに従って無人搬送車３５を走行させた際に、前記センサによって検出される距離データから工場内の空間情報を取得するとともに、工場内に配設される装置等の平面形状を認識し、例えば、予め登録された装置等の平面形状を基に、工場内に配設された具体的な装置、本例では、工作機械１０、材料ストッカ２０及び製品ストッカ２１の位置、平面形状等（配置情報）を認識する。そして、マップ情報生成部４８は、得られた空間情報及び装置等の配置情報を工場内のマップ情報として前記マップ情報記憶部４４に格納する。
When the map
前記位置認識部４９は、前記センサによって検出される距離データ、及び前記マップ情報記憶部４４に格納された工場内のマップ情報を基に、工場内における無人搬送車３５の位置を認識する機能部であり、この位置認識部４９によって認識される無人搬送車３５の位置に基づいて、当該無人搬送車３５の動作が前記自動運転制御部４７によって制御される。
The
前記移動位置記憶部４２は、前記無人搬送車３５が移動する具体的な目標位置としての移動位置であって、前記動作プログラム中の指令コードに対応した具体的な移動位置を記憶する機能部であり、この移動位置には、上述した工作機械１０、材料ストッカ２０及び製品ストッカ２１に対して設定される各作業位置が含まれる。尚、この移動位置は、例えば、前記手動運転制御部４６による制御の下、前記操作盤３７により前記無人搬送車３５を手動運転して、目標とする各位置に移動させた後、前記位置認識部４９によって認識される位置データを前記移動位置記憶部４２に格納する操作によって設定される。この操作は所謂ティーチング操作と呼ばれる。
The movement
前記動作姿勢記憶部４３は、前記ロボット２５が所定の順序で動作することによって順次変化するロボット２５の姿勢（動作姿勢）であって、前記動作プログラム中の指令コードに対応した動作姿勢に係るデータを記憶する機能部である。この動作姿勢に係るデータは、前記手動運転制御部４６による制御の下で、前記操作盤３７を用いたティーチング操作により、当該ロボット２５を手動運転して、目標とする各姿勢を取らせたときの、当該各姿勢におけるロボット２５の各関節（モータ）の回転角度データであり、この回転角度データが動作姿勢に係るデータとして前記動作姿勢記憶部４３に格納される。
The movement
ロボット２５の具体的な動作姿勢は、前記材料ストッカ２０、工作機械１０及び製品ストッカ２１において、それぞれ設定される。例えば、材料ストッカ２０では、当該材料ストッカ２０において作業を開始するときの作業開始姿勢（取出開始姿勢）、当該材料ストッカ２０に収納された加工前ワークＷをハンド２９により把持して、当該材料ストッカ２０から取り出すための各作業姿勢（各取出姿勢）及び取出を完了したときの姿勢（取出完了姿勢であり、本例では、取出開始姿勢と同じ姿勢）が取出動作姿勢として設定される。
Specific operating postures of the
また、工作機械１０では、加工済のワークＷ’を工作機械１０から取り出すワーク取出動作姿勢、及び加工前ワークＷを工作機械１０に取り付けるワーク取付動作姿勢が設定される。
In addition, the
具体的には、ワーク取出動作姿勢では、例えば、工作機械１０に進入する前の作業開始姿勢、ハンド２９及びカメラ３１を工作機械１０の加工領域内に進入させて、支持バー１５に設けられた識別図形にカメラ３１を正対させ、当該カメラ３１によって識別図形を撮像する姿勢（撮像姿勢）（図４参照）、工作機械１０のチャック１２に把持された加工済ワークＷ’に対してハンド２９を対向させた姿勢（取出準備姿勢）、ハンド２９をチャック１２側に移動させて、当該チャック１２に把持された加工済ワークＷ’をハンド２９によって把持する姿勢（把持姿勢）、ハンド２９をチャック１２から離隔させて加工済ワークＷ’をチャック１２から取り外した姿勢（取外姿勢）、ハンド２９及びカメラ３１を工作機械１０から抜け出させた姿勢（作業完了姿勢）の各姿勢が設定される。尚、カメラ３１を水平な識別図形に対して正対させたときのカメラ３１の姿勢は、そのレンズと識別図形とが略平行になる姿勢である。
Specifically, the workpiece removal operation posture may be, for example, a work start posture before entering the
また、ワーク取付動作姿勢では、例えば、工作機械１０に進入する前の作業開始姿勢、ハンド２９及びカメラ３１を工作機械１０の加工領域内に進入させて、支持バー１５に設けられた識別図形にカメラ３１を正対させ、当該カメラ３１によって識別図形を撮像する姿勢（撮像姿勢）（図４参照）、工作機械１０のチャック１２に対してハンド２９に把持された加工前ワークＷを対向させた姿勢（取付準備姿勢）、ハンド２９をチャック１２側に移動させて、加工前ワークＷを当該チャック１２によって把持可能にした姿勢（取付姿勢）、ハンド２９をチャック１２から離隔させた姿勢（離隔姿勢）、ハンド２９及びカメラ３１を工作機械１０から抜け出させた姿勢（作業完了姿勢）の各姿勢が設定される。
In addition, the workpiece mounting operation posture may be, for example, a work start posture before entering the
前記製品ストッカ２１では、当該製品ストッカ２１において作業を開始するときの作業開始姿勢（収納開始姿勢）、ハンド２９に把持した加工済ワークＷ’を製品ストッカ２１内に収納するための各作業姿勢（収納姿勢）及び収納を完了したときの姿勢（収納完了姿勢であり、本例では、収納開始姿勢と同じ姿勢）が収納動作姿勢として設定される。
In the
前記自動運転制御部４７は、前記動作プログラム記憶部４１に格納された自動運転用プログラム及びマップ生成用プログラムの何れかを用い、当該プログラムに従って無人搬送車３５、ロボット２５及びカメラ３１を動作させる機能部である。その際、前記移動位置記憶部４２及び動作姿勢記憶部４３に格納されたデータが必要に応じて使用される。
The automatic
前記基準画像記憶部４５は、ティーチング操作時に、無人搬送車３５が工作機械１０に対して設定された作業位置に在り、ロボット２５が前記撮像姿勢にあるときに、前記ツールプリセッタ１３の支持バー１５に設けられた識別図形を前記カメラ３１により撮像して得られた画像を、基準画像として記憶する機能部である。
The reference
前記補正量算出部５０は、前記自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納された自動運転用プログラムに従って前記ロボット２５が自動運転される際に、当該ロボット２５が撮像姿勢に在り、カメラ３１によって前記識別図形が撮像されると、当該自動運転時に得られた現在の識別図形の画像と、前記基準画像記憶部４５に格納された基準画像（ティーチング操作時に撮像された画像）とに基づいて、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間におけるカメラ３１の位置誤差量であって、識別図形と平行な平面内で設定される相互に直交する２軸方向におけるカメラ３１の位置誤差量、及び該平面と直交する垂直軸回りのカメラ３１の回転誤差量を推定し、推定された各誤差量に基づいて、前記作業姿勢における前記作用部に対する補正量を算出する。
When the
図６に、ティーチング操作時にカメラ３１によって撮像された識別図形の画像、即ち、前記基準画像を示している。図中、実線で示した矩形線はカメラ３１の視野、言い換えれば基準画像の輪郭である。また、図７に、自動運転時に得られた現在の識別図形の画像を実線で示している。尚、図７において、実線で示した矩形線は現在の画像の輪郭であり、一点鎖線で示した矩形線は、基準画像の輪郭である。この図７では、ロボット２５のティーチング操作時における前記撮像姿勢と、現在の撮像姿勢にズレが生じたことによって、基準画像と現在の画像との間にズレが生じていることを表している。
Figure 6 shows an image of the identification figure captured by
前記補正量算出部５０は、まず、ティーチング操作時における図６に示した基準画像を解析することにより、例えば、この基準画像、言い換えれば、カメラ３１のフレーム上における識別図形から設定される図形座標系（ｘｔ軸－ｙｔ軸座標系）に基づいて、予め設定された図形座標系（ｘｔ軸－ｙｔ軸座標系）とロボット座標系（ｘ軸－ｙ軸座標系）との間の変換式に従って、ロボット座標系（ｘ軸－ｙ軸座標系）におけるティーチング時のカメラ３１の位置（ｘｔｅａｃｈ，ｙｔｅａｃｈ，ｒｚｔｅａｃｈ）を算出する。尚、ｘ軸及びｙ軸は、識別図形と平行な相互に直交する２軸であって、ティーチング操作時におけるロボット２５の座標系であり、ｒｚは、ｘ軸及びｙ軸に直交するｚ軸回りのカメラ３１の回転角度である。また、本例において、前記ｘｔ軸，ｙｔ軸、及びｘ軸，ｙ軸は水平面内で設定される（後述のｘ’軸及びｙ’軸も同様）。
6 during teaching operation, the correction
次に、補正量算出部５０は、同様にして、現在の画像を解析し、カメラ３１のフレーム上における識別図形から設定される図形座標系（ｘｔ軸－ｙｔ軸座標系）に基づいて、前記変換式に従って、ティーチング操作時におけるロボット２５の座標系（ｘ軸－ｙ軸座標系）における現在のカメラ３１の位置（ｘｃｕｒｒ，ｙｃｕｒｒ，ｒｚｃｕｒｒ）を算出する。
Next, the correction
そして、補正量算出部５０は、ｘ軸－ｙ軸座標系におけるカメラ３１のティーチング操作時の位置と、現在の位置との間の位置誤差量Δｘ，Δｙ及び回転誤差量Δｒｚを以下の数式１－数式３によって推定する。
（数式１）
(Formula 1)
ここで、図７に示すように、現在のロボット２５の座標系をｘ’軸－ｙ’軸座標系とし、図８に示すように、ティーチング時のロボット２５の座標系であるｘ軸－ｙ軸座標系との間に、ｔｘ，ｔｙの並進誤差が存在すると考えると、ｘ’軸－ｙ’軸座標系における現在のカメラ３１の位置（ｘ’，ｙ’）は、以下の数式４によって算出される。尚、下式中のｘ，ｙはそれぞれｘ軸－ｙ軸座標系におけるティーチング時のカメラ３１の位置（ｘｔｅａｃｈ，ｙｔｅａｃｈ）であり、初期設定の値として既知である。
（数式４）
(Formula 4)
そして、上記の数式４を変形した下記数式５によって上記並進誤差ｔｘ，ｔｙを算出することができ、補正量算出部５０は、この数式５に従って、並進誤差量ｔｘ，ｔｙを算出して、この並進誤差量ｔｘ，ｔｙ及び前記回転誤差量Δｒｚを前記作業姿勢における補正量とする。
（数式５）
(Formula 5)
そして、前記自動運転制御部４７は、ロボット２５が工作機械１０で作業する際の作業姿勢、例えば、前記ワーク取出動作姿勢における前記取出準備姿勢、把持姿勢及び取外姿勢、並びに前記ワーク取付動作姿勢における取付準備姿勢、取付姿勢及び離隔姿勢について、前記補正量算出部５０において算出された補正量に基づいて、ロボット２５のハンド２９に位置を補正する。
Then, the automatic
例えば、ロボット２５のハンド２９をチャック１２に対して位置決めする際には、現在のロボット２５の座標系であるｘ’軸－ｙ’軸座標系におけるハンド２９の位置決め位置が、ティーチング操作時に設定されたｘ軸－ｙ軸座標系におけるハンド２９の位置決め位置と一致するように、ｘ’軸－ｙ’軸座標系におけるハンド２９の位置決め位置が補正される。
For example, when positioning the
この補正の態様を図９に示している。図９において、位置ｘｐｐ，ｙｐｐ、及び位置ｘｐｃ，ｙｐｃはティーチング操作時のロボット座標系であるｘ軸－ｙ軸座標系におけるハンド２９の設定位置であり、ハンド２９は撮像姿勢における位置ｘｐｐ，ｙｐｐからチャック１２に対して設定された位置ｘｐｃ，ｙｐｃに位置決めされる設定となっている。前記作業位置に位置決めされた無人搬送車３５及びロボット２５に位置ズレが無ければ、ハンド２９は位置ｘｐｐ，ｙｐｐから位置ｘｐｃ，ｙｐｃに移動する。
The manner of this correction is shown in Fig. 9. In Fig. 9, positions xpp , ypp and positions xpc , ypc are set positions of the
図９において、位置ｘｐ’ｐ，ｙｐ’ｐは、現在の動作時のロボット座標系であるｘ’軸－ｙ’軸座標系における撮像姿勢時のハンド２９の位置である。この位置ｘｐ’ｐ，ｙｐ’ｐは、前記作業位置に位置決めされた無人搬送車３５及びロボット２５に位置ズレが生じているため、ティーチング操作時の位置ｘｐｐ，ｙｐｐに対して、位置誤差Δｘ，Δｙ、及び回転誤差Δｒｚを生じており、ｘ’軸－ｙ’軸座標系において、前記ｘｐｐ，ｙｐｐに対応する位置である。そして、このｘ’軸－ｙ’軸座標系において、前記ｘｐｃ，ｙｐｃに対応する位置はｘｐ’ｃ，ｙｐ’ｃであるが、この位置は、チャック１２の真の位置からズレた位置となっている。そこで、自動運転制御部４７は、このｘｐｃ，ｙｐｃを、前記補正量算出部５０によって算出された並進誤差量ｔｘ，ｔｙと、前記回転誤差量Δｒｚに基づき、下記数式６に従って補正したｘｐｈ’ｃ，ｙｐｈ’ｃを算出し、この補正された位置ｘｐｈ’ｃ，ｙｐｈ’ｃにハンド２９を移動させる。また、前記回転誤差量Δｒｚに基づいてＺ軸回りのハンド２９の回転姿勢を補正する。
（数式６）
(Formula 6)
尚、この位置データｘｐｈ’ｃ，ｙｐｈ’ｃは、予め設定された変換式により、ロボット２５の各関節の角度データに変換され、変換された角度データに従って、ロボット２５は制御される。
The position data xph'c , yph'c are converted into angle data for each joint of the
そして、ロボット２５が工作機械１０で作業する各作業姿勢としてティーチング操作時において設定されたハンド２９の各位置ｘｐｉ，ｙｐｉに対応する補正された位置ｘｐｈ’ｉ，ｙｐｈ’ｉは、上記数式６を一般化した以下の数式７によって算出することができ、自動運転制御部４７は、前記回転誤差量Δｒｚに基づいてＺ軸回りのハンド２９の回転姿勢を補正するとともに、このようにして算出される各補正位置ｘｐｈ’ｉ，ｙｐｈ’ｉにハンド２９を移動させる。但し、ｉは１以上の自然数である。
（数式７）
(Formula 7)
以上の構成を備えた本例のシステム１によれば、以下のようにして、無人自動生産が実行される。 With the system 1 of this example having the above configuration, unmanned automatic production is carried out as follows.
即ち、前記制御装置４０の自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納された自動運転用プログラムが実行され、この自動運転用プログラムに従って、例えば、無人搬送車３５及びロボット２５が以下のように動作する。
That is, under the control of the automatic
まず、無人搬送車３５は、工作機械１０に対して設定された作業位置に移動するとともに、ロボット２５は上述したワーク取出動作の作業開始姿勢を取る。尚、この時、工作機械１０は所定の加工を完了して、ロボット２５が加工領域内に侵入可能なようにドアカバーを開いており、また、自動運転制御部４７からの指令を受信して、前記ツールプリセッタ１３の支持バー１５を加工領域内に進出させているものとする。
First, the automated guided
ついで、ロボット２５は前記撮像姿勢に移行し、前記支持バー１５に設けられた識別図形をカメラ３１によって撮像する。そして、このようにして、カメラ３１によって識別図形が撮像されると、前記補正量算出部５０において、当該識別図形の画像と、前記基準画像記憶部４５に格納された基準画像とを基に、上記数式１－３に従ってロボット２５のティーチング操作時における撮像姿勢と、現在の撮像姿勢との間の位置誤差量Δｘ，Δｙ及び回転誤差量Δｒｚが推定され、推定された各誤差量に基づき、上述した数式４－５に従って、ロボット２５の以降のワーク取出動作姿勢に対する並進誤差の補正量ｔｘ，ｔｙ及び回転誤差の補正量Δｒｚが算出される。
Next, the
そして、自動運転制御部４７は、補正量算出部５０により算出された各補正量に基づいて、以降のワーク取出動作姿勢、即ち、上述した取出準備姿勢、把持姿勢、取外姿勢及び作業完了姿勢におけるハンド２９の位置を数式７に従って補正するとともに、Ｚ軸回りの回転位置を補正して、工作作機械１０のチャック１２に把持された加工済ワークＷ’をハンド２９に把持して当該工作機械１０から取り出す。尚、ロボット２５に前記把持姿勢を取らせた後に、自動運転制御部４７から工作機械１０にチャック開指令を送信することで、当該チャック１２が開かれる。
Then, based on each correction amount calculated by the correction
次に、自動運転制御部４７は、無人搬送車３５を、製品ストッカ２１に対して設定された作業位置に移動させるとともに、ロボット２５に、当該製品ストッカ２１において作業を開始するときの収納開始姿勢、ハンド２９に把持した加工済ワークを製品ストッカ２１内に収納するための各収納姿勢及び収納を完了したときの収納完了姿勢を順次取らせて、ハンド２９に把持した加工済ワークを製品ストッカ２１に収納する。
Then, the automatic
ついで、自動運転制御部４７は、無人搬送車３５を、材料ストッカ２０に対して設定された作業位置に移動させるとともに、ロボット２５に、当該材料ストッカ２０において作業を開始するときの取出開始姿勢、当該材料ストッカ２０に収納された加工前ワークをハンド２９によって把持して、当該材料ストッカ２０から取り出すための各取出姿勢及び取出を完了したときの取出完了姿勢を順次取らせて、ハンド２９に加工前ワークを把持させる。
Then, the automatic
次に、自動運転制御部４７は、再度、無人搬送車３５を工作機械１０に対して設定された作業位置に移動させるとともに、ロボット２５に上述したワーク取付動作の作業開始姿勢を取らせる。ついで、ロボット２５を前記撮像姿勢に移行させ、前記支持バー１５に設けられた識別図形をカメラ３１によって撮像させる。そして、このようにして、カメラ３１によって識別図形が撮像されると、前記補正量算出部５０において、当該識別図形の画像と、前記基準画像記憶部４５に格納された基準画像とを基に、上記数式１－３に従ってロボット２５のティーチング操作時における撮像姿勢と、現在の撮像姿勢との間の位置誤差量Δｘ，Δｙ及び回転誤差量Δｒｚが推定され、推定された各誤差量に基づき、上述した数式４－５に従って、ロボット２５の以降のワーク取付動作姿勢に対する並進誤差の補正量ｔｘ，ｔｙ及び回転誤差の補正量Δｒｚが算出される。
Next, the automatic
この後、自動運転制御部４７は、補正量算出部５０により算出された各補正量に基づいて、以降のロボット２５のワーク取付動作姿勢、即ち、上述した取付準備姿勢、取付姿勢、離隔姿勢及び作業完了姿勢におけるハンド２９の位置を数式７に従って補正するとともに、Ｚ軸回りの回転位置を補正して、ロボット２５に、ハンド２９に把持された加工前ワークＷを工作機械１０のチャック１２に取り付けた後、機外に退出する動作を行わせる。この後、自動運転制御部４７は、工作機械１０に加工開始指令を送信して、工作機械１０に加工動作を行わせる。尚、ロボット２５に前記取付姿勢を取らせた後に、自動運転制御部４７から工作機械１０にチャック閉指令を送信することで、当該チャック１２が閉じられ、当該チャック１２によって加工前ワークＷが把持される。
Then, based on each correction amount calculated by the correction
そして、以上を繰り返すことにより、本例のシステム１では、無人自動生産が連続して実行される。 By repeating the above steps, unmanned automatic production is carried out continuously in the system 1 of this example.
そして、本例のシステム１では、ロボット２５が実際に作業する工作機械１０の加工領域内に配置された識別図形を用いて、ロボット２５の作業姿勢を補正するようにしているので、当該作業姿勢を正確に補正することができ、これにより、ロボット２５は、高い動作精度が求められる作業でも、当該作業を精度良く実行することができる。
In the system 1 of this example, the working posture of the
また、このように、ロボット２５が精度の良い作業を実行することで、当該システム１は不要な中断を招くことなく高い稼働率で稼働し、結果、当該システム１によれば、信頼性が高く、生産効率の高い無人化を図ることが可能となる。
In this way, the
また、動作プログラムに従って動作するロボット２５は、カメラ３１によって識別図形を撮像する際に、一度の動作でこれを実行するように構成されているので、従来に比べて、短時間で精度の良い補正を行うことができる。
In addition, the
また、本例では、工作機械１０が加工を実行しているときには、加工領域外に格納されるツールプリセッタ１３の支持バー１５に識別図形を設けているので、当該識別図形が加工時に発生する切屑等によって汚損されるのを防止することができ、この結果、上記補正を精度良く行うことができる。
In addition, in this example, when the
また、本例では、前記識別図形を、複数の画素が二次元に配列されたマトリクス構造を有するものとしているので、前記位置誤差量Δｘ，Δｙ、及び回転誤差量Δｒｚを高精度に、しかも高い繰り返し精度で推定することができる。 In addition, in this example, the identification figure has a matrix structure in which multiple pixels are arranged two-dimensionally, so that the position error amounts Δx, Δy and rotation error amount Δrz can be estimated with high accuracy and high repeatability.
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本例のシステムの構成は、図２において、符号１’で示される。同図２に示すように、本例のシステム１’は、制御装置４０’における補正量算出部５０’が第１の実施形態に係るシステム１とは異なるもので、他の構成については、第１の実施形態に係るシステム１と同じである。したがって、以下では、補正量算出部５０’以外の構成については、その説明を省略する。尚、本例では、前記ロボット２５の撮像姿勢において、第１の実施形態と同様に、カメラ３１を識別図形に対して正対させる方がより高精度な補正ができて好ましいが、正対させることなく、カメラ３１の撮像光軸が識別図形に対して斜めに傾斜した姿勢としても、実用的な補正を行うことができる。
Second Embodiment
Next, a second embodiment of the present invention will be described. The configuration of the system of this example is indicated by the reference symbol 1' in FIG. 2. As shown in FIG. 2, the system 1' of this example is different from the system 1 of the first embodiment in the correction amount calculation unit 50' in the control device 40', and the other configuration is the same as the system 1 of the first embodiment. Therefore, the description of the configuration other than the correction amount calculation unit 50' will be omitted below. In this example, in the imaging posture of the
本例の補正量算出部５０’は、前記補正量算出部５０における誤差量の算出手法を一般化した手法によって、前記ロボット２５の現在の姿勢とティーチング操作時の姿勢との間における前記カメラ３１の位置誤差量及び回転誤差量を算出するとともに、得られた位置誤差量及び回転誤差量に基づいて、ロボット２５の各作業姿勢を補正する。
The correction amount calculation unit 50' in this example calculates the position error amount and rotation error amount of the
具体的には、補正量算出部５０’は、自動運転時に得られた現在の識別図形の画像と、前記基準画像記憶部４５に格納された基準画像（ティーチング操作時に撮像された画像）等に基づいて、以下の処理を実行して、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間におけるカメラ３１の位置誤差量であって、識別図形と平行な平面内で設定される相互に直交するｘ軸及びy軸、並びにこれらｘ軸及びy軸に直交するｚ軸方向におけるカメラ３１の位置誤差量と、ｘ軸、ｙ軸及びｚ軸回りのカメラ３１の回転誤差量とを推定するとともに、推定した位置誤差量及び回転誤差量に基づいて、ロボット２５の各作業姿勢を補正する。
Specifically, the correction amount calculation unit 50' executes the following processing based on the current image of the identification figure obtained during automatic operation and the reference image (image captured during the teaching operation) stored in the reference
（前処理）
前記補正量算出部５０’は、まず、前処理として、前記ティーチング操作時に撮像された前記基準画像に基づいて、カメラ３１に対応した座標系であるカメラ座標系から、前記識別図形に対した座標系である図形座標系に変換するための座標変換行列
The correction
また、前記カメラ座標系は、カメラの平面状の撮像素子群について設定される３次元の座標系であり、例えば、撮像素子群の中心位置に原点が設定される。また、前記図形座標系は、識別図形について設定される３次元の座標系であり、例えば、識別図形の中心位置に原点が設定される。また、後述するロボット座標系は、制御装置４０’がロボット２５を制御するために設定された３次元の座標系であり、適宜位置に原点が設定されている。
The camera coordinate system is a three-dimensional coordinate system set for the planar imaging element group of the camera, and the origin is set, for example, at the center position of the imaging element group. The graphic coordinate system is a three-dimensional coordinate system set for the identification graphic, and the origin is set, for example, at the center position of the identification graphic. The robot coordinate system, which will be described later, is a three-dimensional coordinate system set for the control device 40' to control the
次に、補正量算出部５０’は、取得された座標変換行列
（数式８）
(Formula 8)
（ティーチング操作時のカメラ位置算出処理）
次に、補正量算出部５０’は、ティーチング操作時のロボット座標系におけるカメラ位置
（数式９）
（数式１０）
尚、
（数式１１）
Next, the correction amount calculation unit 50' calculates the camera position in the robot coordinate system during the teaching operation.
(Formula 9)
(Formula 10)
still,
(Formula 11)
（自動運転時のカメラ位置算出処理）
次に、補正量算出部５０’は、自動運転時（実動作時）に得られる現在の識別図形の画像に基づいて、上記と同様にして、カメラ座標系から図形座標系に変換するための座標変換行列
（数式１２）
（数式１４）
(Camera position calculation process during autonomous driving)
Next, the correction amount calculation unit 50' calculates a coordinate transformation matrix for transforming from the camera coordinate system to the graphic coordinate system in the same manner as described above, based on the image of the current identification graphic obtained during automatic driving (actual operation).
(Formula 12)
(Formula 14)
（誤差量算出処理）
次に、補正量算出部５０’は、上記のようにして算出したティーチング操作時の座標系におけるティーチング操作時のカメラ角度
但し、
Next, the correction amount calculation unit 50' calculates the camera angle during the teaching operation in the coordinate system during the teaching operation calculated as described above.
however,
次に、補正量算出部５０’は、上記のようにして算出した各回転誤差Δｒｘ、Δｒｙ及びΔｒｚに基づいて、ティーチング操作時におけるロボット座標系と、現在のロボット座標系との間の回転行列
（数式１５）
(Formula 15)
（補正量算出処理）
次に、補正量算出部５０’は、上記のようにして算出した誤差量に基づいて、この誤差量を補正するための補正量
（数式１７）
Next, the correction amount calculation unit 50' calculates a correction amount for correcting the amount of error based on the amount of error calculated as described above.
(Formula 17)
そして、前記自動運転制御部４７は、補正量算出部５０’により算出された補正量に基づいて、以降のロボット２５の動作姿勢におけるハンド２９の位置
（数式１８）
(Formula 18)
（第３の実施形態）
本例のシステムの構成は、図２に示において、符号１”で示される。図２に示すように、本例のシステム１”は、制御装置４０”を構成する補正量算出部５０”及び動作プログラム記憶部４１”が第１及び第２の実施形態に係るシステム１とは異なるもので、他の構成については、第１及び第２の実施形態に係るシステム１と同じである。したがって、以下では、補正量算出部５０”及び動作プログラム記憶部４１”以外の構成については、その説明を省略する。
Third Embodiment
The configuration of the system of this example is shown in FIG. 2 with the reference symbol 1″. As shown in FIG. 2, the system 1″ of this example differs from the system 1 according to the first and second embodiments in the correction
本例の動作プログラム記憶部４１”には、第１及び第２の実施形態とは異なる自動運転用プログラムが格納されている。この自動運転用プログラムは、工作機械１０に対して作業を行うロボット２５の動作の内、前記識別図形を撮像する動作が２回連続して実行される点が、第１及び第２の実施形態とは異なる。即ち、本例の自動運転プログラムでは、前記ｘ軸及びｙ軸方向の位置誤差量、及びｚ軸回りの回転誤差量を算出するための１回目の撮像動作と、算出された位置誤差量及び回転誤差量に基づいて、ロボット２５の撮像姿勢を補正した状態で、前記ｚ軸方向の位置誤差量、及びｘ軸及びｙ軸回りの各回転誤差量を算出するための２回目の撮像動作とを実行するように設定されている。
The operation program storage unit 41" of this example stores an automatic operation program different from that of the first and second embodiments. This automatic operation program differs from that of the first and second embodiments in that, among the operations of the
前記補正量算出部５０”は、前記第２の実施形態に係る補正量算出部５０’における「前処理」及び「ティーチング操作時のカメラ位置算出処理」を実行するとともに、前記自動運転制御部４７による制御の下で実行された１回目の撮像動作及び２回目の撮像動作によって得られる各画像に基づいて、それぞれ補正量を算出する処理を実行する。
The correction amount calculation unit 50'' executes the "pre-processing" and "camera position calculation processing during teaching operation" in the correction amount calculation unit 50' according to the second embodiment, and also executes processing to calculate the correction amount based on each image obtained by the first imaging operation and the second imaging operation executed under the control of the automatic
（１回目の補正量算出処理）
前記補正量算出部５０”は、１回目の撮像画像に基づいて、前記補正量算出部５０’における「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行して、前記ｘ軸及びｙ軸方向の各位置誤差量、及びｚ軸回りの回転誤差量を算出するとともに、これらの誤差量を補正するための補正量を算出する。
(First correction amount calculation process)
The correction
その際、前記図形座標系におけるカメラ位置、及び前記ロボット座標系の各カメラ位置は、それぞれ以下として、前記「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行する。
以上の処理により、ｘ軸方向の位置誤差量Δｘ、ｙ軸方向の位置誤差量Δｙ、及びｚ軸回りの回転誤差量Δｒｚのみが得られ、これを補正するための補正量が上記の数式１７によって算出される。そして、自動運転制御部４７は、上記数式１８に従って、ロボット２５の２回目の撮像姿勢を補正する。
By the above processing, only the position error amount Δx in the x-axis direction, the position error amount Δy in the y-axis direction, and the rotation error amount Δrz around the z-axis are obtained, and the correction amount for correcting these is calculated by the
（２回目の補正量算出処理）
次に、前記補正量算出部５０”は、２回目の撮像画像に基づいて、前記「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行して、前記ｘ軸、ｙ軸及びｚ軸方向の各位置誤差量、及びｘ軸、ｙ軸及びｚ軸回りの各回転誤差量を算出するとともに、これらの誤差量を補正するための補正量を算出する。
(Second correction amount calculation process)
Next, the correction amount calculation unit 50'' executes the ``pre-processing,'' ``camera position calculation processing during teaching operation,'' ``camera position calculation processing during autonomous driving,'' ``error amount calculation processing,'' and ``correction amount calculation processing'' based on the second captured image to calculate each of the position error amounts in the x-axis, y-axis, and z-axis directions, and each of the rotational error amounts around the x-axis, y-axis, and z-axis, and calculates correction amounts for correcting these error amounts.
その際、前記図形座標系におけるティーチング操作時のカメラ位置、及び前記ロボット座標系の各カメラ位置は、それぞれ以下として、前記「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行する。
以上の処理により、ｘ軸方向の位置誤差量Δｘ、ｙ軸方向の位置誤差量Δｙ、ｚ軸方向の位置誤差量Δｚ、ｘ軸回りの回転誤差量Δｒｘ、ｙ軸回りの回転誤差量Δｒｙ、及びｚ軸回りの回転誤差量Δｒｚが得られ、これを補正するための補正量が上記の数式１７によって算出される。そして、自動運転制御部４７は、上記数式１８に従って、ロボット２５の姿勢を補正する。尚、ｘ軸方向の位置誤差量Δｘ、ｙ軸方向の位置誤差量Δｙ、及びｚ軸回りの回転誤差量Δｒｚについての補正量は、１回目に算出された値を維持しても良く、或いは、１回目に算出された値と２回目に算出された値を足し合わせた値で置き換えても良い。
By the above processing, the position error amount Δx in the x-axis direction, the position error amount Δy in the y-axis direction, the position error amount Δz in the z-axis direction, the rotation error amount Δrx around the x-axis, the rotation error amount Δry around the y-axis, and the rotation error amount Δrz around the z-axis are obtained, and the correction amounts for correcting these are calculated by the
以上のように２段階で補正量を算出するのは、識別図形を撮像する際に、識別図形がカメラ３１の視野内において、その中心位置から遠い位置にある場合には、図形座標系から得られるｚ軸方向の位置データのばらつき、ｘ軸回りの回転データのばらつき、ｙ軸回りの回転データのばらつきが大きくなる傾向にあるため、これに起因して、ｘ軸及びｙ軸方向における位置精度が悪化する虞があるからである。
The reason for calculating the correction amount in two stages as described above is that when capturing an image of an identification figure, if the identification figure is located far from its center position within the field of view of the
そこで、上記のようにして、１回目の補正量算出処理では、ｘ軸及びｙ軸方向における位置誤差量、並びにｚ軸回りの回転誤差量Δｒｚを補正するための補正量を算出するとともに、この補正量に基づいて、ロボット２５の撮像姿勢を補正して、識別図形がカメラ３１の視野の中心に位置する状態にする。そして、２回目の補正量算出処理では、このように識別図形がカメラ３１の視野の中心に位置した画像に基づいて、残りのｚ軸方向における位置誤差量、並びにｘ軸及びｙ軸回りの回転誤差量Δｒｘ，Δｒｙに対する補正量を得るようにしている。以上により、正確なｘ軸、ｙ軸及びｚ軸方向における位置誤差量、並びにｘ軸、ｙ軸及びｚ軸回りの回転誤差量Δｒｘ，Δｒｙ，Δｒｚを算出することができ、これらの誤差量に対する正確な補正量を算出することができる。そして、この結果、ロボット２５の姿勢を高精度に制御することが可能となる。
As described above, in the first correction amount calculation process, the correction amount for correcting the position error amount in the x-axis and y-axis directions and the rotation error amount Δrz around the z-axis is calculated, and the imaging posture of the
（第４の実施形態）
これまでの実施形態では、位置誤差量Δｘ，Δｙ、及び回転誤差量Δｒｚを算出して、ロボット搭載移動装置の姿勢を補正しているが、この形態に限定されない。基準になる識別図形の位置である第１識別位置と、作業を行う前に位置を確認するためにカメラで撮影した識別図形を含む画像から算出される識別図形の位置である第２識別位置と、に基づいて、ワークなどの対象の対象位置を取得し、ロボットのハンド部の位置を補正する形態でもよい。つまり、位置誤差量Δｘ，Δｙ、及回転誤差量Δｒｚを算出せず、直接、対象位置を取得する形態でもよい。
Fourth Embodiment
In the above embodiments, the position error amounts Δx, Δy, and rotation error amount Δrz are calculated to correct the posture of the robot-mounted moving device, but this is not limited to the above. A configuration may also be used in which the target position of a target such as a workpiece is obtained based on a first identification position, which is the position of an identification figure that serves as a reference, and a second identification position, which is the position of an identification figure calculated from an image including the identification figure captured by a camera to check the position before performing work, and the position of the hand part of the robot is corrected. In other words, a configuration may also be used in which the target position is obtained directly without calculating the position error amounts Δx, Δy, and rotation error amount Δrz.
また、これまでの実施形態では、ワークの着脱を例に主に説明したが、これに限定されない。対象は、ワークの他に、工具、ＡＴＣカメラ、計測器などがある。工作機械内に着脱して用いられるものを対象とする。これらの対象は、ロボット搭載移動装置で搬送することができるためである。 In addition, in the embodiments described above, the attachment and detachment of a workpiece has been mainly described as an example, but this is not limiting. In addition to workpieces, objects include tools, ATC cameras, measuring instruments, etc. The objects are objects that are attached and detached within machine tools. This is because these objects can be transported by a robot-mounted moving device.
そこで、まず、ロボット搭載移動装置は、工作機械内に配された識別図形と平行な平面内で設定される第１軸と第２軸とにおける識別図形の位置を第１識別位置（例えば、平面内の２軸を基準にした位置座標）をティーチングで記憶する。第１識別位置は、工作機械内からワーク、工具、ＡＴＣカメラ、計測器などの対象を取り出す動作、または、工作機械内にワーク、工具、ＡＴＣカメラ、計測器などの対象を設置する動作を行う際のロボット搭載移動装置の位置として第１装置位置と関連付けられた情報である。ここで、第１軸と第２軸とは交差していればよく、直交していなくてもよい。平面内で位置（座標）が判別できる情報を提供できる軸であればよい。もちろん、直交するｘ軸とｙ軸の関係が好ましい形態ではある。また、本実施形態のロボット搭載移動装置の第１装置位置は、回転などの位置変化も含めた位置情報である。 First, the robot-mounted moving device stores the position of the identification figure on the first and second axes set in a plane parallel to the identification figure arranged in the machine tool as the first identification position (for example, position coordinates based on the two axes in the plane) by teaching. The first identification position is information associated with the first device position as the position of the robot-mounted moving device when performing the operation of taking out an object such as a workpiece, tool, ATC camera, or measuring instrument from the machine tool, or the operation of installing an object such as a workpiece, tool, ATC camera, or measuring instrument in the machine tool. Here, the first and second axes only need to intersect, and do not need to be orthogonal. Any axis that can provide information that can distinguish the position (coordinates) in the plane will suffice. Of course, the relationship between the x-axis and y-axis that are orthogonal is a preferable form. In addition, the first device position of the robot-mounted moving device in this embodiment is position information that also includes position changes such as rotation.
第１識別位置は、対象の位置である対象位置と関連付けられている。対象位置は、工具の位置、ワークの位置などの対象自体の位置情報でも良いし、ワークを取り付けている主軸のワーク取付位置、工具を取り付けている主軸や刃物台の工具取付位置などの設置位置や取り外し位置などの位置情報でもよい。 The first identification position is associated with a target position, which is the position of the target. The target position may be position information of the target itself, such as the position of a tool or the position of a workpiece, or may be position information such as an installation position or removal position, such as the workpiece mounting position of a spindle on which a workpiece is mounted, or the tool mounting position of a spindle or tool rest on which a tool is mounted.
ロボット搭載移動装置は、例えば、他の第２工作機械の前から移動し、ワークを設置する第１工作機械の前に移動し、第１工作機械の前で停止する。ロボット搭載移動装置が停止した停止位置は、第２装置位置になる。この第２装置位置は、第１装置位置と同じであれば、補正を行うことなく、ワークを設置できる。本実施形態のロボット搭載移動装置は、移動し停止した際の停止位置が第１装置位置と異なる場合があるため、そのような場合、第２装置位置を基準にして見た場合のワーク設置位置も変わるため、ハンドの位置の補正を行う必要がある。 For example, the robot-mounted moving device moves from in front of another second machine tool, moves in front of the first machine tool on which the workpiece is to be placed, and stops in front of the first machine tool. The position where the robot-mounted moving device stops becomes the second device position. If this second device position is the same as the first device position, the workpiece can be placed without correction. In the robot-mounted moving device of this embodiment, the stopping position after moving and stopping may differ from the first device position. In such a case, the workpiece placement position when viewed from the second device position as a reference will also change, and so the hand position must be corrected.
そこで、ロボット搭載移動装置は、第２装置位置においてカメラで撮影を行う。ロボット搭載移動装置のカメラで撮影された画像の中に識別図形があれば、ロボット搭載移動装置は、第２装置位置における識別図形の第２識別位置を取得する。ロボット搭載移動装置は、記憶している第１識別位置とカメラ撮影で取得した第２識別位置とを用いて、第２装置位置における対象位置の情報を取得する。そして、ロボット搭載移動装置は、対象位置の情報に基づいてロボットのハンド部の位置を、識別図形を含む平面内での(a)第１軸上の移動と(b)第２軸上の移動と(c)前記平面内での回転移動とで補正し、ハンド部で把持していたワークを工作機械内の所定位置に設置する。 The robot-mounted mobile device then takes an image with a camera at the second device position. If an identification figure is present in the image taken by the camera of the robot-mounted mobile device, the robot-mounted mobile device acquires a second identification position of the identification figure at the second device position. The robot-mounted mobile device acquires information on the target position at the second device position using the stored first identification position and the second identification position acquired by camera photography. Then, based on the information on the target position, the robot-mounted mobile device corrects the position of the robot's hand unit by (a) movement on the first axis, (b) movement on the second axis, and (c) rotational movement within the plane including the identification figure, and places the workpiece held by the hand unit at a predetermined position within the machine tool.
ここで、第１識別位置は、例えば、第１装置位置を原点と考えた場合に第１軸をＸ１軸とし第２軸をＹ１軸とすると、（ｘ１，ｙ１，ｒｚ１）となる。第１識別位置は、対象の位置である対象位置（ｘ１１，y１１，ｒｚ１１）と関連付けられている。第２識別位置は、第２装置位置を原点と考えた場合に第１軸をＸ２軸とし第２軸をＹ２軸とすると（ｘ２,ｙ２,ｒｚ２）となる。第１装置位置と第２装置位置とが同じであれば、（ｘ２,ｙ２,ｒｚ２）と（ｘ１,ｙ１,ｒｚ１）とは同じ位置となる。そのため、第２装置位置を基準にして見た場合の対象位置も（ｘ１１，ｙ１１，ｒｚ１１）位置情報と同じである。 Here, the first identified position is, for example, (x1, y1, rz1) when the first axis is the X1 axis and the second axis is the Y1 axis when the first device position is considered to be the origin. The first identified position is associated with the target position (x11, y11, rz11), which is the target position. The second identified position is (x2, y2, rz2) when the first axis is the X2 axis and the second axis is the Y2 axis when the second device position is considered to be the origin. If the first device position and the second device position are the same, (x2, y2, rz2) and (x1, y1, rz1) are the same position. Therefore, the target position when viewed based on the second device position is also the same as the (x11, y11, rz11) position information.
しかし、前述したようにロボット搭載移動装置は、工作機械間を移動するため、第１装置位置と第２装置位置が異なる場合がある。ここでは、第１識別位置が（ｘ１，ｙ１，０（ｒｚ１＝０））で、対象位置が（ｘ１１，ｙ１１，ｒｚ１１）の場合の説明を行う。この場合、第２識別位置は、第２装置位置を原点と考えた場合に第１軸をＸ２軸とし第２軸をＹ２軸とした場合で（ｘ２，ｙ２，０）ではなくなる。これは、第１識別位置と第２識別位置とは、実空間では同じ位置であるが、ロボット搭載移動装置（特に、ロボット搭載移動装置の移動部）の位置が異なるためである。特に、移動部の向きが異なっているためである。 However, as mentioned above, since the robot-mounted mobile device moves between machine tools, the first device position and the second device position may differ. Here, we will explain the case where the first identification position is (x1, y1, 0 (rz1 = 0)) and the target position is (x11, y11, rz11). In this case, if the second device position is considered to be the origin, and the first axis is the X2 axis and the second axis is the Y2 axis, the second identification position will not be (x2, y2, 0). This is because the first identification position and the second identification position are the same position in real space, but the positions of the robot-mounted mobile device (particularly the mobile unit of the robot-mounted mobile device) are different. In particular, this is because the orientation of the mobile unit is different.
そこで、本実施形態では、(i)第１軸をＸ２軸とし第２軸をＹ２軸とした場合の（ｘ２，ｙ２，ｒｚ２）の第２識別位置と、(ii)第１識別位置（ｘ１,Ｙ１，０）との関係から、Ｘ２軸とＹ２軸とのＸ２－Ｙ２座標系における対象の位置である対象位置の位置情報に変換する行列を用いて、対象位置（ｘ２２，ｙ２２，ｒｚ２２）を取得する。変換行列は、予め作成し、ロボット搭載移動装置に記憶させておいたものである。取得したＸ２軸とＹ２軸とにおける対象位置である（ｘ２２，ｙ２２,ｒｚ２２）の位置情報に基づいて、制御部は、ロボットのハンド部の位置を前記平面内での、(a)Ｘ２軸上の移動と、(b)Ｙ２軸上の移動と、(c)識別図形を含む平面内での回転移動とで補正し、ハンド部でワークや工具の交換などを行うように制御している。 In this embodiment, the target position (x22, y22, rz22) is acquired using a matrix that converts the position information of the target position, which is the target position in the X2-Y2 coordinate system of the X2 and Y2 axes, from the relationship between (i) the second identification position (x2, y2, rz2) when the first axis is the X2 axis and the second axis is the Y2 axis, and (ii) the first identification position (x1, Y1, 0). The conversion matrix is created in advance and stored in the robot-mounted moving device. Based on the acquired position information of the target position (x22, y22, rz22) on the X2 and Y2 axes, the control unit corrects the position of the robot's hand unit by (a) movement on the X2 axis, (b) movement on the Y2 axis, and (c) rotational movement in the plane including the identification figure, and controls the hand unit to replace the workpiece or tool.
本実施形態では、対象位置である（ｘ２２，ｙ２２，ｒｚ２２）の位置情報に変換する行列をロボット搭載移動装置が予め記憶して、それを用いて対象位置を取得しているが、これに限定されない。例えば、カメラ撮影で取得した画像から得られる識別図形の位置である（ｘ２，ｙ２，ｒｚ２）の位置情報と、その位置情報（第２識別位置）に対応付けした対象位置である（ｘ２２，ｙ２２，ｒｚ２２）の位置情報が記述されたテーブルを予めロボット搭載位置装置に記憶させておいてもよい。 In this embodiment, the robot-mounted moving device stores in advance a matrix that converts the target position (x22, y22, rz22) into position information, and acquires the target position using this matrix, but this is not limited to this. For example, a table describing the position information (x2, y2, rz2), which is the position of the identification figure obtained from an image captured by a camera, and the position information (x22, y22, rz22), which is the target position associated with that position information (second identification position), may be stored in advance in the robot-mounted position device.
また、本実施形態では、位置誤差量Δｘ，Δｙ、及回転誤差量Δｒｚの３つを算出せず、ハンドの位置補正を行っているが、位置誤差量Δｘ，Δｙを算出せず、回転誤差量Δｒｚを算出するような形態でもよい。例えば、第１識別位置と第２識別位置と変換行列とを用いて、第２装置位置におけるワークなどの対象のＸ座標（ｘ２２）とＹ座標（ｙ２２）、回転誤差量Δｒｚを算出する。そして、第１識別位置における対象位置の回転位置（ｒｚ１１）に、回転誤差量Δｒｚを加えることで、対象位置（ｘ２２，ｙ２２，ｒｚ１１＋Δｒｚ）を取得してもよい。 In addition, in this embodiment, the position of the hand is corrected without calculating the three position error amounts Δx, Δy, and rotation error amount Δrz, but it is also possible to calculate the rotation error amount Δrz without calculating the position error amounts Δx and Δy. For example, the X coordinate (x22) and Y coordinate (y22) and rotation error amount Δrz of an object such as a workpiece at the second device position are calculated using the first identification position, the second identification position, and a transformation matrix. Then, the rotation error amount Δrz may be added to the rotation position (rz11) of the object position at the first identification position to obtain the object position (x22, y22, rz11+Δrz).
本実施形態の位置情報は、ｘ座標、ｙ座標、回転座標（または回転量）の３つの情報である（ｘ，ｙ，ｒｚ）の位置情報を用いているがこれに限られない。例えば、座標（ｘ，ｙ，ｚ）３つと、回転座標または回転量（ｒｘ，ｒｙ，ｒｚ）３つとの６つの情報（ｘ，ｙ,ｚ，ｒｘ，ｒｙ,ｒｚ）を用いてもよい。情報の数は、必要に応じて、適宜選択・調整できる。例えば、対象位置として、(i)（ｘ２２,ｙ２２,ｚ１１,ｒｘ１１,ｒｙ１１,ｒｚ１１＋Δｒｚ）の位置情報や、(ii)（ｘ２２，ｙ２２，ｚ１１，０，０，ｒｚ１１＋Δｒｚ）の位置情報などを出力や取得する形態でもよい。（ｘ２２，ｙ２２，ｚ１１，０，０，ｒｚ１１＋Δｒｚ）の位置情報の例では、ｚ軸上での位置があるためｚ１１を残してある。基準を０とすればｒｘ１１とｒｙ１１とは０となり、平面内での移動では変化しないため０からの変更がない。このため、０と設定できる。このような位置情報を用いてもよいし、さらに、０の情報を削除し、４つ情報である（ｘ２２，ｙ２２，ｚ１１，ｒｚ１１＋Δｒｚ）の位置情報を対象位置として出力や取得する形態でもよい。 The position information in this embodiment uses position information (x, y, rz), which is three pieces of information: x coordinate, y coordinate, and rotation coordinate (or rotation amount), but is not limited to this. For example, six pieces of information (x, y, z, rx, ry, rz), consisting of three coordinates (x, y, z) and three rotation coordinates or rotation amounts (rx, ry, rz), may be used. The number of pieces of information can be appropriately selected and adjusted as necessary. For example, as the target position, position information such as (i) (x22, y22, z11, rx11, ry11, rz11 + Δrz) or (ii) (x22, y22, z11, 0, 0, rz11 + Δrz) may be output or acquired. In the example of position information (x22, y22, z11, 0, 0, rz11 + Δrz), z11 is left because there is a position on the z axis. If the reference is 0, then rx11 and ry11 will be 0, and as they do not change when moving within a plane, there is no change from 0. For this reason, they can be set to 0. This type of position information may be used, or further, the 0 information may be deleted, and the four pieces of position information (x22, y22, z11, rz11 + Δrz) may be output or acquired as the target position.
なお、いろいろな変形例を説明したが、各本実施形態でも説明したように、識別図形を含む平面内（ｘ，ｙ，ｒｚ）で、ハンド位置の補正を行うため、識別図形を含む平面内で高い精度でハンドの位置補正ができることが共通する効果である。 Although various modified examples have been described, as explained in each embodiment, the hand position is corrected within a plane (x, y, rz) that includes the identification figure, so the common effect is that the hand position can be corrected with high precision within the plane that includes the identification figure.
以上、本発明の一実施の形態について説明したが、本発明が採り得る具体的な態様は、何らこれに限定されるものではない。 Although one embodiment of the present invention has been described above, the specific aspects that the present invention can adopt are in no way limited to this.
例えば、上述した各実施形態では、前記識別図形として、複数の画素が二次元に配列されたマトリクス構造を備えたものを採用したが、これに限られるものではなく、撮像画像からロボット２５の姿勢の補正量を算出することができるものであれば、様々な図形を採用することができる。
For example, in each of the above-described embodiments, the identification figure has a matrix structure in which multiple pixels are arranged two-dimensionally, but this is not limited to this, and various figures can be used as long as they can calculate the amount of correction for the posture of the
また、第１の実施形態において、識別図形を含む平面内の第１軸と第２軸について、第１軸をｘ軸とし、第２軸をｙ軸として、各軸方向の位置誤差、及び平面内の回転軸をｚ軸としてその軸回り回転誤差を補正するようにしたが、これに限られるものではい。前記補正量算出部５０は、識別図形の位置によっては、第１軸または第２軸をｚ軸にしてもよい。この場合は、ｚ軸方向の位置誤差量を推定して、これに対応する補正量を算出するように構成し、また、前記自動運転制御部４７は、算出されたｚ軸方向の補正量に基づいて、ロボット２５の各作業姿勢におけるｚ軸方向の位置を補正するように構成されていても良い。尚、ｚ軸方向の位置誤差量は、例えば、基本画像大きさと現在の画像大きさとの倍率から算出することもできる。
In the first embodiment, the position error in the first axis and the second axis in the plane including the identification figure are corrected by setting the first axis as the x-axis and the second axis as the y-axis, and the rotation error around the axis is corrected by setting the rotation axis in the plane as the z-axis, but this is not limited to the above. Depending on the position of the identification figure, the correction
また、上記の各実施形態では、無人搬送車３５を用いた態様を例示したが、これに限定されるものではない。一般的な台車のように人が押して移動可能な搬送装置でもよい。この搬送装置上にロボット２５を搭載し、人力により当該搬送装置を工作機械１０の作業位置に搬送して、当該ロボット２５により工作機械１０に対してワークの着脱を実行させる態様としても良い。
In addition, in each of the above embodiments, an example is given of an automatic guided
また、上記の各実施形態では、工作機械として立形の旋盤を例示したが、これに限られるものではなく、横形の旋盤、立形及び横形のマシニングセンタの他、工具主軸とワーク主軸を備えた複合加工型の加工機械など、従前公知のあらゆる工作機械を適用することができる。 In addition, in each of the above embodiments, a vertical lathe is used as an example of a machine tool, but this is not limited to this, and any previously known machine tool can be used, such as a horizontal lathe, vertical and horizontal machining centers, and a multi-machining machine equipped with a tool spindle and a work spindle.
例えば、図１０に示すような、工具を回転させる工具主軸１０５を備えた横形の旋盤１００の場合、前記表示板１６をホルダ１０６によって水平に支持するとともに、このホルダ１０６を工具主軸１０５に装着するようにした態様を採ることができる。この場合、旋盤１００により加工を行うときには、ホルダ１０６を工具収容部である工具マガジンに格納しておき、前記ロボット２５により作業を行うときに、ホルダ１０６を工具マガジンから取り出して工具主軸１０５に装着する。尚、図１０において、符号１０１は第１主軸、符号１０３は第２主軸であり、これらは同軸且つ相互に対向するように配設される。また、符号１０２は第１主軸１０１に装着された第１チャック、符号１０４は第２主軸１０３に装着された第２チャックである。また、符号１０７は刃物台であり、符号１０８は刃物台１０７に設けられたタレット、符号１０９は、ワークＷ”を支持する支持治具であり、タレット１０８の外面に取り付けられている。
For example, in the case of a
また、上記の各実施形態では、ロボット座標系の内、ｘ軸及びｙ軸（ｘ’軸及びｙ’軸）を水平面内で設定し、ｚ軸を垂直方向に設定したが、これに限られるものではなく、座標軸の方向は任意に設定することができる。識別図形の座標軸ｘｔ軸，ｙｔ軸についても同様である。 In the above embodiments, the x-axis and y-axis (x'-axis and y'-axis) of the robot coordinate system are set in a horizontal plane, and the z-axis is set in a vertical direction, but this is not limiting and the directions of the coordinate axes can be set arbitrarily. The same is true for the xt -axis and yt - axis of the coordinate axis of the identification figure.
繰り返しになるが、上述した実施形態の説明は、すべての点で例示であって、制限的なものではない。当業者にとって変形および変更が適宜可能である。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲内と均等の範囲内での実施形態からの変更が含まれる。 To reiterate, the above-described description of the embodiment is illustrative in all respects and is not restrictive. Those skilled in the art may make appropriate modifications and changes. The scope of the present invention is indicated by the claims, not by the above-described embodiment. Furthermore, the scope of the present invention includes modifications from the embodiment within the scope of the claims and the scope equivalent thereto.
Claims (10)
(i)一つのカメラ、(ii)ワークまたは工具を把持するためのハンド部、(iii)前記ハンド部を可動可能に繋いでいる第２アーム部、及び(iv)第２アーム部を可動可能に繋いでいる第１アーム部を有するロボットと、
前記ロボットのハンド部の位置を制御する制御部と、
前記ロボットが搭載され、移動可能な移動部と、を備え、
前記制御部は、前記第１装置位置と異なる第２装置位置において、前記カメラで前記識別図形が撮影された際の前記平面内での前記識別図形の位置である第２識別位置と、前記第１識別位置とに基づいて、前記第２装置位置における前記ロボットのハンド部の位置を、該識別図形と平行な前記平面内での(a)第１軸上の移動と、(b)第２軸上の移動と、(c)前記平面内での回転移動とで制御し、工作機械内から対象を前記ハンド部で把持して取り出す動作を制御する、ロボット搭載移動装置。 A robot-mounted mobile device capable of autonomously moving around the machine tool, the robot-mounted mobile device storing, as a first identification position, an identification figure arranged in the machine tool, the identification figure having a matrix structure in which a plurality of square pixels are two-dimensionally arranged, the position of the identification figure at the first device position along a first axis and a second axis set in a plane parallel to the identification figure, the identification figure being stored as a first identification position, as associated information relating to a first device position as a position of the robot-mounted mobile device when performing an operation of removing an object from a machine tool or an operation of placing an object in the machine tool, the robot-mounted mobile device being capable of autonomously moving around the machine tool,
A robot having: (i) one camera; (ii) a hand unit for gripping a workpiece or a tool; (iii) a second arm unit movably connecting the hand unit; and (iv) a first arm unit movably connecting the second arm unit;
A control unit that controls a position of a hand unit of the robot;
a moving part on which the robot is mounted and which is movable ;
The control unit, at a second device position different from the first device position, controls the position of the hand unit of the robot at the second device position by (a) movement on a first axis, (b) movement on a second axis, and (c) rotational movement within the plane parallel to the identification figure based on a second identification position, which is the position of the identification figure within the plane when the identification figure is photographed by the camera, and the first identification position, and controls the operation of grasping and removing an object with the hand unit from within a machine tool .
請求項１に記載したロボット搭載移動装置と、を備え、
前記移動部は、前記工作機械に対して設定された作業位置に移動可能に構成され、
前記制御部は、予め設定された動作指令を含む動作プログラムに従って、前記ロボットに、作業開始姿勢、前記工作機械に設けられた姿勢補正用の識別図形に対して前記カメラを対向させることにより、該カメラよって前記識別図形を撮像する撮像姿勢、前記ワークに対して前記ハンド部を作用させるための１以上の作業姿勢を順次取らせるように構成され、
前記作業開始姿勢、撮像姿勢及び作業姿勢は、前記ロボットをティーチング操作することによって予め設定されるシステムであって、
前記識別図形は、所定の平面上に形成されるとともに、前記工作機械の加工領域内に配置され、
前記制御部は、前記ティーチング操作時に、前記ロボットを、前記第１装置位置としての撮像姿勢に移行させた状態で、前記カメラを動作させて前記識別図形の画像を基準画像として撮像し、前記動作プログラムに従って、前記ロボットを実動作させる際に、前記移動部が前記作業位置に移動した状態で、前記ロボットを、前記作業開始姿勢から前記第２装置位置としての前記撮像姿勢に移行させた後に前記カメラにより撮像される前記識別図形の画像、及び前記基準画像に基づいて、前記ロボットの現在の姿勢とティーチング操作時の姿勢との間における、前記第１識別位置と前記第２識別位置との差に対応する前記カメラの位置の誤差量であって、前記識別図形と平行な平面内で設定される相互に直交する第１軸及び第２軸方向における前記カメラの位置誤差量、及び前記第１軸及び第２軸と直交する第３軸回りの前記カメラの回転誤差量を推定し、推定された各誤差量に基づいて、前記作業姿勢における前記ハンド部に対する補正量を算出し、算出した補正量に基づいて、前記作業姿勢における前記ハンド部の位置を補正するように構成されたシステム。 A machine tool that performs a predetermined processing on a workpiece;
The robot-mounted moving device according to claim 1,
The moving unit is configured to be movable to a work position set with respect to the machine tool ,
the control unit is configured to cause the robot to sequentially assume a work start posture, an imaging posture for imaging an identification figure for posture correction provided on the machine tool by facing the camera to the identification figure, and one or more working postures for causing the hand unit to act on the workpiece, in accordance with an operation program including preset operation commands;
The work start posture, the image capturing posture, and the work posture are preset by a teaching operation of the robot,
the identification figure is formed on a predetermined plane and is arranged within a machining area of the machine tool;
the control unit , during the teaching operation, operates the camera to capture an image of the identification figure as a reference image while the robot is moved to an imaging posture as the first device position , and when the robot is actually operated in accordance with the operation program, with the moving unit moved to the work position, based on the image of the identification figure captured by the camera after the robot is moved from the work start posture to the imaging posture as the second device position and the reference image, estimates an amount of error in the position of the camera corresponding to the difference between the first identification position and the second identification position between the current posture of the robot and the posture during the teaching operation, the amount of error in the position of the camera in first and second axis directions that are mutually orthogonal and set in a plane parallel to the identification figure, and an amount of rotation error of the camera around a third axis that is orthogonal to the first and second axes, the amount of error being calculated based on each estimated error amount, and corrects the position of the hand unit in the working posture based on the calculated correction amount.
前記第１軸及び第２軸を、前記ティーチング操作時におけるロボットの姿勢に対応した座標系であるｘ軸及びｙ軸として、該ｘ軸－ｙ軸座標系における前記カメラの位置誤差量Δｘ，Δｙ、及びｘ軸及びｙ軸に直交する第３軸としてのｚ軸回りの前記カメラの回転誤差量Δｒｚを推定し、
推定した位置誤差量Δｘ，Δｙ、及び回転誤差量Δｒｚに基づいて、前記ｘ軸－ｙ軸座標系における、ティーチング操作時と現在との間の前記ハンド部の並進誤差量ｔｘ，ｔｙを下記の数式によって算出し、
算出された並進誤差量ｔｘ，ｔｙ、及び回転誤差量Δｒｚに基づいて、前記各作業姿勢における前記ハンド部の位置を補正するように構成された請求項２記載のシステム。
The first and second axes are defined as x- and y-axes, which are coordinate systems corresponding to the posture of the robot during the teaching operation. Position error amounts Δx and Δy of the camera in the x-y coordinate system and a rotation error amount Δrz of the camera around the z-axis, which is a third axis perpendicular to the x- and y-axes, are estimated;
Based on the estimated position error amounts Δx, Δy and rotation error amount Δrz, translation error amounts t x and t y of the hand unit between the time of the teaching operation and the present time in the x-y coordinate system are calculated by the following formulas:
3. The system according to claim 2, configured to correct the position of the hand unit in each of the working postures based on the calculated translation error amounts tx , ty and rotation error amount Δrz.
請求項１に記載したロボット搭載移動装置と、を備え、
前記移動部は、前記工作機械に対して設定された作業位置に移動可能に構成され、
前記制御部は、予め設定された動作指令を含む動作プログラムに従って、前記ロボットに、作業開始姿勢、前記工作機械に設けられた姿勢補正用の識別図形をカメラよって撮像する撮像姿勢、前記ワークに対して前記ハンド部を作用させるための１以上の作業姿勢を順次取らせるように構成され、
前記作業開始姿勢、撮像姿勢及び作業姿勢は、前記ロボットをティーチング操作することによって予め設定されるシステムであって、
前記識別図形は、所定の平面上に形成されるとともに、前記工作機械の加工領域内に配置され、
前記制御部は、前記ティーチング操作時に、前記ロボットを、前記第１装置位置としての撮像姿勢に移行させた状態で、前記カメラを動作させて前記識別図形の画像を基準画像として撮像し、前記動作プログラムに従って、前記ロボットを実動作させる際に、前記移動部が前記作業位置に移動した状態で、前記ロボットを、前記作業開始姿勢から前記第２装置位置としての前記撮像姿勢に移行させた後に前記カメラにより撮像される前記識別図形の画像、及び前記基準画像に基づいて、前記ロボットの現在の姿勢とティーチング操作時の姿勢との間における、前記第１識別位置と前記第２識別位置との差に対応する前記カメラの位置の誤差量であって、前記識別図形と平行な平面内で設定される相互に直交する第１軸及び第２軸方向、並びに前記第１軸及び第２軸と直交する第３軸方向における前記カメラの各位置誤差量と、前記第１軸、第２軸及び第３軸回りの前記カメラの各回転誤差量とを推定し、推定された各位置誤差量及び各回転後誤差量に基づいて、前記作業姿勢における前記ハンド部の位置を補正するように構成されたシステム。 A machine tool that performs a predetermined processing on a workpiece;
The robot-mounted moving device according to claim 1,
The moving unit is configured to be movable to a work position set with respect to the machine tool ,
the control unit is configured to sequentially cause the robot to take a work start posture, an image capturing posture for capturing an image of an identification figure for posture correction provided on the machine tool by a camera , and one or more working postures for causing the hand unit to act on the workpiece, in accordance with an operation program including preset operation commands ;
The work start posture, the image capturing posture, and the work posture are preset by a teaching operation of the robot,
the identification figure is formed on a predetermined plane and is arranged within a machining area of the machine tool;
the control unit , during the teaching operation, operates the camera to capture an image of the identification figure as a reference image while the robot is moved to an imaging posture as the first device position , and when the robot is actually operated in accordance with the operation program, with the moving unit moved to the work position, based on the image of the identification figure captured by the camera after the robot is moved from the work start posture to the imaging posture as the second device position and the reference image, estimates position error amounts of the camera corresponding to the difference between the first identification position and the second identification position between the current posture of the robot and the posture during the teaching operation, the position error amounts of the camera in first and second axial directions that are mutually orthogonal and set in a plane parallel to the identification figure, and a third axial direction that is orthogonal to the first and second axes, and each rotation error amount of the camera around the first, second and third axes, and corrects the position of the hand unit in the work posture based on the estimated position error amounts and each post-rotation error amount.
前記基準画像に基づいて、前記ロボットに対応したロボット座標系であって、前記ティーチング操作時のロボット座標系における、該ティーチング操作による撮像時のカメラ位置
前記実動作時に得られる前記識別図形の画像に基づいて、前記ティーチング操作時のロボット座標系における、該実動作による撮像時のカメラ位置
前記ティーチング操作時のロボット座標系における前記カメラ位置
推定された前記位置誤差量及び回転誤差量に基づいて、前記作業姿勢における前記ハンド部の位置を補正する処理とを実行するように構成された請求項６記載のシステム。 The control unit is
A robot coordinate system corresponding to the robot based on the reference image, the robot coordinate system at the time of the teaching operation, the camera position at the time of imaging by the teaching operation
Based on the image of the identification figure obtained during the actual operation, a camera position at the time of imaging by the actual operation in the robot coordinate system during the teaching operation is determined.
The camera position in the robot coordinate system during the teaching operation
7. The system according to claim 6, further comprising a process of correcting the position of the hand unit in the working posture based on the estimated position error amount and rotation error amount.
前記ティーチング操作時のロボット座標系における前記カメラ位置
ティーチング操作時の座標系におけるティーチング操作時のカメラ角度
前記実動作時のロボット座標系における前記カメラの位置誤差量として、前記ティーチング操作時のロボット座標系から前記実動作時のロボット座標系への並進行列
前記回転行列
前記補正量
The camera position in the robot coordinate system during the teaching operation
Camera angle during teaching operation in the coordinate system during teaching operation
As the position error amount of the camera in the robot coordinate system during the actual operation, a translation matrix from the robot coordinate system during the teaching operation to the robot coordinate system during the actual operation is
The rotation matrix
The correction amount
2. The robot-mounted moving device according to claim 1, wherein the control unit controls the camera so that an imaging optical axis of the camera is inclined obliquely with respect to the identification symbol when the identification symbol is photographed by the camera.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IBPCT/IB2019/001004 | 2019-09-11 | ||
| PCT/IB2019/001004 WO2021048579A1 (en) | 2019-09-11 | 2019-09-11 | System and machine tool |
| PCT/US2020/050073 WO2021050646A1 (en) | 2019-09-11 | 2020-09-10 | Robot-mounted moving device, system, and machine tool |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022530589A JP2022530589A (en) | 2022-06-30 |
| JP7482364B2 true JP7482364B2 (en) | 2024-05-14 |
Family
ID=74866149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021526426A Active JP7482364B2 (en) | 2019-09-11 | 2020-09-10 | Robot-mounted mobile device and system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7482364B2 (en) |
| WO (1) | WO2021048579A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116175256B (en) * | 2023-04-04 | 2024-04-30 | 杭州纳志机器人科技有限公司 | Automatic positioning method for loading and unloading of trolley type robot |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010162635A (en) | 2009-01-14 | 2010-07-29 | Fanuc Ltd | Method for correcting position and attitude of self-advancing robot |
| JP2015150666A (en) | 2014-02-18 | 2015-08-24 | 株式会社Ihi | Robot remote control system and robot remote control method |
| JP2017056546A (en) | 2015-09-14 | 2017-03-23 | ファナック株式会社 | Measurement system used for calibrating mechanical parameters of robot |
| JP2017071033A (en) | 2015-10-09 | 2017-04-13 | キヤノン株式会社 | Working reference object, working reference object manufacturing method, robot arm adjusting method, vision system, robot apparatus, and indicator member |
| JP2017074631A (en) | 2015-10-13 | 2017-04-20 | 富士電機株式会社 | Manufacturing system |
| CN107689061A (en) | 2017-07-11 | 2018-02-13 | 西北工业大学 | Rule schema shape code and localization method for indoor mobile robot positioning |
| JP2018058142A (en) | 2016-10-04 | 2018-04-12 | ファナック株式会社 | Robot system equipped with robot supported by movable truck |
| WO2018092222A1 (en) | 2016-11-16 | 2018-05-24 | 株式会社牧野フライス製作所 | Machine tool system |
| JP2019093533A (en) | 2017-11-28 | 2019-06-20 | ファナック株式会社 | Robot and robot system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5572102A (en) * | 1995-02-28 | 1996-11-05 | Budd Canada Inc. | Method and apparatus for vision control of welding robots |
| JP3998741B2 (en) * | 1995-07-12 | 2007-10-31 | ファナック株式会社 | Robot movement control method |
| JPH11156764A (en) * | 1997-11-28 | 1999-06-15 | Denso Corp | Locomotive robot device |
| JP2009091129A (en) * | 2007-10-10 | 2009-04-30 | Denso Corp | Workpiece grasping tool and workpiece transfer device using the same tool |
| ES2522921B2 (en) * | 2013-05-17 | 2015-07-30 | Loxin 2002, S.L. | Head and automatic machining procedure with vision |
| JP6415190B2 (en) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ROBOT DEVICE, ROBOT CONTROL PROGRAM, RECORDING MEDIUM, AND ROBOT DEVICE CONTROL METHOD |
| CN109927012B (en) * | 2019-04-08 | 2021-07-30 | 清华大学 | Mobile grabbing robot and automatic goods taking method |
-
2019
- 2019-09-11 WO PCT/IB2019/001004 patent/WO2021048579A1/en active Application Filing
-
2020
- 2020-09-10 JP JP2021526426A patent/JP7482364B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010162635A (en) | 2009-01-14 | 2010-07-29 | Fanuc Ltd | Method for correcting position and attitude of self-advancing robot |
| JP2015150666A (en) | 2014-02-18 | 2015-08-24 | 株式会社Ihi | Robot remote control system and robot remote control method |
| JP2017056546A (en) | 2015-09-14 | 2017-03-23 | ファナック株式会社 | Measurement system used for calibrating mechanical parameters of robot |
| JP2017071033A (en) | 2015-10-09 | 2017-04-13 | キヤノン株式会社 | Working reference object, working reference object manufacturing method, robot arm adjusting method, vision system, robot apparatus, and indicator member |
| JP2017074631A (en) | 2015-10-13 | 2017-04-20 | 富士電機株式会社 | Manufacturing system |
| JP2018058142A (en) | 2016-10-04 | 2018-04-12 | ファナック株式会社 | Robot system equipped with robot supported by movable truck |
| WO2018092222A1 (en) | 2016-11-16 | 2018-05-24 | 株式会社牧野フライス製作所 | Machine tool system |
| CN107689061A (en) | 2017-07-11 | 2018-02-13 | 西北工业大学 | Rule schema shape code and localization method for indoor mobile robot positioning |
| JP2019093533A (en) | 2017-11-28 | 2019-06-20 | ファナック株式会社 | Robot and robot system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022530589A (en) | 2022-06-30 |
| WO2021048579A1 (en) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220331970A1 (en) | Robot-mounted moving device, system, and machine tool | |
| WO2021039829A1 (en) | Production system | |
| JP6855492B2 (en) | Robot system, robot system control device, and robot system control method | |
| US7403648B2 (en) | Apparatus for generating three-dimensional model data | |
| US20040172164A1 (en) | Method and apparatus for single image 3D vision guided robotics | |
| CN110039520B (en) | Teaching and processing system based on image contrast | |
| JP7482364B2 (en) | Robot-mounted mobile device and system | |
| CN109732601B (en) | Method and device for automatically calibrating pose of robot to be perpendicular to optical axis of camera | |
| WO2023032400A1 (en) | Automatic transport device, and system | |
| WO2022091767A1 (en) | Image processing method, image processing device, robot mounted-type conveyance device, and system | |
| JP2022126768A (en) | Robot-equipped moving device | |
| JP6832408B1 (en) | Production system | |
| WO2022195938A1 (en) | Robot system positioning accuracy measurement method | |
| JP7012181B1 (en) | Robot system | |
| JP2016203282A (en) | Robot with mechanism for changing end effector attitude | |
| CN114571199A (en) | Screw locking machine and screw positioning method | |
| JP7015949B1 (en) | Sticking position measuring device and machine tool equipped with it | |
| JP6851535B1 (en) | Setting method using teaching operation | |
| JP2024068115A (en) | Robot-mounted moving device | |
| JP2021112809A (en) | Production system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210512 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240228 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20240405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7482364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |