JP5449112B2 - Welding status monitoring method and welding status monitoring device - Google Patents
Welding status monitoring method and welding status monitoring device Download PDFInfo
- Publication number
- JP5449112B2 JP5449112B2 JP2010258022A JP2010258022A JP5449112B2 JP 5449112 B2 JP5449112 B2 JP 5449112B2 JP 2010258022 A JP2010258022 A JP 2010258022A JP 2010258022 A JP2010258022 A JP 2010258022A JP 5449112 B2 JP5449112 B2 JP 5449112B2
- Authority
- JP
- Japan
- Prior art keywords
- tip
- imaging
- welding
- robot
- imaging means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、ＣＣＤカメラ等の撮像手段を用いて溶接ロボットでの溶接状況を監視する溶接状況監視方法及び溶接状況監視装置に関するものである。 The present invention relates to a welding situation monitoring method and a welding situation monitoring apparatus for monitoring a welding situation in a welding robot using an imaging means such as a CCD camera.
従来より、溶接ロボットにて溶接を行っている際には、ＣＣＤカメラを用いて溶接ロボットの先端部、即ち溶接アーク光や溶融池を撮像し、撮像した溶接アーク光をモニタ上に表示して溶接状況の監視を行っている。このように、溶接状況を監視する溶接状況監視装置として特許文献１に示すものがある。
特許文献１では、溶接ロボットの腕部にＣＣＤカメラを取り付け、このＣＣＤカメラの光軸を溶接ロボットの先端部（溶接アーク光や溶融池等）に向け、当該先端部をＣＣＤカメラにて撮像していた。
Conventionally, when welding is performed by a welding robot, a CCD camera is used to image the tip of the welding robot, that is, the welding arc light and the molten pool, and the imaged welding arc light is displayed on the monitor. We are monitoring the welding situation. Thus, there exists a thing shown in patent document 1 as a welding condition monitoring apparatus which monitors a welding condition.
In Patent Document 1, a CCD camera is attached to the arm of the welding robot, the optical axis of the CCD camera is directed to the tip of the welding robot (welding arc light, molten pool, etc.), and the tip is imaged by the CCD camera. It was.
しかしながら、特許文献１では、溶接するときに溶接ロボットの姿勢（腕部の姿勢）を変更すると、その姿勢によっては、溶接ロボットの先端部がＣＣＤカメラの死角に入り込み、溶接アーク光や溶融池を撮像できない状況が発生する場合がある。
そこで、ＣＣＤカメラを溶接ロボットの腕部に取り付けるのではなく、溶接ロボットとは別の場所（例えば、天井や壁など）に取り付けることによって死角の問題を解決することが考えられる。
However, in Patent Document 1, if the posture of the welding robot (arm portion posture) is changed during welding, depending on the posture, the tip of the welding robot enters the blind spot of the CCD camera, and welding arc light or molten pool is detected. There may be situations where imaging is not possible.
Therefore, it is conceivable to solve the blind spot problem by attaching the CCD camera to a place (for example, a ceiling or a wall) other than the welding robot instead of attaching it to the arm of the welding robot.
このように、ＣＣＤカメラを溶接ロボットとは別の場所に取り付けた場合、ＣＣＤカメラの設置位置を正確に把握することが必要となる。しかしながら、ＣＣＤカメラの設置位置を正確な３次元座標データとして取得することは、ＣＣＤカメラの取付誤差等の存在から困難な場合がある。このような場合は、溶接ロボットの先端部の位置との位置関係を正確に算出することができず、溶接ロボットの先端部の動きに合わせてＣＣＤカメラを正確に追従して動かすことが難しいのが実情である。 As described above, when the CCD camera is attached to a place different from the welding robot, it is necessary to accurately grasp the installation position of the CCD camera. However, it may be difficult to acquire the installation position of the CCD camera as accurate three-dimensional coordinate data due to the presence of an installation error of the CCD camera. In such a case, the positional relationship with the position of the tip of the welding robot cannot be calculated accurately, and it is difficult to move the CCD camera accurately following the movement of the tip of the welding robot. Is the actual situation.
本発明は、問題点に鑑み、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる溶接状況監視方法及び溶接状況監視装置を提供するようにしたものである。 In view of the problems, the present invention provides a welding situation monitoring method and a welding situation monitoring apparatus that can accurately grasp a welding situation using an imaging means even in a situation where the installation position of the imaging means is unknown. It is a thing.
前記目的を達成するため、本発明においては以下の技術的手段を講じた。
即ち、本発明における課題解決のための技術的手段は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める第４ステップと、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていることを特徴とする。
In order to achieve the above object, the present invention takes the following technical means.
That is, the technical means for solving the problem in the present invention is a welding situation in which an imaging means for imaging the tip of the welding robot is provided and the welding status is monitored by imaging the tip with the imaging means. In the monitoring method, at least in a situation where the installation position of the imaging means is unknown, a first step of capturing an image of the distal end portion of the welding robot and acquiring an image in which the distal end portion is reflected; an imaging tip located f P is the position, and a second step of obtaining a real tip position r P which is the position of the tip portion of the welding robot, the an imaging tip located f P and the actual tip position r P A third step for obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the two and the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ) Te, a fourth step of determining a transformation matrix c r T which relates the expression robotic tip position c P a real tip position r P and the camera coordinate, using the transformation matrix c r T obtained, actual on converting the tip position r P to the robot tip position c P in the camera coordinate, the imaging means is panned or tilted to the x and y coordinates of the robot tip position c P becomes 0, welding And a fifth step of monitoring the situation.
好ましくは、溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うとよい。
好ましくは、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
Preferably, the first step to the third step are performed before the welding operation, and the fourth step and the fifth step are performed in the actual welding operation.
Preferably, in the first step, the imaging means is set to a wide-angle magnification so that the distal end portion of the welding robot enters the field of view, and the distal end portion is imaged without moving the imaging means.
好ましくは、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
好ましくは、前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うとよい。
Preferably, in the first step, the distal end portion is imaged while moving the imaging means up and down or left and right so that the distal end portion of the welding robot enters the visual field.
Preferably, the first step to the third step may be performed again when the imaging tip position fP in the image of the imaging means is away from the predetermined position or center position on the image by a predetermined range.
本発明の他の技術的手段は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求めるマトリックス算出手段と、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていることを特徴とする。 Another technical means of the present invention includes an imaging means for imaging the tip of a welding robot, and in a welding status monitoring apparatus that monitors the welding status by imaging the tip with the imaging means, at least the imaging means In a situation where the installation position of the welding robot is unknown, preliminary imaging means for imaging the tip of the welding robot and acquiring an image in which the tip is reflected, and an imaging tip position f that is the position of the tip on the image Position acquisition means for acquiring P and the actual tip position rP which is the position of the tip of the welding robot, and a conversion parameter indicating the relationship between the acquired imaging tip position fP and the actual tip position rP ( x c , y c , z c , α c , β c , γ c ) and the calculated conversion parameters (x c , y c , z c , α c , β c , γ c ) are used. Te, the actual tip position r Using and the matrix calculation means for calculating a transformation matrix c r T which relates the expression robotic tip position c P in the camera coordinate, a transformation matrix c r T obtained, the actual tip position r P camera coordinate after having converted to the robot tip position c P at a monitoring imaging device for x and y coordinates of the robot tip position c P is the image pickup means so that 0 is panned or tilted, to monitor the welding situation It is characterized by providing.
好ましくは、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
好ましくは、前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
本実施形態に係る溶接状況監視方法の最も好ましい形態は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていて、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視方法の最も好ましい他の形態は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていて、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視装置の最も好ましい形態は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていて、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視装置の最も好ましい他の形態は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていて、 前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする。
Preferably, the preliminary imaging means sets the imaging means to a wide angle magnification so that the distal end portion of the welding robot enters the field of view, and images the distal end portion without moving the imaging means.
Preferably, the preliminary imaging means may image the tip while moving the imaging means up and down or left and right so that the tip of the welding robot enters the field of view.
The most preferable form of the welding status monitoring method according to the present embodiment is a welding status in which an imaging means for imaging the tip of the welding robot is provided and the welding status is monitored by imaging the tip with the imaging means. In the monitoring method, at least in a situation where the installation position of the imaging means is unknown, a first step of capturing an image of the distal end portion of the welding robot and acquiring an image in which the distal end portion is reflected; an imaging tip located f P is the position, and a second step of obtaining a real tip position r P which is the position of the tip portion of the welding robot, the an imaging tip located f P and the actual tip position r P A third step for obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the two and the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ) Used, by using a fourth step of determining a transformation matrix c r T which relates the expression robotic tip position c P a real tip position r P and the camera coordinate, a transformation matrix c r T obtained, on converting the real tip position r P to the robot tip position c P in the camera coordinate, the imaging means is panned or tilted to the x and y coordinates of the robot tip position c P becomes 0, And a fifth step of monitoring the welding status. In the first step, the imaging means is set to a wide-angle magnification so that the tip of the welding robot enters the field of view, and the imaging means is moved. The tip portion is imaged without the image.
Another most preferable form of the welding status monitoring method according to the present embodiment is to provide an imaging means for imaging the tip of the welding robot, and then monitor the welding status by imaging the tip with the imaging means. In the welding status monitoring method, at least in a situation where the installation position of the imaging means is unknown, a first step of imaging the tip of the welding robot and acquiring an image in which the tip is reflected, and a tip on the image an imaging tip located f P is the position of the part, and a second step of obtaining a real tip position r P which is the position of the tip portion of the welding robot, the imaging tip position f P and the actual tip position r A third step for obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship with P, and the obtained conversion parameters (x c , y c , z c , α c) , Β c , γ c ) Using a fourth step of determining a transformation matrix c r T relating the robotic tip position c P expressed by the real tip position r P and the camera coordinate, a transformation matrix c r T obtained using Te, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, the robot tip position c P of x and y coordinates becomes zero as panning or tilting the imaging device And imaging the tip while moving the imaging means up and down or left and right so that the tip of the welding robot enters the field of view. It is characterized by doing.
The most preferable mode of the welding condition monitoring apparatus according to the present embodiment is an welding condition monitoring apparatus that includes an imaging unit that images a distal end portion of a welding robot, and monitors the welding situation by imaging the distal end portion with the imaging unit. A pre-imaging unit that captures an image of the tip of the welding robot and obtains an image in which the tip is reflected in a situation where at least the installation position of the imaging unit is unknown, and a position of the tip on the image an imaging tip located f P, the position acquiring means for acquiring the actual tip position r P which is the position of the tip portion of the welding robot, the obtained imaging tip position f P and the relationship between the actual tip position r P Parameter calculation means for determining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the conversion parameters (x c , y c , z c , α c , β c , γ c ) Using a matrix calculation means for calculating a transformation matrix c r T relating the robotic tip position c P expressed by the real tip position r P and the camera coordinate, a transformation matrix c r T obtained using Te, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, the robot tip position c P of x and y coordinates becomes zero as panning or tilting the imaging device Monitoring image pickup means for monitoring the welding status, wherein the preliminary image pickup means sets the image pickup means at a wide angle magnification so that the tip of the welding robot enters the field of view, and the image pickup means is The distal end portion is imaged without moving.
The most preferable other form of the welding status monitoring apparatus according to the present embodiment includes an imaging unit that images the tip of the welding robot, and monitors the welding status by imaging the tip with the imaging unit. In the apparatus, at least in a situation where the installation position of the imaging means is unknown, preliminary imaging means for imaging the tip of the welding robot and acquiring an image in which the tip is reflected, and the position of the tip on the image an imaging tip located f P is, a position obtaining means for obtaining an actual tip position r P which is the position of the tip portion of the welding robot, obtained with the imaging tip position f P and the actual tip position r P Parameter calculation means for obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the two and the obtained conversion parameters (x c , y c , z c , α c , β c, c) using a matrix calculation means for calculating a transformation matrix c r T relating the robotic tip position c P expressed by the real tip position r P and the camera coordinate, a transformation matrix c r T obtained used, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, pan imaging means as x and y coordinates of the robot tip position c P is 0 or A pre-imaging means for imaging the tip while moving the imaging means up and down or left and right so that the tip of the welding robot is in the field of view. It is characterized by doing.
本発明によれば、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる。 According to the present invention, it is possible to accurately grasp the welding situation using the imaging unit even in a situation where the installation position of the imaging unit is unknown.
［第１実施形態］
以下、本発明の実施の形態を、図面に基づき説明する。
溶接ロボットの溶接状況を監視するにあたっては、ＣＣＤカメラ等を有する撮像手段を溶接ロボットとは離れた位置である天井や壁等に取り付け、ＣＣＤカメラにて溶接ロボットの先端部（溶接アーク光）を撮像することによって行っている。この場合、ＣＣＤカメラを取り付けた設置位置がデータとして得られていないと、溶接ロボットの先端部の位置と撮像した画像上における溶接ロボットの先端部との位置との関係が正確に求められず、溶接ロボットの先端部を動かしたときに、ＣＣＤカメラが先端部の動きに対して追従することができない場合がある。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
When monitoring the welding status of the welding robot, an imaging means having a CCD camera or the like is attached to the ceiling or wall, etc., away from the welding robot, and the tip of the welding robot (welding arc light) is attached by the CCD camera. This is done by taking an image. In this case, if the installation position to which the CCD camera is attached is not obtained as data, the relationship between the position of the tip of the welding robot and the position of the tip of the welding robot on the captured image cannot be accurately determined. When the tip of the welding robot is moved, the CCD camera may not be able to follow the movement of the tip.
そこで、本発明では、ＣＣＤカメラの設置位置が分からなくても、溶接ロボットの先端部を動かしたときに追従することができるようにしている。
本発明の溶接状況監視方法及び溶接状況監視装置について詳しく説明する。
図１は、アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
Therefore, in the present invention, even when the installation position of the CCD camera is not known, it is possible to follow when the tip of the welding robot is moved.
The welding status monitoring method and welding status monitoring device of the present invention will be described in detail.
FIG. 1 shows a welding robot that performs arc welding and a welding monitoring device that monitors the welding status of the welding robot.
図１に示すように、溶接ロボット１は、例えば、垂直多関節型の６軸のロボットであって、据付ベース２に近い第１軸Ａから順に、第２軸Ｂ、第３軸Ｃ、第４軸Ｄ、第５軸Ｅ及び第６軸Ｆの回転軸を備える。それぞれの回転軸は、据付ベース２から順に設けられた第１リンク部材３、第２リンク部材４、第３リンク部材５、第４リンク部材６、第５リンク部材７によって接続され、据付ベース２から最も離れていて一端が第６軸Ｆに連結される第６リンク部材８には、溶接を行う溶接ツール９が設けられている。また、溶接ロボット１は、当該溶接ロボットを制御するロボットコントローラ１０を備えている。 As shown in FIG. 1, the welding robot 1 is, for example, a vertical articulated 6-axis robot, and in order from the first axis A close to the installation base 2, the second axis B, the third axis C, the first axis A rotation axis of 4 axes D, 5th axis E, and 6th axis F is provided. The respective rotation shafts are connected by a first link member 3, a second link member 4, a third link member 5, a fourth link member 6, and a fifth link member 7 provided in order from the installation base 2. A welding tool 9 for welding is provided on the sixth link member 8 which is farthest from the end and is connected to the sixth shaft F at one end. The welding robot 1 also includes a robot controller 10 that controls the welding robot.
このような、溶接ロボット１では、ロボットコントローラ１０からの指令によって多数の回転軸Ａ〜Ｆの周りにリンク部材３〜８を揺動又は回転させることによって溶接ツール９に設けた溶接トーチ１２の向きを変えワークの溶接を行うことができる。
なお、溶接ロボット１は、垂直多関節型の６軸のロボットに限定されない。
一方、この溶接ロボット１を監視する溶接監視装置１５は、撮像手段１６と、制御装置１７とを備えている。
In such a welding robot 1, the direction of the welding torch 12 provided on the welding tool 9 by swinging or rotating the link members 3 to 8 around the multiple rotation axes A to F according to a command from the robot controller 10. Can be used to weld workpieces.
The welding robot 1 is not limited to a vertical articulated 6-axis robot.
On the other hand, the welding monitoring device 15 for monitoring the welding robot 1 includes an imaging means 16 and a control device 17.
撮像手段１６は、溶接ロボット１から離れた位置、例えば、溶接ロボット１が配置されている部屋の天井や側壁等に取り付けられており、溶接ロボット１の先端部（溶接トーチ１２の先端であって溶接アーク光）を撮像することができるようになっている。なお、溶接ロボット１の先端部を説明の便宜上、単に先端部１２ａとして表現することがある。
具体的には、撮像手段１６は、ＣＣＤカメラ１８と、このＣＣＤカメラ１８の光軸を上下方向（チルト方向）に向けたり左右方向（パン方向）に向けるためのカメラ移動部１９とを備えている。カメラ移動部１９は、制御装置１７からの指令によって作動し、ＣＣＤカメラ１８の光軸を上下方向又は左右方向に向けることができる。カメラ移動部１９は、制御装置１７からの指令によって動作するようになっている。
The imaging means 16 is attached to a position away from the welding robot 1, for example, the ceiling or side wall of the room where the welding robot 1 is arranged, and the tip of the welding robot 1 (the tip of the welding torch 12. Welding arc light) can be imaged. In addition, the front-end | tip part of the welding robot 1 may be expressed only as the front-end | tip part 12a for convenience of explanation.
Specifically, the imaging means 16 includes a CCD camera 18 and a camera moving unit 19 for directing the optical axis of the CCD camera 18 in the vertical direction (tilt direction) or in the horizontal direction (pan direction). Yes. The camera moving unit 19 is operated by a command from the control device 17 and can direct the optical axis of the CCD camera 18 in the vertical direction or the horizontal direction. The camera moving unit 19 operates according to a command from the control device 17.
制御装置１７は、ＣＣＤカメラ１８、カメラ移動部１９を制御するものであり、パソコン等で構成されている。この制御装置１７は、ＣＣＤカメラ１８及びロボットコントローラ１０と信号線やインサーネットケーブル等を介して接続しており、ＣＣＤカメラ１８にて撮像した画像データの取得、ＣＣＤカメラ１８を動かしたときの光軸の位置、画像上での先端部１２ａの位置である撮像先端部位置ｆＰ、実際の先端部１２ａの位置である実先端部位置ｒＰ等を取得することができるようになっている。 The control device 17 controls the CCD camera 18 and the camera moving unit 19 and is composed of a personal computer or the like. The control device 17 is connected to the CCD camera 18 and the robot controller 10 via a signal line, an internet cable, etc., and acquires image data captured by the CCD camera 18 and light when the CCD camera 18 is moved. position of the axis, the imaging tip is a position of the distal end portion 12a on the image position f P, and is capable of acquiring the real tip position r P or the like is the actual position of the tip 12a.
また、この制御装置１７には、ＣＣＤカメラ１８やカメラ移動部１９等を制御するためのプログラムが格納されている。このプログラムの処理により、溶接ロボット１の先端部１２ａを撮像し、この先端部１２ａが写り込んだ画像を取得する。画像上における先端部１２ａの位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部１２ａの位置である「実先端部位置ｒＰ」とを取得して、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が求められる。変換パラメータは、並進成分であるｘｃ，ｙｃ，ｚｃと、回転成分であるαｃ，βｃ，γｃとで表される。さらに、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。その後、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８をパン又はチルトさせ、溶接状況を監視する。言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を左右に動かしたり、上下方向に動かしたりする。 The control device 17 stores a program for controlling the CCD camera 18, the camera moving unit 19, and the like. By the processing of this program, the distal end portion 12a of the welding robot 1 is imaged, and an image in which the distal end portion 12a is reflected is acquired. The “imaging tip position fP ” that is the position of the tip 12a on the image and the “real tip position rP ” that is the position of the tip 12a of the welding robot 1 are acquired and the imaging tip position f is acquired. Conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between P and the actual tip position r P are obtained. The transformation parameters are represented by translation components x c , y c , z c and rotation components α c , β c , γ c . Furthermore, using the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ), the actual tip position rP and the robot tip position cP expressed in camera coordinates are obtained. Find the transformation matrix c r T to be related. Then, by using the transformation matrix c r T obtained, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, the camera optical axis so as to face the robot tip position, The CCD camera 18 is panned or tilted to monitor the welding situation. In other words, the CCD camera 18 is moved left and right or moved up and down so that the x-coordinate and y-coordinate of the robot tip position in camera coordinates are zero.
このプログラム（制御装置１７内のプログラム）は、主に、予備撮像手段２０、位置取得手段２１、パラメータ算出手段２２、マトリックス算出手段２３、監視撮像手段２４により構成されている。
次に、制御装置１７に格納されたプログラムや当該プログラムによるＣＣＤカメラ１８等の動作について説明する。
This program (a program in the control device 17) mainly includes a preliminary imaging unit 20, a position acquisition unit 21, a parameter calculation unit 22, a matrix calculation unit 23, and a monitoring imaging unit 24.
Next, operations of the program stored in the control device 17 and the CCD camera 18 and the like according to the program will be described.
まず、予備撮像手段２０は、撮像手段１６の設置位置が不明な状況下においてＣＣＤカメラ１８が撮像した溶接ロボット１の先端部１２ａの画像を取得する。
ここで、撮像手段１６の設置位置が不明な状況下とは、ＣＣＤカメラ１８を溶接ロボット１が存在する部屋の天井や壁に設置したときの設置位置（設置座標）がデータとして得られていない状況である。さらに言い換えると、溶接ロボット１の先端部１２ａの位置をＣＣＤカメラ１８が撮像した画像上での位置に変換するための変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が分からない状況下であって、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに応じて追従させるときに、溶接ロボット１の先端部１２ａをＣＣＤカメラ１８の光軸上に一致させるために必要な変換マトリックスｃ ｒＴが分からない状況下のことである。
First, the preliminary imaging unit 20 acquires an image of the distal end portion 12a of the welding robot 1 captured by the CCD camera 18 in a situation where the installation position of the imaging unit 16 is unknown.
Here, when the installation position of the imaging means 16 is unknown, the installation position (installation coordinates) when the CCD camera 18 is installed on the ceiling or wall of the room where the welding robot 1 exists is not obtained as data. Is the situation. In other words, conversion parameters (x c , y c , z c , α c , β c , γ c) for converting the position of the tip 12 a of the welding robot 1 into a position on an image captured by the CCD camera 18. ) In order to make the tip 12a of the welding robot 1 coincide with the optical axis of the CCD camera 18 when the CCD camera 18 is made to follow the movement of the tip 12a of the welding robot 1. is that under circumstances that do not know transformation matrix c r T required.
この予備撮像手段２０は、先端部１２ａの画像を取得する前に、オペレータ等がＣＣＤカメラ１８の光軸を先端部１２ａにむけてＣＣＤカメラ１８の位置を固定し、その上でＣＣＤカメラ１８においてズーム倍率を変化させることで広角倍率にして、溶接ロボット１の先端部１２ａを含む広い視野が撮像できるようにする。そして、広角倍率にした状態でＣＣＤカメラ１８を動かさないで先端部１２ａをＣＣＤカメラ１８で撮像する。 In this preliminary imaging means 20, the operator or the like fixes the position of the CCD camera 18 with the optical axis of the CCD camera 18 facing the distal end portion 12 a before acquiring the image of the distal end portion 12 a. By changing the zoom magnification, the wide-angle magnification is set so that a wide field of view including the distal end portion 12a of the welding robot 1 can be imaged. Then, the distal end portion 12a is imaged by the CCD camera 18 without moving the CCD camera 18 in the wide angle magnification state.
位置取得手段２１は、予備撮像手段２０で画像上での先端部１２ａの位置である撮像先端部位置ｆＰを取得すると共に、実際の先端部１２ａの位置である実先端部位置ｒＰを取得する。
具体的には、位置取得手段２１は、予備撮像手段２０で先端部１２ａが写り込んだ画像を取得した際、当該画像を取得したときの実先端部位置ｒＰをロボットコントローラ１０から取得する。また、位置取得手段２１は、後述するように、画像上において写り込んでいる先端部１２ａを抽出して、抽出した先端部１２ａの位置を撮像先端部位置ｆＰとして取得する。そして、位置取得手段２１は、撮像先端部位置ｆＰ及び実先端部位置ｒＰを制御装置１７内に設けられたメモリ等に保存する。
The position acquisition unit 21 acquires the imaging tip part position fP which is the position of the tip part 12a on the image by the preliminary imaging unit 20, and also acquires the actual tip part position rP which is the actual position of the tip part 12a. To do.
Specifically, the position acquisition unit 21 acquires, from the robot controller 10, the actual tip position rP when the preliminary imaging unit 20 acquires the image in which the tip 12 a is captured, when the image is acquired. Further, as will be described later, the position acquisition unit 21 extracts the tip 12a reflected in the image, and acquires the extracted position of the tip 12a as the imaging tip position fP . Then, the position acquisition unit 21 stores the imaging front end position fP and the actual front end position rP in a memory or the like provided in the control device 17.
パラメータ算出手段２２は、画像に映り込んだ溶接ロボット１の先端部の位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部の実空間での位置である「実先端部位置ｒＰ」との関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるものである。
マトリックス算出手段２３は、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。
The parameter calculation means 22 includes “imaging tip position f P” that is the position of the tip of the welding robot 1 reflected in the image and “real tip position that is the position of the tip of the welding robot 1 in real space. The transformation parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship with “ r P” are obtained.
The matrix calculation means 23 uses the transformation parameters (x c , y c , z c , α c , β c , γ c ) and the robot tip position (actual tip position rP ) expressed in robot coordinates. determining a transformation matrix c r T which relates the expression robotic tip position c P in the camera coordinate.
すなわち、前述したパラメータ算出手段２２により、撮像先端部位置ｆＰと、実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が明らかとなっている。加えて、カメラ座標と画像上での座標（フレームバッファ座標）とは、カメラの取り付け位置によらず、その関係は明らかである。それ故、これらの情報を基にすれば、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを一意に求めることができ、マトリックス算出手段２３により、この変換マトリックスｃ ｒＴを算出している。 That is, by the parameter calculation means 22 described above, conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the imaging front end position f P and the actual front end position r P. Is clear. In addition, the relationship between the camera coordinates and the coordinates on the image (frame buffer coordinates) is clear regardless of the mounting position of the camera. Therefore, if on the basis of these information, it is possible to obtain the transformation matrix c r T relating the robotic tip position c P expressed by the real tip position r P and the camera coordinate uniquely, the matrix calculation The conversion matrix c r T is calculated by the means 23.
監視撮像手段２４は、マトリックス算出手段２３によって求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を動かし溶接状況を監視する。 Monitoring imaging unit 24 uses the transformation matrix c r T obtained by the matrix calculation unit 23, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, the camera optical axis The welding state is monitored by moving the CCD camera 18 so as to face the robot tip position, in other words, so that the x coordinate and y coordinate of the robot tip position in the camera coordinates are zero.
このように、制御装置１７に組み込まれたプログラム等を用いて撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め、その上で、変換マトリックスｃ ｒＴを求めることで、得られた変換マトリックスｃ ｒＴを基に、ＣＣＤカメラ１８の設置位置が分からなくても、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに確実に追従させることができる。 As described above, the conversion parameters (x c , y c , z c , α c , β) indicating the relationship between the imaging front end position f P and the actual front end position r P using a program or the like incorporated in the control device 17. c, obtains a gamma c), on its, by obtaining the transformation matrix c r T, based on the transformation matrix c r T obtained, even without knowing the installation position of the CCD camera 18, a CCD camera 18 The movement of the tip 12a of the welding robot 1 can be surely followed.
以下、溶接状況監視方法について詳しく説明する。なお、溶接状況監視方法の説明に合わせてＣＣＤカメラ１８等の動作も説明する。
溶接ロボット１にて溶接を行ったときの溶接状況を監視するには、図１に示すように、溶接開始前に溶接ロボット１が溶接をしたときに先端部１２ａ（溶接アーク光）が見える位置であって天井や壁に取り付けられたＣＣＤカメラ１８を用いる。このＣＣＤカメラ１８の設置位置は、制御装置１７やロボットコントローラ１０には教示されておらず、ＣＣＤカメラ１８の設置位置は分からない状況下である。
Hereinafter, the welding condition monitoring method will be described in detail. In addition, operation | movement of CCD camera 18 grade | etc., Is demonstrated according to description of the welding condition monitoring method.
In order to monitor the welding situation when welding is performed by the welding robot 1, as shown in FIG. 1, a position where the tip 12a (welding arc light) can be seen when the welding robot 1 welds before welding is started. The CCD camera 18 mounted on the ceiling or wall is used. The installation position of the CCD camera 18 is not taught to the control device 17 or the robot controller 10, and the installation position of the CCD camera 18 is unknown.
次に、溶接を開始する時には、第１ステップとして溶接ロボット１の先端部１２ａを撮像し、先端部１２ａが写り込んだ画像を取得する。この第１ステップでは、溶接ロボット１の先端部１２ａが視野に入るようにＣＣＤカメラ１８を広角倍率に設定しておき、ＣＣＤカメラ１８を動かさないで、溶接ロボット１の先端部１２ａのみを動かして溶接を行い、図２（ａ）に示すような先端部１２ａ（溶接アーク光）が写り込んでいる画像を取得する。このように先端部１２ａの画像を得るのは予備撮像手段２０等によって行う。 Next, when welding is started, the distal end portion 12a of the welding robot 1 is imaged as a first step, and an image in which the distal end portion 12a is reflected is acquired. In this first step, the CCD camera 18 is set to a wide angle magnification so that the tip 12a of the welding robot 1 enters the field of view, and only the tip 12a of the welding robot 1 is moved without moving the CCD camera 18. Welding is performed, and an image in which the tip 12a (welding arc light) as shown in FIG. Thus, the image of the front-end | tip part 12a is obtained by the preliminary imaging means 20 grade | etc.,.
そして、先端部１２ａの画像を取得すると、第２ステップでは、まず、画像上における先端部１２ａの位置である撮像先端部位置ｆＰを抽出する。この第２ステップでは、図２（ｂ）に示すように取得した先端部１２ａの画像を２値化し、２値化により抽出された画像において最大面積を有する領域の重心を算出することによって先端部１２ａ（溶接アーク光）の位置を検出する。第２ステップでは、画像上での先端部１２ａ（溶接アーク光）の位置（撮像先端部位置ｆＰ）は、初回はｆＰ１＝（ｆｘ１,ｆｙ１）とする。 When the image of the distal end portion 12a is acquired, in the second step, first, an imaging distal end position fP that is the position of the distal end portion 12a on the image is extracted. In this second step, as shown in FIG. 2B, the acquired image of the tip 12a is binarized, and the tip of the tip is calculated by calculating the center of gravity of the region having the maximum area in the image extracted by binarization. The position of 12a (welding arc light) is detected. In the second step, the position of the distal end portion 12a (the welding arc light) on the image (imaging tip position f P) is the first time to f P 1 = (f x 1 , f y 1).
また、第２ステップでは、先端部１２ａの画像を取得した際、同時刻の先端部１２ａの位置（画像に対応した先端部１２ａの位置）をロボットコントローラ１０から取得する。 第２ステップでは、先端部１２ａ（溶接アーク光）の３次元空間上の位置（実先端部位置ｒＰ）は、初回はｒＰ１＝（ｒｘ１,ｒｙ１,ｒｚ１）とする。
これによって、画像上での先端部１２ａの撮像先端部位置Ｐｆと３次元空間上の先端部１２ａの実先端部位置Ｐｒとの組合せを得ることができる。
In the second step, when the image of the tip portion 12a is acquired, the position of the tip portion 12a at the same time (the position of the tip portion 12a corresponding to the image) is acquired from the robot controller 10. In the second step, the position of the three-dimensional space of the tip portion 12a (the welding arc light) (the real tip position r P) is the first time r P 1 = a (r x 1, r y 1 , r z 1) To do.
Thereby, it is possible to obtain the combination of the real tip position P r of the tip portion 12a of the imaging tip position P f and 3-dimensional space of the tip portion 12a on the image.
溶接ロボット１の先端部１２ａをＴ秒ごとに動かし、第１ステップ及び第２ステップを繰り返し行うと、式（１）に示すようなｎ個の撮像先端部位置ｆＰと実先端部位置ｒＰとの組合せを得ることができる。このように撮像先端部位置ｆＰと実先端部位置ｒＰとの取得は、位置取得手段２１によって行う。得られた撮像先端部位置ｆＰ及び実先端部位置ｒＰはメモリに保存する。 When the tip 12a of the welding robot 1 is moved every T seconds and the first step and the second step are repeated, n imaging tip positions f P and actual tip positions r P as shown in Expression (1) are obtained. A combination with can be obtained. As described above, the acquisition of the imaging front end position fP and the actual front end position rP is performed by the position acquisition unit 21. The obtained imaging tip position fP and actual tip position rP are stored in the memory.
上述した第１ステップ及び第２ステップは、ＣＣＤカメラを固定して先端部１２ａを撮像しているため、各ステップを溶接ロボットで溶接を行いながら行うことが可能であるが、溶接ロボットで溶接を行う前の事前準備として、溶接ロボットを任意で動かして第１ステップ及び第２ステップを行ってもよい。
なお、溶接ロボット１を動かす時間Ｔ（間隔時間）において、間隔時間Ｔが非常に小さいと前後の位置が同じ値となり、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を上手く求めることができない。一方、間隔時間Ｔが非常に大きいと変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を旨く求めることができるものの、上述したような位置データ（撮像先端部位置ｆＰ、実先端部位置ｒＰ）を取得するのに時間が掛かってしまう。そのため、このようなことを考慮して間隔時間Ｔは、短すぎず長すぎないように適切に設定することが好ましい。なお、溶接ロボット１において溶接する速度は、１分間当たり４０ｃｍであるため、例えば、間隔時間Ｔは１５秒〜６０秒が好ましい。
In the first step and the second step described above, since the CCD camera is fixed and the distal end portion 12a is imaged, each step can be performed while welding is performed by the welding robot. As advance preparation before performing, you may move a welding robot arbitrarily and may perform a 1st step and a 2nd step.
In the time T (interval time) for moving the welding robot 1, if the interval time T is very small, the front and rear positions have the same value, and the conversion parameters (x c , y c , z c , α c , β c , γ c ) cannot be determined well. On the other hand, if the interval time T is very large, the conversion parameters (x c , y c , z c , α c , β c , γ c ) can be obtained well, but the position data as described above (imaging tip position) It takes time to obtain f P and the actual tip position rP ). Therefore, it is preferable to appropriately set the interval time T so that it is not too short and not too long in consideration of the above. In addition, since the welding speed in the welding robot 1 is 40 cm per minute, for example, the interval time T is preferably 15 seconds to 60 seconds.
図３は、第１実施形態における第１ステップと第２ステップとをまとめたものである。
位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１）。制御装置１７において間隔時間Ｔに達したか否かを判定するために、タイマーをゼロにセットし（Ｓ２：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ３）。先端部１２ａの画像を取得すると、上述したように、位置取得手段２１によって画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ4）。
FIG. 3 summarizes the first step and the second step in the first embodiment.
When the number of stored position data is zero (the number of registrations is zero), acquisition of the image of the distal end portion 12a by the preliminary imaging means 20 is started (S1). In order to determine whether or not the interval time T has been reached in the control device 17, the timer is set to zero (S2: time = 0), and the timer is counted up to take an image of the tip 12a (S3). . When the image of the distal end portion 12a is acquired, as described above, the position acquisition means 21 detects the distal end portion 12a on the image and determines the imaging distal end portion position fP (S4).
タイマーが間隔時間Ｔを超えると（Ｓ５、ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ６）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ７，ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
第１ステップ及び第２ステップが終了すると、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップを行う。
When the timer exceeds the interval time T (S5, yes), the imaging tip position fP and the actual tip position rP are stored (registered) (S6). The first step and the second step are terminated when the number of saved imaging tip position fP and actual tip position rP exceeds the preset number of registrations (number of registrations> n, S7, yes).
When the first step and the second step are completed, conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the imaging front end position fP and the actual front end position rP. The third step for obtaining is performed.
図４は、カメラ座標系、ロボット座標系、フレームバッファ座標系を示したものである。
ロボット座標系Σｒは、据付ベース２に固定された部分を原点とし、原点から見て溶接トーチ１２側を前方向としてＸ軸、左右方向（横方向）をＹ軸、上下方向をＺ軸としたものである。カメラ座標系Σｃは、ＣＣＤカメラ１８を原点とし、光軸方向にＺ軸、撮像面をＸ軸、Ｙ軸に分けたものである。フレームバッファ座標系Σｆは、画像上での座標であり、画像の中心を原点として、左右方向をＸ軸、上下方向をＹ軸としたものである。
FIG. 4 shows a camera coordinate system, a robot coordinate system, and a frame buffer coordinate system.
In the robot coordinate system Σr, the portion fixed to the installation base 2 is the origin, the X direction is the welding torch 12 side when viewed from the origin, the Y axis is the left and right direction (lateral direction), and the Z axis is the vertical direction. Is. The camera coordinate system Σc has the CCD camera 18 as the origin, and is divided into the Z axis in the optical axis direction and the imaging surface into the X axis and the Y axis. The frame buffer coordinate system Σf is a coordinate on the image, with the center of the image as the origin, the horizontal direction as the X axis, and the vertical direction as the Y axis.
ここで、実先端部位置ｒＰ＝（ｒｘ,ｒｙ,ｒｚ）とし、ＣＣＤカメラ１８から見た溶接ロボット１の先端部位置をcＰ＝（ｃｘ,ｃｙ,ｃｚ）とすると、実先端部位置ｒＰとＣＣＤカメラ１８から見た溶接ロボット１の先端部位置との関係は、式（２）となる。 Here, the real tip position r P = (r x, r y, r z) as the tip position of the welding robot 1 as viewed from the CCD camera 18 c P = (c x, c y, c z) and Then, the relationship between the actual tip position rP and the tip position of the welding robot 1 as viewed from the CCD camera 18 is expressed by Equation (2).
溶接ロボット１の先端部位置cＰ＝（ｃｘ,ｃｙ,ｃｚ）をＣＣＤカメラ１８の撮像面に透視変換した位置を（ｃｃｄｘ,ｃｃｄｙ）とすると、溶接ロボット１の先端部位置cＰと、ＣＣＤカメラ１８の撮像面との関係は式（３）となる。 Tip position c P = the welding robot 1 (c x, c y, c z) position (ccd x, ccd y) that perspective transformation on the imaging surface of the CCD camera 18 when the distal end position of the welding robot 1 and c P, the relationship between the imaging surface of the CCD camera 18 becomes equation (3).
さらに、ＣＣＤカメラ１８の撮像面をフレームバッファ（フレームメモリ）の位置、即ち、画像上での位置（撮像先端部位置ｆＰ）に変換すると、式（４）に示すものとなる。ここで、式（４）における（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が変換パラメータとなる。なお、式（４）におけるＦは、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）で構成される変換関数である。 Further, when the imaging surface of the CCD camera 18 is converted into the position of the frame buffer (frame memory), that is, the position on the image (imaging tip position fP ), the equation (4) is obtained. Here, (x c , y c , z c , α c , β c , γ c ) in Equation (4) is a conversion parameter. Incidentally, F in equation (4) is a transformation function consists of the transformation parameters (x c, y c, z c, α c, β c, γ c).
ここで、実先端部位置ｒＰ、撮像先端部位置ｆＰがｎ個あるときは、これらの関係は式（５）に示すようになるため、変換する式は式（６）に示すように表すことができる。 Here, when there are n actual front end position rP and imaging front end position fP , these relations are as shown in Expression (5). Therefore, the conversion expression is as shown in Expression (6). Can be represented.
第３ステップでは、例えば、変換関数Ｆは非線形関数なので、ヤコビアン行列を使って反復法により変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める。このような変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出は、パラメータ算出手段２２にて行う。
変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出後は、得られた変換パラメータを用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。
In the third step, for example, since the conversion function F is a non-linear function, conversion parameters (x c , y c , z c , α c , β c , γ c ) are obtained by an iterative method using a Jacobian matrix. Such conversion parameters (x c , y c , z c , α c , β c , γ c ) are calculated by the parameter calculation means 22.
After calculating the conversion parameters (x c , y c , z c , α c , β c , γ c ), the robot tip position (actual tip position) expressed in robot coordinates using the obtained conversion parameters. r P) and obtaining the transformation matrix c r T relate been a robot tip position c P expressed in the camera coordinate.
次に、第５ステップでは、第４ステップで求めた、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８の向きを変更する。
具体的には、まず、実先端部位置ｒＰを、式（２）に基づいてロボット先端部位置ｃＰに変換する。ｃＰは、は直交座標ＸＹＺで表現されているので、これを上下回転θ、左右回転φ、距離ｒとする極座標へ変換する。
Next, in the fifth step, using the transformation parameters (x c , y c , z c , α c , β c , γ c ) obtained in the fourth step, the actual tip position rP is calculated in camera coordinates. in terms of the conversion to the robot tip position c P, the camera optical axis so as to face the robot tip position, to change the orientation of the CCD camera 18.
Specifically, first, the actual tip position rP is converted to the robot tip position cP based on the equation (2). Since cP is expressed by orthogonal coordinates XYZ, it is converted into polar coordinates with vertical rotation θ, horizontal rotation φ, and distance r.
その後、直交座標においてｘ＝０，ｙ＝０の条件を満たすように、ＣＣＤカメラ１８を上下回転θおよび左右回転φで回転させることで、カメラ光軸をロボット先端部位置に合わせる。また、カメラからロボット先端部位置までの距離ｒに応じてズームを調整する。同時にピントも調整するとよい。
これらの操作により、ＣＣＤカメラ１８は、常に溶接ロボット１の先端部１２ａ、即ち、溶接アーク光を撮像することにより溶接状況を監視することが可能となる。
Thereafter, the camera optical axis is aligned with the position of the robot tip by rotating the CCD camera 18 with the vertical rotation θ and the horizontal rotation φ so as to satisfy the conditions of x = 0 and y = 0 in the orthogonal coordinates. Also, the zoom is adjusted according to the distance r from the camera to the robot tip position. Adjust the focus at the same time.
By these operations, the CCD camera 18 can always monitor the welding state by imaging the tip 12a of the welding robot 1, that is, the welding arc light.
第４ステップはマトリックス算出手段２３によって行い、第５ステップは監視撮像手段２４によって行う。
ところで、第１ステップ〜第５ステップについて、例えば、実際に溶接を行うに際し、簡単な溶接を行いながら変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理（第１ステップ〜第３ステップ）を行い、その後、複雑な溶接を行う際に第４ステップや第５ステップを行うようにしてもよい。
The fourth step is performed by the matrix calculation means 23, and the fifth step is performed by the monitoring imaging means 24.
By the way, for the first step to the fifth step, for example, when actually performing welding, conversion parameters (x c , y c , z c , α c , β c , γ c ) are obtained while performing simple welding. Then, the fourth step and the fifth step may be performed when performing complicated welding.
或いは、実際の溶接を行う時に第１ステップ〜第５ステップまでを一挙に行うのではなく、ワーク板に対して実際の溶接を行う前に、予めテスト板を用意して当該テスト板に対して溶接を行いながら第１ステップ〜第３ステップ（変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理）を行い、その後、実際のワーク板に対して溶接を行う際に第４ステップ及び第５ステップを行ってもよい。 Or, when performing actual welding, the first step to the fifth step are not performed at once, but a test plate is prepared in advance before performing actual welding on the work plate. The first step to the third step (processing until obtaining the conversion parameters (x c , y c , z c , α c , β c , γ c )) are performed while welding is performed. When performing welding, the fourth step and the fifth step may be performed.
なお、第１ステップ〜第３ステップを行う場合は、テスト板に対して溶接を行う代わりに、溶接ロボット１の先端部にＬＥＤなどの発光体を取り付け、この発光体を溶接アーク光に模して溶接ロボット１を動かして行っても良い。
以上、本発明によれば、ＣＣＤカメラ１８の設置位置が不明な状況下でも、ＣＣＤカメラ１８を用いて正確に溶接状況を把握することができる。また、溶接ロボット１の設置位置が不明な場合でも正確に溶接状況を撮像でき、オペレータは表示装置（モニタ）２５を通じ離れた場所から溶接状況を把握することが可能である。
［第２実施形態］
第１実施形態では、第１ステップにおいて溶接ロボット１の先端部１２ａの画像を得る際にＣＣＤカメラ１８を広角倍率してＣＣＤカメラ１８を動かさないで先端部１２ａを撮像していたが、第２実施形態では、ＣＣＤカメラ１８をパン方向やチルド方向に動かしながら溶接ロボット１の先端部１２ａを撮像している。なお、他のステップについては第１実施形態と同様であるため説明を省略する。
When performing the first to third steps, instead of welding the test plate, a light emitter such as an LED is attached to the tip of the welding robot 1, and this light emitter is imitated by welding arc light. Alternatively, the welding robot 1 may be moved.
As described above, according to the present invention, it is possible to accurately grasp the welding situation using the CCD camera 18 even in a situation where the installation position of the CCD camera 18 is unknown. Further, even when the installation position of the welding robot 1 is unknown, the welding situation can be accurately imaged, and the operator can grasp the welding situation from a remote place through the display device (monitor) 25.
[Second Embodiment]
In the first embodiment, when the image of the tip portion 12a of the welding robot 1 is obtained in the first step, the tip end portion 12a is imaged without moving the CCD camera 18 with the wide angle magnification of the CCD camera 18; In the embodiment, the distal end portion 12a of the welding robot 1 is imaged while moving the CCD camera 18 in the pan direction or the chilled direction. Since other steps are the same as those in the first embodiment, description thereof will be omitted.
図５は、第２実施形態において第１ステップから第２ステップに至る手順をまとめたものである。
第１実施形態と同様に、位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１０）。制御装置１７において間隔時間Ｔに達したか否かを判定するためにタイマーをゼロにセットし（Ｓ１１：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ１２）。撮像した画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ１３）。次に、撮像先端部位置ｆＰと画像中心（Ｃｘ，Ｃｙ）とのずれ量を算出する（Ｓ１４）。ずれ量は式（７）により求めることができる。
FIG. 5 summarizes the procedure from the first step to the second step in the second embodiment.
Similar to the first embodiment, when the number of saved position data is zero (the number of registrations is zero), the preliminary imaging unit 20 starts to acquire the image of the distal end portion 12a (S10). In order to determine whether or not the interval time T has been reached in the control device 17, the timer is set to zero (S11: time = 0), and the timer is counted up to take an image of the tip 12a (S12). The leading end 12a on the captured image is detected to determine the imaging leading end position fP (S13). Next, a deviation amount between the imaging front end position fP and the image center (C x , C y ) is calculated (S14). The amount of deviation can be obtained from equation (7).
ずれ量が予め定められた値（所定値）よりも大きい場合（Ｓ１５，Ｙｅｓ）は、ＣＣＤカメラ１８を動かして（Ｓ１６）、Ｓ１２にて、再び、先端部１２ａの画像を撮像する。このときのＣＣＤカメラ１８の移動量は、ずれ量にゲインパラメータを掛けることにより求める。即ち、ＣＣＤカメラ１８の移動量は、ずれ量を基準として決定する。
ずれ量が予め定められた値（所定値）以下である場合（Ｓ１５，Ｎｏ）は、画像に写り込んだ溶接ロボット１の先端部１２ａが画像の中心にあると判断する。そして、タイマーが間隔時間Ｔを超えているか否かを判断してタイマーが間隔時間Ｔを超えると（Ｓ１７、Ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ１８）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ１９，Ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
When the amount of deviation is larger than a predetermined value (predetermined value) (S15, Yes), the CCD camera 18 is moved (S16), and the image of the tip 12a is captured again in S12. The amount of movement of the CCD camera 18 at this time is obtained by multiplying the amount of deviation by a gain parameter. That is, the movement amount of the CCD camera 18 is determined based on the deviation amount.
When the amount of deviation is equal to or less than a predetermined value (predetermined value) (S15, No), it is determined that the tip 12a of the welding robot 1 reflected in the image is at the center of the image. Then, it is determined whether or not the timer exceeds the interval time T. When the timer exceeds the interval time T (S17, Yes), the imaging tip portion position fP and the actual tip portion position rP are stored (registered). (S18). The first step and the second step are ended when the number of saved imaging tip position fP and actual tip position rP exceeds the preset number of registrations (number of registrations> n, S19, Yes).
即ち、第２実施形態においては、画像に写り込んだ溶接ロボット１の先端部１２ａが画像中心になるようにＣＣＤカメラ１８をパン方向又はチルト方向に動かしながら、先端部１２ａを撮像している。
［第３実施形態］
第２実施形態において、第５ステップでは、変換行列によって変換した撮像先端部位置ｆＰが画像上に存在するようにＣＣＤカメラ１８を動かして溶接ロボット１の先端部１２ａを撮像しているが、第３実施形態では、撮像した先端部１２ａが画像中心から大幅にずれた場合は、再度、第１ステップ〜第３ステップをやり直し、変換行列の再計算を行うこととしている。
That is, in the second embodiment, the distal end portion 12a is imaged while moving the CCD camera 18 in the pan direction or the tilt direction so that the distal end portion 12a of the welding robot 1 reflected in the image is the center of the image.
[Third Embodiment]
In the second embodiment, in the fifth step, the distal end portion 12a of the welding robot 1 is imaged by moving the CCD camera 18 so that the imaging distal end position fP converted by the transformation matrix exists on the image. In the third embodiment, when the imaged tip 12a is significantly deviated from the center of the image, the first to third steps are performed again, and the conversion matrix is recalculated.
第５ステップにおいて、ＣＣＤカメラ１８を動かしながら溶接ロボット１の先端部１２ａを撮像するトラッキングをおこなっているときに、図６や式（８）に示すように、溶接ロボット１の先端部１２ａと画像中心との距離Ｄが所定値（Ｄｌｅｎ）以上となったとき、キャリブレーションが必要と判断して、第１実施形態又は第２実施形態に示した第１ステップ及び第２ステップを行うと共に、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め直す。 In the fifth step, when tracking is performed to image the tip 12a of the welding robot 1 while moving the CCD camera 18, the tip 12a and the image of the welding robot 1 are displayed as shown in FIG. When the distance D from the center is equal to or greater than a predetermined value (Dlen), it is determined that calibration is necessary, and the first step and the second step shown in the first embodiment or the second embodiment are performed and conversion is performed. The parameters (x c , y c , z c , α c , β c , γ c ) are obtained again.
即ち、第３実施形態においては、撮像手段１６の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うこととしている。
本発明は上記各実施形態に限定されるものではなく、発明の本質を変更しない範囲で各種工程など適宜変更可能である。
That is, in the third embodiment, when the imaging front end position fP in the image of the imaging means 16 is away from the predetermined position or the center position on the image by a predetermined range, the first to third steps are performed again. I am going to do that.
The present invention is not limited to the above embodiments, and various processes and the like can be appropriately changed without departing from the essence of the invention.
１ 溶接ロボット
２ 据付ベース
３ 第１リンク部材
４ 第２リンク部材
５ 第３リンク部材
６ 第４リンク部材
７ 第５リンク部材
８ 第６リンク部材
９ 溶接ツール
１０ ロボットコントローラ
１２ 溶接トーチ
１２ａ 先端部
１６ 撮像手段
１７ 制御装置
１８ ＣＣＤカメラ
１９ カメラ移動部
２０ 予備撮像手段
２１ 位置取得手段
２２ パラメータ算出手段
２３ マトリックス算出手段
２４ 監視撮像手段
DESCRIPTION OF SYMBOLS 1 Welding robot 2 Installation base 3 1st link member 4 2nd link member 5 3rd link member 6 4th link member 7 5th link member 8 6th link member 9 Welding tool 10 Robot controller 12 Welding torch 12a Tip part 16 Imaging Means 17 Control device 18 CCD camera 19 Camera moving unit 20 Preliminary imaging means 21 Position acquisition means 22 Parameter calculation means 23 Matrix calculation means 24 Monitoring imaging means
Claims (6)
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、
前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める第４ステップと、
求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、
を備えていて、
前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像する
ことを特徴とする溶接状況監視方法。 In the welding situation monitoring method for monitoring the welding situation by providing the imaging means for imaging the tip of the welding robot and then imaging the tip with the imaging means,
A first step of capturing an image of the tip of the welding robot and acquiring an image in which the tip is reflected, at least in a situation where the installation position of the imaging means is unknown;
A second step of acquiring an imaging tip position fP that is a position of the tip on the image and an actual tip position rP that is a position of the tip of the welding robot;
A third step of obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the imaging front end position f P and the actual front end position r P;
Using the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ), the actual tip position rP and the robot tip position cP expressed in camera coordinates are related. a fourth step of determining a transformation matrix c r T,
Using a transformation matrix c r T obtained, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, x and y coordinates of the robot tip position c P 0 A fifth step of panning or tilting the imaging means so that
The equipped,
In the first step, the imaging means is set to a wide angle magnification so that the tip of the welding robot enters the field of view, and the tip is imaged without moving the imaging means. Monitoring method.
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、
前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、
前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、
求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、
求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、
を備えていて、
前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像する
ことを特徴とする溶接状況監視方法。 In the welding situation monitoring method for monitoring the welding situation by providing the imaging means for imaging the tip of the welding robot and then imaging the tip with the imaging means,
A first step of capturing an image of the tip of the welding robot and acquiring an image in which the tip is reflected, at least in a situation where the installation position of the imaging means is unknown;
A second step of acquiring an imaging tip position fP that is a position of the tip on the image and an actual tip position rP that is a position of the tip of the welding robot ;
A third step of obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the imaging front end position f P and the actual front end position r P ;
Using the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ), the actual tip position rP and the robot tip position cP expressed in camera coordinates are related. a fourth step of determining a transformation matrix c r T,
Using a transformation matrix c r T obtained, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, x and y coordinates of the robot tip position c P 0 A fifth step of panning or tilting the imaging means so that
With
In the first step, the welding state monitoring method is characterized in that the distal end portion is imaged while moving the imaging means up and down or left and right so that the distal end portion of the welding robot enters the field of view .
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、
取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求めるマトリックス算出手段と、
求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、
を備えていて、
前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像する
ことを特徴とする溶接状況監視装置。 In a welding situation monitoring device comprising an imaging means for imaging the tip of a welding robot, and monitoring the welding situation by imaging the tip with the imaging means,
Under a situation where at least the installation position of the imaging means is unknown, preliminary imaging means for imaging the tip of the welding robot and acquiring an image in which the tip is reflected;
Position acquisition means for acquiring an imaging tip position fP that is a position of the tip on the image and an actual tip position rP that is a position of the tip of the welding robot;
Parameter calculation means for obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the acquired imaging front end position f P and the actual front end position r P;
Using the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ), the actual tip position rP and the robot tip position cP expressed in camera coordinates are related. a matrix calculating means for calculating a transformation matrix c r T,
Using a transformation matrix c r T obtained, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, x and y coordinates of the robot tip position c P 0 Panning or tilting the imaging means so as to be, and monitoring imaging means for monitoring the welding situation;
The equipped,
The preliminary imaging means sets the imaging means to a wide angle magnification so that the tip of the welding robot enters the field of view, and images the tip without moving the imaging means. apparatus.
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、
前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、
取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、
求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、
求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、
を備えていて、
前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像する
ことを特徴とする溶接状況監視装置。 In a welding situation monitoring device comprising an imaging means for imaging the tip of a welding robot, and monitoring the welding situation by imaging the tip with the imaging means,
Under a situation where at least the installation position of the imaging means is unknown, preliminary imaging means for imaging the tip of the welding robot and acquiring an image in which the tip is reflected;
Position acquisition means for acquiring an imaging tip position fP that is a position of the tip on the image and an actual tip position rP that is a position of the tip of the welding robot ;
Parameter calculation means for obtaining conversion parameters (x c , y c , z c , α c , β c , γ c ) indicating the relationship between the acquired imaging front end position f P and the actual front end position r P ;
Using the obtained conversion parameters (x c , y c , z c , α c , β c , γ c ), the actual tip position rP and the robot tip position cP expressed in camera coordinates are related. a matrix calculating means for calculating a transformation matrix c r T,
Using a transformation matrix c r T obtained, after converting the actual tip position r P to the robot tip position c P in the camera coordinate, x and y coordinates of the robot tip position c P 0 Panning or tilting the imaging means so as to be, and monitoring imaging means for monitoring the welding situation;
With
The welding state monitoring apparatus characterized in that the preliminary imaging means images the tip while moving the imaging means up and down or left and right so that the tip of the welding robot enters the field of view .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258022A JP5449112B2 (en) | 2010-11-18 | 2010-11-18 | Welding status monitoring method and welding status monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258022A JP5449112B2 (en) | 2010-11-18 | 2010-11-18 | Welding status monitoring method and welding status monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012106317A JP2012106317A (en) | 2012-06-07 |
| JP5449112B2 true JP5449112B2 (en) | 2014-03-19 |
Family
ID=46492521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010258022A Active JP5449112B2 (en) | 2010-11-18 | 2010-11-18 | Welding status monitoring method and welding status monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5449112B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110465949A (en) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | The planing method of welding robot and its swinging track |
| CN110465948A (en) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | The planing method of welding robot and its swinging track |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748447B2 (en) * | 2013-05-24 | 2020-08-18 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
| JP5949242B2 (en) * | 2012-07-11 | 2016-07-06 | セイコーエプソン株式会社 | Robot system, robot, robot control apparatus, robot control method, and robot control program |
| CN103600155B (en) * | 2013-10-25 | 2015-04-22 | 上海工程技术大学 | Real-time monitoring device for welding robot welding process |
| JP7163115B2 (en) | 2018-09-12 | 2022-10-31 | キヤノン株式会社 | ROBOT SYSTEM, ROBOT SYSTEM CONTROL METHOD, PRODUCT MANUFACTURING METHOD, CONTROL DEVICE, OPERATION DEVICE, IMAGING DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM |
| JP7133520B2 (en) * | 2019-08-06 | 2022-09-08 | 直之 村上 | Computer eyes (PCEYE) |
| CN110524582B (en) * | 2019-09-16 | 2023-06-02 | 西安中科光电精密工程有限公司 | Flexible assembly welding robot workstation |
| JP2022054435A (en) * | 2020-09-25 | 2022-04-06 | 日立建機株式会社 | Welding measurement system and welding measurement method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0430981A (en) * | 1990-05-24 | 1992-02-03 | Fujitsu Ltd | Control unit for television camera of remote control type robot |
| JPH05277973A (en) * | 1991-12-25 | 1993-10-26 | Sanyo Electric Co Ltd | Calibration method for manipulator |
| JP3448074B2 (en) * | 1992-08-14 | 2003-09-16 | 三菱重工業株式会社 | Correlation detection type 3D position measurement device |
| JPH10249786A (en) * | 1997-03-14 | 1998-09-22 | Yaskawa Electric Corp | Manipulator control device and operation supporting device |
| JP3912584B2 (en) * | 2001-12-20 | 2007-05-09 | 株式会社安川電機 | Remote control device |
| JP2003230959A (en) * | 2002-02-06 | 2003-08-19 | Toshiba Corp | Remote operation welding robot system |
| JP2009279706A (en) * | 2008-05-22 | 2009-12-03 | Shibuya Kogyo Co Ltd | Robot control device |
| JP5550407B2 (en) * | 2009-04-01 | 2014-07-16 | 株式会社神戸製鋼所 | Welding monitoring system |
-
2010
- 2010-11-18 JP JP2010258022A patent/JP5449112B2/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110465949A (en) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | The planing method of welding robot and its swinging track |
| CN110465948A (en) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | The planing method of welding robot and its swinging track |
| CN110465948B (en) * | 2019-09-09 | 2021-05-11 | 北京配天技术有限公司 | Welding robot and swing track planning method thereof |
| CN110465949B (en) * | 2019-09-09 | 2021-11-09 | 北京配天技术有限公司 | Welding robot and swing track planning method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012106317A (en) | 2012-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5449112B2 (en) | Welding status monitoring method and welding status monitoring device | |
| JP4167954B2 (en) | Robot and robot moving method | |
| JP2022028672A (en) | System and method for automatic hand-eye calibration of vision system for robot motion | |
| US11267142B2 (en) | Imaging device including vision sensor capturing image of workpiece | |
| JP6855492B2 (en) | Robot system, robot system control device, and robot system control method | |
| JP6795471B2 (en) | Robot system | |
| JP4021413B2 (en) | Measuring device | |
| JP5272617B2 (en) | Robot apparatus and control method of robot apparatus | |
| JP4741691B2 (en) | Robot system with robot abnormality monitoring function | |
| JP2017100240A (en) | Control device, robot and robot system | |
| JP2009269110A (en) | Assembly equipment | |
| JP2008254150A (en) | Teaching method and teaching device of robot | |
| JPWO2017146202A1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
| JP3442140B2 (en) | Position measurement device and position deviation correction device using three-dimensional visual sensor | |
| JP5550407B2 (en) | Welding monitoring system | |
| JP7306871B2 (en) | ROBOT OPERATING DEVICE, ROBOT, ROBOT OPERATING METHOD, PROGRAM AND ROBOT CONTROLLER | |
| JP5573537B2 (en) | Robot teaching system | |
| JP2007089042A (en) | Imaging apparatus | |
| JP2001158599A5 (en) | ||
| JP2018001332A (en) | Robot, control device, and robot system | |
| JP2013173191A (en) | Robot apparatus, robot control apparatus, robot control method, and robot control program | |
| JP2009279677A (en) | Robot control apparatus which carries out position teaching of robot using measuring device | |
| JP2009125839A (en) | Weld teaching position correction system | |
| CN107274447B (en) | Depth image acquisition device and depth image acquisition method | |
| JP3754340B2 (en) | Position detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5449112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |