JP5449112B2 - 溶接状況監視方法及び溶接状況監視装置 - Google Patents
溶接状況監視方法及び溶接状況監視装置 Download PDFInfo
- Publication number
- JP5449112B2 JP5449112B2 JP2010258022A JP2010258022A JP5449112B2 JP 5449112 B2 JP5449112 B2 JP 5449112B2 JP 2010258022 A JP2010258022 A JP 2010258022A JP 2010258022 A JP2010258022 A JP 2010258022A JP 5449112 B2 JP5449112 B2 JP 5449112B2
- Authority
- JP
- Japan
- Prior art keywords
- tip
- imaging
- welding
- robot
- imaging means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、ＣＣＤカメラ等の撮像手段を用いて溶接ロボットでの溶接状況を監視する溶接状況監視方法及び溶接状況監視装置に関するものである。
従来より、溶接ロボットにて溶接を行っている際には、ＣＣＤカメラを用いて溶接ロボットの先端部、即ち溶接アーク光や溶融池を撮像し、撮像した溶接アーク光をモニタ上に表示して溶接状況の監視を行っている。このように、溶接状況を監視する溶接状況監視装置として特許文献１に示すものがある。
特許文献１では、溶接ロボットの腕部にＣＣＤカメラを取り付け、このＣＣＤカメラの光軸を溶接ロボットの先端部（溶接アーク光や溶融池等）に向け、当該先端部をＣＣＤカメラにて撮像していた。
特許文献１では、溶接ロボットの腕部にＣＣＤカメラを取り付け、このＣＣＤカメラの光軸を溶接ロボットの先端部（溶接アーク光や溶融池等）に向け、当該先端部をＣＣＤカメラにて撮像していた。
しかしながら、特許文献１では、溶接するときに溶接ロボットの姿勢（腕部の姿勢）を変更すると、その姿勢によっては、溶接ロボットの先端部がＣＣＤカメラの死角に入り込み、溶接アーク光や溶融池を撮像できない状況が発生する場合がある。
そこで、ＣＣＤカメラを溶接ロボットの腕部に取り付けるのではなく、溶接ロボットとは別の場所（例えば、天井や壁など）に取り付けることによって死角の問題を解決することが考えられる。
そこで、ＣＣＤカメラを溶接ロボットの腕部に取り付けるのではなく、溶接ロボットとは別の場所（例えば、天井や壁など）に取り付けることによって死角の問題を解決することが考えられる。
このように、ＣＣＤカメラを溶接ロボットとは別の場所に取り付けた場合、ＣＣＤカメラの設置位置を正確に把握することが必要となる。しかしながら、ＣＣＤカメラの設置位置を正確な３次元座標データとして取得することは、ＣＣＤカメラの取付誤差等の存在から困難な場合がある。このような場合は、溶接ロボットの先端部の位置との位置関係を正確に算出することができず、溶接ロボットの先端部の動きに合わせてＣＣＤカメラを正確に追従して動かすことが難しいのが実情である。
本発明は、問題点に鑑み、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる溶接状況監視方法及び溶接状況監視装置を提供するようにしたものである。
前記目的を達成するため、本発明においては以下の技術的手段を講じた。
即ち、本発明における課題解決のための技術的手段は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める第４ステップと、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていることを特徴とする。
即ち、本発明における課題解決のための技術的手段は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める第４ステップと、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていることを特徴とする。
好ましくは、溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うとよい。
好ましくは、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
好ましくは、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
好ましくは、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
好ましくは、前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うとよい。
好ましくは、前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うとよい。
本発明の他の技術的手段は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求めるマトリックス算出手段と、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていることを特徴とする。
好ましくは、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
好ましくは、前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
本実施形態に係る溶接状況監視方法の最も好ましい形態は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていて、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視方法の最も好ましい他の形態は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていて、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視装置の最も好ましい形態は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていて、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視装置の最も好ましい他の形態は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていて、 前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする。
好ましくは、前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
本実施形態に係る溶接状況監視方法の最も好ましい形態は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていて、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視方法の最も好ましい他の形態は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていて、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視装置の最も好ましい形態は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていて、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする。
本実施形態に係る溶接状況監視装置の最も好ましい他の形態は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていて、 前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする。
本発明によれば、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる。
［第１実施形態］
以下、本発明の実施の形態を、図面に基づき説明する。
溶接ロボットの溶接状況を監視するにあたっては、ＣＣＤカメラ等を有する撮像手段を溶接ロボットとは離れた位置である天井や壁等に取り付け、ＣＣＤカメラにて溶接ロボットの先端部（溶接アーク光）を撮像することによって行っている。この場合、ＣＣＤカメラを取り付けた設置位置がデータとして得られていないと、溶接ロボットの先端部の位置と撮像した画像上における溶接ロボットの先端部との位置との関係が正確に求められず、溶接ロボットの先端部を動かしたときに、ＣＣＤカメラが先端部の動きに対して追従することができない場合がある。
以下、本発明の実施の形態を、図面に基づき説明する。
溶接ロボットの溶接状況を監視するにあたっては、ＣＣＤカメラ等を有する撮像手段を溶接ロボットとは離れた位置である天井や壁等に取り付け、ＣＣＤカメラにて溶接ロボットの先端部（溶接アーク光）を撮像することによって行っている。この場合、ＣＣＤカメラを取り付けた設置位置がデータとして得られていないと、溶接ロボットの先端部の位置と撮像した画像上における溶接ロボットの先端部との位置との関係が正確に求められず、溶接ロボットの先端部を動かしたときに、ＣＣＤカメラが先端部の動きに対して追従することができない場合がある。
そこで、本発明では、ＣＣＤカメラの設置位置が分からなくても、溶接ロボットの先端部を動かしたときに追従することができるようにしている。
本発明の溶接状況監視方法及び溶接状況監視装置について詳しく説明する。
図１は、アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
本発明の溶接状況監視方法及び溶接状況監視装置について詳しく説明する。
図１は、アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
図１に示すように、溶接ロボット１は、例えば、垂直多関節型の６軸のロボットであって、据付ベース２に近い第１軸Ａから順に、第２軸Ｂ、第３軸Ｃ、第４軸Ｄ、第５軸Ｅ及び第６軸Ｆの回転軸を備える。それぞれの回転軸は、据付ベース２から順に設けられた第１リンク部材３、第２リンク部材４、第３リンク部材５、第４リンク部材６、第５リンク部材７によって接続され、据付ベース２から最も離れていて一端が第６軸Ｆに連結される第６リンク部材８には、溶接を行う溶接ツール９が設けられている。また、溶接ロボット１は、当該溶接ロボットを制御するロボットコントローラ１０を備えている。
このような、溶接ロボット１では、ロボットコントローラ１０からの指令によって多数の回転軸Ａ〜Ｆの周りにリンク部材３〜８を揺動又は回転させることによって溶接ツール９に設けた溶接トーチ１２の向きを変えワークの溶接を行うことができる。
なお、溶接ロボット１は、垂直多関節型の６軸のロボットに限定されない。
一方、この溶接ロボット１を監視する溶接監視装置１５は、撮像手段１６と、制御装置１７とを備えている。
なお、溶接ロボット１は、垂直多関節型の６軸のロボットに限定されない。
一方、この溶接ロボット１を監視する溶接監視装置１５は、撮像手段１６と、制御装置１７とを備えている。
撮像手段１６は、溶接ロボット１から離れた位置、例えば、溶接ロボット１が配置されている部屋の天井や側壁等に取り付けられており、溶接ロボット１の先端部（溶接トーチ１２の先端であって溶接アーク光）を撮像することができるようになっている。なお、溶接ロボット１の先端部を説明の便宜上、単に先端部１２ａとして表現することがある。
具体的には、撮像手段１６は、ＣＣＤカメラ１８と、このＣＣＤカメラ１８の光軸を上下方向（チルト方向）に向けたり左右方向（パン方向）に向けるためのカメラ移動部１９とを備えている。カメラ移動部１９は、制御装置１７からの指令によって作動し、ＣＣＤカメラ１８の光軸を上下方向又は左右方向に向けることができる。カメラ移動部１９は、制御装置１７からの指令によって動作するようになっている。
具体的には、撮像手段１６は、ＣＣＤカメラ１８と、このＣＣＤカメラ１８の光軸を上下方向（チルト方向）に向けたり左右方向（パン方向）に向けるためのカメラ移動部１９とを備えている。カメラ移動部１９は、制御装置１７からの指令によって作動し、ＣＣＤカメラ１８の光軸を上下方向又は左右方向に向けることができる。カメラ移動部１９は、制御装置１７からの指令によって動作するようになっている。
制御装置１７は、ＣＣＤカメラ１８、カメラ移動部１９を制御するものであり、パソコン等で構成されている。この制御装置１７は、ＣＣＤカメラ１８及びロボットコントローラ１０と信号線やインサーネットケーブル等を介して接続しており、ＣＣＤカメラ１８にて撮像した画像データの取得、ＣＣＤカメラ１８を動かしたときの光軸の位置、画像上での先端部１２ａの位置である撮像先端部位置ｆＰ、実際の先端部１２ａの位置である実先端部位置ｒＰ等を取得することができるようになっている。
また、この制御装置１７には、ＣＣＤカメラ１８やカメラ移動部１９等を制御するためのプログラムが格納されている。このプログラムの処理により、溶接ロボット１の先端部１２ａを撮像し、この先端部１２ａが写り込んだ画像を取得する。画像上における先端部１２ａの位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部１２ａの位置である「実先端部位置ｒＰ」とを取得して、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が求められる。変換パラメータは、並進成分であるｘｃ，ｙｃ，ｚｃと、回転成分であるαｃ，βｃ，γｃとで表される。さらに、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。その後、求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８をパン又はチルトさせ、溶接状況を監視する。言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を左右に動かしたり、上下方向に動かしたりする。
このプログラム（制御装置１７内のプログラム）は、主に、予備撮像手段２０、位置取得手段２１、パラメータ算出手段２２、マトリックス算出手段２３、監視撮像手段２４により構成されている。
次に、制御装置１７に格納されたプログラムや当該プログラムによるＣＣＤカメラ１８等の動作について説明する。
次に、制御装置１７に格納されたプログラムや当該プログラムによるＣＣＤカメラ１８等の動作について説明する。
まず、予備撮像手段２０は、撮像手段１６の設置位置が不明な状況下においてＣＣＤカメラ１８が撮像した溶接ロボット１の先端部１２ａの画像を取得する。
ここで、撮像手段１６の設置位置が不明な状況下とは、ＣＣＤカメラ１８を溶接ロボット１が存在する部屋の天井や壁に設置したときの設置位置（設置座標）がデータとして得られていない状況である。さらに言い換えると、溶接ロボット１の先端部１２ａの位置をＣＣＤカメラ１８が撮像した画像上での位置に変換するための変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が分からない状況下であって、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに応じて追従させるときに、溶接ロボット１の先端部１２ａをＣＣＤカメラ１８の光軸上に一致させるために必要な変換マトリックスｃ ｒＴが分からない状況下のことである。
ここで、撮像手段１６の設置位置が不明な状況下とは、ＣＣＤカメラ１８を溶接ロボット１が存在する部屋の天井や壁に設置したときの設置位置（設置座標）がデータとして得られていない状況である。さらに言い換えると、溶接ロボット１の先端部１２ａの位置をＣＣＤカメラ１８が撮像した画像上での位置に変換するための変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が分からない状況下であって、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに応じて追従させるときに、溶接ロボット１の先端部１２ａをＣＣＤカメラ１８の光軸上に一致させるために必要な変換マトリックスｃ ｒＴが分からない状況下のことである。
この予備撮像手段２０は、先端部１２ａの画像を取得する前に、オペレータ等がＣＣＤカメラ１８の光軸を先端部１２ａにむけてＣＣＤカメラ１８の位置を固定し、その上でＣＣＤカメラ１８においてズーム倍率を変化させることで広角倍率にして、溶接ロボット１の先端部１２ａを含む広い視野が撮像できるようにする。そして、広角倍率にした状態でＣＣＤカメラ１８を動かさないで先端部１２ａをＣＣＤカメラ１８で撮像する。
位置取得手段２１は、予備撮像手段２０で画像上での先端部１２ａの位置である撮像先端部位置ｆＰを取得すると共に、実際の先端部１２ａの位置である実先端部位置ｒＰを取得する。
具体的には、位置取得手段２１は、予備撮像手段２０で先端部１２ａが写り込んだ画像を取得した際、当該画像を取得したときの実先端部位置ｒＰをロボットコントローラ１０から取得する。また、位置取得手段２１は、後述するように、画像上において写り込んでいる先端部１２ａを抽出して、抽出した先端部１２ａの位置を撮像先端部位置ｆＰとして取得する。そして、位置取得手段２１は、撮像先端部位置ｆＰ及び実先端部位置ｒＰを制御装置１７内に設けられたメモリ等に保存する。
具体的には、位置取得手段２１は、予備撮像手段２０で先端部１２ａが写り込んだ画像を取得した際、当該画像を取得したときの実先端部位置ｒＰをロボットコントローラ１０から取得する。また、位置取得手段２１は、後述するように、画像上において写り込んでいる先端部１２ａを抽出して、抽出した先端部１２ａの位置を撮像先端部位置ｆＰとして取得する。そして、位置取得手段２１は、撮像先端部位置ｆＰ及び実先端部位置ｒＰを制御装置１７内に設けられたメモリ等に保存する。
パラメータ算出手段２２は、画像に映り込んだ溶接ロボット１の先端部の位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部の実空間での位置である「実先端部位置ｒＰ」との関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるものである。
マトリックス算出手段２３は、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。
マトリックス算出手段２３は、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。
すなわち、前述したパラメータ算出手段２２により、撮像先端部位置ｆＰと、実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が明らかとなっている。加えて、カメラ座標と画像上での座標（フレームバッファ座標）とは、カメラの取り付け位置によらず、その関係は明らかである。それ故、これらの情報を基にすれば、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを一意に求めることができ、マトリックス算出手段２３により、この変換マトリックスｃ ｒＴを算出している。
監視撮像手段２４は、マトリックス算出手段２３によって求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を動かし溶接状況を監視する。
このように、制御装置１７に組み込まれたプログラム等を用いて撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め、その上で、変換マトリックスｃ ｒＴを求めることで、得られた変換マトリックスｃ ｒＴを基に、ＣＣＤカメラ１８の設置位置が分からなくても、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに確実に追従させることができる。
以下、溶接状況監視方法について詳しく説明する。なお、溶接状況監視方法の説明に合わせてＣＣＤカメラ１８等の動作も説明する。
溶接ロボット１にて溶接を行ったときの溶接状況を監視するには、図１に示すように、溶接開始前に溶接ロボット１が溶接をしたときに先端部１２ａ（溶接アーク光）が見える位置であって天井や壁に取り付けられたＣＣＤカメラ１８を用いる。このＣＣＤカメラ１８の設置位置は、制御装置１７やロボットコントローラ１０には教示されておらず、ＣＣＤカメラ１８の設置位置は分からない状況下である。
溶接ロボット１にて溶接を行ったときの溶接状況を監視するには、図１に示すように、溶接開始前に溶接ロボット１が溶接をしたときに先端部１２ａ（溶接アーク光）が見える位置であって天井や壁に取り付けられたＣＣＤカメラ１８を用いる。このＣＣＤカメラ１８の設置位置は、制御装置１７やロボットコントローラ１０には教示されておらず、ＣＣＤカメラ１８の設置位置は分からない状況下である。
次に、溶接を開始する時には、第１ステップとして溶接ロボット１の先端部１２ａを撮像し、先端部１２ａが写り込んだ画像を取得する。この第１ステップでは、溶接ロボット１の先端部１２ａが視野に入るようにＣＣＤカメラ１８を広角倍率に設定しておき、ＣＣＤカメラ１８を動かさないで、溶接ロボット１の先端部１２ａのみを動かして溶接を行い、図２（ａ）に示すような先端部１２ａ（溶接アーク光）が写り込んでいる画像を取得する。このように先端部１２ａの画像を得るのは予備撮像手段２０等によって行う。
そして、先端部１２ａの画像を取得すると、第２ステップでは、まず、画像上における先端部１２ａの位置である撮像先端部位置ｆＰを抽出する。この第２ステップでは、図２（ｂ）に示すように取得した先端部１２ａの画像を２値化し、２値化により抽出された画像において最大面積を有する領域の重心を算出することによって先端部１２ａ（溶接アーク光）の位置を検出する。第２ステップでは、画像上での先端部１２ａ（溶接アーク光）の位置（撮像先端部位置ｆＰ）は、初回はｆＰ１＝（ｆｘ１,ｆｙ１）とする。
また、第２ステップでは、先端部１２ａの画像を取得した際、同時刻の先端部１２ａの位置（画像に対応した先端部１２ａの位置）をロボットコントローラ１０から取得する。 第２ステップでは、先端部１２ａ（溶接アーク光）の３次元空間上の位置（実先端部位置ｒＰ）は、初回はｒＰ１＝（ｒｘ１,ｒｙ１,ｒｚ１）とする。
これによって、画像上での先端部１２ａの撮像先端部位置Ｐｆと３次元空間上の先端部１２ａの実先端部位置Ｐｒとの組合せを得ることができる。
これによって、画像上での先端部１２ａの撮像先端部位置Ｐｆと３次元空間上の先端部１２ａの実先端部位置Ｐｒとの組合せを得ることができる。
溶接ロボット１の先端部１２ａをＴ秒ごとに動かし、第１ステップ及び第２ステップを繰り返し行うと、式（１）に示すようなｎ個の撮像先端部位置ｆＰと実先端部位置ｒＰとの組合せを得ることができる。このように撮像先端部位置ｆＰと実先端部位置ｒＰとの取得は、位置取得手段２１によって行う。得られた撮像先端部位置ｆＰ及び実先端部位置ｒＰはメモリに保存する。
上述した第１ステップ及び第２ステップは、ＣＣＤカメラを固定して先端部１２ａを撮像しているため、各ステップを溶接ロボットで溶接を行いながら行うことが可能であるが、溶接ロボットで溶接を行う前の事前準備として、溶接ロボットを任意で動かして第１ステップ及び第２ステップを行ってもよい。
なお、溶接ロボット１を動かす時間Ｔ（間隔時間）において、間隔時間Ｔが非常に小さいと前後の位置が同じ値となり、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を上手く求めることができない。一方、間隔時間Ｔが非常に大きいと変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を旨く求めることができるものの、上述したような位置データ（撮像先端部位置ｆＰ、実先端部位置ｒＰ）を取得するのに時間が掛かってしまう。そのため、このようなことを考慮して間隔時間Ｔは、短すぎず長すぎないように適切に設定することが好ましい。なお、溶接ロボット１において溶接する速度は、１分間当たり４０ｃｍであるため、例えば、間隔時間Ｔは１５秒〜６０秒が好ましい。
なお、溶接ロボット１を動かす時間Ｔ（間隔時間）において、間隔時間Ｔが非常に小さいと前後の位置が同じ値となり、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を上手く求めることができない。一方、間隔時間Ｔが非常に大きいと変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を旨く求めることができるものの、上述したような位置データ（撮像先端部位置ｆＰ、実先端部位置ｒＰ）を取得するのに時間が掛かってしまう。そのため、このようなことを考慮して間隔時間Ｔは、短すぎず長すぎないように適切に設定することが好ましい。なお、溶接ロボット１において溶接する速度は、１分間当たり４０ｃｍであるため、例えば、間隔時間Ｔは１５秒〜６０秒が好ましい。
図３は、第１実施形態における第１ステップと第２ステップとをまとめたものである。
位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１）。制御装置１７において間隔時間Ｔに達したか否かを判定するために、タイマーをゼロにセットし（Ｓ２：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ３）。先端部１２ａの画像を取得すると、上述したように、位置取得手段２１によって画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ4）。
位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１）。制御装置１７において間隔時間Ｔに達したか否かを判定するために、タイマーをゼロにセットし（Ｓ２：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ３）。先端部１２ａの画像を取得すると、上述したように、位置取得手段２１によって画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ4）。
タイマーが間隔時間Ｔを超えると（Ｓ５、ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ６）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ７，ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
第１ステップ及び第２ステップが終了すると、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップを行う。
第１ステップ及び第２ステップが終了すると、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップを行う。
図４は、カメラ座標系、ロボット座標系、フレームバッファ座標系を示したものである。
ロボット座標系Σｒは、据付ベース２に固定された部分を原点とし、原点から見て溶接トーチ１２側を前方向としてＸ軸、左右方向（横方向）をＹ軸、上下方向をＺ軸としたものである。カメラ座標系Σｃは、ＣＣＤカメラ１８を原点とし、光軸方向にＺ軸、撮像面をＸ軸、Ｙ軸に分けたものである。フレームバッファ座標系Σｆは、画像上での座標であり、画像の中心を原点として、左右方向をＸ軸、上下方向をＹ軸としたものである。
ロボット座標系Σｒは、据付ベース２に固定された部分を原点とし、原点から見て溶接トーチ１２側を前方向としてＸ軸、左右方向（横方向）をＹ軸、上下方向をＺ軸としたものである。カメラ座標系Σｃは、ＣＣＤカメラ１８を原点とし、光軸方向にＺ軸、撮像面をＸ軸、Ｙ軸に分けたものである。フレームバッファ座標系Σｆは、画像上での座標であり、画像の中心を原点として、左右方向をＸ軸、上下方向をＹ軸としたものである。
ここで、実先端部位置ｒＰ＝（ｒｘ,ｒｙ,ｒｚ）とし、ＣＣＤカメラ１８から見た溶接ロボット１の先端部位置をcＰ＝（ｃｘ,ｃｙ,ｃｚ）とすると、実先端部位置ｒＰとＣＣＤカメラ１８から見た溶接ロボット１の先端部位置との関係は、式（２）となる。
溶接ロボット１の先端部位置cＰ＝（ｃｘ,ｃｙ,ｃｚ）をＣＣＤカメラ１８の撮像面に透視変換した位置を（ｃｃｄｘ,ｃｃｄｙ）とすると、溶接ロボット１の先端部位置cＰと、ＣＣＤカメラ１８の撮像面との関係は式（３）となる。
さらに、ＣＣＤカメラ１８の撮像面をフレームバッファ（フレームメモリ）の位置、即ち、画像上での位置（撮像先端部位置ｆＰ）に変換すると、式（４）に示すものとなる。ここで、式（４）における（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が変換パラメータとなる。なお、式（４）におけるＦは、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）で構成される変換関数である。
ここで、実先端部位置ｒＰ、撮像先端部位置ｆＰがｎ個あるときは、これらの関係は式（５）に示すようになるため、変換する式は式（６）に示すように表すことができる。
第３ステップでは、例えば、変換関数Ｆは非線形関数なので、ヤコビアン行列を使って反復法により変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める。このような変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出は、パラメータ算出手段２２にて行う。
変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出後は、得られた変換パラメータを用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。
変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出後は、得られた変換パラメータを用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める。
次に、第５ステップでは、第４ステップで求めた、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８の向きを変更する。
具体的には、まず、実先端部位置ｒＰを、式（２）に基づいてロボット先端部位置ｃＰに変換する。ｃＰは、は直交座標ＸＹＺで表現されているので、これを上下回転θ、左右回転φ、距離ｒとする極座標へ変換する。
具体的には、まず、実先端部位置ｒＰを、式（２）に基づいてロボット先端部位置ｃＰに変換する。ｃＰは、は直交座標ＸＹＺで表現されているので、これを上下回転θ、左右回転φ、距離ｒとする極座標へ変換する。
その後、直交座標においてｘ＝０，ｙ＝０の条件を満たすように、ＣＣＤカメラ１８を上下回転θおよび左右回転φで回転させることで、カメラ光軸をロボット先端部位置に合わせる。また、カメラからロボット先端部位置までの距離ｒに応じてズームを調整する。同時にピントも調整するとよい。
これらの操作により、ＣＣＤカメラ１８は、常に溶接ロボット１の先端部１２ａ、即ち、溶接アーク光を撮像することにより溶接状況を監視することが可能となる。
これらの操作により、ＣＣＤカメラ１８は、常に溶接ロボット１の先端部１２ａ、即ち、溶接アーク光を撮像することにより溶接状況を監視することが可能となる。
第４ステップはマトリックス算出手段２３によって行い、第５ステップは監視撮像手段２４によって行う。
ところで、第１ステップ〜第５ステップについて、例えば、実際に溶接を行うに際し、簡単な溶接を行いながら変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理（第１ステップ〜第３ステップ）を行い、その後、複雑な溶接を行う際に第４ステップや第５ステップを行うようにしてもよい。
ところで、第１ステップ〜第５ステップについて、例えば、実際に溶接を行うに際し、簡単な溶接を行いながら変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理（第１ステップ〜第３ステップ）を行い、その後、複雑な溶接を行う際に第４ステップや第５ステップを行うようにしてもよい。
或いは、実際の溶接を行う時に第１ステップ〜第５ステップまでを一挙に行うのではなく、ワーク板に対して実際の溶接を行う前に、予めテスト板を用意して当該テスト板に対して溶接を行いながら第１ステップ〜第３ステップ（変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理）を行い、その後、実際のワーク板に対して溶接を行う際に第４ステップ及び第５ステップを行ってもよい。
なお、第１ステップ〜第３ステップを行う場合は、テスト板に対して溶接を行う代わりに、溶接ロボット１の先端部にＬＥＤなどの発光体を取り付け、この発光体を溶接アーク光に模して溶接ロボット１を動かして行っても良い。
以上、本発明によれば、ＣＣＤカメラ１８の設置位置が不明な状況下でも、ＣＣＤカメラ１８を用いて正確に溶接状況を把握することができる。また、溶接ロボット１の設置位置が不明な場合でも正確に溶接状況を撮像でき、オペレータは表示装置（モニタ）２５を通じ離れた場所から溶接状況を把握することが可能である。
［第２実施形態］
第１実施形態では、第１ステップにおいて溶接ロボット１の先端部１２ａの画像を得る際にＣＣＤカメラ１８を広角倍率してＣＣＤカメラ１８を動かさないで先端部１２ａを撮像していたが、第２実施形態では、ＣＣＤカメラ１８をパン方向やチルド方向に動かしながら溶接ロボット１の先端部１２ａを撮像している。なお、他のステップについては第１実施形態と同様であるため説明を省略する。
以上、本発明によれば、ＣＣＤカメラ１８の設置位置が不明な状況下でも、ＣＣＤカメラ１８を用いて正確に溶接状況を把握することができる。また、溶接ロボット１の設置位置が不明な場合でも正確に溶接状況を撮像でき、オペレータは表示装置（モニタ）２５を通じ離れた場所から溶接状況を把握することが可能である。
［第２実施形態］
第１実施形態では、第１ステップにおいて溶接ロボット１の先端部１２ａの画像を得る際にＣＣＤカメラ１８を広角倍率してＣＣＤカメラ１８を動かさないで先端部１２ａを撮像していたが、第２実施形態では、ＣＣＤカメラ１８をパン方向やチルド方向に動かしながら溶接ロボット１の先端部１２ａを撮像している。なお、他のステップについては第１実施形態と同様であるため説明を省略する。
図５は、第２実施形態において第１ステップから第２ステップに至る手順をまとめたものである。
第１実施形態と同様に、位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１０）。制御装置１７において間隔時間Ｔに達したか否かを判定するためにタイマーをゼロにセットし（Ｓ１１：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ１２）。撮像した画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ１３）。次に、撮像先端部位置ｆＰと画像中心（Ｃｘ，Ｃｙ）とのずれ量を算出する（Ｓ１４）。ずれ量は式（７）により求めることができる。
第１実施形態と同様に、位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１０）。制御装置１７において間隔時間Ｔに達したか否かを判定するためにタイマーをゼロにセットし（Ｓ１１：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ１２）。撮像した画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ１３）。次に、撮像先端部位置ｆＰと画像中心（Ｃｘ，Ｃｙ）とのずれ量を算出する（Ｓ１４）。ずれ量は式（７）により求めることができる。
ずれ量が予め定められた値（所定値）よりも大きい場合（Ｓ１５，Ｙｅｓ）は、ＣＣＤカメラ１８を動かして（Ｓ１６）、Ｓ１２にて、再び、先端部１２ａの画像を撮像する。このときのＣＣＤカメラ１８の移動量は、ずれ量にゲインパラメータを掛けることにより求める。即ち、ＣＣＤカメラ１８の移動量は、ずれ量を基準として決定する。
ずれ量が予め定められた値（所定値）以下である場合（Ｓ１５，Ｎｏ）は、画像に写り込んだ溶接ロボット１の先端部１２ａが画像の中心にあると判断する。そして、タイマーが間隔時間Ｔを超えているか否かを判断してタイマーが間隔時間Ｔを超えると（Ｓ１７、Ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ１８）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ１９，Ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
ずれ量が予め定められた値（所定値）以下である場合（Ｓ１５，Ｎｏ）は、画像に写り込んだ溶接ロボット１の先端部１２ａが画像の中心にあると判断する。そして、タイマーが間隔時間Ｔを超えているか否かを判断してタイマーが間隔時間Ｔを超えると（Ｓ１７、Ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ１８）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ１９，Ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
即ち、第２実施形態においては、画像に写り込んだ溶接ロボット１の先端部１２ａが画像中心になるようにＣＣＤカメラ１８をパン方向又はチルト方向に動かしながら、先端部１２ａを撮像している。
［第３実施形態］
第２実施形態において、第５ステップでは、変換行列によって変換した撮像先端部位置ｆＰが画像上に存在するようにＣＣＤカメラ１８を動かして溶接ロボット１の先端部１２ａを撮像しているが、第３実施形態では、撮像した先端部１２ａが画像中心から大幅にずれた場合は、再度、第１ステップ〜第３ステップをやり直し、変換行列の再計算を行うこととしている。
［第３実施形態］
第２実施形態において、第５ステップでは、変換行列によって変換した撮像先端部位置ｆＰが画像上に存在するようにＣＣＤカメラ１８を動かして溶接ロボット１の先端部１２ａを撮像しているが、第３実施形態では、撮像した先端部１２ａが画像中心から大幅にずれた場合は、再度、第１ステップ〜第３ステップをやり直し、変換行列の再計算を行うこととしている。
第５ステップにおいて、ＣＣＤカメラ１８を動かしながら溶接ロボット１の先端部１２ａを撮像するトラッキングをおこなっているときに、図６や式（８）に示すように、溶接ロボット１の先端部１２ａと画像中心との距離Ｄが所定値（Ｄｌｅｎ）以上となったとき、キャリブレーションが必要と判断して、第１実施形態又は第２実施形態に示した第１ステップ及び第２ステップを行うと共に、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め直す。
即ち、第３実施形態においては、撮像手段１６の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うこととしている。
本発明は上記各実施形態に限定されるものではなく、発明の本質を変更しない範囲で各種工程など適宜変更可能である。
本発明は上記各実施形態に限定されるものではなく、発明の本質を変更しない範囲で各種工程など適宜変更可能である。
１ 溶接ロボット
２ 据付ベース
３ 第１リンク部材
４ 第２リンク部材
５ 第３リンク部材
６ 第４リンク部材
７ 第５リンク部材
８ 第６リンク部材
９ 溶接ツール
１０ ロボットコントローラ
１２ 溶接トーチ
１２ａ 先端部
１６ 撮像手段
１７ 制御装置
１８ ＣＣＤカメラ
１９ カメラ移動部
２０ 予備撮像手段
２１ 位置取得手段
２２ パラメータ算出手段
２３ マトリックス算出手段
２４ 監視撮像手段
２ 据付ベース
３ 第１リンク部材
４ 第２リンク部材
５ 第３リンク部材
６ 第４リンク部材
７ 第５リンク部材
８ 第６リンク部材
９ 溶接ツール
１０ ロボットコントローラ
１２ 溶接トーチ
１２ａ 先端部
１６ 撮像手段
１７ 制御装置
１８ ＣＣＤカメラ
１９ カメラ移動部
２０ 予備撮像手段
２１ 位置取得手段
２２ パラメータ算出手段
２３ マトリックス算出手段
２４ 監視撮像手段
Claims (6)
- 溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、
前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求める第４ステップと、
求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、
を備えていて、
前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像する
ことを特徴とする溶接状況監視方法。 - 溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、
前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する第２ステップと、
前記撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求める第３ステップと、
求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求める第４ステップと、
求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、
を備えていて、
前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像する
ことを特徴とする溶接状況監視方法。 - 溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うことを特徴とする請求項１又は２に記載の溶接状況監視方法。
- 前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うことを特徴とする請求項１〜３のいずれかに記載の溶接状況監視方法。
- 溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、
取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃ ｒＴを求めるマトリックス算出手段と、
求められた変換マトリックスｃ ｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、
を備えていて、
前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像する
ことを特徴とする溶接状況監視装置。 - 溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、
前記画像上における先端部の位置である撮像先端部位置 ｆ Ｐと、溶接ロボットの先端部の位置である実先端部位置 ｒ Ｐとを取得する位置取得手段と、
取得した撮像先端部位置 ｆ Ｐと実先端部位置 ｒ Ｐとの関係を示す変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を求めるパラメータ算出手段と、
求めた変換パラメータ（ｘ ｃ ，ｙ ｃ ，ｚ ｃ ，α ｃ ，β ｃ ，γ ｃ ）を用いて、実先端部位置 ｒ Ｐとカメラ座標で表現されたロボット先端部位置 ｃ Ｐとを関係づける変換マトリックス ｃ ｒ Ｔを求めるマトリックス算出手段と、
求められた変換マトリックス ｃ ｒ Ｔを用いて、実先端部位置 ｒ Ｐをカメラ座標でのロボット先端部位置 ｃ Ｐへ変換した上で、当該ロボット先端部位置 ｃ Ｐのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、
を備えていて、
前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像する
ことを特徴とする溶接状況監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258022A JP5449112B2 (ja) | 2010-11-18 | 2010-11-18 | 溶接状況監視方法及び溶接状況監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258022A JP5449112B2 (ja) | 2010-11-18 | 2010-11-18 | 溶接状況監視方法及び溶接状況監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012106317A JP2012106317A (ja) | 2012-06-07 |
| JP5449112B2 true JP5449112B2 (ja) | 2014-03-19 |
Family
ID=46492521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010258022A Active JP5449112B2 (ja) | 2010-11-18 | 2010-11-18 | 溶接状況監視方法及び溶接状況監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5449112B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110465948A (zh) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | 焊接机器人及其摆动轨迹的规划方法 |
| CN110465949A (zh) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | 焊接机器人及其摆动轨迹的规划方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748447B2 (en) * | 2013-05-24 | 2020-08-18 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
| JP5949242B2 (ja) * | 2012-07-11 | 2016-07-06 | セイコーエプソン株式会社 | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
| CN103600155B (zh) * | 2013-10-25 | 2015-04-22 | 上海工程技术大学 | 焊接机器人焊接过程的实时监测装置 |
| JP7163115B2 (ja) | 2018-09-12 | 2022-10-31 | キヤノン株式会社 | ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体 |
| JP7133520B2 (ja) * | 2019-08-06 | 2022-09-08 | 直之 村上 | コンピユーターの目（ｐｃｅｙｅ） |
| CN110524582B (zh) * | 2019-09-16 | 2023-06-02 | 西安中科光电精密工程有限公司 | 一种柔性组对焊接机器人工作站 |
| JP2022054435A (ja) * | 2020-09-25 | 2022-04-06 | 日立建機株式会社 | 溶接計測システムおよび溶接計測方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0430981A (ja) * | 1990-05-24 | 1992-02-03 | Fujitsu Ltd | 遠隔操縦型ロボットのテレビカメラ制御装置 |
| JPH05277973A (ja) * | 1991-12-25 | 1993-10-26 | Sanyo Electric Co Ltd | マニピュレータのキャリブレーション方法 |
| JP3448074B2 (ja) * | 1992-08-14 | 2003-09-16 | 三菱重工業株式会社 | 相関検出形３次元位置計測装置 |
| JPH10249786A (ja) * | 1997-03-14 | 1998-09-22 | Yaskawa Electric Corp | マニピュレータの制御装置および操作支援装置 |
| JP3912584B2 (ja) * | 2001-12-20 | 2007-05-09 | 株式会社安川電機 | 遠隔操作装置 |
| JP2003230959A (ja) * | 2002-02-06 | 2003-08-19 | Toshiba Corp | 遠隔操作型溶接ロボットシステム |
| JP2009279706A (ja) * | 2008-05-22 | 2009-12-03 | Shibuya Kogyo Co Ltd | ロボット制御装置 |
| JP5550407B2 (ja) * | 2009-04-01 | 2014-07-16 | 株式会社神戸製鋼所 | 溶接施工監視システム |
-
2010
- 2010-11-18 JP JP2010258022A patent/JP5449112B2/ja active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110465948A (zh) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | 焊接机器人及其摆动轨迹的规划方法 |
| CN110465949A (zh) * | 2019-09-09 | 2019-11-19 | 北京配天技术有限公司 | 焊接机器人及其摆动轨迹的规划方法 |
| CN110465948B (zh) * | 2019-09-09 | 2021-05-11 | 北京配天技术有限公司 | 焊接机器人及其摆动轨迹的规划方法 |
| CN110465949B (zh) * | 2019-09-09 | 2021-11-09 | 北京配天技术有限公司 | 焊接机器人及其摆动轨迹的规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012106317A (ja) | 2012-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5449112B2 (ja) | 溶接状況監視方法及び溶接状況監視装置 | |
| JP6966582B2 (ja) | ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 | |
| JP4167954B2 (ja) | ロボット及びロボット移動方法 | |
| US11267142B2 (en) | Imaging device including vision sensor capturing image of workpiece | |
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| JP6795471B2 (ja) | ロボットシステム | |
| JP4021413B2 (ja) | 計測装置 | |
| JP4508252B2 (ja) | ロボット教示装置 | |
| JP5272617B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
| JP4741691B2 (ja) | ロボットの異常監視機能を備えたロボットシステム | |
| JP2017100240A (ja) | 制御装置、ロボットおよびロボットシステム | |
| JP2009269110A (ja) | 組立装置 | |
| JP2008254150A (ja) | ロボットの教示装置及び教示方法 | |
| JPWO2017146202A1 (ja) | 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法 | |
| JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
| JP3442140B2 (ja) | ３次元視覚センサを用いた位置計測装置及び位置ずれ補正装置 | |
| JP5550407B2 (ja) | 溶接施工監視システム | |
| JP5573537B2 (ja) | ロボットのティーチングシステム | |
| JP2020185639A (ja) | ロボット操作装置、ロボットおよびロボット操作方法 | |
| JP2007089042A (ja) | 撮像装置 | |
| JP2001158599A5 (ja) | ||
| JP2018001332A (ja) | ロボット、制御装置、及びロボットシステム | |
| JP2013173191A (ja) | ロボット装置、ロボット制御装置、ロボット制御方法及びロボット制御プログラム | |
| JP2009125839A (ja) | 溶接教示位置補正システム | |
| JP2009279677A (ja) | 計測装置を用いてロボットの位置教示を行うロボット制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5449112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |