JP4137862B2 - 計測装置及びロボット制御装置 - Google Patents

計測装置及びロボット制御装置 Download PDF

Info

Publication number
JP4137862B2
JP4137862B2 JP2004292829A JP2004292829A JP4137862B2 JP 4137862 B2 JP4137862 B2 JP 4137862B2 JP 2004292829 A JP2004292829 A JP 2004292829A JP 2004292829 A JP2004292829 A JP 2004292829A JP 4137862 B2 JP4137862 B2 JP 4137862B2
Authority
JP
Japan
Prior art keywords
robot
unit
imaging unit
control device
robot control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004292829A
Other languages
English (en)
Other versions
JP2006105782A (ja
Inventor
良樹 橋本
穣 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2004292829A priority Critical patent/JP4137862B2/ja
Priority to EP05021637.3A priority patent/EP1645373B1/en
Priority to US11/242,934 priority patent/US7817847B2/en
Priority to CNB2005101082565A priority patent/CN100408282C/zh
Publication of JP2006105782A publication Critical patent/JP2006105782A/ja
Application granted granted Critical
Publication of JP4137862B2 publication Critical patent/JP4137862B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Numerical Control (AREA)

Description

本発明は、ロボットビジョンによる計測装置及びロボット制御装置に関し、例えば、ロボットのオフライン教示時におけるロボットと計測対象の相対位置姿勢と、実際のロボットにおけるロボットと計測対象の相対位置姿勢間の誤差を計測し、誤差を補正する際に有用な、ロボットビジョンによる計測装置並びに同計測装置に関連して使用されるロボット制御装置に関する。
ロボットのオフライン教示、シミュレーションで作成したプログラムを、実際のロボットに適用する場合、実際のロボットと周辺物体(諸機器等の計測対象)の相対位置とオフライン時の相対位置間に誤差が生じる。また、稼動中のロボットシステムを他の場所に移設する場合には、移設、設置の前後において、ロボットと周辺機器間の相対位置に誤差が生じる。このような誤差を測定し、補正等を行うために、ビジョンシステムを使用することがある。
このような目的で使用される従来のビジョンによる計測装置では、1台のロボットとロボット制御装置に対し、1台のカメラと画像処理装置が必要であり、もしも1台の画像処理装置を複数台のロボットで使用する場合には、ロボットに関連した所要の計測が完了する度に、カメラと画像処理装置をロボット制御装置から外し、次に計測が行なわれるロボットのロボット制御装置に接続し直す必要があった。そのため、ロボット毎にカメラと画像処理装置をロボット制御装置に再接続するに要する時間が嵩み、効率が悪くなっていた。また、カメラと画像処理装置間の接続もケーブルを使用しているので、このケーブルの接続にも手間がかかった。なお、このような問題を簡便に解決する技術を記載された公知文献は見当らない。
本発明の基本的な目的は、上記従来技術の問題点を解消することにある。即ち、本発明は、「ロボットと同ロボットとの3次元相対位置姿勢が計測される計測対象物」が複数組存在した場合でも、ロボット毎の3次元相対位置姿勢の計測を効率よく行うことができるようにし、また、そのことを通して、効率良く教示データ/プログラムの補正を行うことができるようにすることを企図している。
本発明は、計測するロボット毎にカメラと画像処理装置をロボット制御装置に接続する手間を無くすことができるようなシステム構成をとることで、上記課題を解決するものである。本発明によれば、複数のロボット制御装置と画像処理装置及びカメラがネットワーク回線で接続され、1台のカメラの画像データを複数のロボット制御装置で共有できるようにする。また、画像を無線にて送信できるカメラを用いることで、カメラのケーブルをロボットに配線する手間を省き、より一層の省力化を達成可能とするものである。
より具体的に言えば、本発明は、先ず、夫々計測対象物とロボット制御装置により制御されるロボットとを含む複数の組について、各組のロボットに対する当該組の計測対象の3次元相対位置姿勢を、計測対象の少なくとも3つの計測箇所の3次元位置を視覚センサを用いて計測することにより検出する計測装置に適用される。
そして、請求項に記載された発明の特徴に従えば、前記視覚センサは、各組のロボットを制御するロボット制御装置に内蔵された画像処理部と、前記複数の組における前記計測対象の3次元相対位置姿勢の検出に共用される撮像部とを備え、前記撮像部は、前記複数の組の内の任意の組のロボットのアーム、又は該アーム先端部に設けられた作業ツールに、取外し可能に取付けられて使用されるものであり、且つ、各組のロボットを制御するロボット制御装置にネットワーク回線を介して接続された無線送受信手段との間で無線通信が可能なものであり、前記ロボット制御装置の可搬式操作部は、該可搬式操作部に対する操作により、前記撮像部が取込んだ画像データを該撮像部から、前記無線送受信手段に無線通信で伝え更に該無線送受信手段から前記ネットワーク回線を経由して、前記任意のロボットを制御するロボット制御装置に転送する手段を備え、該転送された画像データが、該ロボット制御装置に内蔵された前記画像処理部で処理されるようになっている。
ここで、計測装置に更に、周期的に前記撮像部により画像データを取込み、前記無線送受信手段及び前記ネットワーク回線を経由して、前記任意のロボットを制御するロボット制御装置に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにすることもできる(請求項2)
また、請求項に記載された発明の特徴に従えば、前記視覚センサは、各組のロボットを制御するロボット制御装置と第1のネットワーク回線を介して接続される画像処理部と、前記複数の組における前記計測対象の3次元相対位置姿勢の検出に共用される撮像部とを備え、前記撮像部は、前記複数の組の内の任意の組のロボットのアーム、又は該アーム先端部に設けられた作業ツールに、取外し可能に取付けられて使用されるものであり、且つ、前記画像処理部に第2のネットワーク回線を介して接続された無線送受信手段との間で無線通信が可能なものであり、前記ロボット制御装置の可搬式操作部は、該可搬式操作部に対する操作により、前記撮像部が取込んだ画像データを該撮像部から、前記無線送受信手段に無線通信で伝え更に該無線送受信手段から前記第2のネットワーク回線を経由して、前記画像処理部に送る手段を備え、該転送された画像データが、該画像処理部で処理される。
ここで、周期的に前記撮像部により画像データを取込み、前記無線送受信手段、前記第2のネットワーク回線及び前記第1のネットワーク回線を経由して、前記任意のロボットを制御するロボット制御装置に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにすることができる(請求項
そして、以上、いずれの発明においても、前記視覚センサは、カメラによる画像処理を行う視覚センサであり、異なる複数位置での該カメラ画像から、計測箇所の3次元位置を求めるものであって良く、あるいは、3次元視覚センサであっても良い(請求項、請求項
更に、本発明はロボット制御装置に適用することも可能であり、請求項に記載されたロボット制御装置は、請求項1請求項の内、いずれか1項に記載された計測装置により得られた3次元相対位置に基づいて、前記ロボットの教示位置の補正を行う手段を備えていることを特徴としている。
本発明によれば、ロボット制御装置、画像処理装置及びカメラ(画像撮像部と画像レシーバ)の相互間(画像処理装置をロボット制御装置に内蔵しない場合)、あるいは、ロボット制御装置(但し、画像処理装置を内蔵)、画像処理装置及びカメラ(画像撮像部と画像レシーバ)の相互間がネットワーク回線で結ばれ、同ネットワーク回線を介して必要なデータの通信が行われるため、計測毎に必要だったケーブルの接続作業が削減される。また、更に視覚センサの撮像部(カメラ)で捉えた画像の伝達に無線を利用する方式を組み合わせて用いることで、複数のロボットで付け替えて使用する際に、撮像部(カメラ)に接続されるケーブルについて必要となっていたケーブルの接続作業も削減できる。
従って、ロボット毎における3次元相対位置の計測作業が効率化され、教示データ/プログラムの補正も迅速に行えるようになる。更に、本発明で計測に使用する画像処理装置には高速処理能力は不要であり、低性能の画像処理装置で十分なためロボット制御装置に内蔵させることも容易である。
図1は、本発明の第1の実施形態に係る計測装置及びロボット制御装置を含むシステムの全体構成の概要を示している。同図に示したように、システムは、複数(ここでは3台を例示)のロボット(実機)1〜3、それらロボットを夫々制御するロボット制御装置11〜13、ロボット1〜3のための動作プログラムをオフラインで作成し、シミュレーションを行なう機能を備えたロボットシミュレータ14を含んでいる。また、システムは、視覚センサを用いた計測装置を構成するために、撮像部(カメラ)4、トランシーバ6及び画像処理装置21〜23を備えている。
ここで、撮像部(カメラ)4とトランシーバ6は無線方式で信号をやりとりする公知のもので、符号5、7は夫々撮像部(カメラ)4及びトランシーバ6のアンテナ(送受信兼用)を表わしている。また、本実施形態では、画像処理装置21〜23は、公知の態様で各ロボット制御装置11〜13に内蔵されている。そして、トランシーバ6、ロボット制御装置11〜13及びロボットシミュレータ14は、ネットワーク回線30で結ばれている。また、ロボット制御装置11〜13に共通して使用できる可搬式操作部40が用意され、ロボット制御装置11〜13の内の任意の1つ(ここではロボット制御装置11を例示)に接続されている。
可搬式操作部40はLCD等を用いた表示部付のもので、オペレータ10の操作により、同可搬式操作部40が接続されたロボット制御装置(図示された状態ではロボット制御装置11)に対して動作指令を送り、対応するロボット(図示された状態ではロボット1)を動作させる機能の他、撮像部(カメラ)4に撮像動作とそれに続く画像データ送信を行なわせるための指令をロボット制御装置に送る機能を有している。更に、撮像部(カメラ)4により取得された画像は、可搬式操作部40の表示部上に表示することが可能になっている。
各ロボット1〜3の近傍には、それぞれ周辺機器等の計測対象物があり、各計測対象物について、各対応するロボット1〜3との3次元相対位置が計測される。但し、図示の都合上、図1ではロボット1に対応する計測対象物50のみを示し、ロボット2、3に対応する計測対象物は図示を省略した。ロボット2、3に対応する計測対象物は、ロボット1に対応する計測対象物50と一般には異なるものであるが、同じであっても構わない。
各ロボット1〜3とそれに対応する計測対象物について3次元相対位置の計測を行なう際には撮像部(カメラ)4による撮像が行なわれるが、ここで使用される撮像部(カメラ)4は1台のみである。従って、ロボット−計測対象物の組み合わせが替わる毎に、撮像部(カメラ)4の付け替えが行なわれる。
例えば、ロボット1、2、3の順序で各対応する計測対象物について3次元相対位置の計測を行なうとした場合、先ず、図示されているように、ロボット1のアームの先端部に撮像部(カメラ)4を装着した状態で、ロボット1と計測対象物50について3次元相対位置の計測が行なわれる。ロボット1と計測対象物50の組み合わせについての計測が完了したら、撮像部(カメラ)4をロボット1から取り外し、ロボット2のアームに装着する(破線4a参照)。
ロボット2と対応する計測対象物(図示省略)の組み合わせについての計測が完了したら、撮像部(カメラ)4をロボット2から取り外し、ロボット3のアームに装着する(破線4b参照)。ロボット3と対応する計測対象物(図示省略)の組み合わせについての計測が完了したら適宜、撮像部(カメラ)4をロボット3から取り外せば良い。
このように、本実施形態では、1台の撮像部(カメラ)4を順次別のロボットに付け替えて使用するのであるが、画像処理装置21〜23については、それぞれのロボット制御装置11〜13に内蔵されており、撮像部(カメラ)4との信号のやりとりは、それらロボット制御装置とネットワーク回線30で結ばれたトランシーバ6を介して行なわれる。従って、従来必要であった画像処理装置の接続変えに伴うケーブル取り外し・接続作業は不要となる。また、撮像部(カメラ)4のための制御信号、画像信号の伝達は無線方式で行なわれるので、撮像部(カメラ)4自身の接続変えに伴うケーブル取り外し・接続作業も不要となる。
各ロボット1〜3のアーム、又はその先端部に設けられた作業ツールに撮像部(カメラ)4を装着した状態で、各ロボット1〜3に対する各対応計測対象物(ロボット1には計測対象物50が対応;ロボット2、3については計測対象物の図示を省略)の3次元相対的位置姿勢が計測されるが、計測結果は、例えば各対応するロボット制御装置11〜13のメモリに一旦格納される。格納された3次元相対的位置姿勢データは、同じ計測対象物を作業対象とするロボットプログラムの教示点データの修正に利用できる。例えば、稼動中のロボットシステムを他の場所に移設する場合、移設の前後における各3次元相対的位置姿勢データから、移設前と同等のロボット作業を実現するために必要な教示点の補正量が同次変換行列の形で求められる。
また、ロボットシミュレータ14内で作成されたオフラインデータの修正、即ち、各ロボットとそれに対応する計測対象物を含むワークセルデータ及び同ワークセルを前提として作成されたオフラインプログラムの教示データの修正に利用でききる。なお、視覚センサを用いて、ロボットに対する計測対象物の3次元相対的位置姿勢を求める手順自体は周知である。例えばロボット1について言えば、計測対象物50の3点(一直線上に並ばない)P1、P2、P3を適当に選び、その3点の3次元位置を計測すれば、その3点が作る三角形P1P2P3の位置・姿勢が、そのロボットに対する計測対象物の3次元相対的位置姿勢を表すことになる。
図示されているように、撮像部(カメラ)4と画像処理装置を組み合わせたものを用いる場合、周知のように、異なる複数位置(ロボット位置)での画像から、各計測箇所(例えばP1〜P3)の3次元位置を求めることができる。また、例えばスリット光投光部を撮像部(カメラ)4に加えた周知の3次元視覚センサを用いる場合には、単一の位置の計測で各計測箇所(例えばP1〜P3)の3次元位置を求めることができることは言うまでもない。
なお、上記実施形態では、画像処理装置21〜23は、それぞれロボット制御装置11〜13に内蔵したが、ロボット制御装置の外部に画像処理装置を用意することもできる。その場合、画像処理装置は1台用意し、ネットワーク回線で各ロボット制御装置と結べば良い。そのようなシステム構成例を第2の実施形態として図2に示した。第2の実施形態の構成と機能は、外部の画像処理装置を複数のロボット制御装置で共用することに関連した事項を除けば第1の実施形態と同様である。
図2に示したように、システムは、複数(ここでは3台を例示)のロボット(実機)1〜3、それらロボットを夫々制御するロボット制御装置24〜26、ロボット1〜3のための動作プログラムをオフラインで作成し、シミュレーションを行なう機能を備えたロボットシミュレータ14を含んでいる。また、システムは、視覚センサを用いた計測装置を構成するために、撮像部(カメラ)4、トランシーバ6及び画像処理装置8を備えている。
第1の実施形態と同じく、撮像部(カメラ)4とトランシーバ6は無線方式で信号をやりとりする公知のもので、符号5、7は夫々撮像部(カメラ)4及びトランシーバ6のアンテナ(送受信兼用)を表わしている。画像処理装置8は例えばパーソナルコンピュータに所要のソフトウェアを装備した周知のもので、ネットワーク回線を介してトランシーバ6、各ロボット制御装置24〜26及びロボットシミュレータ14に接続さている。また、ロボット制御装置11〜13に共通して使用できる可搬式操作部40が用意され、ロボット制御装置24〜26の内の任意の1つ(ここではロボット制御装置24を例示)に接続されている。可搬式操作部40については、第1実施形態で使用したものと同様である。即ち、同可搬式操作部40の操作により、同可搬式操作部40が接続されたロボット制御装置(図示された状態ではロボット制御装置24)に対して動作指令を送り、対応するロボット(図示された状態ではロボット1)を動作させる機能の他、撮像部(カメラ)4に撮像動作とそれに続く画像データ送信を行なわせるための指令をロボット制御装置に送る機能を有している。更に、撮像部(カメラ)4により取得された画像は、可搬式操作部40の表示部上に表示することが可能になっている。
第1の実施形態の場合と同様に、各ロボット1〜3の近傍には、それぞれ周辺機器等の計測対象物があり、各計測対象物について、各対応するロボット1〜3との3次元相対位置が計測される。但し、図示の都合上、図1ではロボット1に対応する計測対象物50のみを示し、ロボット2、3に対応する計測対象物は図示を省略した。ロボット2、3に対応する計測対象物は、ロボット1に対応する計測対象物50と一般には異なるものであるが、同じであっても構わない。
各ロボット1〜3とそれに対応する計測対象物について3次元相対位置の計測を行なう際には撮像部(カメラ)4による撮像が行なわれるが、第2の実施形態においても使用される撮像部(カメラ)4は1台のみで、ロボット−計測対象物の組み合わせが替わる毎に、撮像部(カメラ)4の付け替えが行なわれる。撮像部(カメラ)4の付け替えについては、第1の実施形態で説明した通りなので、繰り返さないが、本実施形態でも、画像処理装置8については、撮像部(カメラ)4との信号のやりとりは、ネットワーク回線30で結ばれたトランシーバ6を介して行なわれるので、従来必要であった画像処理装置の接続変えに伴うケーブル取り外し・接続作業は不要となる。また、第1の実施形態の場合と同様に、撮像部(カメラ)4のための制御信号、画像信号の伝達は無線方式で行なわれるので、撮像部(カメラ)4自身の接続変えに伴うケーブル取り外し・接続作業も不要となる。
各ロボット1〜3のアーム、又はその先端部に設けられた作業ツールに撮像部(カメラ)4を装着した状態で、各ロボット1〜3に対する各対応計測対象物(ロボット1には計測対象物50が対応;ロボット2、3については計測対象物の図示を省略)の3次元相対的位置姿勢が計測される点も第1の実施形態と同様である。計測結果は、例えば各対応するロボット制御装置24〜26のメモリに一旦格納される。既述の通り、格納された3次元相対的位置姿勢データは、同じ計測対象物を作業対象とするロボットプログラムの教示点データの修正に利用できる。また、ロボットシミュレータ14内で作成されたオフラインデータの修正に利用できる。なお、視覚センサを用いて、ロボットに対する計測対象物の3次元相対的位置姿勢を求める手順も第1の実施形態と特に変わるところはない。但し、計測に必要な、画像処理は画像処理装置8内で行なわれ、処理結果が対応するロボット制御装置に送られる。計測対象物50の(一直線上に並ばない)3点(例えばP1、P2、P3)の3次元位置が計測され、その3点が作る三角形P1P2P3の位置・姿勢が、そのロボットに対する計測対象物の3次元相対的位置姿勢を表すことになることも第1実施形態と同様である。また、視覚センサとして撮像部(カメラ)4と画像処理装置を組み合わせたものを用いること、例えばスリット光投光部を撮像部(カメラ)4に加えた周知の3次元視覚センサを用いることいずれも可能であること、各計測箇所(例えばP1〜P3)の3次元位置の求め方などについては周知なのでこれ以上は述べない。
第1あるいは第2の実施形態で実行される計測関連処理の概要を記したフローチャートである。各ステップの要点を記せば次のようになる。
ステップS1;計測対象物に対応するロボットに撮像部(カメラ)4を装着する。例えば、計測対象物50(図1、図2参照)の計測から始めるとして、撮像部(カメラ)4をロボット1に装着する装着箇所は、既述の通り、ロボットのアーム先端部(又はアーム先端部に支持された作業ツール上)とする。
ステップS2;対応するロボット制御装置に画像を取り込むための設定を行なう。例えば、計測対象物50(図1、図2参照)の計測から始める場合は、ロボット制御装置11(第1実施形態の場合)あるいはロボット制御装置24(第2実施形態の場合)に画像を取り込むように設定を行なう。この設定は可搬式操作部40の画面入力で行えるようにしておく。
ステップS3;ロボットと撮像部(カメラ)の間の相対位置を求めるキャリブレーションを行なう。このようなキャリブレーション自体は周知なのでキャリブレーションの実行手順の説明は省略する。
ステップS4;計測のためのロボット位置決め回数を表わす指標nをn=1に初期設定する。
ステップS5;可搬式操作部40の画面で撮像画面をモニタしながらロボットを動かし、適当な位置でロボットを位置決めし、計測対象物の画像を取り込む。例えば、計測対象物50の画像データは、無線でトランシーバ6で受信され、ロボット制御装置11(第1実施形態の場合)あるいはパーソナルコンピュータ8(第2実施形態の場合)に取り込まれる。
ステップS6;対応するロボット制御装置に内蔵された画像処理装置(第1実施形態の場合)あるいはパーソナルコンピュータ8(第2実施形態の場合)内で画像処理を行なう。例えば点P1〜P3を抽出し、画像面での位置を求める。
ステップS7;n>2であればステップS9へ進む。n>2でなければステップS8へ進む。
ステップS8;指標nに1を加算して、ステップS5へ戻る。
ステップS9;計測対象物上の3点(計測対象物50の例ではP1〜P3)の3次元位置を求め、ロボットに対する計測対象物の3次元相対位置姿勢を計算する。
ステップS10;求められた3次元相対位置姿勢に基づいて、オフラインで教示したプログラム(ロボットシミュレータ14からロボット制御装置に転送)の教示点データを補正する。
以上でロボット−計測対象物の1つの組み合わせ(例えばロボット1と計測対象物50の組み合わせ)についての処理が終了する。次に、計測した次の組み合わせがあれば、前述のように撮像部(カメラ)4をその組み合わせのロボットに着け替えて、上記処理ステップS1〜S10を実行する。以下、同様に、順次撮像部(カメラ)4の着け替えと、上記処理ステップが繰り返す。
このようにして、実際のロボットと計測対象間の3次元相対位置姿勢を求めることができる。この3次元相対位置姿勢とオフライン教示時に使用した3次元相対位置姿勢間の誤差を求め、実際の教示プログラムを補正することができる。また、ロボットシステム移設時には、移設前後における移設、設置誤差を補正することができる。
さらに、計測した実際のロボットと計測対象間の3次元相対位置姿勢を利用して、シミュレータ上のパラメータを補正して、より正確なオフライン教示や別動作のオフライン教示、シミュレーションを行う事も可能となる。
本発明の第1の実施形態に係る計測装置及びロボット制御装置を含むシステムの全体構成の概要を示した図である。 本発明の第2の実施形態に係る計測装置及びロボット制御装置を含むシステムの全体構成の概要を示した図である。 第1あるいは第2の実施形態で実行される計測関連処理の概要を記したフローチャートである。
符号の説明
1〜3 ロボット
4 撮像部(カメラ)
5、7 アンテナ
6 トランシーバ
8 画像処理装置(パーソナルコンピュータ)
10 オペレータ
11〜13 ロボット制御装置(画像処理装置を内蔵)
14 ロボットシミュレータ
21〜23 画像処理装置(ロボット制御装置に内蔵)
24〜26 ロボット制御装置(画像処理装置を内蔵せず)
30 ネットワーク回線
40 可搬式操作部(教示操作盤)
50 計測対象物

Claims (7)

  1. 夫々計測対象物とロボット制御装置により制御されるロボットとを含む複数の組について、各組のロボットに対する当該組の計測対象の3次元相対位置姿勢を、計測対象の少なくとも3つの計測箇所の3次元位置を視覚センサを用いて計測することにより検出する計測装置において
    前記視覚センサは、各組のロボットを制御するロボット制御装置に内蔵された画像処理部と、前記複数の組における前記計測対象の3次元相対位置姿勢の検出に共用される撮像部とを備え、
    前記撮像部は、前記複数の組の内の任意の組のロボットのアーム、又は該アーム先端部に設けられた作業ツールに、取外し可能に取付けられて使用されるものであり、且つ、各組のロボットを制御するロボット制御装置にネットワーク回線を介して接続された無線送受信手段との間で無線通信が可能なものであり、
    前記ロボット制御装置の可搬式操作部は、該可搬式操作部に対する操作により、前記撮像部が取込んだ画像データを該撮像部から、前記無線送受信手段に無線通信で伝え更に該無線送受信手段から前記ネットワーク回線を経由して、前記任意のロボットを制御するロボット制御装置に転送する手段を備え、
    該転送された画像データが、該ロボット制御装置に内蔵された前記画像処理部で処理されることを特徴とする、計測装置。
  2. 周期的に前記撮像部により画像データを取込み、前記無線送受信手段及び前記ネットワーク回線を経由して、前記任意のロボットを制御するロボット制御装置に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにしたことを特徴とする、請求項1に記載の計測装置。
  3. 夫々計測対象物とロボット制御装置により制御されるロボットとを含む複数の組について、各組のロボットに対する当該組の計測対象の3次元相対位置姿勢を、計測対象の少なくとも3つの計測箇所の3次元位置を視覚センサを用いて計測することにより検出する計測装置において、
    前記視覚センサは、各組のロボットを制御するロボット制御装置と第1のネットワーク回線を介して接続される画像処理部と、前記複数の組における前記計測対象の3次元相対位置姿勢の検出に共用される撮像部とを備え、
    前記撮像部は、前記複数の組の内の任意の組のロボットのアーム、又は該アーム先端部に設けられた作業ツールに、取外し可能に取付けられて使用されるものであり、且つ、前記画像処理部に第2のネットワーク回線を介して接続された無線送受信手段との間で無線通信が可能なものであり、
    前記ロボット制御装置の可搬式操作部は、該可搬式操作部に対する操作により、前記撮像部が取込んだ画像データを該撮像部から、前記無線送受信手段に無線通信で伝え更に該無線送受信手段から前記第2のネットワーク回線を経由して、前記画像処理部に送る手段を備え、
    該転送された画像データが、該画像処理部で処理されることを特徴とする、計測装置。
  4. 周期的に前記撮像部により画像データを取込み、前記無線送受信手段、前記第2のネットワーク回線及び前記第1のネットワーク回線を経由して、前記任意のロボットを制御するロボット制御装置に送り、前記可搬式操作部に設けた表示部に表示する手段を備えることにより、撮像部が捉えている対象をモニタできるようにした、請求項3に記載の計測装置。
  5. 前記視覚センサが、カメラによる画像処理を行う視覚センサであり、異なる複数位置での該カメラ画像から、計測箇所の3次元位置を求めることを特徴とする、請求項1〜請求項4の内いずれか1項に記載の計測装置。
  6. 前記視覚センサが、3次元視覚センサであることを特徴とする、請求項1〜請求項4の内いずれか1項に記載の計測装置。
  7. 請求項1〜請求項6の内、いずれか1項に記載された計測装置により得られた3次元相対位置に基づいて、各組のロボットの教示位置の補正を行う手段を備えたことを特徴とする、ロボット制御装置。
JP2004292829A 2004-10-05 2004-10-05 計測装置及びロボット制御装置 Expired - Fee Related JP4137862B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004292829A JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置
EP05021637.3A EP1645373B1 (en) 2004-10-05 2005-10-04 Robot system with vision sensor
US11/242,934 US7817847B2 (en) 2004-10-05 2005-10-05 Robot system with vision sensor
CNB2005101082565A CN100408282C (zh) 2004-10-05 2005-10-08 具有视觉传感器的机器人***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004292829A JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置

Publications (2)

Publication Number Publication Date
JP2006105782A JP2006105782A (ja) 2006-04-20
JP4137862B2 true JP4137862B2 (ja) 2008-08-20

Family

ID=35462123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004292829A Expired - Fee Related JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置

Country Status (4)

Country Link
US (1) US7817847B2 (ja)
EP (1) EP1645373B1 (ja)
JP (1) JP4137862B2 (ja)
CN (1) CN100408282C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10759053B2 (en) 2017-12-14 2020-09-01 Fanuc Corporation Robot system
WO2022153923A1 (ja) 2021-01-15 2022-07-21 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4221014B2 (ja) 2006-06-20 2009-02-12 ファナック株式会社 ロボット制御装置
CN100432696C (zh) * 2006-06-27 2008-11-12 上海大学 基于仿生人眼控制的地面运动目标低空自动跟踪***
JP4961860B2 (ja) * 2006-06-27 2012-06-27 トヨタ自動車株式会社 ロボット装置及びロボット装置の制御方法
US20100017026A1 (en) * 2008-07-21 2010-01-21 Honeywell International Inc. Robotic system with simulation and mission partitions
KR101524020B1 (ko) * 2009-03-06 2015-05-29 엘지전자 주식회사 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법
US8600552B2 (en) 2009-10-30 2013-12-03 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
JP4837116B2 (ja) * 2010-03-05 2011-12-14 ファナック株式会社 視覚センサを備えたロボットシステム
US10475240B2 (en) * 2010-11-19 2019-11-12 Fanuc Robotics America Corporation System, method, and apparatus to display three-dimensional robotic workcell data
ITTO20110214A1 (it) * 2011-03-10 2012-09-11 Febo S R L Metodo e impianto di trasferimento per disporre un pezzo in un orientamento richiesto, e pinza di robot per tale impianto di trasferimento
JP2012223839A (ja) * 2011-04-15 2012-11-15 Yaskawa Electric Corp ロボットシステムおよびロボットシステムの駆動方法
CN102303314B (zh) * 2011-05-17 2013-07-24 北方工业大学 工业生产中的碳碗中心和导槽定位装置及其定位方法
JP5912627B2 (ja) * 2012-02-14 2016-04-27 川崎重工業株式会社 撮像検査装置ならびにその制御装置および制御方法
JP6052576B2 (ja) * 2012-05-30 2016-12-27 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
JP6000789B2 (ja) * 2012-10-02 2016-10-05 キヤノン株式会社 ロボットシステム及び無線カメラ装置
CN103192404B (zh) * 2013-04-12 2016-01-13 安徽埃夫特智能装备有限公司 工业机器人视觉抓具
US20140327746A1 (en) * 2013-05-06 2014-11-06 Iphoton Solutions, Llc Volume reconstruction of an object using a 3d sensor and robotic coordinates
JP6381182B2 (ja) * 2013-07-04 2018-08-29 キヤノン株式会社 ロボットアームを備えた装置
JP6261209B2 (ja) * 2013-07-04 2018-01-17 キヤノン株式会社 複数の生産装置を備えるシステム
CN103406905B (zh) * 2013-08-20 2015-07-08 西北工业大学 一种具有视觉伺服及检测功能的机器人***
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
US9724795B2 (en) * 2013-11-07 2017-08-08 Apex Brands, Inc. Tooling system with visual identification of attached component
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US11054802B2 (en) * 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
CN105773619A (zh) * 2016-04-26 2016-07-20 北京光年无限科技有限公司 用于实现人形机器人抓取行为的电控***和人形机器人
JP6348149B2 (ja) * 2016-07-08 2018-06-27 ファナック株式会社 ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム
JP6444971B2 (ja) * 2016-12-27 2018-12-26 ファナック株式会社 作業計画装置
CN106737683A (zh) * 2017-01-11 2017-05-31 吉林省凯迪科技有限公司 校正工业机器人离线编程在现场中的误差的方法
JP6434550B2 (ja) * 2017-02-06 2018-12-05 ファナック株式会社 可搬型ロボット
JP6964989B2 (ja) * 2017-02-09 2021-11-10 キヤノン株式会社 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
CN107471230A (zh) * 2017-09-30 2017-12-15 四川大学 一种叶片多机器人智能协同作业控制***
JP6595558B2 (ja) * 2017-10-30 2019-10-23 ファナック株式会社 レーザ加工システム
JP6661709B2 (ja) * 2018-08-01 2020-03-11 キヤノン株式会社 ロボット制御方法、物品の製造方法、及びロボット装置
US11478936B2 (en) * 2019-10-09 2022-10-25 Canon Kabushiki Kaisha Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
US11623305B2 (en) * 2020-10-16 2023-04-11 Verdant Robotics, Inc. Autonomous laser treatment system for agricultural objects
WO2024090490A1 (ja) * 2022-10-25 2024-05-02 株式会社アイシン 穴検査システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4789940A (en) * 1985-08-30 1988-12-06 Texas Instruments Incorporated Method and apparatus for filtering reflections from direct images for mobile robot navigation
JP2548027B2 (ja) * 1988-06-30 1996-10-30 ファナック株式会社 アークビジョンセンサ操作方式
US5204942A (en) * 1989-01-10 1993-04-20 Kabushiki Kaisha Kobe Seiko Sho Robot control system for controlling a set of industrial robots for cooperative operation
JP3012463B2 (ja) * 1993-12-22 2000-02-21 松下電工株式会社 組立装置
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
US6278906B1 (en) * 1999-01-29 2001-08-21 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
US6681151B1 (en) 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置
KR100483790B1 (ko) * 2002-03-22 2005-04-20 한국과학기술연구원 마이크로 조립용 다자유도 원격조종 로봇 시스템
CN100337796C (zh) * 2003-01-18 2007-09-19 新田株式会社 机器人***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10759053B2 (en) 2017-12-14 2020-09-01 Fanuc Corporation Robot system
DE102018130942B4 (de) * 2017-12-14 2021-01-14 Fanuc Corporation Robotersystem
WO2022153923A1 (ja) 2021-01-15 2022-07-21 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Also Published As

Publication number Publication date
US20060072809A1 (en) 2006-04-06
EP1645373A3 (en) 2012-11-21
US7817847B2 (en) 2010-10-19
CN1757492A (zh) 2006-04-12
EP1645373A2 (en) 2006-04-12
JP2006105782A (ja) 2006-04-20
EP1645373B1 (en) 2017-11-22
CN100408282C (zh) 2008-08-06

Similar Documents

Publication Publication Date Title
JP4137862B2 (ja) 計測装置及びロボット制御装置
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
CN110154017B (zh) 输送机跟踪***以及校准方法
KR970005616B1 (ko) 자동 캘리브레이션(calibration) 방법
EP1555508B1 (en) Measuring system
JP3733364B2 (ja) 教示位置修正方法
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
CN101092035A (zh) 机器人控制装置
CN103770112A (zh) 机器人***及加工件的制造方法
US20080004750A1 (en) Measuring system and calibration method
CN110480642A (zh) 工业机器人及其利用视觉标定用户坐标系的方法
JP2020026028A (ja) データ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システム
US20190091866A1 (en) Robot controller for executing calibration, measurement system and calibration method
JP5538179B2 (ja) 画像処理装置及び画像処理方法
WO2020032211A1 (ja) データ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システム
JP5573537B2 (ja) ロボットのティーチングシステム
JP4978027B2 (ja) ロボット遠隔操縦システム
CN109955220B (zh) 机器人***
KR101096068B1 (ko) 로봇 비젼 검사를 위한 휴대용 교시 단말기와 이를 이용한 검사로봇 교시 방법
US20210101246A1 (en) Eyeglass lens peripheral edge processing system and non-transitory computer-readable storage medium
JP6477052B2 (ja) 産業機械システム、及び情報供給方法
EP4279227A1 (en) Robot system and robot control method
CN114619233B (zh) 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
US20230388482A1 (en) Method of Visualizing Calibration State of Camera, System, and Non-Transitory Computer-Readable Storage Medium Storing Computer Program
JP2012022600A (ja) マスク画像作成システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080604

R150 Certificate of patent or registration of utility model

Ref document number: 4137862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees