JP4387476B2

JP4387476B2 - Bin picking position data calibration device

Info

Publication number: JP4387476B2
Application number: JP19696598A
Authority: JP
Inventors: 伸行藤原; 寿和恩田
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 1998-07-13
Filing date: 1998-07-13
Publication date: 2009-12-16
Anticipated expiration: 2018-07-13
Also published as: JP2000024973A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビンピッキングシステムに必要な各装置の位置関係及び部品検出に必要な位置データを較正するビンピッキング位置データ較正装置を提供するものである。
【０００２】
【背景技術】
ビンピッキングシステムは対象部品の位置姿勢を画像計測装置で検出し、その情報を元にロボットアームで対象部品をハンドリングするシステムである。
また、画像計測装置としては、入力画像から得られる対象物体の輪郭、凹凸、模様等の特徴を直線、円弧等で近似したデータであるとともにステレオ計測等で得た三次元位置データを有する特徴データと、対象物体のモデルの三次元位置データを有する特徴データとのマッチングをとることで対象物体の三次元位置姿勢を得るものがある。
【０００３】
対象部品の位置検出方法としてモデルベーストマッチング法があり、部品のモデル作製方法としても種々の提案がある。
ハンドリングの際必要な、ロボットアーム装置と画像計測装置との相対関係を求める方法として従来より様々な提案がある。
【０００４】
【発明が解決しようとする課題】
ビンピッキングシステムを正しく動作させるためには、対象部品の位置検出やハンドリングデータを計算するために必要な各装置の位置関係が既知であり、またその位置関係が正しく保たれていなければならない。
【０００５】
しかしながら、カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合は、カメラの位置やそれに伴う画像計測装置の座標系が変わるため、今までのデータを全て新しく作り直す必要がある。
またカメラ取付部の経年変化によりカメラの位置姿勢にズレが生じた場合、対象部品の検出位置姿勢が実体の位置姿勢と異なるため、システムの動作に不具合が生じる。
【０００６】
【課題を解決するための手段】
本発明の請求項１に係るビンピッキング位置データ較正装置は、カメラ等の画像計測装置の視野内に存在するベルトコンベア或いは作業台等の位置が変化しない背景物体を基に基準物体モデルを作製し、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記背景物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記背景物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める背景物体モデルマッチング部（２）と、前記背景物体モデルマッチング部（２）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）とを備えることを特徴とする。
そのため、基準物体モデルを設定するための特別な装置を用意する必要がなく、簡素なシステムを構成でき、装置のコストを小さくすることができるメリットがある。
【０００７】
本発明の請求項２に係るビンピッキング位置データ較正装置は、カメラ等の画像計測装置の視野内に固定した識別の容易なマーク物体を基に基準物体モデルを作製し、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記マーク物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記マーク物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める固定マークモデルマッチング部（６）と、前記固定マークモデルマッチング部（６）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、
前記較正座標変換データ計算部により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、前記較正座標変換データ計算部により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）とを備えることを特徴とする。
そのため、高精度な較正座標変換データを得ることができ、システムの信頼性を向上できる。
またマークがカメラ視野内に固定されているため、頻繁な定期位置データ較正を容易に行うことができるメリットがある。
【０００８】
本発明の請求項３に係るビンピッキング位置データ較正装置は、位置データ較正作業時に、用意しておいたジグによってマーク物体をカメラ等の画像計測装置の視野内に位置精度良く取り付け、前記マーク物体を基に基準物体モデルを作製し、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記マーク物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記マーク物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める取付マークモデルマッチング部（７）と、前記取付マークモデルマッチング部（７）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）とを備えることを特徴とする。
そのため、高精度な較正座標変換データを得ることができ、システムの信頼性を向上できるメリットがある。
【０００９】
本発明の請求項４に係るビンピッキング位置データ較正装置は、ロボットアームにマーク物体を取り付けると共に前記マーク物体を基に基準物体モデルを作製し、画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記マーク物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記マーク物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求めるロボット取付マーク物体モデルマッチング部（８）と、前記ロボット取付マーク物体モデルマッチング部（８）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）とを備えることを特徴とする。
そのため、カメラ視野内にマーク物体を位置精度良く設置して、高精度な較正座標変換データを得ることができ、システムの信頼性を向上できるメリットがある。
【００１０】
本発明の請求項５に係るビンピッキング位置データ較正装置は、基準物体モデルを設定するための基準部品を作業者側で適切に用意すると共に前記基準部品を基に基準物体モデルを作製し、画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記基準部品に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記基準部品の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める基準部品モデルマッチング部（９）と、前記基準部品モデルマッチング部（９）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）とを備えることを特徴とする。
そのため、基準物体モデルを設定するための特別な装置を用意する必要がなく、システムのコストを小さくすることができる。
また、基準部品にマーク物体と同様に識別の容易な部品を選び、位置精度良く動作するロボットアームによって基準部品を位置精度良く設置することで、高精度な較正座標変換データを得ることができ、システムの信頼性を向上できるメリットがある。
【００１１】
【発明の実施の形態】
（１）基本的な考え方
本発明の目的はピンピッキングシステムに必要な各装置の位置関係及び部品検出に必要な位置データを較正することである。
カメラの位置姿勢が変化した場合、それに伴い画像計測装置の新しい座標系を設定する必要がある。
【００１２】
この時画像計測装置の今までの座標系と新しく設定した座標系の位置関係が検出できれば、その位置関係データを用いて各装置の位置関係データや部品検出に必要な部品データを新しく設定した画像計測装置の座標系を基にしたデータヘ変換することができる。
そこで、本発明では部品モデル作製位置に設置した物体について、今までの座標系で作った部品モデルを使用して新しい座標系においてモデルマッチングを行うことで、画像計測装置の今までの座標系と新しく設定した座標系の位置関係を求める。
【００１３】
（２）各装置の座標系と相対関係
図１の様に各座標系を設定する。
ここで各座標系は次のものである。
Σ_V：旧ビジョン系（画像計測装置の今までの座標系）
Σ_V'：新ビジョン系（画像計測装置の新しく設定した座標系）
Σ_R：ロボット系（ロボットアーム装置の座標系）
Σ_H：ハンド系（ハンドの対象物体ハンドリング時の座標系）
【００１４】
各装置間の位置関係はその装置の座標系から別の装置の座標系への座標変換データとして求められる。
Ｔ_RV：ロボット系Σ_Rから旧ビジョン系Σ_Vへの座標変換
Ｔ_VH：旧ビジョン系Σ_Vからハンド系Σ_Hへの座標変換
Ｔ_RV'：ロボット系Σ_Rから新ビジョン系Σ_V'への座標変換
Ｔ_V'H：新ビジョン系Σ_V'からハンド系Σ_Hへの座標変換
Ｔ_VV'：旧ビジョン系Σ_Vから新ビジョン系Σ_V'への座標変換
【００１５】
（３）較正座標変換データの計算
データ較正に必要な、変換データは旧ビジョン系Σ_Vから新ビジョン系Σ_V'への座標変換データＴ_VV'である。これをモデルマッチングによって求める。
旧ビジョン系Σ_Vにおいて基準物体の部品モデルを作っておき、基準物体をモデル作製位置に設置して、新ビジョン系Σ_V'において同一のモデルを用いてモデルマッチングを行うと、新ビジョン系Σ_V'を基にする基準物体の位置姿勢Ｔ_V'Oを検出できる。
【００１６】
この時基準物体は旧ビジョン系Σ_Vにおいて全く動かない位置姿勢にあるため、先ほど新ビジョン系Σ_V'において検出した基準物体の位置姿勢Ｔ_V'Oは、新ビジョン系Σ_V'から旧ビジョン系Σ_Vへの座標変換Ｔ_V'Vを示す。
よって、データ較正に必要な座標変換データは旧ビジョン系Σ_Vから新ビジョン系Σ_V'への座標変換データＴ_VV'として次のように求められる。
Ｔ_VV'＝Ｔ_V'O ^-1 …（１）
【００１７】
（４）装置位置関係の較正
ロボット系Σ_Rと新ビジョン系Σ_V'の位置関係は較正座標変換データと今までの位置関係より次のように計算できる。
Ｔ_RV'＝Ｔ_RVＴ_VV' …（２）
新ビジョン系Σ_V'とハンド系Σ_Hの位置関係は較正座標変換データと今までの位置関係より次のように計算できる。
Ｔ_V'H＝Ｔ_VV' ^-1Ｔ_VH …（３）
【００１８】
（５）部品モデルデータの較正
部品の三次元形状モデルは三次元的な直線特徴や曲線特徴で構成され、それらの三次元データはビジョン系を基にした特徴上の点の三次元位置データである。
そこで部品の三次元形状モデルの較正は、モデルを構成する点位置データの旧ビジョン系Σ_Vから新ビジョン系Σ_V'への座標変換で行うことができる。
旧ビジョン系Σ_Vを基準にした点ｐ_Vは新ビジョン系Σ_V'を基準にした点ｐ_V'へ次のように変換される。
【００１９】
ｐ_V'＝Ｔ_VV' ^-1ｐ_V …（４）
こうして変換した三次元形状モデルの点を再構成することで、部品の三次元形状モデルの較正を行うことができる。
新ビジョン系Σ_V'を基にした三次元形状モデルが計算されれば、カメラの新しい位置姿勢においての見え方モデルであるイメージ上の二次元形状モデルは、三次元形状モデルのカメラのイメージ平面への透視変換によって較正することができる。
【００２０】
（６）基準物体モデルの設定
（６．１）背景物体による基準物体モデルの設定
カメラの視野内にベルトコンベアや作業台といった位置が変化しない物体が存在する場合は図２のように背景物体を基準物体とし、基準物体モデルを設定することができる。
【００２１】
（６．２）固定マーク物体による基準物体モデルの設定
カメラ視野内に位置が変化しない固定マーク物体を設置できる場合は、図３のように固定マーク物体を基準物体とし、基準物体モデルを設定することができる。
【００２２】
（６．３）取付マーク物体による基準物体モデルの設定
装置に常時取り付けてはいないが、較正作業の際何らかのジグによって取付マークを設置できる場合は、図４のように取付マーク物体を基準物体とし、基準物体モデルを設定することができる。
【００２３】
（６．４）ロボットアームに取り付けたマーク物体による基準物体モデルの設定ロボットアームにマーク物体を取り付けることができる場合は、図５のようにそのマーク物体を基準物体とし、基準物体モデルを設定することができる。
【００２４】
（６．５）基準部品による基準物体モデルの設定
較正作業用に基準部品として選んだ部品を、ロボットアーム等を用いて同一の位置に設置できる場合は、図６のようにその基準部品を基準物体とし、基準物体モデルを設定することができる。
【００２５】
（７）位置データ較正方法
（７．１）背景物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図７に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼画像計測装置の新ビジョン系の設定を行う。
▲２▼背景物体モデルによりモデルマッチングを行う。
▲３▼マッチング結果より較正座標変換データＴ_VV'を計算する。
▲４▼較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲５▼較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２６】
（７．２）固定マーク物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図８に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼画像計測装置の新ビジョン系の設定を行う。
▲２▼固定マーク物体モデルによりモデルマッチングを行う。
▲３▼マッチング結果より較正座標変換データＴ_VV'を計算する。
▲４▼較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲５▼較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２７】
（７．３）取付マーク物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図９に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼画像計測装置の新ビジョン系の設定を行う。
▲２▼取付マーク物体モデルによりモデルマッチングを行う。
▲３▼マッチング結果より較正座標変換データＴ_VV'を計算する。
▲４▼較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲５▼較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２８】
（７．４）ロボットアームに取り付けたマーク物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図１０に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼画像計測装置の新ビジョン系の設定を行う。
▲２▼ロボットアームに取り付けたマーク物体モデルによりモデルマッチングを行う。
▲３▼マッチング結果より較正座標変換データＴ_VV'を計算する。
▲４▼較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲５▼較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２９】
（７．５）基準部品による位置データ較正方法
カメラの位置姿勢が変化した場合、図１１に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼画像計測装置の新ビジョン系の設定を行う。
▲２▼基準部品モデルによりモデルマッチングを行う。
▲３▼マッチング結果より較正座標変換データＴ_VV'を計算する。
▲４▼較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲５▼較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００３０】
【実施例】
〔実施例１〕
本発明の第１の実施例に係る背景物体による位置データ較正装置を図１２に示す。本実施例は、請求項１に係るものである。
この装置は、画像計測装置の新ビジョン系の設定を行うビジョン系設定部１と、背景物体モデルによりモデルマッチングを行う背景物体モデルマッチング部２と、マッチング結果より較正座標変換データを計算する較正座標変換データ計算部３と、較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する装置位置関係データ構成部４と、較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する部品モデルデータ較正部５とを備え、ビンピッキングシステムに必要な位置データを較正する。
【００３１】
〔実施例２〕
本発明の第２の実施例に係る固定マーク物体による位置データ較正装置を図１３に示す。本実施例は、請求項２に係るものである。
この装置は、実施例１の背景物体モデルマッチング部２に代えて、固定マーク物体モデルによりモデルマッチングを行う固定マークモデルマッチング部６を設け、ビンピッキングシステムに必要な位置データを較正する。
【００３２】
〔実施例３〕
本発明の第３の実施例に係る取付マーク物体による位置データ較正装置を図１４に示す。本実施例は、請求項３に係るものである。
この装置は、実施例１の背景物体モデルマッチング部２に代えて、取付マーク物体モデルによりモデルマッチングを行う取付マークモデルマッチング部７を設け、ビンピッキングシステムに必要な位置データを較正する。
【００３３】
〔実施例４〕
本発明の第４の実施例に係るロボットアームに取り付けたマーク物体による位置データ較正装置を図１５に示す。本実施例は、請求項４に係るものである。
この装置は、実施例１の背景物体モデルマッチング部２に代えて、ロボットアームに取り付けたマーク物体モデルによりモデルマッチングを行うロボット取付マーク物体モデルマッチング部８を設け、ビンピッキングシステムに必要な位置データを較正する。
【００３４】
〔実施例５〕
本発明の第５の実施例に係る基準部品による位置データ較正装置を図１６に示す。本実施例は、請求項５に係るものである。
この装置は、実施例１の背景物体モデルマッチング部２に代えて、基準部品モデルによりモデルマッチングを行う基準部品モデルマッチング部９を設けて、ビンピッキングシステムに必要な位置データを較正する。
【００３５】
【発明の効果】
以上、実施例に基づいて具体的に説明したように、本発明によれば、カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、ビンピッキングシステムに必要な位置データを較正できるため、以下の効果を奏する。
（１）今までのデータを全て新しく作り直す必要がない。
（２）カメラ交換に伴う作業による作業時間を大幅に短縮できる。
（３）大量の部品モデルデータを扱い易く、多品種を扱う工程に容易に対応できる。
（４）過去に作った大量の部品モデルデータのデータベースを効率よく扱うことができる。
（５）カメラ交換に伴う作業コストを小さくすることができる。
（６）カメラ交換に伴う作業者の負担を軽減できる。
（７）カメラ交換作業を容易に行うことができる。
（８）定期的に位置データ較正を行うことにより、カメラ取付部の経年変化によってカメラの位置姿勢に多少のズレが生じた場合でも、システムを正常に動作させ続けることができる。
（９）定期的に位置データ較正を行うことによって、システムの信頼性が向上する。
【図面の簡単な説明】
【図１】位置データ較正に用いる座標系を示す説明図である。
【図２】背景物体による基準物体モデルを示す説明図である。
【図３】固定マーク物体による基準物体モデルを示す説明図である。
【図４】取付マーク物体による基準物体モデルを示す説明図である。
【図５】ロボットアームに取り付けたマーク物体による基準物体モデルを示す説明図である。
【図６】基準部品による基準物体モデルを示す説明図である。
【図７】背景物体による位置データ較正方法を示すフローチャートである。
【図８】固定マーク物体による位置データ較正方法を示すフローチャートである。
【図９】取付マーク物体による位置データ較正方法を示すフローチャートである。
【図１０】ロボットアームに取り付けたマーク物体による位置データ較正方法を示すフローチャートである。
【図１１】基準部品による位置データ較正方法を示すフローチャートである。
【図１２】背景物体による位置データ較正装置を示す構成図である。
【図１３】固定マーク物体による位置データ較正装置を示す構成図である。
【図１４】取付マーク物体による位置データ較正方法装置を示す構成図である。
【図１５】ロボットアームに取り付けたマーク物体による位置データ較正装置を示す構成図である。
【図１６】基準部品による位置データ較正装置を示す構成図である。
【符号の説明】
１ビジョン系設定部
２背景物体モデルマッチング部
３較正座標変換データ計算部
４装置位置関係データ構成部
５部品モデルデータ較正部
６固定マークモデルマッチング部
７取付マークモデルマッチング部
８ロボット取付マーク物体モデルマッチング部
９基準部品モデルマッチング部[0001]
BACKGROUND OF THE INVENTION
  The present inventionBiCalibrate the positional data necessary for component detection and component detection necessary for the picking systemBin picking position data calibration deviceIs to provide.
[0002]
[Background]
The bin picking system is a system in which the position and orientation of a target part is detected by an image measuring device, and the target part is handled by a robot arm based on the information.
In addition, as an image measuring device, feature data having three-dimensional position data obtained by stereo measurement or the like as well as data that approximates features such as contours, unevenness, and patterns of a target object obtained from an input image with straight lines, arcs, etc. And obtaining the three-dimensional position and orientation of the target object by matching with the feature data having the three-dimensional position data of the model of the target object.
[0003]
There is a model-based matching method as a method for detecting the position of a target component, and various proposals are also made as a method for producing a model of a component.
Conventionally, various proposals have been made as a method for obtaining a relative relationship between a robot arm device and an image measuring device, which is necessary for handling.
[0004]
[Problems to be solved by the invention]
In order for the bin picking system to operate correctly, the positional relationship of each device necessary for detecting the position of the target component and calculating the handling data must be known and the positional relationship must be maintained correctly.
[0005]
However, when a camera is replaced due to a camera failure, a life span, or a camera damage due to an accident, the position of the camera and the coordinate system of the image measuring apparatus associated therewith change, so that all of the existing data needs to be recreated.
In addition, when the camera position and orientation are deviated due to the secular change of the camera mounting portion, the detected position and orientation of the target component is different from the actual position and orientation, resulting in a malfunction of the system operation.
[0006]
[Means for Solving the Problems]
  A bin picking position data calibration apparatus according to claim 1 of the present invention is a reference object model based on a background object that does not change the position of a belt conveyor or a workbench that exists in the field of view of an image measuring apparatus such as a camera.MakeThe old coordinate system (Σ_V) And the new coordinate system (Σ_{V '}) Set as the vision system setting unit (1) and the new vision system (Σ set by the vision system setting unit (1))_{V '})In the previous vision system (Σ _V )Using the reference object modelAgainst the background objectBy performing model matching, the new vision system (Σ_{V '}) Based onBackground objectCoordinate transformation data (T_V'O) For obtaining a background object model matching unit (2) and inverse transformation (T of the coordinate transformation data obtained by the background object model matching unit (2)_V'O ^-1) For the old vision system (Σ_V) To new vision system (Σ_{V '}Coordinate conversion data (T)_{VV '}Calibration coordinate conversion data calculation unit (3) and the coordinate conversion data (T) obtained by the calibration coordinate conversion data calculation unit (3)_{VV '}) And its inverse transform (T_{VV '} ^-1), The robot system (Σ_R) To the old vision system (Σ_VCoordinate conversion to T_RV) And the previous vision system (Σ_V) From the coordinate system of the target object handled by the robot arm device (Σ_HCoordinate conversion to T_VH) Based on the robot system (Σ_R) To the new vision system (Σ_{V '}Coordinate conversion to T_{RV '}) And the new vision system (Σ_{V '}) To the hand system (Σ_HCoordinate conversion to T_V'H) For calculating the position of the apparatus relative to each other (4) and the coordinate conversion data (T) determined by the calibration coordinate conversion data calculation section (3)._{VV '}) Inverse transform (T_{VV '} ^-1) Based on the old vision system (Σ_V) Point of part model data (p)_V) The new vision system (Σ_{V '}) Point of part model data (p)_{V '}And a part model data calibrating unit (5) for converting to (5).
  Therefore, it is not necessary to prepare a special device for setting the reference object model, and there is an advantage that a simple system can be configured and the cost of the device can be reduced.
[0007]
  A bin picking position data calibration apparatus according to claim 2 of the present invention is a reference object model based on a mark object that is fixed in the field of view of an image measurement device such as a camera and is easily identified.MakeThe old coordinate system (Σ_V) And the new coordinate system (Σ_{V '}) Set as the vision system setting unit (1) and the new vision system (Σ set by the vision system setting unit (1))_{V '})In the previous vision system (Σ _V )Using the reference object modelAgainst the marked objectBy performing model matching, the new vision system (Σ_{V '}) Based onMark objectCoordinate transformation data (T_V'O) To obtain a fixed mark model matching unit (6) and inverse transformation (T) of the coordinate transformation data obtained by the fixed mark model matching unit (6)_V'O ^-1) For the old vision system (Σ_V) To new vision system (Σ_{V '}Coordinate conversion data (T)_{VV '}Calibration coordinate conversion data calculation unit (3)
The coordinate conversion data (T_{VV '}) And its inverse transform (T_{VV '} ^-1), The robot system (Σ_R) To the old vision system (Σ_VCoordinate conversion to T_RV) And the previous vision system (Σ_V) From the coordinate system of the target object handled by the robot arm device (Σ_HCoordinate conversion to T_VH) Based on the robot system (Σ_R) To the new vision system (Σ_{V '}Coordinate conversion to T_{RV '}) And the new vision system (Σ_{V '}) To the hand system (Σ_HCoordinate conversion to T_V'H) For calculating the position of the apparatus relative to each other (4) and the coordinate conversion data (T_{VV '}) Inverse transform (T_{VV '} ^-1) Based on the old vision system (Σ_V) Point of part model data (p)_V) The new vision system (Σ_{V '}) Point of part model data (p)_{V '}And a part model data calibrating unit (5) for converting to (5).
  Therefore, highly accurate calibration coordinate conversion data can be obtained, and the reliability of the system can be improved.
  Further, since the mark is fixed in the camera field of view, there is an advantage that frequent periodic position data calibration can be easily performed.
[0008]
  The bin picking position data calibration device according to claim 3 of the present invention attaches a mark object with high accuracy to the field of view of an image measurement device such as a camera by a prepared jig during position data calibration work.Create a reference object model based on the marked object,The previous coordinate system before the replacement of the image measuring device due to its life or damage is the old vision system (Σ_V) And the new coordinate system (Σ_{V '}) Set as the vision system setting unit (1) and the new vision system (Σ set by the vision system setting unit (1))_{V '})In the previous vision system (Σ _V ) For the mark object using the reference object model created inBy performing model matching, the new vision system (Σ_{V '}) Based on coordinate conversion data (T_V'O) For obtaining the attachment mark model matching unit (7) and the inverse transformation (T) of the coordinate transformation data obtained by the attachment mark model matching unit (7)._V'O ^-1) For the old vision system (Σ_V) To new vision system (Σ_{V '}Coordinate conversion data (T)_{VV '}Calibration coordinate conversion data calculation unit (3) and the coordinate conversion data (T) obtained by the calibration coordinate conversion data calculation unit (3)_{VV '}) And its inverse transform (T_{VV '} ^-1), The robot system (Σ_R) To the old vision system (Σ_VCoordinate conversion to T_RV) And the previous vision system (Σ_V) From the coordinate system of the target object handled by the robot arm device (Σ_HCoordinate conversion to T_VH) Based on the robot system (Σ_R) To the new vision system (Σ_{V '}Coordinate conversion to T_{RV '}) And the new vision system (Σ_{V '}) To the hand system (Σ_HCoordinate conversion to T_V'H) For calculating the position of the apparatus relative to each other (4) and the coordinate conversion data (T) determined by the calibration coordinate conversion data calculation section (3)._{VV '}) Inverse transform (T_{VV '} ^-1) Based on the old vision system (Σ_V) Point of part model data (p)_V) The new vision system (Σ_{V '}) Point of part model data (p)_{V '}And a part model data calibrating unit (5) for converting to (5).
  Therefore, there is an advantage that highly accurate calibration coordinate conversion data can be obtained and the reliability of the system can be improved.
[0009]
  A bin picking position data calibration apparatus according to claim 4 of the present invention attaches a mark object to a robot arm.A reference object model is created based on the marked object., The previous coordinate system (Σ_V) And the new coordinate system (Σ_{V '}) Set as the vision system setting unit (1) and the new vision system (Σ set by the vision system setting unit (1))_{V '})In the previous vision system (Σ _V ) For the mark object using the reference object model created inBy performing model matching, the new vision system (Σ_{V '}) Based on coordinate conversion data (T_V'O) For obtaining the robot mounting mark object model matching unit (8) and the inverse transformation (T) of the coordinate transformation data obtained by the robot mounting mark object model matching unit (8)._V'O ^-1) For the old vision system (Σ_V) To new vision system (Σ_{V '}Coordinate conversion data (T)_{VV '}Calibration coordinate conversion data calculation unit (3) and the coordinate conversion data (T) obtained by the calibration coordinate conversion data calculation unit (3)_{VV '}) And its inverse transform (T_{VV '} ^-1), The robot system (Σ_R) To the old vision system (Σ_VCoordinate conversion to T_RV) And the previous vision system (Σ_V) From the coordinate system of the target object handled by the robot arm device (Σ_HCoordinate conversion to T_VH) Based on the robot system (Σ_R) To the new vision system (Σ_{V '}Coordinate conversion to T_{RV '}) And the new vision system (Σ_{V '}) To the hand system (Σ_HCoordinate conversion to T_V'H) For calculating the position of the apparatus relative to each other (4) and the coordinate conversion data (T) determined by the calibration coordinate conversion data calculation section (3)._{VV '}) Inverse transform (T_{VV '} ^-1) Based on the old vision system (Σ_V) Point of part model data (p)_V) The new vision system (Σ_{V '}) Point of part model data (p)_{V '}And a part model data calibrating unit (5) for converting to (5).
  Therefore, there is a merit that the mark object can be placed in the camera field of view with high positional accuracy to obtain highly accurate calibration coordinate conversion data, and the reliability of the system can be improved.
[0010]
  The bin picking position data calibration apparatus according to claim 5 of the present invention appropriately prepares a reference part for setting a reference object model on the operator side.A reference object model is created based on the reference parts., The previous coordinate system (Σ_V) And the new coordinate system (Σ_{V '}) Set as the vision system setting unit (1) and the new vision system (Σ set by the vision system setting unit (1))_{V '})In the previous vision system (Σ _V ) For the reference part using the reference object modelBy performing model matching, the new vision system (Σ_{V '}) Based on the coordinate conversion data (T_V'O) For obtaining a reference part model matching unit (9) and inverse transformation (T of the coordinate transformation data obtained by the reference part model matching unit (9)_V'O ^-1) For the old vision system (Σ_V) To new vision system (Σ_{V '}Coordinate conversion data (T)_{VV '}Calibration coordinate conversion data calculation unit (3) and the coordinate conversion data (T) obtained by the calibration coordinate conversion data calculation unit (3)_{VV '}) And its inverse transform (T_{VV '} ^-1), The robot system (Σ_R) To the old vision system (Σ_VCoordinate conversion to T_RV) And the previous vision system (Σ_V) From the coordinate system of the target object handled by the robot arm device (Σ_HCoordinate conversion to T_VH) Based on the robot system (Σ_R) To the new vision system (Σ_{V '}Coordinate conversion to T_{RV '}) And the new vision system (Σ_{V '}) To the hand system (Σ_HCoordinate conversion to T_V'H) For calculating the position of the apparatus relative to each other (4) and the coordinate conversion data (T) determined by the calibration coordinate conversion data calculation section (3)._{VV '}) Inverse transform (T_{VV '} ^-1) Based on the old vision system (Σ_V) Point of part model data (p)_V) The new vision system (Σ_{V '}) Point of part model data (p)_{V '}And a part model data calibrating unit (5) for converting to (5).
  Therefore, it is not necessary to prepare a special device for setting the reference object model, and the cost of the system can be reduced.
  In addition, by selecting a part that is easy to identify as the reference part as the reference part and installing the reference part with a positional accuracy by a robot arm that operates with a high positional accuracy, it is possible to obtain highly accurate calibration coordinate conversion data, There is an advantage that the reliability of the system can be improved.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
(1) Basic concept
The object of the present invention is to calibrate the positional relationship of each device required for the pin picking system and the position data required for component detection.
When the position and orientation of the camera changes, it is necessary to set a new coordinate system of the image measuring apparatus accordingly.
[0012]
At this time, if the positional relationship between the existing coordinate system of the image measuring device and the newly set coordinate system can be detected, the positional relationship data of the device and newly set component data necessary for component detection are used. It can be converted into data based on the coordinate system of the measuring device.
Therefore, in the present invention, for the object installed at the part model production position, model matching is performed in the new coordinate system using the part model created in the conventional coordinate system, so that Obtain the positional relationship of the newly set coordinate system.
[0013]
(2) Relative relationship with the coordinate system of each device
Each coordinate system is set as shown in FIG.
Here, each coordinate system is as follows.
Σ_V: Old vision system (coordinate system of image measuring device so far)
Σ_{V '}: New vision system (coordinate system newly set for image measuring device)
Σ_R: Robot system (coordinate system of robot arm device)
Σ_H: Hand system (coordinate system when handling the target object of the hand)
[0014]
The positional relationship between each device is obtained as coordinate conversion data from the coordinate system of the device to the coordinate system of another device.
T_RV: Robot system Σ_RFrom old vision system Σ_VCoordinate transformation to
T_VH: Old vision system Σ_VFrom hand system Σ_HCoordinate transformation to
T_{RV '}: Robot system Σ_RFrom new vision system Σ_{V '}Coordinate transformation to
T_V'H: New vision system Σ_{V '}From hand system Σ_HCoordinate transformation to
T_{VV '}: Old vision system Σ_VFrom new vision system Σ_{V '}Coordinate transformation to
[0015]
(3) Calculation of calibration coordinate conversion data
Conversion data required for data calibration is the old vision system Σ_VFrom new vision system Σ_{V '}Coordinate conversion data T_{VV '}It is. This is obtained by model matching.
Old vision system Σ_VCreate a part model of the reference object in, install the reference object at the model production position, and create a new vision system Σ_{V '}If the model matching is performed using the same model, the new vision system Σ_{V '}Position and orientation T of the reference object based on_V'OCan be detected.
[0016]
At this time, the reference object is the old vision system Σ_VThe new vision system Σ_{V '}Position and orientation T of the reference object detected in_V'OIs the new vision system Σ_{V '}From old vision system Σ_VCoordinate transformation to_V'VIndicates.
Therefore, the coordinate transformation data required for data calibration is the old vision system Σ_VFrom new vision system Σ_{V '}Coordinate conversion data T_{VV '}As follows.
T_{VV '}= T_V'O ^-1    ... (1)
[0017]
(4) Calibration of equipment position relation
Robot system Σ_RAnd new vision system Σ_{V '}Can be calculated from the calibration coordinate conversion data and the previous positional relationship as follows.
T_{RV '}= T_RVT_{VV '}  ... (2)
New vision system Σ_{V '}And hand system Σ_HCan be calculated from the calibration coordinate conversion data and the previous positional relationship as follows.
T_V'H= T_{VV '} ^-1T_VH  ... (3)
[0018]
(5) Calibration of part model data
The three-dimensional shape model of the part is composed of three-dimensional linear features and curved features, and these three-dimensional data are the three-dimensional position data of the points on the features based on the vision system.
Therefore, the calibration of the three-dimensional shape model of the part is based on the old vision system Σ of the point position data constituting the model._VFrom new vision system Σ_{V '}This can be done by converting the coordinates.
Old vision system Σ_VPoint p relative to_VIs the new vision system Σ_{V '}Point p relative to_{V '}Is converted to:
[0019]
p_{V '}= T_{VV '} ^-1p_V  (4)
By reconstructing the points of the three-dimensional shape model thus converted, the three-dimensional shape model of the part can be calibrated.
New vision system Σ_{V '}If a 3D shape model based on is calculated, the 2D shape model on the image, which is the appearance model at the new position and orientation of the camera, is calibrated by perspective transformation of the 3D shape model to the camera image plane can do.
[0020]
(6) Setting of reference object model
(6.1) Setting of reference object model by background object
When there is an object whose position does not change in the field of view of the camera, a background object can be set as a reference object as shown in FIG. 2, and a reference object model can be set.
[0021]
(6.2) Setting of reference object model by fixed mark object
When a fixed mark object whose position does not change can be set in the camera field of view, the fixed object can be set as a reference object as shown in FIG. 3, and a reference object model can be set.
[0022]
(6.3) Setting of reference object model by mounting mark object
Although not always attached to the apparatus, when the attachment mark can be set by some jig during the calibration operation, the reference object model can be set with the attachment mark object as the reference object as shown in FIG.
[0023]
(6.4) Setting of reference object model by mark object attached to robot arm When mark object can be attached to robot arm, the mark object is set as a reference object and a reference object model is set as shown in FIG. be able to.
[0024]
(6.5) Setting reference object model with reference parts
When the part selected as the reference part for the calibration work can be installed at the same position using a robot arm or the like, the reference part model can be set with the reference part as the reference object as shown in FIG.
[0025]
(7) Position data calibration method
(7.1) Position data calibration method using a background object
When the position and orientation of the camera change, the position data of the bin picking system is calibrated according to the following procedure according to the flowchart shown in FIG.
(1) Set a new vision system for the image measuring device.
(2) Model matching is performed using the background object model.
(3) Calibration coordinate conversion data T from matching results_{VV '}Calculate
{Circle around (4)} The apparatus positional relationship data is calibrated using the calibration coordinate conversion data and the previous apparatus positional relationship data.
(5) The part model data is calibrated using the calibration coordinate conversion data and the part model data so far.
[0026]
(7.2) Method for calibrating position data with fixed mark object
When the position and orientation of the camera change, the position data of the bin picking system is calibrated by the following procedure according to the flowchart shown in FIG.
(1) Set a new vision system for the image measuring device.
(2) Model matching is performed using a fixed mark object model.
(3) Calibration coordinate conversion data T from matching results_{VV '}Calculate
{Circle around (4)} The apparatus positional relationship data is calibrated using the calibration coordinate conversion data and the previous apparatus positional relationship data.
(5) The part model data is calibrated using the calibration coordinate conversion data and the part model data so far.
[0027]
(7.3) Method for calibrating position data by mounting mark object
When the position and orientation of the camera changes, the position data of the bin picking system is calibrated according to the following procedure according to the flowchart shown in FIG.
(1) Set a new vision system for the image measuring device.
(2) Model matching is performed using the mounting mark object model.
(3) Calibration coordinate conversion data T from matching results_{VV '}Calculate
{Circle around (4)} The apparatus positional relationship data is calibrated using the calibration coordinate conversion data and the previous apparatus positional relationship data.
(5) The part model data is calibrated using the calibration coordinate conversion data and the part model data so far.
[0028]
(7.4) Position data calibration method using a mark object attached to a robot arm
When the position and orientation of the camera change, the position data of the bin picking system is calibrated according to the following procedure according to the flowchart shown in FIG.
(1) Set a new vision system for the image measuring device.
(2) Model matching is performed using a mark object model attached to the robot arm.
(3) Calibration coordinate conversion data T from matching results_{VV '}Calculate
{Circle around (4)} The apparatus positional relationship data is calibrated using the calibration coordinate conversion data and the previous apparatus positional relationship data.
(5) The part model data is calibrated using the calibration coordinate conversion data and the part model data so far.
[0029]
(7.5) Position data calibration method using reference parts
When the position and orientation of the camera change, the position data of the bin picking system is calibrated by the following procedure according to the flowchart shown in FIG.
(1) Set a new vision system for the image measuring device.
(2) Model matching is performed using a reference part model.
(3) Calibration coordinate conversion data T from matching results_{VV '}Calculate
{Circle around (4)} The apparatus positional relationship data is calibrated using the calibration coordinate conversion data and the previous apparatus positional relationship data.
(5) The part model data is calibrated using the calibration coordinate conversion data and the part model data so far.
[0030]
【Example】
[Example 1]
FIG. 12 shows a position data calibration apparatus using a background object according to the first embodiment of the present invention. The present embodiment relates to claim 1.
This apparatus includes a vision system setting unit 1 for setting a new vision system of an image measuring device, a background object model matching unit 2 for performing model matching using a background object model, and calibration coordinates for calculating calibration coordinate conversion data from the matching result. The conversion data calculation unit 3, the device position relationship data configuration unit 4 that calibrates the device position relationship data using the calibration coordinate conversion data and the previous device position relationship data, the calibration coordinate conversion data, and the previous part model data And a part model data calibration unit 5 for calibrating the part model data to calibrate position data necessary for the bin picking system.
[0031]
[Example 2]
FIG. 13 shows a position data calibration apparatus using a fixed mark object according to the second embodiment of the present invention. The present embodiment relates to claim 2.
In this apparatus, instead of the background object model matching unit 2 of the first embodiment, a fixed mark model matching unit 6 that performs model matching using a fixed mark object model is provided to calibrate position data necessary for the bin picking system.
[0032]
Example 3
FIG. 14 shows a position data calibration apparatus using an attachment mark object according to a third embodiment of the present invention. The present embodiment relates to claim 3.
In this apparatus, instead of the background object model matching unit 2 of the first embodiment, an attachment mark model matching unit 7 that performs model matching using an attachment mark object model is provided to calibrate position data necessary for the bin picking system.
[0033]
Example 4
FIG. 15 shows a position data calibration apparatus using a mark object attached to a robot arm according to a fourth embodiment of the present invention. The present embodiment relates to claim 4.
This apparatus is provided with a robot mounting mark object model matching unit 8 for performing model matching using a mark object model attached to a robot arm in place of the background object model matching unit 2 of the first embodiment, and position data necessary for the bin picking system. Calibrate
[0034]
Example 5
FIG. 16 shows a position data calibration apparatus using reference parts according to the fifth embodiment of the present invention. The present embodiment relates to claim 5.
In this apparatus, instead of the background object model matching unit 2 of the first embodiment, a reference part model matching unit 9 that performs model matching using a reference part model is provided to calibrate position data necessary for the bin picking system.
[0035]
【The invention's effect】
As described above in detail based on the embodiments, according to the present invention, the position data necessary for the bin picking system can be obtained even when the camera is replaced due to a camera failure, a life span, a camera damage due to an accident, or the like. Since it can be calibrated, it has the following effects.
(1) It is not necessary to recreate all the data so far.
(2) The working time due to work associated with camera replacement can be greatly reduced.
(3) It is easy to handle a large amount of part model data, and can easily cope with a process that handles a variety of products.
(4) A database of a large amount of part model data created in the past can be handled efficiently.
(5) The work cost associated with camera replacement can be reduced.
(6) It is possible to reduce the burden on the operator due to camera replacement.
(7) Camera replacement work can be easily performed.
(8) By periodically calibrating the position data, the system can continue to operate normally even if there is a slight shift in the position and orientation of the camera due to aging of the camera mounting portion.
(9) Periodic position data calibration improves system reliability.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a coordinate system used for position data calibration.
FIG. 2 is an explanatory diagram showing a reference object model based on a background object.
FIG. 3 is an explanatory diagram showing a reference object model using a fixed mark object.
FIG. 4 is an explanatory diagram showing a reference object model based on an attachment mark object.
FIG. 5 is an explanatory diagram showing a reference object model based on a mark object attached to a robot arm.
FIG. 6 is an explanatory diagram showing a reference object model based on reference parts.
FIG. 7 is a flowchart showing a position data calibration method using a background object.
FIG. 8 is a flowchart showing a position data calibration method using a fixed mark object.
FIG. 9 is a flowchart illustrating a position data calibration method using an attachment mark object.
FIG. 10 is a flowchart illustrating a position data calibration method using a mark object attached to a robot arm.
FIG. 11 is a flowchart showing a position data calibration method using a reference part.
FIG. 12 is a configuration diagram showing a position data calibration apparatus using a background object.
FIG. 13 is a block diagram showing a position data calibration apparatus using a fixed mark object.
FIG. 14 is a configuration diagram showing an apparatus for calibrating position data using an attachment mark object.
FIG. 15 is a block diagram showing a position data calibration device using a mark object attached to a robot arm.
FIG. 16 is a block diagram showing a position data calibration apparatus using reference parts.
[Explanation of symbols]
1 Vision system setting section
2 Background object model matching section
3 Calibration coordinate conversion data calculation part
4 Device position data structure
5 Parts model data calibration unit
6 Fixed mark model matching section
7 Installation mark model matching section
8 Robot mounting mark object model matching section
9 Reference part model matching section

Claims

カメラ等の画像計測装置の視野内に存在するベルトコンベア或いは作業台等の位置が変化しない背景物体を基に基準物体モデルを作製し、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、
前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記背景物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記背景物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める背景物体モデルマッチング部（２）と、
前記背景物体モデルマッチング部（２）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）と
を備えることを特徴とするビンピッキング位置データ較正装置。A reference object model is created based on a background object that does not change the position of a belt conveyor or workbench that exists in the field of view of an image measurement device such as a camera, and the image measurement device is replaced before its life or damage. A vision system setting unit (1) that sets the previous coordinate system as the old vision system (Σ _V ) and sets the new coordinate system after the replacement of the image measuring device as the new vision system (Σ _{V ′} );
Model matching is performed on the background object using the reference object model created in the old vision system (Σ _V ) in the new vision system (Σ _{V ′} ) set by the vision system setting unit (1). A background object model matching unit (2) for _obtaining coordinate transformation data (T _V′O ) indicating the position and orientation of the background object based on the new vision system (Σ _{V ′} ),
The coordinate transformation from the old vision system (Σ _V ) to the new vision system (Σ _{V ′} ) is performed on the inverse transformation (T _V′O ⁻¹ ) of the coordinate transformation data obtained by the background object model matching unit (2). Calibration coordinate conversion data calculation unit (3) as data (T _{VV ′} ),
From the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3), its inverse transformation (T _{VV ′} ⁻¹ ), and the robot system (Σ _R ) which is the coordinate system of the robot arm device. Coordinate transformation (T _RV ) to the old vision system (Σ _V ) and coordinate transformation from the old vision system (Σ _V ) to the hand system (Σ _H ) that is the coordinate system of the target object handled by the robot arm device Based on (T _VH ), coordinate transformation (T _{RV ′} ) from the robot system (Σ _R ) to the new vision system (Σ _{V ′} ) and from the new vision system (Σ _{V ′} ) to the hand system (Σ _H ) The apparatus positional relationship data calibration unit (4) for _obtaining the coordinate transformation (T _V′H ) to _H ),
A part model based on the old vision system (Σ _V ) based on the inverse transformation (T _{VV ′} ⁻¹ ) of the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3). characterized in that it comprises part model data calibration unit for converting point data (p _V) wherein the _'point of the part model data relative to the (p V new vision system (sigma _{_V)')} and (5) Bin picking position data calibration device.

カメラ等の画像計測装置の視野内に固定した識別の容易なマーク物体を基に基準物体モデルを作製し、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、
前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記マーク物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記マーク物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める固定マークモデルマッチング部（６）と、
前記固定マークモデルマッチング部（６）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、
前記較正座標変換データ計算部により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、
前記較正座標変換データ計算部により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）と
を備えることを特徴とするビンピッキング位置データ較正装置。A reference object model is created based on an easily-identified marked object fixed in the field of view of an image measurement device such as a camera, and the previous coordinate system before the image measurement device is replaced due to its life or damage, etc. system and (sigma _V), the vision system setting unit sets a new coordinate system after replacing the image measuring device as a new vision system (sigma _{V ')} and (1),
Model matching is performed on the mark object using the reference object model created in the old vision system (Σ _V ) in the new vision system (Σ _{V ′} ) set by the vision system setting unit (1). A fixed mark model matching unit (6) for _obtaining coordinate transformation data (T _V′O ) indicating the position and orientation of the mark object based on the new vision system (Σ _{V ′} ),
The coordinate transformation from the old vision system (Σ _V ) to the new vision system (Σ _{V ′} ) is performed on the inverse transformation (T _V′O ⁻¹ ) of the coordinate transformation data obtained by the fixed mark model matching unit (6). Calibration coordinate conversion data calculation unit (3) as data (T _{VV ′} ),
From the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit, its inverse transformation (T _{VV ′} ⁻¹ ), and the robot system (Σ _R ) which is the coordinate system of the robot arm device, the old vision system (sigma _V) coordinate transformation to (T _RV) and the coordinate transformation from the old vision system (sigma _V) hand system is a coordinate system of the object to be handled by the robotic arm device to (Σ _H) (T _VH ) Based on the coordinate transformation (T _{RV ′} ) from the robot system (Σ _R ) to the new vision system (Σ _{V ′} ) and from the new vision system (Σ _{V ′} ) to the hand system (Σ _H ). An apparatus positional relationship data calibration unit (4) for _obtaining the coordinate transformation (T _V′H ) of
The point of the part model data based on the old vision system (Σ _V ) based on the inverse transformation (T _{VV ′} ⁻¹ ) of the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit. (p _V) of the new vision system (sigma _{V ')} bin picking position, characterized in that it comprises part model data calibration unit for converting to the point of the part model data on the basis (p V _a') and (5) Data calibration device.

位置データ較正作業時に、用意しておいたジグによってマーク物体をカメラ等の画像計測装置の視野内に位置精度良く取り付け、前記マーク物体を基に基準物体モデルを作製し、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、
前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記マーク物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記マーク物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める取付マークモデルマッチング部（７）と、
前記取付マークモデルマッチング部（７）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）と
を備えることを特徴とするビンピッキング位置データ較正装置。At the time of position data calibration work, a marked object is attached with high accuracy to the field of view of an image measuring device such as a camera by using a prepared jig , a reference object model is created based on the marked object, and the image measuring device has a lifetime. Or a vision system in which the previous coordinate system before replacement due to breakage or the like is set as the old vision system (Σ _V ), and the new coordinate system after replacement of the image measuring device is set as the new vision system (Σ _{V ′} ). A setting unit (1);
Model matching is performed on the mark object using the reference object model created in the old vision system (Σ _V ) in the new vision system (Σ _{V ′} ) set by the vision system setting unit (1). An attachment mark model matching unit (7) for _obtaining coordinate transformation data (T _V′O ) indicating the position and orientation of the mark object based on the new vision system (Σ _{V ′} ),
The coordinate transformation from the old vision system (Σ _V ) to the new vision system (Σ _{V ′} ) is performed on the inverse transformation (T _V′O ⁻¹ ) of the coordinate transformation data obtained by the mounting mark model matching unit (7). Calibration coordinate conversion data calculation unit (3) as data (T _{VV ′} ),
From the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3), its inverse transformation (T _{VV ′} ⁻¹ ), and the robot system (Σ _R ) which is the coordinate system of the robot arm device. Coordinate transformation (T _RV ) to the old vision system (Σ _V ) and coordinate transformation from the old vision system (Σ _V ) to the hand system (Σ _H ) that is the coordinate system of the target object handled by the robot arm device Based on (T _VH ), coordinate transformation (T _{RV ′} ) from the robot system (Σ _R ) to the new vision system (Σ _{V ′} ) and from the new vision system (Σ _{V ′} ) to the hand system (Σ _H ), the apparatus positional relationship data calibration unit (4) for _obtaining the coordinate transformation (T _V′H ) to
A part model based on the old vision system (Σ _V ) based on the inverse transformation (T _{VV ′} ⁻¹ ) of the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3). characterized in that it comprises part model data calibration unit for converting point data (p _V) wherein the _'point of the part model data relative to the (p V new vision system (sigma _{_V)')} and (5) Bin picking position data calibration device.

ロボットアームにマーク物体を取り付けると共に前記マーク物体を基に基準物体モデルを作製し、画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、
前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記マーク物体に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記マーク物体の位置姿勢を示す座標変換データ（Ｔ_V'O）を求めるロボット取付マーク物体モデルマッチング部（８）と、
前記ロボット取付マーク物体モデルマッチング部（８）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）と
を備えることを特徴とするビンピッキング位置データ較正装置。Attach the mark object to the robot arm and create a reference object model based on the mark object. The previous coordinate system before replacing the image measuring device due to its service life or damage is the old vision system (Σ _V ). A vision system setting unit (1) for setting a new coordinate system after replacing the image measuring device as a new vision system (Σ _{V ′} );
Model matching is performed on the mark object using the reference object model created in the old vision system (Σ _V ) in the new vision system (Σ _{V ′} ) set by the vision system setting unit (1). A robot-attached mark object model matching unit (8) for _obtaining coordinate transformation data (T _V′O ) indicating the position and orientation of the mark object based on the new vision system (Σ _{V ′} ),
The inverse transformation (T _V′O ⁻¹ ) of the coordinate transformation data obtained by the robot mounting mark object model matching unit (8) is changed from the old vision system (Σ _V ) to the new vision system (Σ _{V ′} ). Calibration coordinate conversion data calculation unit (3) as coordinate conversion data (T _{VV ′} ),
From the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3), its inverse transformation (T _{VV ′} ⁻¹ ), and the robot system (Σ _R ) which is the coordinate system of the robot arm device. Coordinate transformation (T _RV ) to the old vision system (Σ _V ) and coordinate transformation from the old vision system (Σ _V ) to the hand system (Σ _H ) that is the coordinate system of the target object handled by the robot arm device Based on (T _VH ), coordinate transformation (T _{RV ′} ) from the robot system (Σ _R ) to the new vision system (Σ _{V ′} ) and from the new vision system (Σ _{V ′} ) to the hand system (Σ _H ), the apparatus positional relationship data calibration unit (4) for _obtaining the coordinate transformation (T _V′H ) to
A part model based on the old vision system (Σ _V ) based on the inverse transformation (T _{VV ′} ⁻¹ ) of the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3). characterized in that it comprises part model data calibration unit for converting point data (p _V) wherein the _'point of the part model data relative to the (p V new vision system (sigma _{_V)')} and (5) Bin picking position data calibration device.

基準物体モデルを設定するための基準部品を作業者側で適切に用意すると共に前記基準部品を基に基準物体モデルを作製し、画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（Σ_V）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（Σ_V'）として設定するビジョン系設定部（１）と、
前記ビジョン系設定部（１）により設定された前記新ビジョン系（Σ_V'）において前記旧ビジョン系（Σ _V ）で作製された前記基準物体モデルを用いて前記基準部品に対するモデルマッチングを行うことにより、前記新ビジョン系（Σ_V'）を基にする前記基準部品の位置姿勢を示す座標変換データ（Ｔ_V'O）を求める基準部品モデルマッチング部（９）と、
前記基準部品モデルマッチング部（９）により求められた前記座標変換データの逆変換（Ｔ_V'O ^-1）を前記旧ビジョン系（Σ_V）から新ビジョン系（Σ_V'）への座標変換データ（Ｔ_VV'）とする較正座標変換データ計算部（３）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）、その逆変換（Ｔ_VV' ^-1）、ロボットアーム装置の座標系であるロボット系（Σ_R）から前記旧ビジョン系（Σ_V）への座標変換（Ｔ_RV）及び前記旧ビジョン系（Σ_V）からロボットアーム装置でハンドリングされる対象物体の座標系であるハンド系（Σ_H）への座標変換（Ｔ_VH）に基づいて、前記ロボット系（Σ_R）から前記新ビジョン系（Σ_V'）への座標変換（Ｔ_RV'）及び前記新ビジョン系（Σ_V'）から前記ハンド系（Σ_H）への座標変換（Ｔ_V'H）をそれぞれ求める装置位置関係データ較正部（４）と、
前記較正座標変換データ計算部（３）により求められた前記座標変換データ（Ｔ_VV'）の逆変換（Ｔ_VV' ^-1）に基づき、前記旧ビジョン系（Σ_V）を基準にした部品モデルデータの点（ｐ_V）を前記新ビジョン系（Σ_V'）を基準にした部品モデルデータの点（ｐ_V'）へ変換する部品モデルデータ較正部（５）と
を備えることを特徴とするビンピッキング位置データ較正装置。Prepare the reference parts for setting the reference object model appropriately on the operator side, create the reference object model based on the reference parts, and the coordinates before replacing the image measuring device due to its life or damage A vision system setting unit (1) for setting the system as the old vision system (Σ _V ) and setting the new coordinate system after the replacement of the image measuring device as the new vision system (Σ _{V ′} );
Model matching is performed on the reference part using the reference object model created in the old vision system (Σ _V ) in the new vision system (Σ _{V ′} ) set by the vision system setting unit (1). A reference part model matching unit (9) for _obtaining coordinate transformation data (T _V′O ) indicating the position and orientation of the reference part based on the new vision system (Σ _{V ′} ),
The coordinate transformation from the old vision system (Σ _V ) to the new vision system (Σ _{V ′} ) is performed on the inverse transformation (T _V′O ⁻¹ ) of the coordinate transformation data obtained by the reference part model matching unit (9). Calibration coordinate conversion data calculation unit (3) as data (T _{VV ′} ),
From the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3), its inverse transformation (T _{VV ′} ⁻¹ ), and the robot system (Σ _R ) which is the coordinate system of the robot arm device. Coordinate transformation (T _RV ) to the old vision system (Σ _V ) and coordinate transformation from the old vision system (Σ _V ) to the hand system (Σ _H ) that is the coordinate system of the target object handled by the robot arm device Based on (T _VH ), coordinate transformation (T _{RV ′} ) from the robot system (Σ _R ) to the new vision system (Σ _{V ′} ) and from the new vision system (Σ _{V ′} ) to the hand system (Σ _H ), the apparatus positional relationship data calibration unit (4) for _obtaining the coordinate transformation (T _V′H ) to
A part model based on the old vision system (Σ _V ) based on the inverse transformation (T _{VV ′} ⁻¹ ) of the coordinate transformation data (T _{VV ′} ) obtained by the calibration coordinate transformation data calculation unit (3). characterized in that it comprises part model data calibration unit for converting point data (p _V) wherein the _'point of the part model data relative to the (p V new vision system (sigma _{_V)')} and (5) Bin picking position data calibration device.