WO1992015838A1 - Detection position correction system - Google Patents

Description

明 細 書 検出位置補正方式 技 術 分 野

本発明はセンサによる対象物の位置検出に使用される検出位 置補正方式に関し、 特にロボッ トハン ドに取り付けられた視覚 セ ンサによって対象物の位置を検出する検出位置補正方式に関 する。 背 景 技 術

ロボッ ト システムでは、 口ボッ トに視覚機能を持たせ、 その 視覚機能によって対象物の位置を認識させて組立作業、 パレタ イ ジング作業等を行わせることが実用化されつつある。 その視 覚機能は、 例えばロボッ トハン ドに取り付けられた視覚セ ンサ (例えばカ メ ラ） が対象物を撮像するような機能である。 この ようなロボッ ト システムにおいて、 対象物の位置を検出するに は、 視覚セ ンサが対象物をどの位置から見ているかという情報、 すなわち、 キヤ リ ブレーシ ョ ンデータを予め設定しておく必要 がある。

このキ ヤ リ ブレー シ ョ ンデータ は、 そのキ ヤ リ ブレー シ ョ ン が行われたときの視覚セ ンサの位置及び姿勢でのみ有効である _c したがって、 視覚セ ンサはキ ヤ リ ブレー シ ョ ンが行われた位置 に完全に固定して使用する必要がある。 また、 ロボッ トハン ド 等の可動部に取り付けた視覚セ ンサを用いて対象物の位置を検 出しようとする場合も、 キ ヤ リ ブレ一 シ ヨ ンを行ったときの視 覚センサの位置及び姿勢をそのまま再現して使用する必要があ る。 このため、 視覚センサはその位置が制約され、 視覚センサ による対象物の検出を狭い範囲でしか行うことができないとい う問題点があった。 例えば、 対象物の位置が変化したときは、 その対象物が視覚センサの視野外となり、 対象物を検出できな くなるようなこともあった。

さらに、 ロボッ トハン ドに取り付けた 1台の視覚センサによ つて、 複数箇所の検出を行いたい場合があるが、 そのようなと きもその複数箇所の数だけキヤ リブレーショ ンデータを準備す る必要があった。 このため、 キヤ リブレ一ショ ン作業に多くの 工数と時間を要するという問題点もあった。 発 明 の 開 示

本発明はこのような点に鑑みてなされたものであり、 広範囲 に対象物の位置検出を行うことができる検出位置補正方式を提 供することを目的とする。

また、 本発明の他の目的は、 任意の位置でキヤ リ ブレーショ ンを一度行うだけで、 他の位置でも対象物の位置検出を行うこ とができる検出位置捕正方式を提供することである。

本発明では上記課題を解決するために、

センサが検出した対象物の検出データを補正して対象物の正 確な位置を求める検出位置補正方式において、 前記可動部の座 標系と前記可動部に設置されたセンサの座標系との間でキヤ リ ブレーショ ンを行って第 1 のキャ リ ブレーショ ンデータを求め、 前記キヤ リブレーショ ンを行ったときの前記センサの移動前の 位置及び姿勢を認識し、 前記可動部によって前記センサが移動 したときの前記センサの移動後の位置及び姿勢を認識し、 前記 センサの移動前及び移動後の位置及び姿勢から前記センサの位 置及び姿勢の移動量を求め、 前記センサの位置及び姿勢の移動 量及び前記第 1のキャ リ ブレーショ ンデータに基づいて、 前記 センサの移動後の位置における第 2のキヤ リブレーショ ンデー タを求め、 前記第 2のキヤ リ ブレーショ ンデータ及び前記セ ン サが移動後の位置において検出した対象物の検出データに基づ いて、 前記対象物の正確な位置を求めることを特徴とする検出 位置補正方式が、 提供される。

可動部の座標系とセン の座標系との間でキャ リ ブレーショ ンを行って第 1のキヤ リ ブレーショ ンデータを求める。 そのキ ャ リブレーショ ンを行ったときのセンサの移動前の位置及び姿 勢、 及びセンサが移動したときの移動後の位置及び姿勢からセ ンサの位置及び姿勢の移動量を求める。 このセンサの位置及び 姿勢の移動量及び第 1のキャ リ ブレーショ ンデータに基づいて、 センサの移動後の位置における第 2のキヤ リ ブレーショ ンデー タが求められる。 この第 2のキヤ リ ブレ一シヨ ンデータ及びセ ンサが移動後の位置において検出した対象物の検出データに基 づいて、 対象物の正確な位置が求められる。 すなわち、 キヤ リ ブレーショ ンは第 1 のキヤ リ ブレーショ ンデータを求めるとき にのみ行えばよく、 第 2のキャ リ ブレーショ ンデータは、 セン サのあらゆる位置で演算によって求められる。 したがって、 セ ンサはその位置が制約されず、 センサによって広範囲に対象物 の位置検出を行う ことができる。 図 面 の 簡 単 な 説 明 図 1 は本発明の検出位置補正方式を実施するための口ポッ ト システムの全体構成を示す図、

図 2は本発明の検出位置補正方式の第 2の実施例を示す図で ある ο 発明を実施するための最良の形態

以下、 本発明の一実施例を図面に基づいて説明する。

図 1 は本発明の検出位置補正方式を実施するためのロボッ ト システムの全体構成を示す図である。 ロボッ ト 1 はロボッ ト制 御装置 1 0からの指令によって制御されている。 ロボッ ト 1 の アーム 2には、 カメ ラ 3が取り付けられる。 カメ ラ 3はロボッ ト 1 によって、 例えば破線で示す Α位置から実線で示す Β位置 に移動し、 それぞれの位置で対象物 3 0の特徴点 3 3を撮像し、 その撮像データを後述する視覚センサ制御装置 2 0に送る。 こ の A位置及び B位置は、 ここでは図示しない作業用ロボッ トが 対象物 3 0の各段を上から順に取り除いて移動させるパレタィ ジング作業を行ったときの状態に対応しており、 カメ ラ 3は対 象物 3 0の各段の上面に設けられている特徴点 3 3を撮像する ために A位置から B位置に移動する。

ロボッ ト制御装置 1 0は、 ロボッ ト 1のアーム 2先 ¾の位置 及び姿勢を認識可能であり、 カメ ラ 3の A位置及び B位置にお ける各々の位置及び姿勢のデータをメモ リ 1 1 に格納する。 こ こで、 A位置におけるカメ ラ 3の位置及び姿勢のデータを C A 1 1 a、 B位置に'おけるカメ ラ 3の位置及び姿勢のデータを C B 1 1 bとする。

—方、 視覚セ ンサ制御装置 2 0 はプロセ ッ サ （C P U 2 1 を中心に構成されている。 R OM 2 2 には本発明の検出位置補 正方式やキヤ リ ブレ一シヨ ンを行うためのコ ン ト ロ ール · ソ フ ト ウヱァ 2 2 aが格納されている。 R AM 2 3には、 上述した ロボッ ト制御装置 1 0内のカメ ラ 3の位置及び姿勢データ （C A 1 l a、 C B 1 l b ) がイ ンタフヱース 2 7を経由して格納 される。 また、 R AM 2 4には B位置にあるカメ ラ 3が対象物 3 0を撮像して得られた撮像データが力メ ラ · イ ンタフヱース 2 8を経由して格納される。 この撮像データを WD B 3 1 とす る。 さらに、 R AM 2 5には、 カメ ラ 3が A位置にあるときの キヤ リ ブレーショ ンによって得られたキヤ リ ブレーショ ンデー タ （C D A) 3 2が予め格納されている。 キャ リ ブレー シ ョ ン データ （C D A) 3 2は、 カメ ラ座標系を共通座標系に変換す るためのデータであり、 A位置にある力メ ラ 3がカメ ラ座標系 において撮像した対象物 3 0の撮像データは、 このキヤ リブレ ーシヨ ンデータ （C DA) 3 2によって補正され、 その結果対 象物 3 0の位置が共通座標系によって認識される。

プロセッサ 2 1 はコ ン ト ロール · ソフ ト ウ エア 2 2 aに従つ て、 ロボッ ト システム全体を制御して対象物 3 0の移動後の現 在位置を求める。 ここで、 その手順を説明する。 まず、 画像処 理プロセッサ 2 6が、 カメ ラ 3の移動前 （A位置） の位置及び 姿勢データ （C A) 1 1 a及び移動後 （B位置） の位置及び姿 勢データ （C B) 1 1 bからカメ ラ 3の位置及び姿勢の移動量

(C M) 1 2を求める。 この移動量 C M 1 2 は R AM 2 3に格 納される。 次に、 カメ ラ 3の移動量 （C M) 1 2 と、 R AM 2 5に格納されているキャ リ ブレーショ ンデータ （C D A) 3 2 に基づいて、 カメ ラ 3の移動後の位置、 すなわち、 B位置にお けるキャ リブレーシ ョ ンデータ （C DB) 3 3を求め、 R AM 2 5に格納する。 このキャ リ ブレーショ ンデータ （C DB) 3 3及び上述した撮像データ （WDB) 3 1に基づいて対象物 3 0の移動後の現在位置が正確に求められる。 すなわちカメ ラ 3 が B位置で撮像した対象物 3 0の撮像データ （WDB) 3 1が、 カメ ラ 3が B位置にあるときのキャ リブレーショ ンデータ （C DB) 3 3によって補正され、 共通座標系において対象物 3 0 の位置が認識される。

このように、 カメ ラ 3が移動する前の A位置でのキヤ リブレ ーシ ョ ンによつて得られたキヤ リ ブレーシヨ ンデータ （C D A) 3 2と、 カ メ ラ 3の位置及び姿勢の移動量データ （CM) 1 2から計算によって力メ ラ 3の移動後の B位置でのキヤ リブ レーシヨ ンデータ （CDB) 3 3を求め、 このキヤ リブレーシ ヨ ンデータ （CDB) 3 3とその B位置での対象物 3 0の撮像 データから対象物 3 0の位置を検出するようにした。 このため、 最初にキヤ リブレーショ ンを 1回だけ行ってキヤ リブレーショ . ンデータを求めればよく、 その後は力メ ラ 3の位置及び姿勢が 変化しても、 その変化に応じて、 計算によってキヤ リブレーシ ヨ ンデータを求めることができる。 すなわち、 あらゆる位置で キヤ リブレーショ ンデータを求めることができる。 したがって、 カメ ラ 3の位置は制約されず、 カ メ ラ 3によって広範囲に対象 物の位置検出を行うことができる。 また、 キャ リ ブレーシ ョ ン 時に生じる誤差も殆ど含まないため、 位置検出を正確に行うこ とができる。 - 上記の説明では、 移動前のキヤ リブレ一シヨ ンデータと移動 量から移動後のキャ リ ブレーシ ョ ンデータを求め、 その移動後 のキャ リ ブレーショ ンデータと移動後の位置で力メ ラの撮像デ 一夕とから、 対象物の位置を求めるように構成したが、 これを 次のように構成することもできる。 すなわち、 まず、 移動後の 位置でのカメ ラの撮像データと移動前のキャ リブレーショ ンデ 一夕から、 対象物の仮の位置を求め、 次にその射象物の仮の位 置と移動量とから対象物の位置を求めるように構成することも できる。 この場合、 対象物の仮の位置とは、 移動後の位置での カメ ラの撮像データをあたかも移動前の位置での撮像データで あるとみなして、 移動前のキヤ リ ブレーショ ンデータで補正し て得られたものであり、 対象物の真の位置は、 この仮の位置に カメ ラの移動量を反映させて得られる。 このような構成にする と、 対象物の'位置が求まるまでの計算上の処理が簡単になると いう利点がある。

図 2は本発明の検出位置補正方式の第 2の実施例を示す図で ある。 この第 2の実施例での口ボッ ト システムは、 自動車の生 産ライ ンにおいて、 車体 （対象物） 7 0のドア 7 1 にボルト締 め等の作業をロボッ 卜に正確に行わせるためのものである。 車 体 7 0 は、 3合のカメ ラ 4 1、 4 2、 4 3によってその 3点が 撮像され、 視覚センサ制御装置 4 0はその 3点の撮像データか ら車体 7 0の位置のズレを検出丈る。 この位置のズレに関する 情報は、 ロボッ ト制御装置 8 0に送られる。 ロボッ ト 9 0はそ の情報に応じてアーム 9 1 に取り付けられている力メ ラ 4 4の 位置及び姿勢を制御する。

一方、 ロボッ ト 6 0はロボッ ト制御装置 5 0からの指令によ つて、 そのロボッ トハン ド 6 2を用いてドア 7 1が所定位置に 来るように ド了 7 1 を開く。 このとき、 ロボッ ト 9 0 は、 カメ ラ 4 4がドア？ 1 の所定箇所をその視野にとらえることができ るように、 上記の車体？ 0の位置のズレに関する情報に基づい てカメ ラ 4 4の位置を移動させる。

視覚セ ンサ制御装置 4 0は、 カメ ラ 4 4の移動前のキャ リブ レーシヨ ンデータを予め持っており、 ドア 7 1 の位置検出を上 述した本発明の検出位置補正方式によって求める。 すなわち、 カメ ラ 4 4の移動前のキャ リブレーショ ンデータとカメ ラ 4 4 の移動量から移動後のキヤ リブレ一ショ ンデータを求め、 その 移動後のキャ リブレーショ ンデータと移動後の位置でのカメ ラ

4 4の撮像データとから、 ドア 7 1の正確な位置を求める。 こ の位置データに基づいて、 こ こでは図示しない作業用ロボッ ト がドア 7 1にボルト締め等の作業を行う。

このように、 対象物 （車体のドア） の位置がずれるような場 合でも、 そのズレ量を検出し、 そのズレ量に応じてカメ ラの位 置及び姿勢を補正し、 常時カメ ラの視野内に対象物の特徴点が 入るようにした。 このため、 対象物の位置がずれたとしても、 その対象物を常に検出することができ、 対象物の位置検出を正 確に行うこと力できる。

以上説明したように本発明では、 セ ンサの移動前のキャ リブ レーシヨ ンデータとセンサの移動量から移動後のキャ リブレー ショ ンデータを求め、 その移動後のキャ リブレーショ ンデータ と移動後の位置でセ ンサの検出データとから、 対象物の位置を 求めるように構成した。 このため、 最初にキヤ リ ブレ一シ ヨ ン を 1回だけ行ってキャ リブレーシ ョ ンデータを求めればよく、 その後はセ ンサの位置及び姿勢が変化しても、 その変化に応じ て、 計算によってキヤ リ ブレーショ ンデータを求めることがで きる。 すなわち、 あらゆる位置でキ ャ リ ブレー シ ョ ンデータを 求めることができる。 したがって、 セ ンサの位置は制約されず、 センサによつて広範囲に対象物の位置検出を行う ことができる。 また、 キャ リ ブレーシ ョ ン時に生じる誤差も殆ど含まないため、 位置検出を正確に行うことができる。

また、 移動後の位置でのセ ンサの検出データと移動前のキ ヤ リブレーシ ヨ ンデータから、 対象物の仮の位置を求め、 その対 象物の仮の位置とセンサの移動量とから対象物の位置を求める ように構成した。 このため、 対象物の位置を求めるまでの計算 上の処理をより簡単にす,ることができる。

さらに、 対象物の位置がずれるようなときでもそのズレ量を 検出し、 そのズレ量に応じてカメ ラの位置及び姿勢を補正し、 常時セ ンサの視野内に対象物の特徴点が入るようにした。 この ため、 対象物の位置がずれたとしても、 その対象物を常に検出 することができる。 したがって、 対象物の位置検出を常時正確 に行う こと力 できる。

Claims

請 求 の 範 囲

1 . セ ンサが検出した対象物の検出データを補正して対象物 の正確な位置を求める検出位置補正方式において、

可動部の座標系と前記可動部に取り付けられたセ ンサの座標 系との間でキャ リブレ一ショ ンを行って第 1のキャ リ ブレーシ ョ ンデータを求め、

前記キヤ リブレーショ ンを行ったときの前記センサの移動前 の位置及び姿勢を認識し、

前記可動部によって前記セ ンサが移動したときの前記セ ンサ の移動後の位置及び姿勢を認識し、

前記セ ンサの移動前及び移動後の位置及び姿勢から前記セ ン サの位置及び姿勢の移動量を求め、

前記センサの位置及び姿勢の移動量及び前記第 1のキヤ リブ レーショ ンデータに基づいて、 前記センサの移動後の位置にお ける第 2のキヤ リブレ一ショ ンデータを求め、

前記第 2 のキヤ リ ブレーショ ンデータ及び前記セ ンサが移動 後の位置において検出した対象物の検出データに基づいて、 前 記対象物の正確な位置を求めることを特徴とする検出位置補正

2 . 前記センサ以外の他のセンサによって検出された前記対 象物の位置に応じて、 前記可動部の撮像位置を補正し、 前記可 動部に取り付けられたセンサにより前記対象物の特徴点を検出 することを特徴とする請求項 1記載の検出位置補正方式。

3 . 前記可動部はロボッ トであることを特徵とする請求項 1 記載の検出位置補正方式。

4 . 前記セ ンサは視覚セ ンサであることを特徴とする請求項 1記載の検出位置補正方式。

5 . センサが検出した対象物の検出データを補正して対象物 の正確な位置を求める検出位置補正方式において、

前記可動部の座標系と前記可動部に設置されたセンサの座標 系との間でキヤ リ ブレーショ ンを行って第 1 のキヤ リ ブレーシ ヨ ンデータを求め、

前記キヤ リブレーショ ンを行ったときの前記センサの移動前 の位置及び姿勢を認識し、

前記可動部によって前記センサが移動したときの前記センサ の移動後の位置及び姿勢を認識し、

前記センサの移動前及び移動後の位置及び姿勢から前記セン サの位置及び姿勢の移動量を求め、

前記センサが移動後の位置において検出した対象物の検出デ ータ及び前記第 1のキヤ リブレーショ ンデータに基づいて前記 対象物の仮の位置を求め、

前記対象物の仮の位置及び前記センサの位置及び姿勢の移動 量に基づいて、 前記対象物の正確な位置を求めることを特徴と する検出位置補正方式。