JPH0731533B2 - 三次元座標変換装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、ロボットのハンドにカメラ等の視覚装置を備
え、この視覚装置によって、搬送されるワークの正確な
搬送位置及び姿勢等を算出するための三次元座標変換装
置に係り、特に、ロボットの作動中に、この視覚装置自
体に装着ズレが発生した場合においても、自動的に、こ
のズレを補正することができる三次元座標変換装置に関
する。

（従来の技術） 近年、生産工程の自動化に伴い、例えば組立て作業にお
いては、無人搬送車等によって自動的に搬送されたワー
クをロボットによって掴み、所定の作業を行なわせてい
る。

この場合、ロボットにカメラ等による視覚機能を持た
せ、この視覚機能によって搬送されたワークの姿勢及び
位置を認識し、ロボットはワークの搬送姿勢，位置に拘
らず常にワークの特定の位置を掴むようにしている。こ
のように、ロボットにワークの特定の位置を掴ませるに
は、視覚機能を制御する視覚制御装置によって、ワーク
におけるカメラの座標系をロボットの座標系に座標変換
し、この座標変換後の信号をロボットを制御する制御装
置に出力することによって行なわれる。

第６図には、一般的に用いられている三次元座標変換装
置の概略構成図が示されている。

同図に示すように、生産ライン上を搬送されるワークの
特徴点を撮像するカメラ１は、このカメラ１からの画像
を入力する画像入力部２を介して、画像メモリ３に接続
されている。したがって、カメラ１から入力した画像
は、画像メモリ３にデジタルデータとして記憶されるこ
とになる。

そして、画像メモリ３には、この画像メモリ３内に記憶
されているデジタルデータから座標変換に必要な特定の
パターンを抽出するキャリブレーションパターン抽出部
４と画像メモリ３内に記憶されているデジタルデータか
ら特徴点を抽出する特徴点抽出部８が接続されている。
また、キャリブレーションパターン抽出部４には、カメ
ラ１における座標系をロボットにおける座標系と一致さ
せる変換式の作成をする座標変換式作成部５が接続さ
れ、この座標変換式作成部５には、当該ワークの特定の
パターンにおけるロボット系の座標を記憶してある絶対
座標記憶部６と、座標変換式作成部５によって作成され
た変換式を記憶する変換式記憶部７とが接続されてお
り、座標変換式作成部５により、キャリブレーションパ
ターン抽出部４によって抽出された特定のパターンの位
置と絶対座標記憶部６に記憶されているロボット系にお
ける前記ワークの特定のパターンの位置とによって座標
変換式が作成され、この座標変換式が変換式記憶部７に
記憶される。

さらに、変換式記憶部７には、座標変換部９を介して出
力部10が接続されており、特徴点抽出部８により抽出さ
れたワークの特徴点のカメラ座標系における位置が座標
変換部９によって、変換式記憶部７に記憶されている変
換式に基づきロボット座標系での位置に変換され、出力
部10から図示しないロボットの制御装置に出力されるよ
うになっている。これにより、ロボットは、ワークの特
定の位置を掴んで移動させたり、また、定められた位置
を加工したりできることになる。

（発明が解決しようとする問題点） しかしながら、このような従来の三次元座標変換装置に
あっては、ロボットの作業中等においてカメラの装着状
態にズレ等が生じないことを前提としたものであったた
めに、ロボットの稼働時間の経過に伴いカメラ１の装着
ボルト等が自然にゆるんで装着位置ズレが発生した場合
や、メインテナンス時にカメラ１の装着位置がズレた場
合等には、ロボットの作業精度が悪化することになる。

従って、ロボットの作業精度を維持させるには、このよ
うな事態の発生を想定して、定期的にメインテナスを行
なうと共に、例えば一定時間毎に座標変換式の再作成を
行なう等の必要がある。

このため、作業精度維持のためのメインテナンスに時間
を要し、その作業も繁雑であり、また、メインテナンス
周期間におけるロボットの作業精度における信頼性も低
い等の種々の問題点があった。

本発明は、このような従来の問題点に鑑みて成されたも
のであり、カメラ１の装着位置ズレを、ロボットの作業
中において適宜認識し、このズレを自動的に補正するよ
うにした三次元座標変換装置を提供することを目的とす
る。

（問題点を解決するための手段） 前記目的を達成するための本発明は、ロボットのハンド
に視覚装置を備え、この視覚装置によって、搬送される
ワークの正確な搬送位置及び姿勢を算出するための三次
元座標変換装置であって、生産ライン上を搬送されるワ
ークの特徴点及び前記ロボットの作業位置以外の場所に
配設した基準パターンを撮像する視覚装置と、該視覚装
置が撮像した画像をデジタルデータとして記憶する画像
メモリと、該画像メモリ内に記憶されている画像デジタ
ルデータから座標変換に必要なワークの特徴点、および
前記基準パターンにおける特定のパターンを抽出するキ
ャリブレーションパターン抽出部と、該画像記憶手段内
に記憶されている画像デジタルデータから前記ワークの
特徴点を抽出する特徴点抽出部と、前記キャリブレーシ
ョンパターン抽出部によって抽出した特定のパターンの
前記視覚装置における座標系を前記ロボットにおける座
標系と一致させる変換式を作成する座標変換式作成部
と、前記ワークの特徴点、および前記基準パターンにお
ける特定のパターンの前記ロボットにおける座標系を予
め記憶した絶対座標記憶部と、前記座標変換式作成部が
作成した前記ワークの特徴点の前記視覚装置における座
標系を前記ロボットにおける座標系と一致させる第１座
標変換式を記憶する第１変換式記憶部と、前記座標変換
式作成部が作成した前記基準パターンにおける特定のパ
ターンの前記視覚装置における座標系を前記ロボットに
おける座標系と一致させる第２座標変換式を記憶する第
２変換式記憶部と、前記視覚装置が撮像した前記基準パ
ターンにおける特定のパターンの現在の座標変換式を作
成する現在座標変換式作成部と、前記第２変換式記憶部
に記憶されている前記第２座標変換式と現在座標変換式
作成部によって作成された現在座標変換式とから前記基
準パターンの差を検出する偏差量検出部と、該偏差量検
出部が検出した基準パターンの差によって、第１変換式
記憶部に記憶されている変換式を補正する偏差補正部
と、前記特徴点抽出部によって抽出されたワークの特徴
点の前記視覚装置における座標系での位置を、前記偏差
補正部から出力された補正が加えられた変換式により、
前記ロボット座標系での位置に変換する座標変換部と、
を有することを特徴とする三次元座標変換装置である。

（作用） 上述のように構成された本発明は、視覚装置によて撮像
された画像から、ワークの特徴点、および基準パターン
の特定のパターンをキャリブレショーンパターン抽出部
が抽出し、座標変換式作成部において、視覚装置座標系
からロボット座標系への座標変換式が作成され、それぞ
れ、ワークの特徴点における第１座標変換式が第１変換
式記憶部に記憶され、基準パターンの特定のパターンに
おける第２座標変換式が第２変換式記憶部に記憶され
る。そして、これら第１および第２座標変換式とは別
に、基準パターンの特定のパターンの座標変換を行う現
在座標変換式が現在座標変換式作成部によって作成され
る。これにより、ある時点での基準パターンの特定のパ
ターンにおける第２座標変換式が第２変換式記憶部に記
憶されて、これとは別のある時点での現在座標変換式が
現在座標変換式作成部により作成される。そして、この
二つの座標変換式から基準パターンの差を偏差量検出部
が検出し、検出した偏差量に従って、ワークの特徴点の
座標変換を行うための第１座標変換式を偏差補正部が補
正する。

この補正した第１座標変換式によって、特徴点抽出部が
抽出したワークの特徴点を視覚装置座標系からロボット
座標系に変換することによって、例えロボットの作業中
において、視覚装置にずれが発生しても、例えば、第２
変換式記憶部に記憶される座標変換式を初期状態におい
て記憶させておき、その後作業を行っている状態で、適
宜現在座標変換式を算出し、これらを比較することで、
視覚装置のずれを認識し、自動的にその補正を行うこと
が可能となる。

（実施例） 以下に、本発明の実施例を図面に基づいて詳細に説明す
る。

第１図には、本発明に係る三次元座標変換装置のブロッ
ク図が示されている。

同図に示すように、生産ライン上を搬送されるワークの
特徴点及び基準パターンを撮像する視覚装置であるカメ
ラ１は、このカメラ１からの画像を入力する画像入力部
２を介して、画像メモリ３に接続されている。画像入力
部２はカメラ１が撮像した画像をアナログデータからデ
ジタルデータに変換するもので、したがって、カメラ１
が撮像した画像は、画像メモリ３にデジタルデータとし
て記憶されることになる。

そして、画像メモリ３には、この画像メモリ３内に記憶
されているデジタルデータから座標変換に必要なワーク
の特徴点、及び基準パターンにおける特定のパターンを
抽出するキャリブレーションパターン抽出部４と、画像
メモリ３内に記憶されているデジタルデータからワーク
の特徴点を抽出する特徴点抽出部８が接続されている。

また、キャリブレーションパターン抽出部４には、キャ
リブレーションパターン抽出部４によって抽出した特定
のパターンのカメラ１における座標系での位置をロボッ
トにおける座標系での位置に一致させる変換式の作成を
する座標変換式作成部５が接続されている。すなわち、
本実施例においては、この座標変換式作成部５では、キ
ャリブレーションパターン抽出部４によって抽出したワ
ークが標準状態に位置するときのワークの特徴点のカメ
ラ１における座標系での位置をロボットにおける座標系
での位置に一致させる第１座標変換式と、初期状態での
基準パターンからキャリブレーションパターン抽出部４
によって抽出した特定のパターンのカメラ１における座
標系での位置をロボットにおける座標系での位置に一致
させる第２座標変換式とが作成される。ここで標準状態
とは、ロボットがワークに対して作業を行うための作業
点としてワークの特徴点を記憶させたときのワークの位
置であり、また、初期状態とは、当該ロボットが作業に
必要な作業点での位置を記憶、または変更したとき、ま
たは、当該カメラ１が当該ロボットのハンド部分に取り
付けられてから最初に動作を行うために動作したとき、
または、停止状態から最初に動作を開始したときなど、
ロボットの動作開始時点をいう。

そして、この座標変換式作成部５には、ワークが搬送さ
れて来て、定位置にある状態での当該ワークの特徴点の
ロボット座標系における位置が予め記憶されている絶対
座標記憶部６と、座標変換式作成部５によって作成され
た第１座標変換式を記憶する第１変換式記憶部7Aと、同
様に座標変換式作成部５によって作成された第２座標変
換式を記憶する第２変換式記憶部11と、当該ロボットの
動作中においてカメラ１により撮像された前記基準パタ
ーンから抽出された特定のパターンのカメラ１における
座標系での位置をロボットにおける座標系での位置に一
致させる現在の座標変換式を作成する現在座標変換式作
成部12とが夫々接続されている。

したがって、第１変換式記憶部7Aには、カメラ１によっ
て撮像したワークの特徴点の位置をロボット座標系へ変
換する第１座標変換式が、第２変換式記憶部11には、カ
メラ１によって撮像した初期状態での基準パターンから
抽出された特定のパターンの位置をロボット座標系へ変
換する第２座標変換式が夫々格納されることになる。

さらに、第２変換式記憶部11と現在座標変換式作成部12
には、偏差量検出部13が接続されており、偏差量検出部
13が第２変換式記憶部11に記憶されている第２座標変換
式と、現在座標変換式作成部12において算出した現在座
標変換式とから基準パターンの差、すなわち、カメラ１
の装着ズレ量である偏差量を検出する。

この偏差量検出部13には、この偏差量検出部13によって
検出した偏差量により、第１変換式記憶部7Aに記憶され
ている第１座標変換式を補正する偏差補正部14に接続さ
れている。

そして、偏差補正部14は座標変換部９に接続されてお
り、座標変換部９では、特徴点抽出部８によって抽出さ
れたワークの特徴点のカメラ座標系における位置を偏差
補正部14から出力された補正が加えられた第１座標変換
式に基づき、ロボット座標系での位置に変換され、補正
後のワークの座標値が出力部10から図示しないロボット
の制御装置に出力されるようになっている。

また、第２図には、本発明に係る三次元座標変換装置周
辺の概略構成図が示されている。

カメラ１は、カメラ１から出力された画像に関するアナ
ログデータをデジタルデータに変換するA/D変換器23を
介して、視覚制御装置20内に設けられているI/0ポート2
4に接続されている。また、I/0ポート24には、視覚制御
装置20の動作プログラムを記憶しているROM25と送られ
てくる各種のデータを記憶するRAM26を接続し、ROM25内
の動作フローチャートにより、視覚制御装置20を総括的
に制御するCPU27と、ロボット15の制御をするロボット
制御装置19内に設けられたI/0ポート28が接続されてい
る。さらに、I/0ポート28には、ロボット制御装置19の
動作プログラムを記憶しているROM29と送られてくる各
種のデータを記憶するRAM30を接続し、ROM29内の動作フ
ローチャートにより、ロボット制御装置19を総括的に制
御するCPU31と、CPU31の命令により、ロボット15を構成
するアーム等に駆動信号を出力する駆動回路32が接続さ
れている。

以上のように構成された三次元座標変換装置は、第５図
に示す動作フローチャートに基づいて、次のように動作
することになる。以下に、この動作フローチャートを第
１図乃至第４図を参照して詳細に説明する。

この装置の動作は、まず、ステップ１からステップ６に
おいて初期状態でのキャリブレーションが行われ、その
後ステップ７からステップ12においてロボットの作業動
作が行われる。以下、各ステップについて説明する。

ステップ１ 第４図に示すように、ロボット15のアーム15Aに装着さ
れたカメラ１は、第３図に示すように、コンベア21上を
順次搬送されるワーク22が標準状態に位置している状態
での特徴点の部分（この特徴点は、通常、ワークの種類
毎に予め定められている。）を撮像し、この画像をA/D
変換器23によってデジタルデータに変換し、このデジタ
ルデータを、視覚制御装置20内に備えられたI/0ポート2
4を介してRAM26に記憶する。このRAM26は、第１図に示
す画像メモリ３として、またA/D変換器23は画像入力部
２として作用する。

ステップ２ CPU27は、ステップ１において記憶したデジタルデータ
から前記ワークに予め定められた特徴点を抽出すると共
に、この特徴点のカメラ系における座標を算出し、この
座標と、RAM26に予め記憶したロボット系における前記
特徴点の座標とから、当該カメラ系における座標を当該
ロボット系における座標に変換するための第１座標変換
式を算出する。この場合のCPU27は、キャリブレーショ
ンパターン抽出部４及び座標変換式作成部５として作用
し、RAM26は、絶対座標記憶部６として作用する。

ステップ３ CPU27は、ステップ２において算出した第１座標変換式
をRAM26に記憶する。この場合のRAM26は、第１変換式記
憶部7Aとして作用する。

ステップ４ カメラ１を装着したアーム15Aは、ロボット制御装置19
からの命令によって、第３図に示すようなロボット15の
退避位置に配設された基準パターン表示台16上に移動
し、カメラ１は、この基準パターン表示台16上に描かれ
ている基準パターン17を撮像し、この基準パターンの特
定のパターンである各黒丸18,…,18の画像をA/D変換器2
3によってデジタルデータに変換し、このデジタルデー
タをキャリブレーションパターンとして、視覚制御装置
20内に備えられたI/0ポート24を介してRAM26に記憶す
る。このRAM26は、第１図に示す画像メモリ３として作
用する。

ステップ５ CPU27は、ステップ４において記憶した基準パターン17
のデジタルデータから、その特定のパターンである各黒
丸18,…,18を抽出し、カメラ系における座標を算出し、
RAM26に予め記憶したロボット座標系における前記各黒
丸18,…,18の座標から、初期状態でのカメラ系における
座標を当該ロボット系における座標に変換する第２座標
変換式を算出する。この場合のCPU27は、キャリブレー
ションパターン抽出部４及び座標変換式作成部５として
作用し、RAM26は、絶対座標記憶部６として作用する。

ステップ６ CPU27は、ステップ５において算出した第２座標変換式
をRAM26に記憶する。この場合のRAM26は、第２変換式記
憶部11として作用する。

ここまでのステップで、キャリブレーションとしての初
期状態におけるワークの特徴点と基準パターンの特定の
パターンのカメラ座標系からロボット座標系への変換式
である第１座標変換式および第２座標変換式が得られ
る。

ステップ７ ロボット15は、コンベア21を搬送されてくるワーク22に
所定の作業を行なう毎に、ステップ４において行なった
ようにして基準パターン17を撮像し、このパターンの各
黒丸18,…,18の画像をA/D変換器23によってデジタルデ
ータに変換し、このデジタルデータをキャリブレーショ
ンパターンとして、視覚制御装置20内に備えられたI/0
ポート24を介してRAM26に記憶する。

ステップ８ CPU27は、基準パターン17のから抽出した各黒丸18,…,1
8におけるデジタルデータとRAM26に予め記憶したロボッ
ト座標系における前記各黒丸18,…,18におけるデジタル
データとから、当該視覚系における座標を当該ロボット
系における座標に変換する現在座標変換式を算出する。
この場合のCPU27は、キャリブレーションパターン抽出
部4,座標変換式作成部５及び現在座標変換式作成部12と
して作用し、RAM26は、絶対座標記憶部６として作用す
る。

ステップ９ CPU27は、RAM26に記憶されている第２座標変換式とステ
ップ８において算出した現在座標変換式とからカメラ１
の装着ズレである偏差量を算出する。

この時のCPU27は、偏差量算出部13として作用する。

ステップ10 ロボットアーム15Aがコンベア21上に移動し、カメラ１
よって撮像された搬送姿勢おけるワークの画像をA/D変
換器23によってデジタルデータに変換し、このデジタル
データを、視覚制御装置20内に備えられたI/0ポート24
を介してRAM26に記憶する。そして、CPU27は、この画像
のデジタルデータから、ワークの特徴点を抽出する。こ
の時のCPU27は、特徴点抽出部８として作用する。

ステップ11 CPU27は、ステップ９で算出されたカメラ１の装着状態
における偏差量と前記ワークの搬送姿勢における偏差量
とを算出し、この両偏差量に基づいて、記憶されている
第１座標変換式を補正して、この補正後の座標変換式に
基づき前記ワークのカメラ座標系における位置等をロボ
ット系における座標に変換する。この場合のCPU27は、
偏差量補正部14及び座標変換部９として作用する。

ステップ12 CPU27は、ステップ11によって算出された変換データをI
/0ポート24及びI/0ポート28を介してロボット制御装置1
9内のCPU31に出力し、CPU31は、この変換データをRAM30
に記憶し、以降のロボット15の動作は、この変換データ
に基づいて行ない、ハンド15Bは、ワークの所定の位置
を把持することができる。この場合のCPU27は、出力部1
0として作用する。

一つのワークに対する作業が終了したら、ステップ７に
戻り、繰り返しステップ７からステップ12までが各ワー
クの作業ごとに行われる。

なお、以上に記した動作フローチャートにおいては、カ
メラ１の装着ズレをワークの作業毎に検出し、補正する
ようにしたが、タクトタイムの短いラインにおいてはワ
ークの作業所定回数毎に（例えば、10回作業毎に１回補
正）行なうようにしても良い。

（発明の効果） 以上の説明により明らかなように、本発明によれば、初
期状態におけるキャリブレーション時の座標変換式を作
成する座標変換式作成部と、作業動作中における座標変
換式を作成する現在座標変換式作成部を合わせ持ったこ
とによって、視覚装置の装着位置ズレを、ロボットの作
業中において適宜認識することが可能となり、このズレ
を自動的に補正するようにしたので、メインテナンスの
簡略化が図れると共に、ロボットの作業精度に関する信
頼性の向上をも図ることができる。さらには、当該視覚
装置が装着されているロボットのアーム等の取付精度が
低下した場合においても、上記と同様の効果を奏する。

【図面の簡単な説明】

第１図は、本発明に係る三次元座標変換装置のブロック
図、第２図は、第１図に示した三次元座標変換装置周辺
の概略構成図、第３図乃至第４図は、第５図に示す動作
フローチャートの説明参考図、第５図は、第１図に示し
た三次元座標変換装置の動作フローチャート、第６図
は、一般的な三次元座標変換装置のブロック図である。 １……カメラ（視覚装置）、 15……ロボット 15A……アーム、 15B……ハンド、 16……キャリブレーションパターン表示台、 17……キャリブレーションパターン（基準パターン）、 18……黒丸、 21……コンベア、 22……ワーク。

Claims (1)

【特許請求の範囲】
1. 【請求項１】ロボットのハンドに視覚装置を備え、この
   視覚装置によって、搬送されるワークの正確な搬送位置
   及び姿勢を算出するための三次元座標変換装置であっ
   て、 生産ライン上を搬送されるワークの特徴点及び前記ロボ
   ットの作業位置以外の場所に配設した基準パターンを撮
   像する視覚装置（１）と、 該視覚装置が撮像した画像をデジタルデータとして記憶
   する画像メモリ（３）と、 該画像メモリ（３）内に記憶されている画像デジタルデ
   ータから座標変換に必要なワークの特徴点、および前記
   基準パターンにおける特定のパターンを抽出するキャリ
   ブレーションパターン抽出部（４）と、 該画像記憶手段（３）内に記憶されている画像デジタル
   データから前記ワークの特徴点を抽出する特徴点抽出部
   （８）と、 前記キャリブレーションパターン抽出部（４）によって
   抽出した特定のパターンの前記視覚装置（１）における
   座標系を前記ロボットにおける座標系と一致させる変換
   式を作成する座標変換式作成部（５）と、 前記ワークの特徴点、および前記基準パターンにおける
   特定のパターンの前記ロボットにおける座標系を予め記
   憶した絶対座標記憶部（６）と、 前記座標変換式作成部（５）が作成した前記ワークの特
   徴点の前記視覚装置（１）における座標系を前記ロボッ
   トにおける座標系と一致させる第１座標変換式を記憶す
   る第１変換式記憶部（7A）と、 前記座標変換式作成部５が作成した前記基準パターンに
   おける特定のパターンの前記視覚装置（１）における座
   標系を前記ロボットにおける座標系と一致させる第２座
   標変換式を記憶する第２変換式記憶部（11）と、 前記視覚装置が撮像した前記基準パターンにおける特定
   のパターンの現在の座標変換式を作成する現在座標変換
   式作成部（12）と、 前記第２変換式記憶部（11）に記憶されている前記第２
   座標変換式と現在座標変換式作成部（12）によって作成
   された現在座標変換式とから前記基準パターンの差を検
   出する偏差量検出部（13）と、 該偏差量検出部（13）が検出した基準パターンの差によ
   って、第１変換式記憶部（7A）に記憶されている変換式
   を補正する偏差補正部（14）と、 前記特徴点抽出部（８）によって抽出されたワークの特
   徴点の前記視覚装置（１）における座標系での位置を、
   前記偏差補正部（14）から出力された補正が加えられた
   変換式により、前記ロボット座標系での位置に変換する
   座標変換部９と、を有することを特徴とする三次元座標
   変換装置。