JP2003117867A - ビジュアルサーボによる位置姿勢制御方法 - Google Patents
ビジュアルサーボによる位置姿勢制御方法Info
- Publication number
- JP2003117867A JP2003117867A JP2001306476A JP2001306476A JP2003117867A JP 2003117867 A JP2003117867 A JP 2003117867A JP 2001306476 A JP2001306476 A JP 2001306476A JP 2001306476 A JP2001306476 A JP 2001306476A JP 2003117867 A JP2003117867 A JP 2003117867A
- Authority
- JP
- Japan
- Prior art keywords
- visual servo
- orientation
- data
- control method
- orientation control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
てカメラの縦揺れ角および偏揺れ角(姿勢角)の検出精
度向上を図る。 【解決手段】 ロボット本体11は、制御装置12によ
り位置の移動と姿勢の駆動制御がなされる。CCDカメ
ラ15は、ロボット本体11の上アーム20に固定さ
れ、ワークWを撮影する。あらかじめ参照画像として基
準位置からワークWを撮影したデータを記憶させる。制
御装置12は、カメラ15で撮影した画像と参照画像の
データとに基づいてビジュアルサーボにより位置姿勢の
制御を行なう。収束した段階では、カメラ15を姿勢角
を所定以上傾けて画像データを取得する。このとき各画
像での姿勢角と参照画像のデータとの誤差値を演算し、
誤差値が最も小さくなるときの姿勢角を推定し、補正量
として求める。この補正量だけ位置姿勢を制御すること
で、精度の高い制御を行なうことができる。
Description
した画像データに基づいて位置姿勢の制御を行なうよう
にしたビジュアルサーボによる位置姿勢制御方法に関す
る。
ークを把持させる場合などで、ハンドに取り付けたカメ
ラによりワークを撮影してハンドの位置姿勢を制御する
ようにしたビジュアルサーボの技術がある。これは、あ
らかじめ参照画像を登録してその参照画像と同じように
ワークが見える位置姿勢となるように制御することで、
迅速且つ正確にハンドの位置姿勢制御を行なうようにし
た方法である。この場合、参照画像は、ロボットのハン
ドを位置姿勢制御したい場所に配置してワークを把持す
るときの状態にし、ハンドに取り付けたカメラで撮影し
たものを用いる。
することで、ロボットのハンドをカメラが捕らえる画像
の分解能の範囲で正確に位置姿勢制御を行なうことがで
きるが、研究レベルにおいては技術的な問題は生じてい
ないように見えていたが、実用上においては次のような
点で不具合が生じることが発明者の研究により明らかに
なりつつある。
把持したり部品を取り付けたりするなどの作業におい
て、位置決め精度が要求される場合に生ずるもので、C
CDカメラなどでワークを撮影する画像の性質上、画素
数と分解能の関係で精度の向上に限界が生ずるものであ
る。すなわち、カメラの光軸方向をz軸とし、撮影した
画面をxy平面とすると、ビジュアルサーボでは、カメ
ラで撮影した二次元画像データから得られるxy平面内
の位置(x,y)およびz軸回りの回転(Rz)に対し
ては高精度の制御を行なうことができるが、x軸あるい
はy軸回りの回転(Rx,Ry)や奥行き方向(z)の
補正に対しては精度に限界がある。
に、カメラ1により対象物P1およびP2を撮影する場
合において、x軸回りRxの回転角度である縦揺れ角の
微小な変化に対して、カメラ1a(Rx方向に微小角度
だけ傾いた位置)の撮影画像におけるCCDの画素数の
変化は図15(a)の位置から(b)あるいは(c)に
変化した状態では、量子化誤差があるため画像上の変化
として捕らえることができる範囲には限界がある。この
場合、現状では例えば±2°程度の分解能である。
寸法h1,h2がh1>h2となっており、奥行き方向
の寸法(z軸方向の寸法)が対象物P1の方が大きいの
で、Rxの変化に対して変化量Error1の方がEr
ror2よりも大きくなり、その変化角度を捉ええやす
いが、奥行き方向の寸法が小さい対象物P2の場合には
縦揺れ角の変化角度の補正精度が低くなる(図15
(d)参照)。
P1において、幅寸法がDの場合に、Rxの変化に対す
る撮影画像上での幅寸法dは、同図(b)に示すような
関係として表される。すなわち、この関係は、 d/D= cos(Rx) と表されるから、Rxが小さい領域では、角度に対する
変化量が小さくなり、図17に示すように、画素pix
の数の違いとしてカウントできる範囲が広くなり、その
分だけ分解能が低下するのである。つまり、ビジュアル
サーボでは、姿勢角の要素である縦揺れ角(pitch )お
よび偏揺れ角(yaw )の精度について、カメラ1の量子
化精度に大きく依存することになるのである。
めには、例えば、カメラ1以外に別途にセンサを設け
て、ビジュアルサーボによる位置姿勢の制御が収束した
状態では、センサの検出信号に基づいて位置姿勢の補正
をすることで制御精度の向上を図ることが必要となる。
で、その目的は、ビジュアルサーボによる位置姿勢制御
のみを用いる場合においても、位置姿勢制御が収束した
状態でさらに参照画像の基準位置に近い位置姿勢となる
ように高い精度で制御することができるようにしたビジ
ュアルサーボによる位置姿勢制御方法を提供することに
ある。
ば、第1の過程で、異なる姿勢でカメラにより対象物を
撮影した画像を記憶し、第2の過程で、記憶した複数の
画像のデータから推定される少なくとも縦揺れ角および
偏揺れ角を示す姿勢データと、画像のデータおよび参照
画像のデータの間の誤差を示す誤差データとの相関か
ら、誤差データが許容誤差量以下となる基準位置に相当
する位置姿勢を推定し、第3の過程で、推定した基準位
置に相当する位置姿勢への補正量を演算し、第4の過程
で、ビジュアルサーボによる位置姿勢制御が収束した状
態での位置姿勢に対して第3の過程で演算した補正量に
基づいて制御体操装置の位置姿勢の補正を行なうように
したので、カメラで撮影した画像からは位置姿勢を示す
縦揺れ角および偏揺れ角の不感帯となる領域、つまりビ
ジュアルサーボの位置姿勢制御では収束状態となって量
子化誤差に含まれて画像データとして差異が現れない領
域にある場合でも、さらに位置姿勢の補正を行なってよ
り正確な位置姿勢に制御することができるようになる。
これにより、別途にセンサなどを設ける構成としなくと
も、位置姿勢の制御精度を高めることができるようにな
る。
発明において、第1の過程を、ビジュアルサーボによる
位置姿勢制御が収束した状態で、カメラの位置姿勢を姿
勢データが判定角度以上変化するようにしたときの画像
を記憶することにより実行するようにしたので、ビジュ
アルサーボによる位置姿勢制御が収束している状態すな
わち、最も対象物に近接して基準位置に近い位置を起点
としてここから第1の過程以降の処理を実施すること
で、位置姿勢の補正量を正確且つ迅速に検出して位置姿
勢を補正することができるようになる。
において、第1の過程を、ビジュアルサーボによる位置
姿勢制御が収束する状態となるまでの期間中におけるカ
メラの画像を記憶することにより実行するようにしたの
で、ビジュアルサーボによる位置姿勢制御を実行しなが
ら対象物に近接する過程でカメラが撮影した画像を第1
の過程として取り込んでいくことができ、ビジュアルサ
ーボの制御と処理を並行して補正量の算出を行なうこと
ができ、迅速に位置姿勢の制御を行なうことができるよ
うになる。
発明において、第1の過程を実施するに際して、ビジュ
アルサーボによる位置姿勢制御が収束する状態となるま
での期間中のカメラの位置姿勢の制御を行なうときの姿
勢データの変化量が判定角度に達しない場合には、その
姿勢データの変化量が判定角度以上となるように変化さ
せるようにしたので、上述の場合において、対象物に近
接するときに実際にカメラがあまり振れない場合つまり
姿勢データの変化量が補正量を求めるための判定角度以
上振れない場合には、位置姿勢の補正を正確に行なえる
ようにするために、画像取り込みのための姿勢をとるよ
うに制御するようにしたので、第1の過程を実行しなが
ら近接する場合でも確実に補正量の値を算出することが
できるようになる。
いて、参照画像として記憶する対象物の画像データは、
基準点に対して複数の特徴点を設定し、その基準点との
間を結ぶ複数のベクトルを含んだものとして設定し、第
2の過程を実施する際には、少なくともベクトルの長さ
もしくはベクトル間の長さの比に基づいて算出した誤差
データにより位置姿勢の推定を行なうようにしたので、
例えば、カメラにより撮影した画像と参照画像との間
に、カメラの姿勢データの縦揺れ角や偏揺れ角のずれが
生じている場合などで、対象物の基準点に対して一方側
の特徴点とを結んでできるベクトルが長くなると共に、
他方側の特徴点とをむすんでできるベクトルが短くなる
ような場合に、対象物の全長をもとに判断する場合と異
なり、双方の差を検出することにより、姿勢データに対
する検出能力を高めて、精度の高い補正量算出を行なう
ことができるようになる。
いて、参照画像として記憶する対象物の画像データは、
基準点に対して複数の特徴点を設定し、それら特徴点間
を結ぶ複数のベクトルを含んだものとして設定され、第
2の過程を実施する際には、少なくともベクトルの長さ
もしくはベクトル間の長さの比に基づいて算出した誤差
データにより位置姿勢の推定を行なうようにしたので、
上述と同様にして姿勢データに対する検出能力を高め
て、精度の高い補正量算出を行なうことができるように
なる。
6の発明において、参照画像として記憶する対象物の画
像データは、設定された複数のベクトルについて、ベク
トル間の角度に基づいて算出した誤差データにより位置
姿勢の推定を行なうようにしたので、2つのベクトルの
なす角度も補正量算出のデータとして捕らえて参照画像
のデータに対する比較をより厳密に行なって精度の高い
補正量算出処理を行なうことができるようになる。
7の発明において、誤差データの算出を、ベクトルにつ
いての長さあるいは角度について撮影した画像と参照画
像との間の差分の自乗和として求め、位置姿勢の推定
を、上記方法により算出される誤差データの最小値を得
るときの姿勢データとするようにしたので、変数として
の姿勢データの値に対して参照画像との差分の絶対値の
和に相当する値を関数値としてその最小値を求めること
で、関数の最小値つまりもっとも参照画像に近接した位
置姿勢の姿勢データを求めることができるようになる。
この場合、上述した関数を変数に対応してプロットし、
その最小値を求めるように演算を行なうようにしても良
いし、簡易的に関数の値が許容誤差値以下となるような
範囲の変数値の中間値を採用するということでも求める
ことができる。
姿勢の推定を、誤差データの値と姿勢データの縦揺れ角
および偏揺れ角の値とから、姿勢データを変数とした誤
差データ関数を求め、その誤差データ関数の最小値を演
算による求めることで行なうようにすると良い。
おいて、ビジュアルサーボによる位置姿勢制御が収束し
た状態で、カメラの位置をその収束位置から近接した位
置に移動させて第1ないし第4の過程を実施するので、
収束位置では撮影された画像の範囲では精度が得られな
い場合でも、近接した位置で撮影することで拡大した状
態の撮影画像を得ることができ、これによって姿勢デー
タに関して精度を向上した画像データを得ることができ
るようになり、位置姿勢の補正をより高い精度で行なう
ことができるようになる。また、これによって、姿勢デ
ータのうちで対象物の形状に起因して精度を上げ難い姿
勢データがある場合でも、位置姿勢の補正精度を高める
ことができるようになる。
項10の発明において、ビジュアルサーボによる位置姿
勢制御が収束した状態で、姿勢データのうちの検出精度
の向上が必要とされる姿勢データについてその収束位置
から近接した位置に移動させて実施するので、必要な姿
勢データについてのみ、近接した位置まで移動した状態
で位置姿勢の補正のための対象物の撮影画像を得ること
で、拡大した画像に基づいた精度の良い補正を行なうこ
とができる。
おいて、対象物の形状がその参照画像のデータとして姿
勢データのうちの検出精度の向上が望めない姿勢データ
については位置姿勢の補正を行なう対象から除外する判
定動作を実行し、ビジュアルサーボによる位置姿勢制御
が収束した状態では、姿勢データのうちの除外されてい
ないものについて位置姿勢の補正のための演算処理を実
行するので、検出精度の向上が望めない姿勢データにつ
いて無駄な検出処理のための時間を費やすことなく迅速
に位置姿勢の制御の処理を行なうことができるようにな
る。
を組立用の多関節ロボットに適用した場合の第1の実施
形態について図1ないし図8を参照しながら説明する。
図1は組立用ロボットのシステムを概略的に示してい
る。このシステムは、制御対象装置としてのロボット本
体11と、このロボット本体11を制御する制御装置1
2とを備えて構成され、制御装置12は、ロボットコン
トローラ13、視覚装置14およびCCDカメラ15と
から構成されている。
垂直多関節型ロボットとして構成されている。このロボ
ット本体11において、ベース部16上にショルダ部1
7が垂直軸を中心として回動(旋回)可能に設けられ、
そのショルダ部16の左右両端部に上方に延出される一
対の下アーム18が水平軸を中心に回動可能に連結され
ている。この下アーム部18の上端部に両側から挟まれ
るようにして、中間アーム部19の前端部が水平軸を中
心に回動可能に連結されている。
方に延びる上アーム部20の後端部が同軸回転可能に連
結されており、その上アーム部20の前端側は、左右に
二股をなすように延びており、そらの間に位置してリス
ト部21が水平軸を中心に回動可能に連結されている。
さらに、リスト部10の前端部には、円形のフランジ部
22が同軸回動可能に連結され、そのフランジ部22
は、対象物としてワークWを把持するためのハンドが取
り付け可能な状態に設けられている。なお、図示はしな
いが、このロボット本体11の内部には、各軸を駆動す
るためのサーボモータが組み込まれている。
撮影するもので、上アーム部20に取り付けられてい
る。CCDカメラ15の画像信号を伝達する信号線はロ
ボット本体11を制御するためのケーブル23と一体に
して配設されている。ロボットコントローラ13は、C
PUを主体として制御用プログラムを記憶するROM、
RAMを備えると共に、制御指令を駆動信号としてロボ
ット本体11に出力するサーボ制御部などから構成され
ている。
うためのCPUを主体として、位置姿勢制御用のプログ
ラムを記憶したROM、RAMを備えると共に、CCD
カメラ15からの画像信号を入力するインターフェース
回路、画像処理部、画像メモリなどの各種回路を備えた
構成である。
に、視覚装置14により、CCDカメラ15の画像信号
を取り込み、あらかじめ登録されている参照画像と見え
方が一致するような位置姿勢となる状態の制御信号をロ
ボットコントローラ13に出力すると、ロボットコント
ローラ13は、これに基づいてロボット本体11の移動
すべき位置姿勢に駆動制御する。
置からCCDカメラ15により撮影した参照画像として
登録する場合の、登録データを示している。ここでは、
ワークWの特徴を繰り入れた参照画像を設定する例とし
て、図示のような部材を例にとって説明する。まず、こ
のワークWについて、任意の基準点P0を例えば中心部
の所定部位に定め、その周辺部の特徴的な点を特徴点P
1〜P5として設定する。基準点P0と各特徴点P1〜
P5のそれぞれを結んでできるベクトルV1〜V5のデ
ータを設定する。また、各ベクトルV1〜V5の隣接す
る角度φ1〜φ5のデータを設定し、これを参照画像の
データとして登録する。
図8も参照して説明する。制御装置12は、図3に示す
フローチャートにしたがってロボット本体11の位置姿
勢の制御を実施する。制御装置12は、制御動作を開始
すると、初期設定などの種々の設定を経て後述するビジ
ュアルサーボ制御に移行する(ステップS1)。そし
て、ビジュアルサーボ制御を進めて行くことで制御サイ
クルが収束すると、その誤差が許容値以下になり(ステ
ップS2で「YES」と判断)、次のRx,Ryの検出
処理に移行する(ステップS3)。
算出処理を行ない、その誤差値が許容値以下になると
(ステップS4で「YES」と判断)、そのときに得ら
れた補正値を記憶し、ロボット本体11の位置姿勢を目
的位置すなわち補正値に従った状態となるように移動さ
せるようになる(ステップS5)。この結果、従来のビ
ジュアルサーボのみの位置姿勢制御では得られない正確
な位置姿勢制御を行なうことができるようになる。
ュアルサーボの位置姿勢制御について簡単に説明する。
図4(a)は、ワークWを基準位置においてCCDカメ
ラ15により撮影したときの画像を参照画像として登録
するための登録データを示すものである。ここでいう基
準位置は、ロボット本体11の制御を行なうことにより
最終的に得た位置姿勢の状態を示すものである。なお、
このビジュアルサーボの位置姿勢制御の段階では、図2
に示した画像データを用いた制御を行なわないので、ワ
ークWの形状を直方体のものとして簡略的に示してい
る。
にあるときに、CCDカメラ15により撮影したワーク
Wの画像W1,W2(図4(b),(c)参照)に基づ
いて、視覚装置14により、参照画像との比較を行なっ
て制御すべき位置姿勢を示すデータをロボットコントロ
ーラ13に出力する。ロボットコントローラ13は、C
CDカメラ15による撮影画像が参照画像と同じ見え方
になるようにロボット本体11の位置姿勢の制御を行な
う。
勢の制御を進めていき、CCDカメラ15によるビジュ
アルサーボの位置姿勢制御が収束する状態すなわち、参
照画像と同じ撮影画像が得られる状態になると、その位
置姿勢が確定されるようになる。しかし、この状態で
は、前述のようにCCDカメラ15の縦揺れ角と偏揺れ
角の精度が低いことから、これらの姿勢データには±2
°程度の範囲を上限として検出不能な誤差が含まれてい
る場合がある。
3において実施したRx,Ryの検出処理について説明
する。この検出処理においては、まず、上述のようにビ
ジュアルサーボによる位置姿勢制御が収束した状態で、
図5に示すように、CCDカメラ15の姿勢を例えばx
軸回りの回転角度Rxが所定以上変化するように移動さ
せる(図中、収束した状態を15の位置として、15
a,15bの位置)。この場合、Rxの変化量は、CC
Dカメラ15による撮影画像で見たときに、画素数の変
化として現れる程度に大きく設定している。
回りRxあるいはy軸回りRyの回転角すなわち姿勢デ
ータとしての縦揺れ角あるいは偏揺れ角の値が求められ
る。そして、このとき変化させたRx,Ryの値に対す
る誤差値の関数f(Rx,Ry)を次のように定義す
る。この場合の誤差値の関数f(Rx,Ry)は、図2
で説明したベクトルV1〜V5及びφ1〜φ5の値を用
いて参照画像のデータとの比較を行なうものである。
カメラ15の移動を角度を変えて8回分の画像データを
取り込んだ場合について考える。一方の姿勢角Rxある
いはRyを固定して他方の姿勢角RyあるいはRxにつ
いて変化させたときに、ワークWのベクトルV1〜V5
のそれぞれの比の値Lλ(λ=1〜5)と、角度φ1〜
φ5の比の値θλ(λ=1〜5)との値を、式(1)に
従って関数値f(Rx,Ry)として求める。8回分の
画像データに対応して8個の関数値f1〜f8が得られ
る。
ぞれ検出されている姿勢角RxあるいはRyに対してプ
ロットすると、図6に示すように、誤差値を示す関数値
f1〜f8を結んだ曲線として得られる。この関数曲線
は、参照画像を撮影した位置つまり基準位置を通るとき
にゼロになる筈である。ただし、固定している姿勢角が
ずれている場合や、測定の誤差を考慮すると、図中破線
で示すようにゼロを取らない場合があるので、判定基準
は、誤差値の関数値をゼロで判断するのではなく、許容
誤差値以下であることを条件とする。
御では、関数値f4〜f6に対応するデータはすべて収
束した状態としてこれらの間の違いをCCDカメラ15
の画像の違いとして認識することができないとすると、
この範囲では姿勢角の検出精度が低いことになる。ここ
で、ビジュアルサーボによる位置姿勢制御で、例えば、
f5に対応した姿勢角を検出位置Rdとして得られてい
る場合を考えると、関数値fがゼロになる基準位置Ro
に対してΔRだけずれていることになる。そして、この
ずれた量ΔRを補正値として取り込んでメモリに記憶す
る。
れぞれについて求めることで、得られた補正値の分だけ
位置姿勢を修正することで、ビジュアルサーボによる位
置姿勢の制御では得られなかった精度で、基準位置に略
一致する位置姿勢とすることができるようになる。
めて位置姿勢の検出を行なうことで、精度の向上を図る
ことができる根拠を示したものである。いま、CCDカ
メラ15の位置Pから、距離dだけ離れた位置にある長
さ2Lの線分ABを撮影した場合について考える。CC
Dカメラ15の光軸zに対して線分ABが中点Mで直交
する状態である場合には、CCDカメラ15のスクリー
ン(距離f)に右半分の長さAM及び左半分BMの長さ
は等しくIとして得ることができる(下記の式(2)参
照)。この場合、中点Mは前述の基準点P0に相当し、
両端部A,Bは特徴点に相当している。
態つまり相対的にCCDカメラ15の姿勢角がθだけ傾
いた状態を想定すると、そのときCCDカメラ15で撮
影した線分A′B′のスクリーン上での画素数I′(pi
x) 、I″(pix) は下記の式(3)、(4)で示され
る。
面上での実寸を画素に換算する計数であり、例えば、図
8の計算をするに際して用いた値では、CCDカメラ1
5の1画素サイズが0.0074mm(7.4μm)で
あるから、画像面上で0.074mmの長さがある場合
には10画素分の長さとして観測される。したがって、
I(pix) をmmから画素に換算する計数sの値は135
(1/0.0074の近似値)となる。
半分A′Mの画素数I′(pix) は、少なく見えるように
なり、近付いた左半分B′Mの画素数I″(pix) は一旦
増加して見えるようになり角度θが大きくなるに従って
減少するように変化していく。これらI′(pix) および
I″(pix) の値について、それぞれI(pix) の値との差
を演算した結果ΔI′、ΔI″を、姿勢角θを横軸にと
ってプロットすると、図8に示すような曲線として得ら
れる。また、図8には、線分の全体の画素数I′(pix)
+I″(pix) について2I(pix) との差を演算した結果
を、同様にしてプロットした結果も示している。
分割したそれぞれについて画素数を比較すると、姿勢角
θに対する変化量が全体の画素数について比較した値よ
りも大きい変化を示していることがわかる。つまり、図
2に示したように、基準点を中心として特徴点との間を
結んでできるベクトルV1〜V5のそれぞれについて比
較をすることで検出能力を高めることができるのであ
る。このことは、特徴点間を結んで得られるベクトルを
定義して、これらについて同様の演算を行なうことでも
同じ効果を得ることができる。
メラ15の位置姿勢を示す縦揺れ角および偏揺れ角に対
応した姿勢データを、ビジュアルサーボによる位置姿勢
制御が収束した状態で、CCDカメラ15を所定角度以
上傾けて得られる画像データから補正量を推定するよう
にしたので、センサなどを別途に設けることなくビジュ
アルサーボによる位置姿勢制御で精度を上げることが難
しい姿勢角についての制御を精度良く行なうことができ
るようになる。
照画像として、基準点と複数の特徴点との間を結んで得
られるベクトルV1〜V5およびそれらの間の角度φ1
〜φ5を定義して、これらを補正量の算出に際して誤差
値の関数として設定するようにしたので、分解能を高め
て精度の良い補正量算出を行なうことができるようにな
る。
本発明の第2の実施形態を示すもので、以下、第1の実
施形態と異なる部分について説明する。この実施形態に
おいては、CCDカメラ15による図3のステップS3
で行なわれると同様のRx,Ry検出処理のための画像
データの取り込みを、ビジュアルサーボによる位置姿勢
制御が収束した後に行なうのではなく、図10に示すよ
うに、ビジュアルサーボによる位置姿勢制御が収束する
までの間、つまりワークWへのアプローチを行なってい
る期間中(ステップP1)に行なうようにしたところで
ある。
置姿勢制御を行なっている期間中(ステップP1)で
は、CCDカメラ15をビジュアルサーボによる位置姿
勢制御のために、角度αだけ大きく変化させながらアプ
ローチさせる(ステップP2)。このようにしてアプロ
ーチしながらそのときCCDカメラ15により撮影した
画像データを取り込んで記憶させ(ステップP3)、誤
差が許容値以下になったら(ステップP4で「YES」
と判断)、ビジュアルサーボを終了する。ここで角度α
は、Rx,Ryの検出処理に必要となる程度の縦揺れ角
および偏揺れ角に相当する角度を示している。
にして、Rx,Ryの検出処理を実施する(ステップP
5)。この検出処理の内容は、第1の実施形態で述べた
と同様である。これによって補正量が算出されると、補
正量による位置姿勢の制御を行なって目的位置に移動さ
せる(ステップP6)。
1の実施形態と同様の効果を得ることができると共に、
ビジュアルサーボによる位置姿勢制御のアプローチの間
にRx,Ry検出処理のための画像データを取得するの
で、アプローチ期間中の動作が若干遅くなるものの、収
束位置に達した状態では、計算を行なうのみで迅速に位
置姿勢の補正を行なうことができるようになる。
3の実施形態を示すもので、第2の実施形態と異なると
ころは、CCDカメラ15の傾き角度をチェックして本
来のビジュアルサーボによるアプローチで傾き角度がα
よりも大きい場合には(ステップP7で「YES」と判
断)、上述したステップP2をジャンプするようにした
ところである。
を傾けたりすることなく、迅速且つ正確に補正量の演算
を行なうことができ、このような第3の実施形態によっ
ても同様の作用効果を得ることができるようになる。
本発明の第4の実施形態を示すもので、上記各実施形態
と異なるところは、図2に示したワークWに対してこれ
とは形状の異なるワークWaを対象とする場合の位置姿
勢の補正を行なう場合を取り扱うようにしたところであ
る。ここで、ワークWaは、図12に示すように、前述
したワークWよりもX軸方向とY軸方向との長さの比が
大きく、上述した方法でRx,Ryを検出しようとする
と、短い側の検出精度を上げることが難しくなるような
条件のものである。
した条件を示す模式的な形状を示しており、4個の特徴
点p1〜p4が菱形の頂点に対応した位置にある。この
場合、Y軸方向の長さを示す特徴点p1とp3との間の
距離L1とX軸方向の長さを示す特徴点p2とp4との
間の距離L2との関係は、L1がL2よりも大きく、そ
の比が所定以上となる形状である。
角Rxの検出精度に関係し、距離L2はY軸回りの回転
角Ryの検出精度に関係するので、上記したようにL
1,L2の長さの関係からすると、式(2)で示した関
係を考慮すると距離L2の回転角Ryの変位に対する変
化量は小さく、距離L1の場合に比べて検出精度が低い
ことがわかる。極端な場合、距離L2がゼロに近いワー
クの場合には、実効的にはY軸回りの回転角Ryの検出
は不可能となる。
に、第1に、検出精度を向上させるための方法を提案す
ると共に、第2に、検出精度に限界があるような条件を
認識するように設定して検出精度を高めることができな
い場合に処理時間を短縮することで、実用上の効果を得
るようにした。
る。この場合には、図12に示しているように、特徴点
p2とp4とを結ぶ線分の長さが短いので、そのままで
は精度を上げることができない。そこで、このような場
合には、あらかじめ設定した条件により、対象となるワ
ークWaの特徴点間を結ぶ線分から得られるベクトルが
所定寸法以下(カメラ15の撮像画像の範囲内における
寸法で決める)のときに、検出精度の向上を図るため
に、カメラ15の位置をビジュアルサーボで得られる基
準位置よりもワークWaに近付けて検出処理を行なう。
の線分L2がカメラ15の撮影画面内で長くとることが
できるようになり、検出精度の向上を図ることができる
ようになる。なお、この場合に、カメラ15をワークW
aに近付けると、長い方の線分L1は撮影画面からはみ
出してしまうので、先に前述同様の方法でX軸回りの回
転角Rxについて検出処理を行ない、この後、カメラ1
5を近接させて図13に示すような撮影画像を得て、Y
軸回りの回転角Ryの検出処理を行なうことでRx,R
yの両者について検出を行なう。
検出精度を確保しつつ、適切な検出処理時間で行なうこ
とができ、得られた結果に基づいて精度良く補正量を演
算して求めることができる。
は、検出精度に限界がある場合に、第1の方法のように
して検出精度を上げることが難しい場合や、その回転角
の姿勢データの精度が要求されないような場合に適用す
るものである。まず、このような条件が成立するか否か
をあらかじめ設定した条件に基づいて判定し、検出精度
を上げなくとも良いと判断された場合には、その回転軸
に関する補正量の検出を行なわないようにする。
況で検出精度の向上のための検出処理を継続すること
が、いたずらに時間を要する結果とならぬように、あら
かじめ判定した結果に基づいて検出処理を停止すること
で、処理速度の向上を図るようにしたものである。これ
により、必要とされる精度のみの向上を図ることで、短
時間で効率の良い検出動作を行なうことができるように
なり、実用上で大きなメリットを得ることができるよう
になる。
にのみ限定されるものではなく、次のように変形また拡
張できる。第1の実施形態と第2の実施形態を複合的に
行なうようにすることもできる。例えば、第2の実施形
態のようにワークWにアプローチする過程で角度を振っ
て画像データを記憶しながらビジュアルサーボを行な
い、収束した時点で補正量を求める場合の精度を向上さ
せるために、さらに第1の実施形態のように画像データ
を取り込むようにすることができる。これにより、両者
の利点を柔軟に取り入れて、迅速且つ正確な位置姿勢制
御を行なうことができるようになる。
ルを設定する方法は、必要に応じて選択的に実施するこ
とができる。ベクトルを設定しない方法を採用しても、
従来技術のビジュアルサーボによる位置姿勢の制御に比
べて、位置姿勢の精度を向上させることは可能である。
検出を行なうための誤差値を求める関係式として式
(1)を用いているが、これに限らず、基準位置におけ
る位置姿勢との誤差をRx,Ryの関係において評価す
ることができて、その誤差値を元にしてRx,Ryの検
出を行なうことができる関係式であれば他の式を用いる
こともできる。
本体11は、対象物であるワークWとの相対的に移動し
ていない場合を想定しているが、これに限らず、対象物
が移動している場合や、ロボット本体が移動可能な場合
あるいは、双方が移動している状態でも適用することが
でき、これらの場合のように相対的に移動する物体に対
してその速度ベクトルを補間する処理を実施することで
同様にして位置姿勢制御を精度良く行なうことができる
ものである。
のみならず、位置姿勢を制御すべき車両や、対象物の形
状や動作などを正確に認識する認識装置などについても
適用することができる。
図
定状態の説明図
示すフローチャート
明図
作用説明図
した図
る変化を説明するための図
ワークWaを撮影している状態を示す作用説明図
相当図
置、13はロボットコントローラ、14は視覚装置、1
5はCCDカメラ(カメラ)、Wはワーク(対象物)で
ある。
Claims (12)
- 【請求項1】 制御対象装置に取り付けられたカメラに
よりあらかじめ基準位置から対象物を参照画像として撮
影してこれを登録し、前記カメラにより撮影した前記対
象物の画像が前記参照画像と同じ状態になるように前記
制御対象装置の位置姿勢を制御するようにしたビジュア
ルサーボによる位置姿勢制御方法において、 異なる姿勢で前記カメラにより前記対象物を撮影した画
像を記憶する第1の過程と、 記憶された複数の画像のデータから推定される少なくと
も縦揺れ角および偏揺れ角を示す姿勢データと、画像の
データおよび前記参照画像のデータの間の誤差を示す誤
差データとの相関から、誤差データが許容誤差量以下と
なる前記基準位置に相当する位置姿勢を推定する第2の
過程と、 前記推定された基準位置に相当する位置姿勢への補正量
を演算する第3の過程と、 前記ビジュアルサーボによる位置姿勢制御が収束した状
態での位置姿勢に対して前記第3の過程で演算された補
正量に基づいて前記制御体操装置の位置姿勢の補正を行
なう第4の過程とを実行することを特徴とするビジュア
ルサーボによる位置姿勢制御方法。 - 【請求項2】 請求項1に記載のビジュアルサーボによ
る位置姿勢制御方法において、 前記第1の過程は、前記ビジュアルサーボによる位置姿
勢制御が収束した状態で、前記カメラの位置姿勢を前記
姿勢データが判定角度以上変化するようにしたときの画
像を記憶することにより実行されることを特徴とするビ
ジュアルサーボによる位置姿勢制御方法。 - 【請求項3】 請求項1に記載のビジュアルサーボによ
る位置姿勢制御方法において、 前記第1の過程は、前記ビジュアルサーボによる位置姿
勢制御が収束する状態となるまでの期間中における前記
カメラの画像を記憶することにより実行されることを特
徴とするビジュアルサーボによる位置姿勢制御方法。 - 【請求項4】 請求項3に記載のビジュアルサーボによ
る位置姿勢制御方法において、 前記第1の過程を実施するに際して、前記ビジュアルサ
ーボによる位置姿勢制御が収束する状態となるまでの期
間中の前記カメラの位置姿勢の制御を行なうときの前記
姿勢データの変化量が判定角度に達しない場合には、そ
の姿勢データの変化量が判定角度以上となるように変化
させることを特徴とするビジュアルサーボによる位置姿
勢制御方法。 - 【請求項5】 請求項1ないし4に記載のビジュアルサ
ーボによる位置姿勢制御方法において、 前記参照画像として記憶する前記対象物の画像データ
は、基準点に対して複数の特徴点を設定し、その基準点
との間を結ぶ複数のベクトルを含んだものとして設定さ
れ、前記第2の過程を実施する際には、少なくとも前記
ベクトルの長さもしくはベクトル間の長さの比に基づい
て算出した誤差データにより前記位置姿勢の推定を行な
うことを特徴とするビジュアルサーボによる位置姿勢制
御方法。 - 【請求項6】 請求項1ないし5のいずれかに記載のビ
ジュアルサーボによる位置姿勢制御方法において、 前記参照画像として記憶する前記対象物の画像データ
は、基準点に対して複数の特徴点を設定し、それら特徴
点間を結ぶ複数のベクトルを含んだものとして設定さ
れ、前記第2の過程を実施する際には、少なくとも前記
ベクトルの長さもしくはベクトル間の長さの比に基づい
て算出した誤差データにより前記位置姿勢の推定を行な
うことを特徴とするビジュアルサーボによる位置姿勢制
御方法。 - 【請求項7】 請求項5または6に記載のビジュアルサ
ーボによる位置姿勢制御方法において、 前記参照画像として記憶する前記対象物の画像データ
は、設定された前記複数のベクトルについて、ベクトル
間の角度に基づいて算出した誤差データにより前記位置
姿勢の推定を行なうことを特徴とするビジュアルサーボ
による位置姿勢制御方法。 - 【請求項8】 請求項5ないし7のいずれかに記載のビ
ジュアルサーボによる位置姿勢制御方法において、 前記誤差データの算出は、前記ベクトルについての長さ
あるいは角度について撮影した画像と参照画像との間の
差分の自乗和として求め、 前記位置姿勢の推定は、上記方法により算出される誤差
データの最小値を得るときの姿勢データとすることを特
徴とするビジュアルサーボによる位置姿勢制御方法。 - 【請求項9】 請求項8に記載のビジュアルサーボによ
る位置姿勢制御方法において、 前記位置姿勢の推定は、前記誤差データの値と前記姿勢
データの縦揺れ角および偏揺れ角の値とから、姿勢デー
タを変数とした誤差データ関数を求め、その誤差データ
関数の最小値を演算による求めることで行なうことを特
徴とするビジュアルサーボによる位置姿勢制御方法。 - 【請求項10】 請求項1ないし9のいずれかに記載の
ビジュアルサーボによる位置姿勢制御方法において、 前記ビジュアルサーボによる位置姿勢制御が収束した状
態で、前記カメラの位置をその収束位置から近接した位
置に移動させて前記第1ないし第4の過程を実施するこ
とを特徴とするビジュアルサーボによる位置姿勢制御方
法。 - 【請求項11】 請求項10に記載のビジュアルサーボ
による位置姿勢制御方法において、 前記ビジュアルサーボによる位置姿勢制御が収束した状
態で、前記姿勢データのうちの検出精度の向上が必要と
される姿勢データについてその収束位置から近接した位
置に移動させて実施することを特徴とすることを特徴と
するビジュアルサーボによる位置姿勢制御方法。 - 【請求項12】 請求項1ないし11のいずれかに記載
のビジュアルサーボによる位置姿勢制御方法において、 前記対象物の形状がその参照画像のデータとして前記姿
勢データのうちの検出精度の向上が望めない姿勢データ
については位置姿勢の補正を行なう対象から除外する判
定動作を実行し、 前記ビジュアルサーボによる位置姿勢制御が収束した状
態では、前記姿勢データのうちの除外されていないもの
について前記位置姿勢の補正のための演算処理を実行す
ることを特徴とするビジュアルサーボによる位置姿勢制
御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001306476A JP3823799B2 (ja) | 2001-10-02 | 2001-10-02 | ビジュアルサーボによる位置姿勢制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001306476A JP3823799B2 (ja) | 2001-10-02 | 2001-10-02 | ビジュアルサーボによる位置姿勢制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003117867A true JP2003117867A (ja) | 2003-04-23 |
JP3823799B2 JP3823799B2 (ja) | 2006-09-20 |
Family
ID=19126108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001306476A Expired - Fee Related JP3823799B2 (ja) | 2001-10-02 | 2001-10-02 | ビジュアルサーボによる位置姿勢制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3823799B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2411532A (en) * | 2004-02-11 | 2005-08-31 | British Broadcasting Corp | Camera position determination |
US7873439B2 (en) | 2005-03-24 | 2011-01-18 | Kabushiki Kaisha Toshiba | Robot turning compensating angle error using imaging |
CN112008746A (zh) * | 2019-05-31 | 2020-12-01 | 精工爱普生株式会社 | 机器人 |
CN113591542A (zh) * | 2021-06-04 | 2021-11-02 | 江汉大学 | 一种机器人的视觉伺服控制方法、装置以及设备 |
WO2022091767A1 (ja) * | 2020-10-30 | 2022-05-05 | Dmg森精機株式会社 | 画像処理方法、画像処理装置、ロボット搭載型搬送装置、及びシステム |
CN114434419A (zh) * | 2020-10-30 | 2022-05-06 | 精工爱普生株式会社 | 机器人的控制方法 |
JP7169474B1 (ja) | 2022-02-25 | 2022-11-10 | Dmg森精機株式会社 | 搬送装置、制御方法、および制御プログラム |
WO2023167490A1 (en) * | 2022-03-01 | 2023-09-07 | Samsung Electronics Co., Ltd. | Apparatus and method for self-supervised learning for visual feature representation of egocentric images |
-
2001
- 2001-10-02 JP JP2001306476A patent/JP3823799B2/ja not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2411532A (en) * | 2004-02-11 | 2005-08-31 | British Broadcasting Corp | Camera position determination |
GB2411532B (en) * | 2004-02-11 | 2010-04-28 | British Broadcasting Corp | Position determination |
US7873439B2 (en) | 2005-03-24 | 2011-01-18 | Kabushiki Kaisha Toshiba | Robot turning compensating angle error using imaging |
CN112008746A (zh) * | 2019-05-31 | 2020-12-01 | 精工爱普生株式会社 | 机器人 |
US11498218B2 (en) | 2019-05-31 | 2022-11-15 | Seiko Epson Corporation | Robot |
WO2022091767A1 (ja) * | 2020-10-30 | 2022-05-05 | Dmg森精機株式会社 | 画像処理方法、画像処理装置、ロボット搭載型搬送装置、及びシステム |
CN114434419A (zh) * | 2020-10-30 | 2022-05-06 | 精工爱普生株式会社 | 机器人的控制方法 |
CN113591542A (zh) * | 2021-06-04 | 2021-11-02 | 江汉大学 | 一种机器人的视觉伺服控制方法、装置以及设备 |
CN113591542B (zh) * | 2021-06-04 | 2024-01-26 | 江汉大学 | 一种机器人的视觉伺服控制方法、装置以及设备 |
JP7169474B1 (ja) | 2022-02-25 | 2022-11-10 | Dmg森精機株式会社 | 搬送装置、制御方法、および制御プログラム |
JP2023124073A (ja) * | 2022-02-25 | 2023-09-06 | Dmg森精機株式会社 | 搬送装置、制御方法、および制御プログラム |
WO2023167490A1 (en) * | 2022-03-01 | 2023-09-07 | Samsung Electronics Co., Ltd. | Apparatus and method for self-supervised learning for visual feature representation of egocentric images |
Also Published As
Publication number | Publication date |
---|---|
JP3823799B2 (ja) | 2006-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9517563B2 (en) | Robot system using visual feedback | |
JP3859574B2 (ja) | 3次元視覚センサ | |
EP1975046B1 (en) | Legged locomotion robot | |
JP6734253B2 (ja) | ワークを撮像する視覚センサを備える撮像装置 | |
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
JP6995767B2 (ja) | 計測システム、作業機械及び計測方法 | |
US8306660B2 (en) | Device and a method for restoring positional information of robot | |
JP7111114B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
WO2018143263A1 (ja) | 撮影制御装置、撮影制御方法及びプログラム | |
WO2017146202A1 (ja) | 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法 | |
KR102094004B1 (ko) | 탁구 로봇 제어 방법 및 이를 위한 시스템 | |
JPH0798208A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
JP2003231078A (ja) | ロボットアームの位置制御方法およびロボット装置 | |
JP5686279B2 (ja) | ワーク姿勢検出装置、ワーク処理実行装置及びワーク姿勢検出方法 | |
CN110722558B (zh) | 机器人的原点校正方法、装置、控制器和存储介质 | |
JP2003311670A (ja) | ロボットアームの位置制御方法およびロボット装置 | |
JP2003117867A (ja) | ビジュアルサーボによる位置姿勢制御方法 | |
CN111152243A (zh) | 控制*** | |
JP5428639B2 (ja) | ロボットの制御装置及びロボットのティーチング方法 | |
JP7502003B2 (ja) | 移動機械の移動軌跡のずれを取得する装置、及び方法 | |
JP5509859B2 (ja) | ロボット制御装置及び方法 | |
JP7323993B2 (ja) | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム | |
JP3511551B2 (ja) | ロボットアームの状態検出方法および検出システム | |
WO2020129706A1 (ja) | 位置合わせ装置 | |
JP3754340B2 (ja) | 位置検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20031215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3823799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |