JP2002018754A

JP2002018754A - ロボット装置及びその制御方法

Info

Publication number: JP2002018754A
Application number: JP2000208915A
Authority: JP
Inventors: Takashi Naito; 貴志内藤; Hideki Nomura; 秀樹野村
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2000-07-10
Filing date: 2000-07-10
Publication date: 2002-01-22
Anticipated expiration: 2020-07-10
Also published as: JP4265088B2

Abstract

(57)【要約】【課題】煩雑な教授作業やキャリブレーションを行う
手間を省き、対象物に容易に所定の作業を行わせる。【解決手段】教示作業において、ロボットコントロー
ラ５は、対象物１１を把持した状態のグリッパ３の位置
（Ｐd）を記憶し、さらに、対象物１１をリリースした
後の任意の位置（Ｐs）を記憶する。把持作業において
は、ロボットコントローラ５は、搬送されている対象物
１１に対してグリッパ３を追従させ、位置Ｐs，Ｐdに基
づいてグリッパ３を対象物１１に持っていき、対象物１
１を把持する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット装置及び
その制御方法に係り、特に、運動中の物体を把持するロ
ボット装置及びその制御方法に関する。

【０００２】

【従来の技術】ロボットを利用して対象物に作業（例え
ば物体の把持）を行う場合、対象物の位置、姿勢などの
情報をセンサにより取得して、そのセンサ情報をもとに
作業する例が数多く実用化されている。このような装置
構成としては、大別して、一般的に次の２つの方式があ
る。

【０００３】例えば特開平８−６３２１４号公報に記載
されているように、コンベア上を搬送される対象物を固
定されたカメラで撮像し、得られた画像から対象物の位
置、姿勢を検出してその情報をロボットに送信するもの
がある。このロボットは、対象物の位置情報から把持な
どの作業を行っている。

【０００４】また、ロボットの手先にカメラなどのセン
サを取り付け、前述のようにカメラからの画像から対象
の位置姿勢を検出して、その情報に基づいて移動する対
象物に追従して把持などの作業を行うものもある。

【０００５】

【発明が解決しようとする課題】しかし、前者のように
ロボットと別に設置したカメラを用いて対象物の把持な
どの作業を実現する場合、ロボットとカメラの設置位置
を予め正確に求めておく作業が必要になる。また、カメ
ラの焦点距離やレンズひずみ係数などを予め算出してお
くカメラキャリブレーションを行う必要がある。

【０００６】加えて、特開平８−６３２１４号公報など
における例では、一般的にカメラの光軸がコンベア平面
に垂直に、さらに画面中のｘ軸あるいはｙ軸がコンベア
の搬送方向に平行になるように設置しておく必要があ
る。また、対象物がベルトコンベアなどで動いているた
め、カメラからの画像により検出した対象物の位置姿勢
情報に加えてコンベアの速度情報などを別の手段（例え
ばコンベアのエンコーダ）により検出し、両者の情報に
基づいてロボットへの指令値を生成する必要がある。さ
らに、カメラとロボットの設置位置情報、対象物の位置
情報、コンベアの速度情報からロボットが対象物を把持
する際の軌道を生成しなければならない。したがって、
教示作業、軌道生成のための処理手順が非常に煩雑にな
るなどの問題がある。

【０００７】このような問題は、従来技術におけるロボ
ットの手先にカメラを設置した後者の例についても同じ
ことがいえる。つまり、カメラからの画像から検出した
対象物の位置姿勢情報に基づいてロボットの手先に取り
付けたグリッパなどで対象物を把持する場合、カメラか
ら得られた対象物の位置姿勢情報をロボットの基準座標
系からみた位置姿勢情報に変換する必要があり、ロボッ
ト手先とカメラとの位置関係を予め精密に求めておく、
いわゆるハンドアイキャリブレーションが必要となる。
特に、ロボット手先にカメラなどのセンサを設置した場
合、作業中の誤作動などによりロボット手先とカメラ位
置関係が変化することが頻繁にあり、その場合はキャリ
ブレーション作業を再度行う必要がある。また、前者の
例と同様に対象物が動いている場合、ロボット基準座標
からみた対象物の位置姿勢情報は刻々と変化するため、
把持を行うための軌道生成が非常に複雑となる。

【０００８】さらに、従来では、前者及び後者の方法と
も、構成装置（コンベアの設置状況や搬送速度、あるい
はカメラとロボットの設置位置関係）や把持すべき対象
物の形状が変わらなくても、使用するロボット及びセン
サが変わる毎に、前述の高精度なキャリブレーション、
煩雑な教示作業を行う必要があった。

【０００９】本発明は、上述した問題点を解消するため
に提案されたものであり、煩雑な教授作業やキャリブレ
ーションを行う手間を省き、対象物に容易に所定の作業
を行わせることができるロボット装置及びその制御方法
を提供することを目的とする。

【００１０】

【課題を解決するための手段】請求項１記載の発明は、
対象物を把持する把持機構を有し、前記把持機構が移動
可能に構成された把持手段と、前記把持手段の把持機構
と共に移動可能に固定され、対象物を撮像する撮像手段
と、前記撮像手段が撮像した対象物の画像から１以上の
特徴量の座標を抽出する特徴量抽出手段と、前記把持機
構に前記対象物を把持させたときの把持機構の位置を第
１の手先位置として記憶し、前記対象物を開放させて前
記撮像手段が対象物を撮像することができる範囲内にお
いて前記把持機構を移動させたときの前記把持機構の位
置を第２の手先位置として記憶し、前記第２の手先位置
において前記撮像手段が撮像して前記特徴量抽出手段が
抽出した前記対象物の各特徴量の座標を記憶する記憶手
段と、前記第２の手先位置から前記１の手先位置まで移
動するための移動行列を算出する算出手段と、前記特徴
量抽出手段によって抽出される運動中の対象物の各特徴
量の座標が、前記記憶手段に記憶されている各特徴量の
座標に一致するように前記把持手段を移動させること
で、前記運動中の対象物に前記把持機構を追従させる制
御をする追従制御手段と、前記把持機構が運動中の対象
物に追従している際に、前記算出手段が算出した移動行
列に基づいて前記把持機構を前記運動中の対象物に近付
け、前記対象物を把持させるように前記把持手段を制御
する把持制御手段と、を備えたものである。

【００１１】請求項１記載のロボット装置は、当該ロボ
ット装置に対して相対的に運動する対象物を把持するも
のである。したがって、前記ロボット装置が固定され前
記対象物が運動する場合に限らず、前記ロボット装置が
運動し前記対象物が固定されている場合や、前記ロボッ
ト装置と前記対象物がそれぞれ異なる速度で運動してい
る場合も適用することができる。さらに、前記対象物
は、前記ロボット装置に対して相対的に等速直線運動、
等速円運動、等加速度直線運動していてもよいが、相対
的に静止していてもよい。

【００１２】最初に、オペレータは、教示作業として、
次の２つのことを行う必要がある。第１に、把持機構を
第１の手先位置に移動させ、ここで対象物を把持させ
る。第２に、把持機構から対象物をリリースさせ、撮像
手段が対象物を撮像することができる範囲内において把
持機構を第２の手先位置まで移動させる。このような教
示作業を行い、第１及び第２の手先位置を記憶手段に記
憶させる。さらに、第２の手先位置において、撮像手段
が撮像した画像から抽出される１以上の特徴量の座標も
記憶手段に記憶させる。撮像手段は、把持機構のセンサ
となるものであり、把持手段と共に移動するように固定
されている。また、第２の手先位置から第１の手先位置
まで移動するための移動行列が算出される。

【００１３】このような教示作業が完了すると、運動中
の対象物を把持する把持作業を行うことができる。把持
機構は、運動中の対象物の各特徴量の座標が、前記記憶
手段に記憶されている各特徴量の座標に一致するように
移動される。すなわち、把持機構が運動中の対象物を追
従するように、いわゆるビジュアルサーボが行われる。
このときの対象物と把持機構の相対的な位置関係は、教
示作業時の対象物と把持機構の相対的な位置関係と同じ
である。前記把持機構が運動中の対象物に追従すると、
前記算出手段が算出した第１の移動行列に基づいて前記
把持機構を前記運動中の対象物に近付け、そして前記対
象物を把持させる。

【００１４】ビジュアルサーボを行っている場合では、
運動中の対象物に把持機構が完全に追従していることが
望ましい。しかし、運動中の対象物に所定距離を隔てな
がら把持機構が追従することがある。このような場合
は、請求項２に記載されるような再教示作業が行われる
のが好ましい。具体的には、前記記憶手段は、前記追従
制御手段によって前記把持機構が前記運動中の対象物に
対して所定距離を隔てながら追従している際に、前記特
徴量抽出手段が抽出した前記対象物の各特徴量の座標を
新たに記憶し、前記追従制御手段が新たに記憶された各
特徴量の座標を用いて、前記第２の手先位置から前記把
持機構を対象物に完全に追従させたときの前記把持機構
の位置を新たな第２の手先位置として記憶すればよい。

【００１５】請求項３記載の発明は、移動可能に構成さ
れた把持機構で対象物を把持するロボット装置の制御方
法であり、前記把持機構に前記対象物を把持させたとき
の把持機構の位置を第１の手先位置として記憶し、前記
対象物を開放させて、対象物を撮像することができる範
囲内において前記把持機構を移動させたときの前記把持
機構の位置を第２の手先位置として記憶し、前記第２の
手先位置において前記対象物を撮像し、前記撮像した対
象物の画像から１以上の特徴量の座標を抽出し、前記抽
出した各特徴量の座標を記憶し、前記第２の手先位置か
ら前記１の手先位置まで移動するための移動行列を算出
し、前記把持機構と共に移動可能に固定された状態で、
運動中の対象物を撮像し、前記撮像した運動中の対象物
の画像から１以上の特徴量の座標を抽出し、前記抽出さ
れた運動中の対象物の各特徴量の座標が、前記記憶され
ている各特徴量の座標に一致するように前記把持機構を
移動させることで、前記運動中の対象物に前記把持機構
を追従させ、前記把持機構が運動中の対象物に追従して
いる際に、前記算出した移動行列に基づいて前記把持機
構を前記運動中の対象物に近付け、前記把持機構に前記
対象物を把持させるものである。

【００１６】この発明は、請求項１に記載されたロボッ
ト装置を制御するための方法であり、オペレータは、教
示作業として上述した２つのことを行うだけでよい。す
なわち、オペレータが２つの簡単な教示作業を行うだけ
で、運動している対象物に把持機構を追従させて、その
対象物を把持することができる。

【００１７】ビジュアルサーボを行っている場合では、
運動中の対象物に把持機構が完全に追従していることが
望ましい。しかし、運動中の対象物に所定距離を隔てな
がら把持機構が追従することがある。このような場合
は、請求項４に記載されるような再教示作業が行われる
のが好ましい。具体的には、前記運動中の対象物に前記
把持機構を追従させ、前記把持機構が前記運動中の対象
物に対して所定距離を隔てながら追従している際に、前
記把持機構と共に移動可能に固定された状態で、運動中
の対象物を撮像し、前記撮像した運動中の対象物の画像
から１以上の特徴量の座標を抽出し、前記抽出した前記
対象物の各特徴量の座標を新たに記憶し、前記新たに記
憶された各特徴量の座標を用いて、前記第２の手先位置
から対象物に前記把持機構が完全に追従するように前記
把持機構を移動させ、完全に追従した際に、前記把持機
構の位置を新たな第２の手先位置として記憶すればよ
い。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１９】（第１の実施の形態）図１に示すように、
本実施の形態に係るロボット装置は、固定された状態
で、コンベア１０で搬送されている対象物１１を把持す
るものである。なお、本発明は、このような実施の形態
に限定されるものではなく、対象物１１がロボット装置
に対して相対的に運動していれば適用することができ
る。すなわち、ロボット装置が運動し対象物１１が静止
している場合や、ロボット装置と対象物１１が異なる速
度で運動している場合であってもよい。さらに、第２及
び第３の実施の形態でも同様である。

【００２０】ロボット装置は、対象物１１を撮像するＣ
ＣＤカメラ１と、ＣＣＤカメラ１が撮像した画像から特
徴量を抽出するセンサコントローラ２と、対象物１１を
把持するグリッパ３と、グリッパ３を３次元方向に移動
させるロボットアーム４と、座標変換や軌道生成等を行
い、図示しないサーボ回路、アンプなどを有し、グリッ
パ３やロボットアーム４の動作を制御するロボットコン
トローラ５とを備えている。

【００２１】ＣＣＤカメラ１は、ロボットアーム４の先
端であるグリッパ３の近傍に固着されている。ロボット
コントローラ５は、センサコントローラ２で得られた画
像特徴量Ｆiに基づいて、誤差ベクトルＥ（ｔ）や速度
指令値ベクトルＶ（ｔ）を算出し、これらの値に従って
ロボットアーム４の移動や、グリッパ３による対象物１
１の把持を制御する。なお、コンベア１０は、対象物１
１を一定の速度で搬送する。

【００２２】このような構成のロボット装置は、搬送さ
れている対象物１１を実際に把持する前に、対象物１１
を把持するための教示作業が行われる。

【００２３】（教示作業）最初に、オペレータは、ロボ
ット装置に対象物１１を把持させてロボット手先位置Ｐ
を教示する。なお、グリッパ３などの把持機構及び対象
物１１の形状によって、把持すべき位置が制限される場
合がある。また、後の処理（例えば、対象物１１に他の
部品を組み付けたり、部品箱に投入すること）のため
に、把持すべき位置を予め規定しておくこともある。

【００２４】ここでは、対象物１１は、例えば図２に示
すように、７角柱状に形成され、７つの側面１１１〜１
１７を備えている。対象物１１の上面１１８には、図示
しない部品を取り付けるための６つの組み付け穴（例え
ばねじ穴）が形成されている。なお、対象物１１の下面
１１９には、このような組み付け穴は形成されていな
い。対象物１１の把持される部分は、把持されたときの
安定性を考慮して、７つの側面のうち相対する側面１１
１，１１５、または側面１１３，１１６であることが好
ましい。なお、本実施の形態では上記の形状の対象物１
１を用いたが、本発明はこの形状に限定されるものでは
なく、対象物１１は他の形状であってもよい。そして、
教示作業は、具体的には図３に示すステップＳＴ１から
ステップＳＴ６の処理に従って行われる。

【００２５】ステップＳＴ１において、オペレータは、
図示しないティーチングペンダントなどを用いてグリッ
パ３が対象物１１の側面１１１，１１５または側面１１
３，１１６を把持するようにして、ステップＳＴ２に移
行する。

【００２６】ステップＳＴ２において、ロボットコント
ローラ５は、図４に示すようにグリッパ３が対象物１１
を把持した状態で、ロボット基準座標系におけるグリッ
パ３の位置、すなわちロボット手先位置Ｐdを記憶し
て、ステップＳＴ３に移行する。ここにいう「位置」
は、姿勢を含む６自由度のパラメータで表される。以下
同様に、姿勢を含む６自由度のパラメータを「位置」と
いう。

【００２７】ステップＳＴ３において、ロボットコント
ローラ５は、グリッパ３が把持した対象物１１をリリー
スさせ、そして、任意の位置にグリッパ３を移動させ、
ステップＳＴ４に移行する。

【００２８】グリッパ３が移動する位置は、ＣＣＤカメ
ラ１の視野範囲内であることを要する。すなわち、ＣＣ
Ｄカメラ１で撮像した画像から対象物１１の特徴量が抽
出されるような位置である。具体的には、対象物１１が
ＣＣＤカメラ１の視野内に収まっていない位置や、ＣＣ
Ｄカメラ１が対象物１１を真横から撮像する位置などで
はなく、抽出すべき特徴量が好適に画像から得られるよ
うな位置である。

【００２９】ステップＳＴ４において、ロボットコント
ローラ５は、図５に示すように現在のロボット基準座標
系でのグリッパ３の位置、すなわちロボット手先位置Ｐ
sを記憶し、ステップＳＴ５に移行する。

【００３０】ここで、ロボット手先位置ＰsからＰdに変
換するための位置姿勢変換行列をＰ _Oとすると、以下の
式が成り立つ。

【００３１】Ｐｓ・Ｐ_O＝Ｐd ∴Ｐ_O＝Ｐｓ^-1・Ｐd ロボットコントローラ５は、このとき位置姿勢変換行列
Ｐ_Oを算出し、これを記憶する。なお、ロボットコント
ローラ５は、後述する把持作業の際に、位置姿勢変換行
列Ｐ_Oを算出してもよい。

【００３２】ステップＳＴ５において、ＣＣＤカメラ１
は、ロボット手先位置Ｐsにおいて対象物１１を撮像
し、この画像をセンサコントローラ２に供給する。セン
サコントローラ２は、ＣＣＤカメラ１からの画像に基づ
いて画像特徴量を抽出して、ステップＳＴ６に移行す
る。ここで、ＣＣＤカメラ１は、例えば図６に示すよう
な対象物１１の画像を得る。

【００３３】ステップＳＴ６において、センサコントロ
ーラ２は、対象物１１の上面１１８に加工されている６
つの組み付け穴を画像特徴量Ｆi（ｉ＝１〜６）として
抽出し、各画像特徴量Ｆiの中心位置の座標値（Ｘi，Ｙ
i）記憶して、教示作業の処理を終了する。

【００３４】なお、画像中の組み付け穴の中心位置の計
測方法としては、二値化画像処理やエッジ処理などの公
知の手法を用いればよい。また、ここでは組み付け穴の
中心位置を画像特徴量Ｆiとしたが、線分端点、コー
ナ、二値化画像の孤立領域の面積重心など、他の画像特
徴量を用いてもよい。さらに、教示時は、オペレータが
画像特徴量Ｆiをマウスやキーボード等の図示しない入
力手段により人為的に定義してもよい。

【００３５】（把持作業）ロボット装置は、教示作業が
終了すると、その作業の際に記憶した画像特徴量Ｆiの
座標や、ロボット手先位置Ｐd，Ｐsを用いて、搬送中の
対象物１１を把持する。この把持作業では、図７に示す
ステップＳＴ１１からステップＳＴ１８までの処理が実
行される。

【００３６】ステップＳＴ１１において、ＣＣＤカメラ
１は、図８に示すように、対象物１１の搬送領域、すな
わちコンベア１０上を撮像し、ステップＳＴ１２に移行
する。

【００３７】ステップＳＴ１２において、センサコント
ローラ２は、対象物１１を検出したかを判定する。対象
物１１を検出し、その画像から特徴量を抽出するために
は、対象物１１全体がＣＣＤカメラ１の視野の範囲内に
入ることが必要である。ここでは、対象物１１の検出の
ために画像の輝度が用いられる。例えば、対象物１１が
コンベア１０の上流にあってＣＣＤカメラ１の視野範囲
内にないときは、ＣＣＤカメラ１で得られる画像の輝度
はほとんど変化しない。一方、対象物１１がコンベアに
より搬送されＣＣＤカメラ１の視野範囲内に入ると、そ
の輝度は変化する。そこで、センサコントローラ２は、
画像中の適当な位置に図示しないウィンドウを設け、そ
のウィンドウ内の輝度が所定の閾値以上の場合は対象物
１１が視野範囲内にあると判定し、輝度が所定の閾値未
満の場合はその視野の範囲内にないと判定する。そし
て、センサコントローラ２が対象物１１を検出したとき
はステップＳＴ１３に移行し、検出しなかったときはス
テップＳＴ１１に戻る。

【００３８】ステップＳＴ１３において、センサコント
ローラ２は、ＣＣＤカメラ１が撮像した画像から時刻Ｔ
における画像特徴量ｆi（ｔ）（i＝１，２・・・）を抽
出して、ステップＳＴ１４に移行する。ここで、図９
は、把持作業の実行時において撮像した画像を示す図で
ある。把持作業時には、時刻ｔに撮像された画像から画
像特徴量ｆi（ｔ）を抽出する必要がある。しかし、何
らかの原因で本来抽出すべきでない例えば画像特徴量ｆ
３（ｔ）が抽出されることがある。そこで、特徴量ｆ１
（ｔ）〜ｆ７（ｔ）が、図６に示すＦ１〜Ｆ６のいずれ
に対応しているのかを求める対応点探索を行う必要があ
る。

【００３９】この対応点探索は、さまざまな方法が提案
され、例えば”ロボットビジョン”（谷内田正彦著、昭
晃堂、１９９０）に記載されている動的計画法や最大派
閥法など、いわゆる照合法により行うことができる。な
お、一旦、ｆ１〜ｆ７の中からＦ１〜Ｆ６に対応するも
のが得られれば、次の画像特徴量は容易に求めることが
できる。

【００４０】具体的には、ステップＳＴ１３からステッ
プＳＴ１６までの繰り返し処理のサイクルタイムをΔｔ
とすると、時刻ｔの次の時刻（ｔ＋Δｔ）における画像
特徴量ｆi（ｔ＋Δｔ）は先の画像中での画像特徴量ｆi
（ｔ）の近傍から抽出すればよい。これにより、特徴量
抽出の安定性が増し、かつ、計算処理の負担を軽減する
ことができる。

【００４１】ステップＳＴ１４において、センサコント
ローラ２は、時刻ｔにおける誤差ベクトルＥ（ｔ）が十
分小さいか、具体的には｜｜Ｅ（ｔ）｜｜＜εの判定基
準を満たすかを判定し、十分小さいときはステップＳＴ
１７に移行し、十分小さくないときはステップＳＴ１５
に移行する。

【００４２】ここでは、現在のＣＣＤカメラ１の画像か
ら抽出された画像特徴量ｆi（ｔ）と上述したステップ
ＳＴ６で記憶された画像特徴量Ｆiとに基づいて、誤差
ベクトルＥ（ｔ）を求める。

【００４３】本発明では、文献B.Espiauら、A New Appr
oach to Visual Servoing in Robotics,IEEE Trans.Rob
otics and Automation,8(3),313-326,1992や、文献F.Be
nsalhaら、Real Time Visual Tracking using the Gene
ralized Likelihood Ratio Test,Int.Conf.Automation,
Robotics and Computer Vision,1379-1383,1994に記載
されている手法に基づいて、誤差ベクトルＥ（ｔ）と、
後述する速度指令値ベクトルＶ（ｔ）とを算出する。

【００４４】教示時の画像特徴量Ｆi＝（Ｘi，Ｙi）お
よび時刻ｔで撮像した画像から得られた画像特徴量ｆi
（ｔ）＝（Ｘi（ｔ），Ｙi（ｔ））を用いて、特徴量偏
差ベクトルｅ（ｔ）を以下の式（１）で求める。

【００４５】

【数１】

【００４６】（ｘi，ｙi）および（ｘi（ｔ），ｙi
（ｔ））は、画素値で表される（Ｘi，Ｙi）および（Ｘ
i（ｔ），Ｙi（ｔ））を、それぞれカメラ座標系での値
に変換したものである。また、Ｎは画像特徴量の個数を
表す。

【００４７】上記特徴量偏差ベクトルｅ（ｔ）を用いて
誤差ベクトルＥ（ｔ）は、式（２）で表される。

【００４８】

【数２】

【００４９】ここで、Ｌ^T+は、画像特徴量Ｆ，Ｆ（ｔ）
から求められる画像ヤコビアンＬ^Tの疑似逆行列であ
る。

【００５０】また、センサコントローラ２は、｜｜Ｅ
（ｔ）｜｜＜εの判定基準を満たしたときに、運動する
対象物１１に追従したと判定する。εは、オペレータに
よって予め与えられるスカラー量である。あるいは、Ｅ＝（Ｅ1 Ｅ2 Ｅ3 Ｅ4 Ｅ5 Ｅ6 ）^T と表せば、式（３）に示す判定基準を用いてもよい。

【００５１】

【数３】

【００５２】ステップＳＴ１５において、ロボットコン
トローラ５は、速度指令値ベクトルＶ（ｔ）を算出し、
ステップＳＴ１６に移行する。なお、速度指令値ベクト
ルＶは、ロボット手先位置Ｐの並進速度（ｔ_x，ｔ_y，ｔ
_z）および回転速度（ω_x，ω _y，ω_z）を含んだものであ
り、Ｖ＝（ｔ_x ｔ_y ｔ_z ω_x ω_y ω_z）^T と表される。そして、時刻（ｔ＋Δｔ）における速度指
令値ベクトルＶ（ｔ＋Δｔ）は、式（４）から求められ
る。

【００５３】

【数４】

【００５４】なお、λは速度ゲインである。式（４）の
右辺の最右項は、対象物１１の運動速度の推定値であ
り、式（５）から求められる。

【００５５】

【数５】

【００５６】ロボットコントローラ５は、以上のように
して、誤差ベクトルＥ（ｔ）及び速度指令値ベクトルＶ
（ｔ）を算出する。

【００５７】ステップＳＴ１６において、ロボットコン
トローラ５は、算出された速度指令値ベクトルＶ（ｔ）
に基づいて、軌道生成、関節角速度・角加速度を生成
し、これらに従ってロボットアーム４を制御し、ステッ
プＳＴ１３に戻る。

【００５８】ステップＳＴ１４でＥ（ｔ）が十分に小さ
いと判定したときのステップＳＴ１７において、ロボッ
トコントローラ５は、グリッパ３が対象物１１に追従し
たと判定して、対象物１１に対してアプローチを開始す
る。なお、以下の説明では、図７に示すフローチャート
の処理を行うことによってグリッパ３を対象物に追従さ
せることをビジュアルサーボという。

【００５９】ここで、ステップＳＴ１４に移行した時刻
を時刻ｔ₁とすると、例えば図１０に示すように、速度
指令値ベクトルはＶ_actual（ｔ₁）、ロボット手先位置
の位置ベクトルはＰ（ｔ₁）となる。

【００６０】時刻ｔ₁においては、ロボット手先位置Ｐ
は対象物１１に追従しているため、そのときの速度指令
値ベクトルＶ_actual（ｔ₁）は対象物１１の速度ベクト
ルに等しい。したがって、ロボットコントローラ５は、
手先位置Ｐ（ｔ₁）からＰ_O分だけ移動するための速度パ
ターンに、上述した速度指令値ベクトルＶ
_actual（ｔ ₁）を重畳させた速度パターンを生成する。
なお、Ｐ_Oは、教示作業で示した位置姿勢変換行列であ
る。また、Ｐ_O分だけ移動するための速度パターンは、
例えば台形速度パターンなど従来の手法により算出する
ことができる。

【００６１】また、ロボットコントローラ５は、Ｐ_O分
相対移動するのに時間Ｔ_Oを要するとして、以下の式に
従ってＰ_aを算出する。

【００６２】Ｐ_a＝Ｐ（ｔ₁）＋Ｐ_O＋Ｖ_actual（ｔ₁）・Ｔ_O そして、ロボットコントローラ５は、算出したＰ_aに基
づいてロボットアーム４を制御する。これにより、図１
１に示すように、手先位置Ｐ（ｔ₁）から対象物１１を
把持すべき位置Ｐ_aにロボット手先（グリッパ３）を移
動させることができる。このようなアプローチが終了す
ると、ステップＳＴ１８に移行する。

【００６３】ステップＳＴ１８において、ロボットコン
トローラ５は、対象物１１をグリッパ３で把持して、処
理を終了する。

【００６４】以上のように、ロボット装置は、教示作業
時におけるロボット手先位置Ｐs，Ｐdを記憶し、ビジュ
アルサーボによって搬送中の対象物１１に追従し、そし
てロボット手先位置Ｐs，Ｐdを用いて対象物１１の把持
作業を行うことができる。これにより、ロボット装置
は、搬送中の対象物１１の姿勢位置に拘束されることな
く、また、コンベア１０を止めることなく、搬送中の対
象物１１を容易に把持することができる。

【００６５】また、上記ロボット装置は、その設置位
置、ＣＣＤカメラ１、グリッパ３及び対象物１１相互間
の位置関係を予め求めておく作業が不要なので、例えば
ＣＣＤカメラ１の設置条件が変化した場合であっても、
上述したような単純な教示作業のみで、搬送中の対象物
１１を把持することができる。さらに、同じ作業を異な
るロボット装置、ＣＣＤカメラ１、グリッパ３で実現し
ようとした場合や、把持すべき対象物１１が異なる場合
であっても、同様に、単純な教示作業のみでよい。

【００６６】これにより、オペレータは、従来の教示作
業、プログラミングにおける負荷を大幅に軽減すること
ができる。さらに、ＣＣＤカメラ１、グリッパ３及び対
象物１１に変更が生じても、柔軟に対応することができ
る。

【００６７】なお、上述した実施の形態では、ロボット
装置は、コンベア１０によって搬送されている対象物１
１を把持することを例に挙げて説明したが、静止してい
る対象物１１を把持する場合も同様にすることができ
る。なお、教示作業は、上述した説明と同様である。

【００６８】把持作業では、図７に示すステップＳＴ１
４において、誤差ベクトルＥ（ｔ）が十分に小さくなっ
たときは、速度指令値ベクトルＶ（ｔ）はゼロになり、
同様に、実際のロボット手先位置の速度Ｖ
_actual（ｔ₁）もゼロになる。

【００６９】したがって、ステップＳＴ１７において、
ロボットコントローラ５は、現在のロボット手先位置Ｐ
（ｔ₁）と、教示時における位置の変化分Ｐ_Oのみを用い
て対象物１１を把持することができる。すなわち、把持
すべき位置Ｐ_aは、以下の式により求められる。

【００７０】Ｐ_a＝Ｐ（ｔ₁）＋Ｐ_O そして、ロボットコントローラ５は、算出したＰ_aに基
づいてロボットアーム４を制御し、グリッパ３により静
止している対象物１１の把持を行うことができる。

【００７１】（第２の実施の形態）つぎに、本発明の第
２の実施の形態について説明する。なお、第１の実施の
形態と同じ部位には同じ符号を付し、また、重複する説
明についてはその記載を省略する。

【００７２】第１の実施の形態では、搬送中の対象物と
ロボット手先位置Ｐとの相対的な位置関係が、教示作業
時のそれらの相対的な位置関係とほぼ同じになる完全追
従状態について説明した。これに対して、第２の実施の
形態では、完全追従状態でない場合にロボット装置が対
象物を把持することについて説明する。

【００７３】ここで、追従状態とは、相対位置関係を一
定に保った状態と定義する。例えば、対象物が速度Ｖ₀
で運動している場合では、ロボット手先位置Ｐが速度Ｖ
₀で運動している状態である。次に、追従状態として、
「完全追従状態」と「不完全追従状態」の２つを定義す
る。

【００７４】「完全追従状態」とは、ロボット手先位置
Ｐと対象物との相対的な位置関係が一定値Ｐ_Oのままで
一定時間継続している状態、すなわち教示作業時のそれ
らの相対的な位置関係と同じになっている状態をいう。
「不完全追従状態」とは、ロボット手先位置Ｐと対象物
との相対的な位置関係が一定値Ｐ’₀（≠Ｐ_O）のままで
一定時間継続している状態、すなわちロボット手先位置
Ｐと対象物との間で相対的な位置の変化はないが、教示
作業時の相対的な位置関係と異なる状態をいう。これら
の２つの状態について、画像誤差、ロボット手先位置
Ｐ、ロボット手先位置Ｐの速度、ロボット手先位置Ｐの
加速度の状態を表１に示す。

【００７５】

【表１】

【００７６】「完全追従状態」では、ロボット手先位置
Ｐと対象物の相対的な位置関係はＰ _Oであり、しかも、
ロボット手先位置Ｐは対象物と同じ速度で移動する。こ
のため接近動作は、追従運動Ｖを維持しつつ、接近移動
Ｐ_Oの移動を行うことで、把持作業を行うことができ
る。

【００７７】一方、「不完全追従状態」でも、ロボット
手先位置Ｐは対象物と同じ速度で移動している。ただ
し、ロボット手先位置Ｐと対象物との相対的な位置関係
Ｐ’₀は、教示作業時の位置関係Ｐ_Oとは異なる。例えば
図１２（Ａ）に示すように、追従開始時の対象物１１の
初期画像は、目標画像に一致していない。なお、このと
きは、早く追従状態になるようにするため、ロボット手
先位置Ｐsの速度は、図１３に示すように、大きくなっ
ている。図１２（Ｂ）に示すように、追従状態の対象物
１１の画像は、目標画像に対して所定のずれを維持した
状態になっている。このときのロボット手先位置Ｐsの
速度は、図１３に示すように、Ｖ_actual（ｔ₁）になっ
ている。

【００７８】そこで、相対位置関係Ｐ’₀を教示するこ
とができれば、図１２（Ｃ）に示すように、「完全追従
状態」と全く同一の効果を得ることができる。なお、
「不完全追従状態」における位置関係Ｐ’₀は、対象物
の運動速度の変化やビジュアルサーボのゲインの変更等
で変化する可能があり、その度に再教示が必要である。
本実施の形態では、「不完全追従状態」にも対応するこ
とができるように、再教示作業が行われる。

【００７９】（再教示作業及び把持作業）再教示作業で
は、最初に、ビジュアルサーボを用いて、対象物の追従
が行われる。そして、ロボットコントローラ５は、この
とき対象物の画像特徴量Ｆ’iを抽出して、各画像特徴
量Ｆ’iの座標を記憶する。なお、画像特徴量Ｆ’iの抽
出処理は、図３に示すステップＳＴ６の処理と同様であ
る。

【００８０】つぎに、図３に示すステップＳＴ１からス
テップＳＴ３までの処理が行われ、グリッパ３は任意の
位置（ロボット手先位置Ｐs）に移動させられる。ロボ
ットコントローラ５は、さらに、画像特徴量Ｆi’を用
いてビジュアルサーボを行い、追従状態に到達したグリ
ッパ３の位置をロボット手先位置Ｐ’sとする。そし
て、ロボットコントローラ５は、追従状態における位置
姿勢変換行列Ｐ’_O（＝Ｐ’_S ^-1Ｐd）を算出し、この位
置姿勢変換行列Ｐ’_Oを記憶する。

【００８１】把持作業では、第１の実施の形態と同様
に、図７に示すステップＳＴ１１からステップＳＴ１８
までの処理を行う。このとき、第１の実施の形態で求め
た画像特徴量Ｆi及び位置姿勢変換Ｐ_Oに代えて、画像特
徴量Ｆ’i及び位置姿勢変換業列Ｐ’_Oを用いればよい。

【００８２】以上のように、第２の実施の形態に係るロ
ボット装置によれば、ロボット手先位置Ｐが対象物１１
に完全に追従していなくても、複雑な調整をすることな
く上述した簡単な教示作業を行うだけで、対象物１１を
把持することができるようになる。

【００８３】（第３の実施の形態）第１及び第２の実施
の形態では、一例として静止運動、等速直線運動の場合
を示したが、本発明を用いれば等加速度直線運動あるい
は等速円運動まで拡大することができる。そして、この
把持作業でも、第１の実施の形態と同様に、図７に示す
ステップＳＴ１１からステップＳＴ１７までの処理が行
われる。

【００８４】具体的には、等加速度直線運動の場合、ロ
ボットコントローラ５は、誤差ベクトルＥ（ｔ）が十分
に小さくなった時刻ｔ₁において、ロボット手先位置Ｐ
は対象物１１に対して相対的にＰ_OあるいはＰ’_Oの位置
に制御されたと判定し、この時刻ｔ₁でのＶ
_actual（ｔ₁）と、手先加速度ａｃｃ_actual（ｔ₁）から
生成される速度成分Ｖ_estimate（ｔ）と、Ｐ_Oあるいは
Ｐ’_Oより生成される速度指令値とを重ね合わせた速度
指令値を生成し、時刻ｔ₁でのロボット手先位置Ｐ
（ｔ₁）から対象物１１に接近し、グリッパ３により対
象物１１の把持を行う。

【００８５】すなわち、ロボットコントローラ５は、図
１４に示すように、追従状態になったときのロボット手
先位置ＰsからＰ_O分だけグリッパ３を移動するように制
御する。なお、ロボットコントローラ５は、このときＰ
_O分相対移動するのに時間Ｔ’_Oを要するとして、以下の
式に従ってＰ_aを算出する。

【００８６】

【数６】

【００８７】なお、上述した実施の形態では、対象物を
把持する場合を例に挙げて説明したが、本発明はこれに
限定されるものではない。例えば、対象物１１に部品の
取り付け等を行う場合であっても同様にして適用するこ
とができる。

【００８８】

【発明の効果】本発明に係るロボット装置及びその制御
方法によれば、オペレータは、教示作業として、次の２
つのことを行うだけでよい。第１に、把持機構を第１の
手先位置に移動させ、ここで対象物を把持させる。第２
に、把持機構から対象物をリリースさせ、撮像範囲内に
おいて把持機構を第２の手先位置まで移動させる。この
とき記憶される第１及び第２の手先位置や、第２の手先
位置における対象物の特徴量の座標は、対象物を追従し
てこれを把持するために用いられる。すなわち、オペレ
ータは簡単な教示作業を行うだけで、ロボット装置に運
動中の対象物を把持させることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るロボット装置
の構成を示す図である。

【図２】ロボット装置によって把持される対象物の外観
斜視図である。

【図３】ロボット装置の教示作業における処理内容を示
すフローチャートである。

【図４】教示作業において、対象物を把持した状態のロ
ボット手先位置Ｐdを示す概略的な構成を示す図であ
る。

【図５】教示作業において、対象物をリリースしたとき
のロボット手先位置Ｐsを示す概略的な構成を示す図で
ある。

【図６】教示作業におけるカメラの撮像画像を示す図で
ある。

【図７】ロボット装置の把持作業における処理内容を示
すフローチャートである。

【図８】把持作業において、カメラが対象物を搬送する
コンベア上を撮像していることを説明するための図であ
る。

【図９】把持作業におけるカメラの撮像画像を示す図で
ある。

【図１０】時刻ｔ₁におけるロボット手先位置Ｐ（ｔ₁）
及び速度指令値ベクトルＶ_actual（ｔ₁）を説明するた
めの図である。

【図１１】対象物を把持するときの状態を説明する図で
ある。

【図１２】第２の実施の形態に係るロボット装置におい
て初期状態、追従状態、再教示時の対象物の画像を示す
図である。

【図１３】ロボット手先位置Ｐの速度指令値ベクトルＶ
（ｔ）を説明する図である。

【図１４】本発明の第３の実施の形態に係るロボット装
置が搬送中の対象物を把持した状態を説明する図であ
る。

【符号の説明】

１カメラ２センサコントローラ３グリッパ４ロボットアーム５ロボットコントローラ

フロントページの続きＦターム(参考） 3F059 BC07 BC09 CA05 DA02 DA05 DA08 DB04 DB09 DD01 DE02 FA01 FA03 FA05 FA10 FB01 FB16 FB22 FC04 FC13 FC14 5H269 AB21 AB33 CC09 EE10 JJ09

Claims

【特許請求の範囲】

【請求項１】相対的に運動する対象物を把持するロボ
ット装置において、前記対象物を把持する把持機構を有し、前記把持機構が
移動可能に構成された把持手段と、前記把持手段の把持機構と共に移動可能に固定され、対
象物を撮像する撮像手段と、前記撮像手段が撮像した対象物の画像から１以上の特徴
量の座標を抽出する特徴量抽出手段と、前記把持機構に前記対象物を把持させたときの把持機構
の位置を第１の手先位置として記憶し、前記対象物を開
放させて前記撮像手段が対象物を撮像することができる
範囲内において前記把持機構を移動させたときの前記把
持機構の位置を第２の手先位置として記憶し、前記第２
の手先位置において前記撮像手段が撮像して前記特徴量
抽出手段が抽出した前記対象物の各特徴量の座標を記憶
する記憶手段と、前記第２の手先位置から前記１の手先位置まで移動する
ための移動行列を算出する算出手段と、前記特徴量抽出手段によって抽出される運動中の対象物
の各特徴量の座標が、前記記憶手段に記憶されている各
特徴量の座標に一致するように前記把持手段を移動させ
ることで、前記運動中の対象物に前記把持機構を追従さ
せる制御をする追従制御手段と、前記把持機構が運動中の対象物に追従している際に、前
記算出手段が算出した移動行列に基づいて前記把持機構
を前記運動中の対象物に近付け、前記対象物を把持させ
るように前記把持手段を制御する把持制御手段と、を備えたロボット装置。
【請求項２】前記記憶手段は、前記追従制御手段によって前記把持機構が前記運動中の
対象物に対して所定距離を隔てながら追従している際
に、前記特徴量抽出手段が抽出した前記対象物の各特徴
量の座標を新たに記憶し、前記追従制御手段が新たに記憶された各特徴量の座標を
用いて、前記第２の手先位置から前記把持機構を対象物
に完全に追従させたときの前記把持機構の位置を新たな
第２の手先位置として記憶する請求項１記載のロボット
装置。
【請求項３】移動可能に構成された把持機構で相対的
に運動する対象物を把持するロボット装置の制御方法に
おいて、前記把持機構に前記対象物を把持させたときの把持機構
の位置を第１の手先位置として記憶し、前記対象物を開放させて、対象物を撮像することができ
る範囲内において前記把持機構を移動させたときの前記
把持機構の位置を第２の手先位置として記憶し、前記第２の手先位置において前記対象物を撮像し、前記撮像した対象物の画像から１以上の特徴量の座標を
抽出し、前記抽出した各特徴量の座標を記憶し、前記第２の手先位置から前記１の手先位置まで移動する
ための移動行列を算出し、前記把持機構と共に移動可能に固定された状態で、運動
中の対象物を撮像し、前記撮像した運動中の対象物の画像から１以上の特徴量
の座標を抽出し、前記抽出された運動中の対象物の各特徴量の座標が、前
記記憶されている各特徴量の座標に一致するように前記
把持機構を移動させることで、前記運動中の対象物に前
記把持機構を追従させ、前記把持機構が運動中の対象物に追従している際に、前
記算出した移動行列に基づいて前記把持機構を前記運動
中の対象物に近付け、前記把持機構に前記対象物を把持
させるロボット装置の制御方法。
【請求項４】前記運動中の対象物に前記把持機構を追
従させ、前記把持機構が前記運動中の対象物に対して所定距離を
隔てながら追従している際に、前記把持機構と共に移動
可能に固定された状態で、運動中の対象物を撮像し、前記撮像した運動中の対象物の画像から１以上の特徴量
の座標を抽出し、前記抽出した前記対象物の各特徴量の座標を新たに記憶
し、前記新たに記憶された各特徴量の座標を用いて、前記第
２の手先位置から対象物に前記把持機構が完全に追従す
るように前記把持機構を移動させ、完全に追従した際に、前記把持機構の位置を新たな第２
の手先位置として記憶する請求項３記載のロボット装置
の制御方法。