JP7351667B2 - 複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置 - Google Patents

複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置 Download PDF

Info

Publication number
JP7351667B2
JP7351667B2 JP2019142137A JP2019142137A JP7351667B2 JP 7351667 B2 JP7351667 B2 JP 7351667B2 JP 2019142137 A JP2019142137 A JP 2019142137A JP 2019142137 A JP2019142137 A JP 2019142137A JP 7351667 B2 JP7351667 B2 JP 7351667B2
Authority
JP
Japan
Prior art keywords
robot
control
points
fitting
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019142137A
Other languages
English (en)
Other versions
JP2021024011A (ja
Inventor
雅文 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019142137A priority Critical patent/JP7351667B2/ja
Priority to US16/926,781 priority patent/US11584011B2/en
Priority to DE102020119701.2A priority patent/DE102020119701A1/de
Priority to CN202010739853.2A priority patent/CN112297002A/zh
Publication of JP2021024011A publication Critical patent/JP2021024011A/ja
Application granted granted Critical
Publication of JP7351667B2 publication Critical patent/JP7351667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40031Dual peg in hole
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40032Peg and hole insertion, mating and joining, remote center compliance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40033Assembly, microassembly
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40055Wire stripping

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Description

本発明は、複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置に関する。
産業用ロボットを用いて部材同士の組付作業を行う場合、部材間の相対関係(即ち、相対位置や相対姿勢)が変化すると部材同士を嵌め合わせるのが難しくなる。一方の部材が静止している場合には、他方の部材の位置及び姿勢を考慮すればよいが、一方の部材が移動し続けている場合には、部材間の相対関係が時々刻々と変化するため、嵌合の難易度が高まる。嵌合作業には、視覚センサや力センサを用いたロボット制御が広く行われている。
特許文献1には、視覚センサで得られた画像データに基づき第1ワークと第2ワークとの間の位置/姿勢関係を表わすワーク位置/姿勢を取得し、取得したワーク位置/姿勢データに基づいてロボットの位置及び姿勢を補正した上で、力センサからの出力に基づく力制御を行いながら嵌合動作を実行させる、力制御ロボットシステムが記載されている。
特許文献2には、第1部品と第2部品が接触している接触状態と、各接触状態から次の目標状態へ遷移させる遷移情報とを関連付けて記憶しておき、力センサの検出値と撮像装置の画像データを用いて接触状態を判別し、判別した結果に基づいて遷移情報を選択し、選択した遷移情報に基づいて嵌合制御を行うことが記載されている。
特許文献3には、ロボットの可動部のエンドポイントが目標位置にあるときの目標画像と、エンドポイントが現在位置にあるときの現在画像とを取得し、現在位置から目標位置までの距離を算出し、算出した距離に応じてビジュアルサーボによる指令値と力制御による指令値とを夫々重み付けして合成した指令値によりロボットを制御することが記載されている。
国際公開第1998/017444号 特開2010-89238号公報 特開2015-74058号公報
部材同士を複数点で嵌合させる場合、力センサは各点における部材からの反力を合力として検出するため、接触点を特定するのが困難となる。また、力センサで取得したデータには種々のノイズが乗っているため、1点接触か複数点接触かの判別も容易ではない。例えば部材を把持する剛性が低い場合には、剛性に起因したノイズが乗る。また、力センサは一方向だけに力を加えても他方向にも力が発生するという機構的な連れ周りノイズも生じる。さらに、力センサのゲインが高い場合にはケーブル等から電気的なノイズを拾うこともある。また、力センサの経年劣化や浸食等に起因したノイズを発生することもある。結果として、複数点の嵌合作業では、力センサのみで接触点の位置や接触点数を特定することが困難となるため、どこへ部材を移動したら良いのか、どの方向へ部材を傾けたら良いのかが分からず、間違った位置又は姿勢にロボットを制御してしまい、嵌合が失敗することがある。
そこで、複数点嵌合を行うロボットを制御する技術が求められている。
本開示の第1の態様は、ロボットと、ロボット端部に取付けられていて、互いに離れた複数の嵌合点において第1部材に対して嵌合する第2部材を把持するハンドと、ハンド近傍に又はロボットとは別個の固定位置に設置した視覚センサと、視覚センサで取得したデータに基づき、複数の嵌合点のうちの少なくとも1点における第1部材と第2部材の相対関係を計算する相対関係計算部と、計算した相対関係に基づいて第1部材と第2部材の接触点を判定する接触点判定部と、判定した接触点に基づいて制御点を設定する制御点設定部と、設定した制御点に基づいて複数の嵌合点における嵌合を制御する嵌合制御部と、を備え、接触点判定部は、第1部材と第2部材とが接触する接触点の位置および個数を検出し、制御点設定部は、接触点の位置および個数に基づいて制御点を設定する、ロボット制御システムを提供する。
本開示の第2の態様は、互いに離れた複数の嵌合点において第1部材に対して第2部材を篏合させるロボットの制御方法を提供する。制御方法は、視覚センサにより取得されたデータを取得するステップと、データに基づいて、複数の嵌合点のうちの少なくとも1点における第1部材と第2部材の相対関係を導出するステップと、相対関係に基づいて、第1部材と第2部材とが接触する接触点の位置および個数を検出するステップと、接触点の位置および個数に基づいて制御点を設定するステップとを備える。
本開示の第3の態様は、互いに離れた複数の嵌合点において第1部材に対して第2部材を篏合させるロボットの制御を実施するためのプログラムを提供する。プログラムは、コンピュータの少なくとも一つのプロセッサに、視覚センサにより取得されたデータを取得するステップと、データに基づいて、複数の嵌合点のうちの少なくとも1点における第1部材と第2部材の相対関係を導出するステップと、相対関係に基づいて、第1部材と第2部材とが接触する接触点の位置および個数を検出するステップと、接触点の位置および個数に基づいて制御点を設定するステップとを実行させる。
本開示の第4の態様は、互いに離れた複数の嵌合点において第1部材に対して第2部材を篏合させるロボットの制御を実施するためのプログラムを記憶可能な少なくとも1つの記憶部と、プログラムを実行することによりロボットを動作させる少なくとも1つのプロセッサと、を備える制御装置を提供する。プログラムは、コンピュータの少なくとも一つのプロセッサに、視覚センサにより取得されたデータを取得するステップと、データに基づいて、複数の嵌合点のうちの少なくとも1点における第1部材と第2部材の相対関係を導出するステップと、相対関係に基づいて、第1部材と第2部材とが接触する接触点の位置および個数を検出するステップと、接触点の位置および個数に基づいて制御点を設定するステップと、を実行させる。
本開示の一態様によれば、複数点嵌合を行うロボットを制御する技術を提供することができる。
一実施形態におけるロボット制御システムの概略構成を示す側面図である。 視覚センサの台数及び視線方向の変形例を示す斜視図である。 視覚センサの配置の変形例を示す斜視図である。 一実施形態におけるロボット制御システムの構成を示すブロック図である。 上方から撮像した部材間の相対関係を示す図である。 上方から撮像した部材間の相対関係を示す図である。 上方から撮像した部材間の相対関係を示す図である。 側方から撮像した部材間の相対関係を示す図である。 側方から撮像した部材間の相対関係を示す図である。 側方から撮像した部材間の相対関係を示す図である。 1点接触の場合の制御点を示す側面図である。 1点接触の場合の制御点を示す側面図である。 複数点接触の場合の制御点を示す側面図である。 力制御の探索範囲を示す平面図である。 一実施形態におけるロボット制御システムの嵌合制御を示す概略フローチャートである。
以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。
図1は本実施形態におけるロボット制御システム1の概略構成を示している。ロボット制御システム1は、ロボット10と、ロボット10の端部に取付けたハンド11と、ハンド11の近傍に設置した視覚センサ12と、ロボット10及びハンド11を制御するロボット制御装置13と、を備えている。ロボット10は多関節ロボットであるが、パラレルリンク型ロボット等の他の産業用ロボットでもよい。ハンド11は複数の爪部を備えたハンドであるが、吸着式ハンド等の他の形態のハンドを用いてもよい。視覚センサ12はCCD(charge-coupled device)カメラ等の二次元センサ、又はTOF(time-of-flight)カメラ、レーザスキャナ等の三次元センサ等でもよい。
ハンド11は第1部材15に対して複数の嵌合点A、Bで嵌合する第2部材16を把持しており、ロボット10は第2部材16を第1部材15に組付ける組付作業を行う。第1部材15と第2部材16は、複数の嵌合点を備えた物品の構成部材であり、例えばフレームと扉、本体と蓋、車両とドア等を含む。嵌合点は2点ではなく、3点以上でもよい。第1部材15は、搬送装置14で搬送して移動し続けていてもよいし、又は搬送装置14を一時停止して一時静止させてもよい。或いは、第1部材15は固定装置(図示せず)で固定されてずっと静止していてもよい。
ロボット10による組付作業は、第2部材16の凸部16a、16bを第1部材15の凹部15a、15bに位置合わせする位置合わせ制御と、第2部材16を第1部材15との嵌合方向17へ移動して凸部16a、16bを凹部15a、15bに嵌め合わせる嵌合制御とを含む。なお、凸部16a、16bと凹部15a、15bは互いに逆の部材に設けられてもよい。第1部材15が静止している場合には、第2部材16の位置及び姿勢のみを考慮すればよいが、複数点の嵌合では、部材間の相対関係が僅かにずれているだけで嵌合が失敗する。また、第1部材15が移動し続けている場合には、部材間の相対関係が時々刻々と変化するため、さらに嵌合の難易度が高くなる。それ故、視覚センサ12を用いて部材間の相対関係を算出し、相対関係から接触点を判定した上で、視覚制御による嵌合制御を行うことが望ましい。
ロボット制御システム1は、ロボット10とハンド11との間に力センサ19をさらに備えていてもよい。力センサ19は、ひずみゲージ式、圧電式、静電容量式等の力センサでよく、3軸、6軸等の力及びモーメントを検出することが望ましい。凸部16a、16bと凹部15a、15bの相対サイズ(クリアランス)が比較的大きい場合には、視覚センサ12のみで嵌合を成功させることが可能であるが、凸部16a、16bと凹部15a、15bの相対サイズが比較的小さい場合には、凹部15a、15bの凹縁周面に凸部16a、16bが接触した状態になり、嵌合がいつまでも成功しないことがある。そこで、力センサ19を用いて部材からの反力を検出し、検出した力に基づいて精密な嵌合制御を行うとよいが、前述の通り、複数点の嵌合では、力センサ19だけで接触点の位置や接触点数を特定するのが困難となり、結果として間違った位置又は姿勢にロボットを制御してしまうことがある。それ故、凸部と凹部の相対サイズが比較的小さい場合には、視覚センサ12を用いて部材間の相対関係を算出し、相対関係から接触点を判定した上で、力制御による嵌合制御を行うとよい。
図2A-図2Bは視覚センサの変形例を示している。図1では1台の視覚センサ12を設置し、複数の嵌合点A、Bのうちの少なくとも1点を撮像する様子を示したが、いずれの嵌合点A、Bも部材の影に隠れてどこに接触しているかが判別できない場合があるため、図2A-図2Bに示すように複数台の視覚センサ12a、12bを設置し、複数の嵌合点A、Bのうちの少なくとも1点を異なる視線方向で撮像してもよい。また、何点で接触しているかを判別できるように、全ての嵌合点A、Bを撮像できる視覚センサ12bを配置してもよい。本例では、一方の視覚センサ12aが嵌合点A、Bを上方から撮像し、他方の視覚センサ12bが嵌合点A、Bを側方から撮像している。
また、図2Bに示すように視覚センサ12a、12bをロボット10とは別個の固定位置に設置してもよい。視覚センサ12a、12bを例えば固定柱22に配置した場合には、複数の嵌合点A、Bのうちの少なくとも1つが一方の視覚センサ12aの撮像範囲20に収まるように視覚センサ12aを固定柱22に配置し、複数の嵌合点A、Bのうちの少なくとも1つが他方の視覚センサ12bの撮像範囲21に収まるように視覚センサ12bを配置するとよい。
図1を再び参照すると、ロボット制御システム1は、ロボット座標系C1の原点をロボット10のベース部18に設定し、ツール座標系C2の原点をハンド11又は第2部材16の近傍に設定することができる。このとき、ロボット10の位置はツール座標系C2の原点として表され、ロボット10の姿勢はロボット座標系C1に対するツール座標系C2の向きとして表される。ロボット制御システム1は、これら座標系における任意の点を相互に座標変換できるように構成する。
図3は本実施形態におけるロボット制御システム1の構成を示している。ロボット制御装置13は、CPU(central processing unit)等のプロセッサを備えた制御装置であり、予め教示した動作プログラム36によってロボット10及びハンド11を制御する。ロボット制御装置13は、動作プログラム36等を記憶する記憶部30と、動作プログラム36に基づいてロボット10及びハンド11の動作を制御する動作制御部31と、ロボット駆動モータ34を駆動するロボット駆動部32と、ハンド駆動モータ35を駆動するハンド駆動部33と、を備えている。動作プログラム36は組付作業を行うロボット10及びハンド11の基本的な動作指令を記述したプログラムであり、動作制御部31は動作プログラム36に基づいてロボット駆動部32及びハンド駆動部33に動作指令を送出し、ロボット駆動部32及びハンド駆動部33は動作指令に基づいてロボット駆動モータ34及びハンド駆動モータ35に電気を供給する。
第1部材がずれてしまう場合や移動し続けている場合でも第1部材と第2部材の位置合わせ制御を行うことができるように、ロボット制御装置13は、動作指令を補正する補正指令生成部40をさらに備えているとよい。補正指令生成部40は、視覚センサ12で取得したデータに基づいて第1部材のズレ量を計算して動作制御部31に補正指令を送出するか、又はズレ量に加えて、種々の過去データから第1部材の移動予測量を計算して動作制御部31に補正指令を送出してもよい。動作制御部31は、補正指令に基づいてロボット駆動部32及びハンド駆動部33に動作指令を送出する。これにより、第2部材の凸部を第1部材15の凹部の真上に配置する位置合わせ制御を行う。
位置合わせ制御を行った後又は位置合わせ制御を行いながら複数点の嵌合制御を行うことができるように、ロボット制御装置13は、部材間の相対関係を計算する相対関係計算部41と、少なくとも相対関係に基づいて接触点を判定する接触点判定部42と、接触点に基づいて制御点を設定する制御点設定部43と、複数点の嵌合を制御する嵌合制御部44と、をさらに備えている。相対関係計算部41は、視覚センサ12で取得したデータに基づいて部材間の相対関係を計算する。相対関係は、少なくとも部材間の相対位置を含むが、部材間の相対姿勢も含むことが望ましい。接触点判定部42は、相対関係だけでなく、力センサ19で取得したデータに基づいて第1部材と第2部材の接触点を判定してもよい。
図4A-図4Cは上方から撮像した部材間の相対関係を示しており、図5A-図5Cは側方から撮像した部材間の相対関係を示している。相対関係は種々の手法によって計算できるが、例えば後述のように行ってもよい。先ず、視覚センサで取得したデータの中からパターンマッチングによって第1部材15の凹部15aと第2部材16の凸部16aを検出する。予め用意するパターンは二次元パターンでもよいし又は三次元パターンでもよい。パターンを回転させ、スケール変化させながらパターンマッチングを行う。凹部15aと凸部16aの検出後、特徴点P2の位置に対する特徴点P1の位置を相対位置として計算する。また、特徴点P2から延びる直交3軸回りの各回転角に対する特徴点P1から延びる直交3軸回りの各回転角を相対姿勢として計算してもよい。
計算した相対位置を所定の閾値と比べて接触点の有無を判定する。或いは、相対位置に加えて相対姿勢を所定の閾値と比べて接触点の有無を判定してもよい。また、力センサがある場合には、力センサで取得したデータに基づいて接触点の有無を判定してもよい。また、夫々の判定結果から、信頼性の高い方を適宜選択してもよい。図4A-図4B及び図5A-図5Bは接触点がない場合を示しており、図4C及び図5Cは接触点がある場合を示している。図5Cに示すように接触点50がある場合には、部材間の相対関係に基づいて接触点50の位置を判定する。また、力センサがある場合には、力センサで取得したデータに基づいて接触点50の位置を判定してもよい。さらに、1つの嵌合点Aだけではなく、他の嵌合点Bについても接触点の判定を行い、接触点数を判定することが望ましい。
図3を再び参照すると、接触点がないと判定された場合、嵌合制御部44が部材間の相対関係に基づいて動作制御部31に補正指令を送出することにより、部材間の相対関係を整合させる。他方、接触点があると判定された場合には、制御点設定部43が接触点に基づいて制御点を設定する。図6A-図6Bは1点接触の場合の制御点51を示している。第1部材15と第2部材16が1点で接触している場合には、接触点近傍に制御点51を設定するとよい。凸部16aの先端が凹部15aの凹縁周面に接触している場合には、その接触点に制御点51を設定し、整合方向52に示すように制御点51回りにロボットの姿勢を制御する。しかし、凸部16aの先端が凹部15aの外側面に接触している場合には、接触点近傍にある凸部16aの先端(又は、ロボットが第1部材15を把持する場合には嵌合点A)に制御点51を設定し、制御点51を目標位置に整合させるようにロボットの位置を制御するとよい。
図6Cは複数点接触の場合の制御点51を示している。第1部材15と第2部材16が複数点で接触している場合には、各接触点近傍の中点に制御点51を設定するとよい。凸部16a、16bの各先端が凹部15a、15bの各凹縁周面に接触している場合には、各接触点の中点に制御点51を設定し、整合方向53に示すように制御点51を目標位置に整合させるようにロボットの位置を制御する。また、ロボットの位置制御に加えて、目標姿勢に整合させるように制御点51回りにロボットの姿勢も制御してもよい。しかし、凸部16a、16bの各先端が凹部15a、15bの外側面に夫々接触している場合には、各接触点近傍にある凸部16a、16bの各先端の中点(又は、ロボットが第1部材15を把持する場合には各嵌合点A、Bの中点)に制御点51を設定し、制御点51を目標位置に整合させるようにロボットの位置を制御するとよい。
図3を再び参照すると、嵌合制御部44は、前述の通り、設定された制御点に基づいて動作制御部31に補正指令を送出する。即ち、嵌合制御部44は、1点接触の場合には制御点回りにロボットの姿勢を制御する補正指令を動作制御部31に送出し、複数点接触の場合には制御点を目標位置に整合させる補正指令を動作制御部31に送出する。
力制御による嵌合制御を行う場合、ロボット制御システム1は、視覚センサ12で取得したデータに基づいて力制御の探索範囲を制限する探索範囲制限部45をさらに備えていてもよい。図7は力制御の探索範囲54を示している。探索範囲は種々の手法によって設定できるが、例えば後述のように行ってもよい。先ず、視覚センサ12で取得したデータの中からパターンマッチングによって第1部材15の凹部15aを検出し、嵌合点Aの位置を求める。そして、嵌合点Aの周囲の第1部材15の領域、即ち第1部材15の凹部15aの凹縁周面に力制御の探索範囲54を制限する。
図3を再び参照すると、嵌合制御部44は、制限された探索範囲の中を走査する補正指令を動作制御部31に送出しつつ、力センサで取得したデータに基づいて制御点における力やモーメントを計算し、計算した力やモーメントに基づいて制御点を目標位置に精密に整合させる補正指令を動作制御部31に送出する。
図8は本実施形態におけるロボット制御システム1の概略的な嵌合制御を示している。ステップS10では、複数の嵌合点のうちの少なくとも1点における第1部材と第2部材の相対関係を計算する。ステップS11では、計算した相対関係に基づいて接触点を判定する。接触点がないと判定された場合には、ステップS15に進み、部材間の相対関係を整合させる嵌合制御を行う。接触点があると判定された場合には、ステップS12において1点接触の場合には接触点近傍に制御点を設定し、複数点接触の場合には各接触点近傍の中点に制御点を設定する。
さらにステップS13において、1点接触の場合には制御点回りにロボットの姿勢を制御する。複数点接触の場合には制御点を目標位置に整合させるようにロボットの位置を制御するとよい。また、力制御による嵌合制御を行う場合には、ステップS14において、力制御の探索範囲を制限する。ステップS15では、視覚制御のみで又は視覚制御に加えて力制御で嵌合制御を行う。
以上の実施形態によれば、複数点嵌合を行うロボット10を制御することができる。なお、図3において、補正指令生成部40、相対関係計算部41、接触点判定部42、制御点設定部43、嵌合制御部44、及び探索範囲制限部45は、ロボット制御装置13ではなく、上位コンピュータ装置に配置されてもよいことに留意されたい。
前述のプロセッサによって実行されるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばCD-ROM等に記録して提供してもよい。
本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
1 ロボット制御システム
10 ロボット
11 ハンド
12 視覚センサ
13 ロボット制御装置
14 搬送装置
15 第1部材
15a、15b 凹部
16 第2部材
16a、16b 凸部
17 嵌合方向
18 ベース部
19 力センサ
20、21 撮像範囲
22 固定柱
30 記憶部
31 動作制御部
32 ロボット駆動部
33 ハンド駆動部
34 ロボット駆動モータ
35 ハンド駆動モータ
36 動作プログラム
40 補正指令生成部
41 相対関係計算部
42 接触点判定部
43 制御点設定部
44 嵌合制御部
45 探索範囲制限部
50 接触点
51 制御点
52、53 整合方向
54 探索範囲
A、B 嵌合点
C1 ロボット座標系
C2 ツール座標系
P1 特徴点
P2 特徴点

Claims (17)

  1. ロボットと、
    前記ロボット端部に取付けられていて、互いに離れた複数の嵌合点において第1部材に対して嵌合する第2部材を把持するハンドと、
    前記ハンド近傍に又は前記ロボットとは別個の固定位置に設置した視覚センサと、
    前記視覚センサで取得したデータに基づき、複数の前記嵌合点のうちの少なくとも1点における前記第1部材と前記第2部材の相対関係を計算する相対関係計算部と、
    計算した前記相対関係に基づいて前記第1部材と前記第2部材の接触点を判定する接触点判定部と、
    判定した前記接触点に基づいて制御点を設定する制御点設定部と、
    設定した前記制御点に基づいて複数の前記嵌合点における嵌合を制御する嵌合制御部と、を備え
    前記接触点判定部は、前記第1部材と前記第2部材とが接触する前記接触点の位置および個数を検出し、
    前記制御点設定部は、前記接触点の位置および個数に基づいて前記制御点を設定する、ロボット制御システム。
  2. 前記ロボットと前記ハンドとの間に配置した力センサをさらに備え、
    前記嵌合制御部は、前記力センサで取得したデータに基づいて複数の前記嵌合点における嵌合を力制御する、請求項1に記載のロボット制御システム。
  3. 前記制御点設定部は、前記接触点が1点のみの場合には前記接触点近傍に前記制御点を設定する、請求項1又は2に記載のロボット制御システム。
  4. 前記制御点設定部は、前記接触点が複数点ある場合には各接触点近傍の中点に前記制御点を設定する、請求項1から3のいずれか一項に記載のロボット制御システム。
  5. 前記嵌合制御部は、前記接触点が1点のみの場合には前記制御点回りに前記ロボットの姿勢を制御する、請求項3に記載のロボット制御システム。
  6. 前記嵌合制御部は、前記接触点が複数点ある場合には前記制御点を目標位置に整合させるように前記ロボットの位置を制御する、又は前記ロボットの位置制御に加えて、目標姿勢に整合させるように前記制御点回りに前記ロボットの姿勢も制御する、請求項4に記載のロボット制御システム。
  7. 前記視覚センサで取得したデータに基づいて前記力制御の探索範囲を制限する探索範囲制限部をさらに備える、請求項2に記載のロボット制御システム。
  8. 前記探索範囲は、前記嵌合点周囲の前記第1部材の領域に制限される、請求項7に記載のロボット制御システム。
  9. 前記視覚センサは、複数の前記嵌合点のうちの少なくとも1点を撮像する、請求項1から8のいずれか一項に記載のロボット制御システム。
  10. 前記視覚センサは、複数台設置されていて、複数の前記嵌合点のうちの少なくとも1点を異なる視線方向で撮像する、請求項1から9のいずれか一項に記載のロボット制御システム。
  11. 前記相対関係は、前記第1部材と前記第2部材の相対位置を含む、請求項1から10のいずれか一項に記載のロボット制御システム。
  12. 前記相対関係は、前記第1部材と前記第2部材の相対姿勢をさらに含む、請求項11に記載のロボット制御システム。
  13. 互いに離れた複数の嵌合点において第1部材に対して第2部材を篏合させるロボットの制御方法であって、
    視覚センサにより取得されたデータを取得するステップと、
    前記データに基づいて、複数の前記嵌合点のうちの少なくとも1点における前記第1部材と前記第2部材の相対関係を導出するステップと、
    前記相対関係に基づいて、前記第1部材と前記第2部材とが接触する接触点の位置および個数を検出するステップと、
    前記接触点の位置および個数に基づいて制御点を設定するステップと、を備える制御方法。
  14. 前記制御点を設定するステップは、前記接触点が複数点ある場合に各接触点近傍の中点に前記制御点を設定する、請求項13に記載の制御方法。
  15. 前記制御点を設定するステップにて設定した前記制御点に基づいて複数の前記嵌合点における嵌合を制御するステップを備え、
    嵌合を制御するステップは、前記接触点が複数点ある場合に前記制御点を目標位置に整合させるように前記ロボットの位置を制御する、又は前記ロボットの位置制御に加えて、目標姿勢に整合させるように前記制御点回りに前記ロボットの姿勢を制御する、請求項13または14に記載の制御方法。
  16. 互いに離れた複数の嵌合点において第1部材に対して第2部材を篏合させるロボットの制御を実施するためのプログラムであって、
    コンピュータの少なくとも一つのプロセッサに、
    視覚センサにより取得されたデータを取得するステップと、
    前記データに基づいて、複数の前記嵌合点のうちの少なくとも1点における前記第1部材と前記第2部材の相対関係を導出するステップと、
    前記相対関係に基づいて、前記第1部材と前記第2部材とが接触する接触点の位置および個数を検出するステップと、
    前記接触点の位置および個数に基づいて制御点を設定するステップと、を実行させるためのプログラム。
  17. 互いに離れた複数の嵌合点において第1部材に対して第2部材を篏合させるロボットの制御を実施するためのプログラムを記憶可能な少なくとも1つの記憶部と、
    前記プログラムを実行することにより前記ロボットを動作させる少なくとも1つのプロセッサと、を備え、
    前記プログラムは、コンピュータの少なくとも一つのプロセッサに、
    視覚センサにより取得されたデータを取得するステップと、
    前記データに基づいて、複数の前記嵌合点のうちの少なくとも1点における前記第1部材と前記第2部材の相対関係を導出するステップと、
    前記相対関係に基づいて、前記第1部材と前記第2部材とが接触する接触点の位置および個数を検出するステップと、
    前記接触点の位置および個数に基づいて制御点を設定するステップと、を実行させる、制御装置。
JP2019142137A 2019-08-01 2019-08-01 複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置 Active JP7351667B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019142137A JP7351667B2 (ja) 2019-08-01 2019-08-01 複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置
US16/926,781 US11584011B2 (en) 2019-08-01 2020-07-13 Robot control system of fitting of a plurality of points
DE102020119701.2A DE102020119701A1 (de) 2019-08-01 2020-07-27 Robotersteuersystem, das das zusammenfügen mehrerer punkte vornimmt
CN202010739853.2A CN112297002A (zh) 2019-08-01 2020-07-28 进行多点嵌合的机器人控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019142137A JP7351667B2 (ja) 2019-08-01 2019-08-01 複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置

Publications (2)

Publication Number Publication Date
JP2021024011A JP2021024011A (ja) 2021-02-22
JP7351667B2 true JP7351667B2 (ja) 2023-09-27

Family

ID=74165651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019142137A Active JP7351667B2 (ja) 2019-08-01 2019-08-01 複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置

Country Status (4)

Country Link
US (1) US11584011B2 (ja)
JP (1) JP7351667B2 (ja)
CN (1) CN112297002A (ja)
DE (1) DE102020119701A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022213715A1 (de) 2022-12-15 2024-06-20 Peri Se Verfahren zur positionierung eines ersten bauteils relativ zu einem zweiten bauteil durch ein roboterarmsystem

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998017444A1 (fr) 1996-10-24 1998-04-30 Fanuc Ltd Systeme de robot de commande de forces a capteur optique pour travail d'insertion
JP2010089238A (ja) 2008-10-10 2010-04-22 Honda Motor Co Ltd ワーク取り出し方法
WO2013190648A1 (ja) 2012-06-20 2013-12-27 株式会社安川電機 ロボットシステムおよび部品の製造方法
JP2014155994A (ja) 2013-02-18 2014-08-28 Seiko Epson Corp ロボットおよびロボット制御装置
JP2015074058A (ja) 2013-10-10 2015-04-20 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム
JP2015221490A (ja) 2014-04-28 2015-12-10 キヤノン株式会社 ロボット装置の制御方法及びロボット装置
JP2017094471A5 (ja) 2015-11-26 2018-12-27

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996456B2 (en) * 2002-10-21 2006-02-07 Fsi International, Inc. Robot with tactile sensor device
JP5787646B2 (ja) * 2011-07-06 2015-09-30 キヤノン株式会社 ロボットシステム及び部品の製造方法
EP2745999A1 (en) * 2011-08-19 2014-06-25 Kabushiki Kaisha Yaskawa Denki Robot system, robot control device, robot hand and method for controlling robot
JP6378143B2 (ja) * 2015-07-16 2018-08-22 ファナック株式会社 エンドエフェクタの位置および姿勢を定めるガイド部を備えるロボットの教示装置
JP6208724B2 (ja) * 2015-09-09 2017-10-04 ファナック株式会社 物体の姿勢算出システム
JP6693098B2 (ja) 2015-11-26 2020-05-13 セイコーエプソン株式会社 ロボット、及びロボットシステム
JP6611888B2 (ja) * 2018-09-28 2019-11-27 キヤノン株式会社 ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体
NL2022351B1 (en) * 2019-01-07 2020-08-13 Vitestro Holding B V Contact sensor positioning system, cannula insertion system and method to position a contact sensor
US20210001486A1 (en) * 2019-07-01 2021-01-07 Volvo Truck Corporation Method for controlling an industrial robot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998017444A1 (fr) 1996-10-24 1998-04-30 Fanuc Ltd Systeme de robot de commande de forces a capteur optique pour travail d'insertion
JP2010089238A (ja) 2008-10-10 2010-04-22 Honda Motor Co Ltd ワーク取り出し方法
WO2013190648A1 (ja) 2012-06-20 2013-12-27 株式会社安川電機 ロボットシステムおよび部品の製造方法
JP2014155994A (ja) 2013-02-18 2014-08-28 Seiko Epson Corp ロボットおよびロボット制御装置
JP2015074058A (ja) 2013-10-10 2015-04-20 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム
JP2015221490A (ja) 2014-04-28 2015-12-10 キヤノン株式会社 ロボット装置の制御方法及びロボット装置
JP2017094471A5 (ja) 2015-11-26 2018-12-27

Also Published As

Publication number Publication date
US11584011B2 (en) 2023-02-21
JP2021024011A (ja) 2021-02-22
CN112297002A (zh) 2021-02-02
DE102020119701A1 (de) 2021-02-04
US20210031372A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
JP6490032B2 (ja) 組立ロボットのロボット制御装置
US10456917B2 (en) Robot system including a plurality of robots, robot controller and robot control method
US20190015988A1 (en) Robot control device, robot, robot system, and calibration method of camera for robot
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US9884425B2 (en) Robot, robot control device, and robotic system
US20190015989A1 (en) Robot Control Device, Robot, Robot System, And Calibration Method Of Camera
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US11040451B2 (en) Teaching device and teaching method
CN114174006A (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
JP2019107704A (ja) ロボットシステム及びロボット制御方法
US20170203434A1 (en) Robot and robot system
CN110303474B (zh) 使用图像处理修正机器人的示教的机器人***
US20190022859A1 (en) Robot apparatus, control method for the robot apparatus, assembly method using the robot apparatus, and recording medium
US20220032462A1 (en) Robot Hand, Robot Hand Control Method, and Program
US8761936B2 (en) Teaching line correcting apparatus, teaching line correcting method, and program thereof
JP7351667B2 (ja) 複数点嵌合を行うロボット制御システム、制御方法、コンピュータのプログラム、および制御装置
JP5891698B2 (ja) ロボット
JPS6358505A (ja) ロボツト制御装置
JPH1158273A (ja) 移動ロボット装置
EP3878606A1 (en) Alignment device
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
WO2022195944A1 (ja) ロボットシステム、およびロボットシステムの制御方法
JP2007098550A (ja) ロボットハンドの把持制御装置
JP2010188432A (ja) ロボットハンドの位置補正方法、ロボットハンド、ロボット
JP2006331255A (ja) 産業用ロボットの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230914

R150 Certificate of patent or registration of utility model

Ref document number: 7351667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150