JPWO2020121399A1 - ロボット制御システム及びロボット制御方法 - Google Patents
ロボット制御システム及びロボット制御方法 Download PDFInfo
- Publication number
- JPWO2020121399A1 JPWO2020121399A1 JP2020558832A JP2020558832A JPWO2020121399A1 JP WO2020121399 A1 JPWO2020121399 A1 JP WO2020121399A1 JP 2020558832 A JP2020558832 A JP 2020558832A JP 2020558832 A JP2020558832 A JP 2020558832A JP WO2020121399 A1 JPWO2020121399 A1 JP WO2020121399A1
- Authority
- JP
- Japan
- Prior art keywords
- work
- coordinate
- coordinate system
- image processing
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
Description
まず、図1に基づいてロボット11の構成を説明する。
把持可能な条件(1)は図5に示すようなワークA同士の重なりが無いことである。図5に示すワークAはワッシャである。ワークAが重なっていると、画像処理で認識するワークAの高さが既知の値から変動するため、エンドエフェクタ23で把持できない姿勢となるためである。
把持可能な条件(2)は図6に示すようなワークB同士の隣接が無いことである。図6に示すワークBはねじである。ワークBが隣接していると、エンドエフェクタ23が隣接する把持対象外のワークBと干渉するためである。
把持可能な条件(3)は図7に示すようなワークBが異常な姿勢になっていないことである。図7に示すワークBはねじである。ワークBが異常な姿勢になると、画像処理で認識するワークBの高さが既知の値から変動するため、エンドエフェクタ23で把持できない姿勢となるためである。
Runi =(Ro −R1 )/Tcp …(1)
Rh =Ro −Runi ×H …(2)
Y=Yv ×Rh …(4)
この2次元のビジョン座標系の座標値を3次元の世界座標系の座標値に変換する。
分解能=視野/画素数 …(5)
視野=(H/焦点距離)×WD …(6)
ここで、Hは固定カメラ51のイメージセンサのサイズである。
分解能={(H/焦点距離)×WD}/画素数
={(H/焦点距離)/画素数}×WD
=α×WD ……(7)
Runi =(Ro −R1 )/Tcp …(8)
Rh =Ro −Runi ×(H+ΔWD) …(9)
X=Xv ×Rh …(10)
Y=Yv ×Rh …(11)
この2次元のビジョン座標系の座標値を3次元の世界座標系の座標値に変換する。
尚、上記各実施例1〜3に限定されず、ハンドカメラ40と固定カメラ51の両方を設置して、要求される分解能やロボット11のアーム可動領域内における作業エリア38の位置によってハンドカメラ40と固定カメラ51とを使い分けるようにしても良い。例えば、ワーク30のサイズが小さくて高い分解能が要求される場合には、ハンドカメラ40を使用し、また、固定カメラ51の視野から外れた位置に設置された作業エリア38についてはハンドカメラ40を使用するようにすれば良い。また、固定カメラ51の視野内に複数の作業エリア38が収まる場合には、固定カメラ51の視野内に複数の作業エリア38を収めて撮像すれば、複数の作業エリア38上のワーク30の画像処理を能率良く行うことができる。或は、複数の作業エリア38が存在する場合に、作業エリア38毎にハンドカメラ40を移動させてワーク30を撮像するようにしても良い。
Claims (12)
- 高さ寸法が既知のワークを一定の高さ位置の作業エリアに供給する供給装置と、
前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
前記作業エリアに供給されたワークを所定の高さ位置から撮像する2次元のカメラと、
前記2次元のカメラで撮像した2次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする2次元座標系(以下「ビジョン座標系」という)の座標値で認識する画像処理部と、
前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの3次元座標系である世界座標系の座標値に変換する座標変換部と、
前記座標変換部で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御部とを備え、
前記座標変換部は、前記2次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法に応じて変化することを考慮して、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御システム。 - 前記画像処理部は、前記ビジョン座標系で前記ワークの位置の座標値をピクセル単位で認識し、
前記座標変換部は、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正する際に、前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する処理に用いる分解能(1ピクセル当たりの長さ)を前記ワークの高さ寸法に応じて補正し、補正後の分解能を用いて前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する、請求項1に記載のロボット制御システム。 - 前記座標変換部は、前記作業エリアのワーク載置面の高さ位置を基準高さ位置として当該基準高さ位置における分解能を基準分解能Ro として算出すると共に、当該基準高さ位置から所定高さTcpだけ高い位置における分解能R1 を算出して、下記の(1)式を用いて単位高さ寸法当たりの分解能変化量を単位分解能Runi として算出し、下記の(2)式を用いて前記基準分解能Ro から前記単位分解能Runi と前記ワークの高さ寸法Hとの積算値を引き算することで、前記補正後の分解能Rhを求める、請求項2に記載のロボット制御システム。
Runi =(Ro −R1 )/Tcp …(1)
Rh =Ro −Runi ×H …(2) - 高さ寸法が既知のワークを作業エリアに供給する供給装置と、
前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
前記作業エリアに供給されたワークを所定の高さ位置から撮像する2次元のカメラと、
前記2次元のカメラで撮像した2次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする2次元座標系(以下「ビジョン座標系」という)の座標値で認識する画像処理部と、
前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの3次元座標系である世界座標系の座標値に変換する座標変換部と、
前記座標変換部で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御部とを備え、
前記座標変換部は、前記2次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて変化することを考慮して、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御システム。 - 前記画像処理部は、前記ビジョン座標系で前記ワークの位置の座標値をピクセル単位で認識し、
前記座標変換部は、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて補正する際に、前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する処理に用いる分解能(1ピクセル当たりの長さ)を前記ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて補正し、補正後の分解能を用いて前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する、請求項4に記載のロボット制御システム。 - 前記座標変換部は、前記2次元のカメラで前記作業エリア上のワークを撮像可能な高さ位置の範囲内で設定した基準高さ位置における分解能を基準分解能Ro として算出すると共に、当該基準高さ位置から所定高さTcpだけ高い位置における分解能R1 を算出して、下記の(3)式を用いて単位高さ寸法当たりの分解能変化量を単位分解能Runi として算出し、下記の(4)式を用いて前記基準高さ位置から前記作業エリアのワーク載置面の高さ位置までの高さ寸法ΔWDと前記ワークの高さ寸法Hとの和に前記単位分解能Runi を積算して求めた値を前記基準分解能Ro から引き算することで、前記補正後の分解能Rhを求める、請求項5に記載のロボット制御システム。
Runi =(Ro −R1 )/Tcp …(3)
Rh =Ro −Runi ×(H+ΔWD) …(4) - 前記2次元のカメラは、前記ロボットのアーム先端部に取り付けられ、
前記制御部は、前記作業エリアに供給されたワークを前記2次元のカメラで撮像する際に当該2次元のカメラの高さ位置が前記世界座標系の座標値で前記所定の高さ位置となるように前記ロボットのアームの位置を制御する、請求項1乃至6のいずれかに記載のロボット制御システム。 - 前記2次元のカメラは、前記世界座標系の座標値で前記所定の高さ位置となる場所に固定されている、請求項1乃至6のいずれかに記載のロボット制御システム。
- 前記画像処理部は、少なくとも前記ワークの高さ寸法を含む情報や画像処理パラメータをGUI(グラフィカル・ユーザー・インターフェース)上から登録可能に構成されている、請求項1乃至8のいずれかに記載のロボット制御システム。
- 前記画像処理部は、前記ワークの姿勢及び複数のワーク同士の重なりを認識する機能を有する、請求項1乃至9のいずれかに記載のロボット制御システム。
- 高さ寸法が既知のワークを一定の高さ位置の作業エリアに供給する供給装置と、
前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
前記作業エリアに供給されたワークを所定の高さ位置から撮像して2次元の画像を取得する2次元のカメラとを備え、
前記2次元のカメラで撮像した2次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする2次元座標系(以下「ビジョン座標系」という)の座標値で認識する画像処理工程と、
前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの3次元座標系である世界座標系の座標値に変換する座標変換工程と、
前記座標変換工程で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御工程とを含むロボット制御方法であって、
前記座標変換工程において、前記2次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法に応じて変化することを考慮して、前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御方法。 - 高さ寸法が既知のワークを作業エリアに供給する供給装置と、
前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
前記作業エリアに供給されたワークを所定の高さ位置から撮像して2次元の画像を取得する2次元のカメラとを備え、
前記2次元のカメラで撮像した2次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする2次元座標系(以下「ビジョン座標系」という)の座標値で認識する画像処理工程と、
前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの3次元座標系である世界座標系の座標値に変換する座標変換工程と、
前記座標変換工程で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御工程とを含むロボット制御方法であって、
前記座標変換工程において、前記2次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法及び前記作業エリアの高さ位置に応じて変化することを考慮して、前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアの高さ位置に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/045428 WO2020121399A1 (ja) | 2018-12-11 | 2018-12-11 | ロボット制御システム及びロボット制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020121399A1 true JPWO2020121399A1 (ja) | 2021-09-02 |
JP7057841B2 JP7057841B2 (ja) | 2022-04-20 |
Family
ID=71075975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558832A Active JP7057841B2 (ja) | 2018-12-11 | 2018-12-11 | ロボット制御システム及びロボット制御方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3895855A4 (ja) |
JP (1) | JP7057841B2 (ja) |
CN (1) | CN113015604B (ja) |
WO (1) | WO2020121399A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114770461B (zh) * | 2022-04-14 | 2023-12-01 | 深圳技术大学 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
CN115194773B (zh) * | 2022-08-22 | 2024-01-05 | 苏州佳祺仕科技股份有限公司 | 一种视觉引导组装方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0788791A (ja) * | 1993-09-20 | 1995-04-04 | Mitsubishi Electric Corp | ロボット装置およびその周辺装置 |
JPH11300670A (ja) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | 物品ピックアップ装置 |
JP2000304509A (ja) * | 1999-04-21 | 2000-11-02 | Matsushita Electric Works Ltd | 物体特定方法及び装置 |
JP2008183690A (ja) * | 2007-01-31 | 2008-08-14 | Nachi Fujikoshi Corp | ロボット制御装置及びロボット制御システム |
JP2013233639A (ja) * | 2012-05-10 | 2013-11-21 | Hitachi Zosen Fukui Corp | ワークの位置検出方法及びそれを用いたワークの搬送方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100971586B1 (ko) * | 2005-09-12 | 2010-07-20 | 가부시키가이샤 야스카와덴키 | 얼라이먼트 장치 및 얼라이먼트 장치의 원점 복귀 방법,얼라이먼트 장치를 구비한 선회 테이블, 병진 테이블, 기계및 기계 제어 시스템 |
JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
US8452077B2 (en) * | 2010-02-17 | 2013-05-28 | Applied Materials, Inc. | Method for imaging workpiece surfaces at high robot transfer speeds with correction of motion-induced distortion |
JP2011177845A (ja) * | 2010-03-02 | 2011-09-15 | Seiko Epson Corp | ロボットのキャリブレーション方法及びロボット用キャリブレーション装置 |
JP5505138B2 (ja) * | 2010-07-05 | 2014-05-28 | 株式会社安川電機 | ロボット装置およびロボット装置による把持方法 |
DE102012200220A1 (de) * | 2011-06-20 | 2012-12-20 | Semilev Gmbh | Verfahren zum Kalibrieren eines aktiv magnetgelagerten Roboters |
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP6429473B2 (ja) | 2014-03-20 | 2018-11-28 | キヤノン株式会社 | ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP6364856B2 (ja) * | 2014-03-25 | 2018-08-01 | セイコーエプソン株式会社 | ロボット |
CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位***与方法 |
JP6126183B2 (ja) * | 2015-10-05 | 2017-05-10 | ファナック株式会社 | ターゲットマークを撮像するカメラを備えたロボットシステム |
JP6250901B2 (ja) * | 2015-10-28 | 2017-12-20 | ファナック株式会社 | Cncとロボット制御装置が通信ネットワークを介して接続されたロボットシステム |
JP2018012184A (ja) * | 2016-07-22 | 2018-01-25 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
WO2018098395A1 (en) * | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Improved engraving in a computer numerically controlled machine |
CN106607907B (zh) * | 2016-12-23 | 2017-09-26 | 西安交通大学 | 一种移动视觉机器人及其测控方法 |
-
2018
- 2018-12-11 CN CN201880099483.1A patent/CN113015604B/zh active Active
- 2018-12-11 EP EP18943223.0A patent/EP3895855A4/en active Pending
- 2018-12-11 JP JP2020558832A patent/JP7057841B2/ja active Active
- 2018-12-11 WO PCT/JP2018/045428 patent/WO2020121399A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0788791A (ja) * | 1993-09-20 | 1995-04-04 | Mitsubishi Electric Corp | ロボット装置およびその周辺装置 |
JPH11300670A (ja) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | 物品ピックアップ装置 |
JP2000304509A (ja) * | 1999-04-21 | 2000-11-02 | Matsushita Electric Works Ltd | 物体特定方法及び装置 |
JP2008183690A (ja) * | 2007-01-31 | 2008-08-14 | Nachi Fujikoshi Corp | ロボット制御装置及びロボット制御システム |
JP2013233639A (ja) * | 2012-05-10 | 2013-11-21 | Hitachi Zosen Fukui Corp | ワークの位置検出方法及びそれを用いたワークの搬送方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020121399A1 (ja) | 2020-06-18 |
JP7057841B2 (ja) | 2022-04-20 |
EP3895855A4 (en) | 2022-05-11 |
EP3895855A1 (en) | 2021-10-20 |
CN113015604B (zh) | 2024-03-08 |
CN113015604A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7153085B2 (ja) | ロボットキャリブレーションシステム及びロボットキャリブレーション方法 | |
JP6966582B2 (ja) | ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 | |
JP6770605B2 (ja) | 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム | |
US10232512B2 (en) | Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus | |
JP5664629B2 (ja) | ロボットシステムおよび加工品の製造方法 | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
US11267142B2 (en) | Imaging device including vision sensor capturing image of workpiece | |
WO2014020739A1 (ja) | 多関節型ロボットを備えた作業機および電気部品装着機 | |
CN109834710B (zh) | 机器人和机器人*** | |
JP6869159B2 (ja) | ロボットシステム | |
TWI667090B (zh) | 雷射加工裝置 | |
JP4289619B2 (ja) | 多関節ロボットのツール位置補正方法 | |
JP7057841B2 (ja) | ロボット制御システム及びロボット制御方法 | |
JP7281910B2 (ja) | ロボット制御システム | |
JP4274558B2 (ja) | キャリブレーション方法 | |
JP2021013983A (ja) | 移動機械の移動軌跡のずれを取得する装置、及び方法 | |
WO2018173192A1 (ja) | 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 | |
WO2023032400A1 (ja) | 自動搬送装置、及びシステム | |
JP7509535B2 (ja) | 画像処理装置、ロボットシステム、及び画像処理方法 | |
CN113905859B (zh) | 机器人控制***及机器人控制方法 | |
JP2022530589A (ja) | ロボット搭載移動装置、システム及び工作機械 | |
US11230015B2 (en) | Robot system | |
JP6735208B2 (ja) | キャリブレーション治具、板金搬入システム、及びキャリブレーション方法 | |
JP7242856B2 (ja) | ロボット制御システム及びロボット制御方法 | |
WO2024048491A1 (ja) | ロボットシステム、および、ロボットシステムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7057841 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |