JP2019217571A - ロボット制御システム - Google Patents
ロボット制御システム Download PDFInfo
- Publication number
- JP2019217571A JP2019217571A JP2018114907A JP2018114907A JP2019217571A JP 2019217571 A JP2019217571 A JP 2019217571A JP 2018114907 A JP2018114907 A JP 2018114907A JP 2018114907 A JP2018114907 A JP 2018114907A JP 2019217571 A JP2019217571 A JP 2019217571A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- calibration
- unit
- camera
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、本発明が適用される場面の一例について説明する。
まず、本実施の形態に従うロボット制御システム1の全体構成について説明する。
次に、本実施の形態に従うロボット制御システム1を構成する各装置の構成例について説明する。
図3は、本実施の形態に従うロボット制御システム1に含まれる3Dカメラ10の構成例を示す模式図である。図3を参照して、3Dカメラ10は、処理部11と、投光部12と、撮像部13と、表示部14と、記憶部15とを含む。
図4は、本実施の形態に従うロボット制御システム1に含まれる画像計測装置100の構成例を示す模式図である。画像計測装置100は、典型的には、汎用コンピュータを用いて実現される。図4を参照して、画像計測装置100は、プロセッサ102と、メインメモリ104と、ストレージ106と、入力部108と、表示部110と、光学ドライブ112と、通信インターフェイス(I/F)部114とを含む。これらのコンポーネントは、プロセッサバス116を介して接続されている。
図5は、本実施の形態に従うロボット制御システム1に含まれる制御装置200の構成例を示す模式図である。制御装置200は、典型的には、PLC(プログラマブルコントローラ)を用いて実現される。図5を参照して、制御装置200は、プロセッサ202と、メインメモリ204と、ストレージ206と、通信インターフェイス(I/F)部208と、フィールドネットワークコントローラ210,212と、USB(Universal Serial Bus)コントローラ214と、メモリカードインターフェイス216と、ローカルバスコントローラ220とを含む。これらのコンポーネントは、プロセッサバス230を介して接続されている。
図6は、本実施の形態に従うロボット制御システム1に含まれるロボット制御装置300の構成例を示す模式図である。ロボット制御装置300は、制御装置200からの指令(典型的には、目標位置の三次元座標、姿勢(向き)、および移動速度など)に従って、ロボット2の各軸の動作パターンなどを計算する。
次に、本実施の形態に従うロボット制御システム1におけるキャリブレーションについて説明する。
ロボット制御システム1においては、複数種類のキャリブレーションを実行する必要がある。
図8は、本実施の形態に従うロボット制御システム1が提供するユーザインターフェイス画面の一例を示す模式図である。本実施の形態においては、一例として、画像計測装置100の設定受付プログラム1066によりキャリブレーション領域418の設定が受付けられるようになっており、図8に示すユーザインターフェイス画面400は、典型的には、画像計測装置100の表示部110(図4)上に表示される。但し、画像計測装置100に限定されることなく、制御装置200に接続される表示装置(不図示)上に表示されるようにしてもよい。画像計測装置100および/または制御装置200に設定が与えられるのであれば、どのような表示および入力の形態であってもよい。
ここで、カメラ・ロボットキャリブレーションの概略について説明する。カメラ・ロボットキャリブレーションは、典型的には、カメラ座標系上の位置および姿勢とロボット基準座標系上の位置および姿勢との間を相互変換するための行列の係数(パラメータ)を算出する処理を含む。
推定された行列Xおよび行列Zを用いることで、カメラ座標系での位置および姿勢をロボット基準座標系上の位置および姿勢に変換する計算式を得る。
b)a)の状態で、3Dカメラ10による撮像を行なうことで、マーカ22のカメラ座標系上の位置および姿勢を取得する
a)およびb)の操作を繰返すことで取得された位置および姿勢の組(10〜20個のデータセット)を用いて、上述したような行列を推定する。推定された行例を用いることで、カメラ・ロボットキャリブレーションにおけるロボット2と3Dカメラ10との位置関係に基づく、任意の被写体のロボット基準座標系での位置および姿勢を算出できる。
次に、本実施の形態に従うロボット制御システム1におけるカメラ・ロボットキャリブレーションを自動的に実行する場合の処理例について説明する。
図10は、本実施の形態に従うロボット制御システム1におけるカメラ・ロボットキャリブレーションの自動処理において提供されるユーザインターフェイス画面の一例を示す模式図である。図10に示されるユーザインターフェイス画面420は、3Dカメラ10による撮像により得られる基準プレート20についての三次元計測結果、および、3Dカメラ10による撮像により得られる基準プレート20についての二次元画像を同時に表示する。さらに、ユーザインターフェイス画面420は、ユーザが予め設定したキャリブレーション領域および基準プレート20の高さを表示する。
次に、本実施の形態に従うロボット制御システム1におけるカメラ・ロボットキャリブレーションを手動で実行する場合の処理例について説明する。
図12は、本実施の形態に従うロボット制御システム1におけるカメラ・ロボットキャリブレーションの手動処理において提供されるユーザインターフェイス画面の一例を示す模式図である。
上述した実施の形態に対しては、以下のような変形も可能である。
上述の説明においては、主として画像計測装置100および制御装置200が連係することで、本実施の形態に係るカメラ・ロボットキャリブレーションを実現する実装形態について説明したが、実装形態としてはこれに限られるものではない。
説明の便宜上、カメラ・ロボットキャリブレーションの自動処理および手動処理の両方を実行可能なロボット制御システム1を例示したが、必ずしも両方の処理を実装する必要はない。要求仕様やアプリケーションなどに応じて、いずれかの一方の処理のみを実装するようにしてもよい。
カメラ・ロボットキャリブレーションの実行に必要なデータセットを取得するための、基準プレート20を配置する位置は、任意に設定できる。また、設定された複数の位置に基準プレート20を順次配置する経路についても任意に設定できる。但し、基準プレート20を順次配置する経路については、作業の効率化のため、所定の最適化アルゴリズムに従って、最短経路を設定するようにしてもよい。
上述したような本実施の形態は、以下のような技術思想を含む。
[構成1]
ロボット制御システム(1)であって、
ロボット(2)の作用部(8)を視野内に含むように配置された撮像部(10)と、
前記撮像部により撮像された画像に基づいて、当該撮像部の視野内に存在する任意の対象物の三次元座標を計測する計測部(52;100)と、
前記計測された三次元座標と前記ロボットの作用部の位置および姿勢との間の予め算出された対応関係に従って、前記ロボットの前記作用部を位置決めするための指令を生成する指令生成部(54;200)と、
前記対応関係を算出するためのキャリブレーションを実行するキャリブレーション実行部(58;100;200)と、
前記キャリブレーションにおいて、前記ロボットの作用部に関連付けられた基準物体(20)を配置すべき領域であるキャリブレーション領域(418)の設定を受付ける設定受付部(60;400)とを備える、ロボット制御システム。
[構成2]
前記設定受付部は、前記撮像部を基準として、設定されているキャリブレーション領域の範囲を示す、構成1に記載のロボット制御システム。
[構成3]
前記設定受付部は、前記撮像部の視野範囲(416)を併せて表示する、構成2に記載のロボット制御システム。
[構成4]
前記キャリブレーション領域は、前記撮像部の光軸(AX)を基準とした直方体として設定される、構成1〜3のいずれか1項に記載のロボット制御システム。
[構成5]
前記キャリブレーション領域として設定される直方体の断面の大きさは、前記撮像部の視野と前記撮像部から前記キャリブレーション領域の端面までの距離とに応じて、決定される、構成4に記載のロボット制御システム。
[構成6]
前記設定受付部は、前記キャリブレーション領域の設定として、前記撮像部の光軸(AX)上の範囲設定を受付ける、構成4または5に記載のロボット制御システム。
[構成7]
前記キャリブレーション実行部は、
前記ロボットに指令を順次与えて、前記キャリブレーション領域内に前記基準物体を順次配置する配置制御部(200;SQ210,SQ212)と、
前記基準物体が前記キャリブレーション領域内に順次配置されたときに取得される、前記基準物体の三次元座標と前記ロボットの作用部の位置および姿勢との組に基づいて、前記対応関係を算出する算出部(200;SQ216)とを含む、構成1〜6のいずれか1項に記載のロボット制御システム。
[構成8]
前記キャリブレーション実行部は、
前記キャリブレーション領域において前記基準物体を配置すべき複数の位置を決定する位置決定部(100;SQ156)と、
前記決定された複数の位置のうち一つと前記基準物体の現在位置との関係を示す位置表示部(100;SQ164)と、
前記基準物体が前記決定された複数の位置に順次配置されたときに取得される、前記基準物体の三次元座標と前記ロボットの作用部の位置および姿勢との組に基づいて、前記対応関係を算出する算出部(200;SQ254)とを含む、構成1〜6のいずれか1項に記載のロボット制御システム。
本実施の形態に従うロボット制御システムのように、3Dカメラにより撮像された画像に関連付けられるカメラ座標系とロボットを制御するためのロボット基準座標系との間のカメラ・ロボットキャリブレーションを実行するにあたっては、ロボットにより基準物体を所定位置に配置する必要があり、基準物体の位置および姿勢の指定が容易ではない。
Claims (8)
- ロボット制御システムであって、
ロボットの作用部を視野内に含むように配置された撮像部と、
前記撮像部により撮像された画像に基づいて、当該撮像部の視野内に存在する任意の対象物の三次元座標を計測する計測部と、
前記計測された三次元座標と前記ロボットの作用部の位置および姿勢との間の予め算出された対応関係に従って、前記ロボットの前記作用部を位置決めするための指令を生成する指令生成部と、
前記対応関係を算出するためのキャリブレーションを実行するキャリブレーション実行部と、
前記キャリブレーションにおいて、前記ロボットの作用部に関連付けられた基準物体を配置すべき領域であるキャリブレーション領域の設定を受付ける設定受付部とを備える、ロボット制御システム。 - 前記設定受付部は、前記撮像部を基準として、設定されているキャリブレーション領域の範囲を示す、請求項1に記載のロボット制御システム。
- 前記設定受付部は、前記撮像部の視野範囲を併せて表示する、請求項2に記載のロボット制御システム。
- 前記キャリブレーション領域は、前記撮像部の光軸を基準とした直方体として設定される、請求項1〜3のいずれか1項に記載のロボット制御システム。
- 前記キャリブレーション領域として設定される直方体の断面の大きさは、前記撮像部の視野と前記撮像部から前記キャリブレーション領域の端面までの距離とに応じて、決定される、請求項4に記載のロボット制御システム。
- 前記設定受付部は、前記キャリブレーション領域の設定として、前記撮像部の光軸上の範囲設定を受付ける、請求項4または5に記載のロボット制御システム。
- 前記キャリブレーション実行部は、
前記ロボットに指令を順次与えて、前記キャリブレーション領域内に前記基準物体を順次配置する配置制御部と、
前記基準物体が前記キャリブレーション領域内に順次配置されたときに取得される、前記基準物体の三次元座標と前記ロボットの作用部の位置および姿勢との組に基づいて、前記対応関係を算出する算出部とを含む、請求項1〜6のいずれか1項に記載のロボット制御システム。 - 前記キャリブレーション実行部は、
前記キャリブレーション領域において前記基準物体を配置すべき複数の位置を決定する位置決定部と、
前記決定された複数の位置のうち一つと前記基準物体の現在位置との関係を示す位置表示部と、
前記基準物体が前記決定された複数の位置に順次配置されたときに取得される、前記基準物体の三次元座標と前記ロボットの作用部の位置および姿勢との組に基づいて、前記対応関係を算出する算出部とを含む、請求項1〜6のいずれか1項に記載のロボット制御システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018114907A JP7070127B2 (ja) | 2018-06-15 | 2018-06-15 | ロボット制御システム |
PCT/JP2019/020623 WO2019239848A1 (ja) | 2018-06-15 | 2019-05-24 | ロボット制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018114907A JP7070127B2 (ja) | 2018-06-15 | 2018-06-15 | ロボット制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019217571A true JP2019217571A (ja) | 2019-12-26 |
JP7070127B2 JP7070127B2 (ja) | 2022-05-18 |
Family
ID=68842581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018114907A Active JP7070127B2 (ja) | 2018-06-15 | 2018-06-15 | ロボット制御システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7070127B2 (ja) |
WO (1) | WO2019239848A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112525074A (zh) * | 2020-11-24 | 2021-03-19 | 杭州素问九州医疗科技有限公司 | 标定方法、***、机器人、计算机装置和导航*** |
WO2022080032A1 (ja) * | 2020-10-16 | 2022-04-21 | オムロン株式会社 | キャリブレーション装置およびキャリブレーションの自動設定方法 |
WO2022208963A1 (ja) * | 2021-03-29 | 2022-10-06 | 株式会社日立製作所 | ロボット制御用のキャリブレーション装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106406312B (zh) * | 2016-10-14 | 2017-12-26 | 平安科技(深圳)有限公司 | 导览机器人及其移动区域标定方法 |
CN114894116B (zh) * | 2022-04-08 | 2024-02-23 | 苏州瀚华智造智能技术有限公司 | 一种测量数据融合方法及非接触式测量设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0435885A (ja) * | 1990-05-30 | 1992-02-06 | Fanuc Ltd | 視覚センサのキャリブレーション方法 |
JP2010188439A (ja) * | 2009-02-16 | 2010-09-02 | Mitsubishi Electric Corp | パラメータ算出方法及びパラメータ算出装置 |
US20150142171A1 (en) * | 2011-08-11 | 2015-05-21 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate an orientation between a robot gripper and a camera |
JP2015182144A (ja) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | ロボットシステムおよびロボットシステムの校正方法 |
WO2018043524A1 (ja) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
US20180178388A1 (en) * | 2016-12-22 | 2018-06-28 | Seiko Epson Corporation | Control apparatus, robot and robot system |
JP2018111166A (ja) * | 2017-01-12 | 2018-07-19 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
-
2018
- 2018-06-15 JP JP2018114907A patent/JP7070127B2/ja active Active
-
2019
- 2019-05-24 WO PCT/JP2019/020623 patent/WO2019239848A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0435885A (ja) * | 1990-05-30 | 1992-02-06 | Fanuc Ltd | 視覚センサのキャリブレーション方法 |
JP2010188439A (ja) * | 2009-02-16 | 2010-09-02 | Mitsubishi Electric Corp | パラメータ算出方法及びパラメータ算出装置 |
US20150142171A1 (en) * | 2011-08-11 | 2015-05-21 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate an orientation between a robot gripper and a camera |
JP2015182144A (ja) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | ロボットシステムおよびロボットシステムの校正方法 |
WO2018043524A1 (ja) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
US20180178388A1 (en) * | 2016-12-22 | 2018-06-28 | Seiko Epson Corporation | Control apparatus, robot and robot system |
JP2018111166A (ja) * | 2017-01-12 | 2018-07-19 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022080032A1 (ja) * | 2020-10-16 | 2022-04-21 | オムロン株式会社 | キャリブレーション装置およびキャリブレーションの自動設定方法 |
JP7468288B2 (ja) | 2020-10-16 | 2024-04-16 | オムロン株式会社 | キャリブレーション装置およびキャリブレーションの自動設定方法 |
CN112525074A (zh) * | 2020-11-24 | 2021-03-19 | 杭州素问九州医疗科技有限公司 | 标定方法、***、机器人、计算机装置和导航*** |
WO2022208963A1 (ja) * | 2021-03-29 | 2022-10-06 | 株式会社日立製作所 | ロボット制御用のキャリブレーション装置 |
JP7437343B2 (ja) | 2021-03-29 | 2024-02-22 | 株式会社日立製作所 | ロボット制御用のキャリブレーション装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7070127B2 (ja) | 2022-05-18 |
WO2019239848A1 (ja) | 2019-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7070127B2 (ja) | ロボット制御システム | |
JP6723738B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5949242B2 (ja) | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム | |
KR20200093464A (ko) | 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법 | |
JP5928114B2 (ja) | ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット | |
JP4737668B2 (ja) | 3次元計測方法および3次元計測システム | |
US20160288318A1 (en) | Information processing apparatus, information processing method, and program | |
KR20210058995A (ko) | 용접 경로 생성을 위한 시스템 및 방법 | |
JP2014128845A (ja) | ロボットシステム表示装置 | |
JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
JP2018008347A (ja) | ロボットシステムおよび動作領域表示方法 | |
US11951637B2 (en) | Calibration apparatus and calibration method for coordinate system of robotic arm | |
JP2015229234A (ja) | 作業ロボットの教示データ生成装置及び教示データ生成方法 | |
JP2019098409A (ja) | ロボットシステムおよびキャリブレーション方法 | |
Ponomareva et al. | Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment | |
JP2016159406A (ja) | ロボット制御装置、ロボット制御方法及びロボットシステム | |
US12036663B2 (en) | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system | |
JP7517803B2 (ja) | ロボット教示システム、画像生成方法、及びプログラム | |
US11926064B2 (en) | Remote control manipulator system and remote control assistance system | |
JP7249221B2 (ja) | センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法 | |
CN110900606B (zh) | 一种基于小型机械臂手眼联动***及其控制方法 | |
JP7376318B2 (ja) | アノテーション装置 | |
Chromy et al. | Novel 3D modelling system capturing objects with Sub-Millimetre resolution | |
JP2023505322A (ja) | ロボットをプログラムするための方法及びシステム | |
JP2007101229A (ja) | 3次元測定方法およびシステム並びにマニピュレータの制御方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7070127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |