JP7482359B2 - ロボット制御方法 - Google Patents
ロボット制御方法 Download PDFInfo
- Publication number
- JP7482359B2 JP7482359B2 JP2022559051A JP2022559051A JP7482359B2 JP 7482359 B2 JP7482359 B2 JP 7482359B2 JP 2022559051 A JP2022559051 A JP 2022559051A JP 2022559051 A JP2022559051 A JP 2022559051A JP 7482359 B2 JP7482359 B2 JP 7482359B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- robot
- control
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000007613 environmental effect Effects 0.000 claims description 157
- 238000013459 approach Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 description 65
- 238000010586 diagram Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 239000012636 effector Substances 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40557—Tracking a tool, compute 3-D position relative to camera
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Description
人間の代わりに作業を行うロボットは、制御装置によって制御されて、作業対象物のピックアンドプレース等の作業を行う。このとき、環境に適応した精密な制御を行うために、センサから取得した情報を用いるフィードバック制御が行われる。制御装置はセンサから取得したセンサ情報に基づいてロボットを制御する。このように、センサを用いることにより、ロボットが環境に適応した作業を行うことができる。
以下、図1~15を用いて、実施の形態1を説明する。
図1は、実施の形態1におけるロボットの制御システムの構成を示すシステム構成図である。実施の形態1における制御システム1は、ロボット10と、制御装置2と、作業対象物であるネジ穴11と、作業台である基板12および壁13と、を少なくとも備える。制御装置2は、ロボット10と接続され通信できる。なお、制御装置2は、ロボット10に内蔵されていてもよい。また、ロボット10は、ロボットアーム101、エンドエフェクタとしてドライバ102、およびセンサとしてカメラ103を備える。制御システム1は、図1に示した構成には限られない。
本実施の形態では、ロボット10のネジ締め作業を考える。ロボットアーム101はリンクが直列つなぎである6軸の産業用ロボットである。エンドエフェクタとしてドライバ102を用いる。ただし、ネジはドライバ102の先端につけてあるものとする。カメラ103はRGB画像を取得する。作業対象物はネジ穴11、作業台は基板12および壁13である。基板12と壁13には、画像処理により特徴点を抽出できるような模様があると仮定する。図1では、この模様を簡潔に図示している。また、環境とは、ネジ穴11、基板12、および壁13のことである。
シーケンス図では、操作者S1、制御装置2、ロボット10、およびカメラ103の間のデータのやり取りを示す。操作者S1とは、ロボット10を操作する人のことである。また、制御装置2、ロボット10、およびカメラ103は図1に基づいて説明したものを用いる。
図2は、実施の形態1におけるロボットの環境情報を算出する動作を示すシーケンス図である。
図3は、実施の形態1におけるロボットの目標作業情報を算出する動作を示すシーケンス図である。ロボット10の目標作業情報の算出は、図2に基づいて説明した環境情報を取得した後に実行する必要がある。
図4は、実施の形態1におけるロボットの作業を実現する制御動作を示すシーケンス図である。ロボットの制御は図2に基づいて説明した環境情報と、図3に基づいて説明した目標作業情報と、を取得した後に実行する必要がある。
図5は、実施の形態1におけるロボット10の制御システム1のハードウェア構成を示すブロック図である。ロボット10とカメラ103は図1に基づいて説明したものと同様であるため、説明を省略する。
本実施の形態において、ロボットの作業を実現する動作を、フローチャート図を用いて説明する。
図6は、実施の形態1における環境情報の算出方法を示すフローチャート図である。
図9は、実施の形態1における目標作業情報の算出方法を示すフローチャート図である。目標作業情報の算出は、環境情報を算出した後に行い、算出した環境情報と目標撮像画像とを用いて行う。目標作業情報には、第1の目標画像情報に対応する第1の目標作業情報と、第2の目標画像情報に対応する第2の目標作業情報とがある。
図14は、実施の形態1におけるロボットの制御動作を示すフローチャート図である。ロボットの制御は、環境情報および目標作業情報を算出した後に行う。
以上のように、本実施の形態では、事前に環境情報および目標画像情報を算出し、環境情報に基づいて第1の制御情報を算出し、第1の制御情報による制御を実行し、その後環境情報に基づいて第2の制御情報を算出し、第2の制御情報による制御を実行する。
以下、図16~18を用いて、実施の形態2を説明する。なお、実施の形態2における作業は実施の形態1のものと同じものを用いるため、省略する。
本実施の形態では、環境情報を算出するシーケンス図と、目標作業情報を算出するシーケンス図は相違がないため、ロボットの制御シーケンスについてのみ説明する。
図16は、実施の形態2におけるロボット10の作業を実現する制御動作を示すシーケンス図である。ステップS201~S204、S207~S209、S212は図4を参照する。
図17は、実施の形態2におけるロボット10の制御システム1Aのハードウェア構成を示すブロック図である。制御システム1A、制御装置2A、およびプロセッサ22Aは、第3の制御情報算出部228を有する点で、実施の形態1と異なる。実施の形態1と同様の構成については同一の符号を付して説明を省略する。
実施の形態2の制御システム1Aは、環境情報を算出するフローチャート図と、目標作業情報を算出するフローチャート図については、実施の形態1の制御システム1と相違がないため、ロボットの制御動作についてのみ説明する。
図18は、実施の形態2におけるロボットの制御動作を示すフローチャート図である。ロボットの制御は、環境情報および目標作業情報を算出した後に行う。
以上のように、本実施の形態では、事前に環境情報および目標画像情報を算出し、環境情報に基づいて算出される第1の制御情報、および環境情報に基づいて算出される第2の制御情報に基づいて、第3の制御情報を算出し、第3の制御情報による制御を実行する。
以上のように、本出願において開示する技術の例示として、実施の形態1および実施の形態2を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1および実施の形態2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
10 ロボット
101 ロボットアーム
102 ドライバ
103 カメラ
1031 撮像範囲
11 ネジ穴
12 基板
13 壁
2、2A 制御装置
21 メモリ
22、22A プロセッサ
221 画像情報取得部
222 制御部
223 状態取得部
224 環境情報算出部
225 目標作業情報算出部
226 第1の制御情報算出部
227 第2の制御情報算出部
228 第3の制御情報算出部
E1、E2、E3 環境画像情報
P1~P9、P11~P19 特徴点
Claims (9)
- 作業対象物に対して作業を行うロボットと、前記ロボットに搭載されたセンサと、に接続された制御装置におけるロボット制御方法であって、
前記ロボットの周囲の環境を複数の位置と角度から前記センサを用いて取得した複数の環境センサ情報に基づいて、前記ロボットの前記周囲の環境を示す環境情報を算出し、
前記センサを用いて第1のセンサ情報と第2のセンサ情報とを取得し、
前記ロボットの前記作業対象物に対する作業目標を示す目標作業情報と、前記環境情報と、前記第1のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第1の制御情報を算出する第1のステップを実行し、
前記目標作業情報と前記第2のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第2の制御情報を算出する第2のステップを実行し、
前記第1の制御情報と前記第2の制御情報に基づいて、前記第1の制御情報と前記第2の制御情報との重み付き和により第3の制御情報を算出し、前記ロボットに前記第3の制御情報を送信する第3のステップを実行する、
ロボット制御方法。 - 前記第3のステップを実行した後、前記ロボットが前記作業目標を満たしていないと判断した場合に、
前記目標作業情報と前記環境情報と前記センサを用いて取得した第3のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第4の制御情報を算出し、
前記目標作業情報と前記センサを用いて取得した第4のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第5の制御情報を算出し、
前記第4の制御情報と前記第5の制御情報とに基づいて、第6の制御情報を算出し、前記ロボットに前記第6の制御情報を送信する、
請求項1に記載のロボット制御方法。 - 前記目標作業情報は、作業を終了する時の、前記作業対象物の特徴情報を含み、
前記環境情報は、前記周囲の環境に存在する前記作業対象物と作業台との特徴情報に対応する3次元の位置情報を含み、
前記第1のセンサ情報は、取得時点での前記作業対象物と前記作業台との少なくとも一方の特徴情報を含む、
請求項1または2に記載のロボット制御方法。 - 前記3次元の位置情報は、点、線、平面図形を示すパラメータ、または立体図形を示すパラメータから構成される、物体に特有な表現を持つ、
請求項3に記載のロボット制御方法。 - 前記目標作業情報は、作業を実行するときの、前記作業対象物の特徴情報を含む、
請求項1~4のいずれか一項に記載のロボット制御方法。 - 前記第2のセンサ情報は、取得時点での前記作業対象物の特徴情報を含む、
請求項5に記載のロボット制御方法。 - 前記特徴情報は、点、線、平面図形を示すパラメータ、または立体図形を示すパラメータから構成される、物体に特有な表現を持つ、
請求項5または6に記載のロボット制御方法。 - 前記第1のセンサ情報および前記第2のセンサ情報を用いて、前記環境情報を更新する、
請求項1~7のいずれか一項に記載のロボット制御方法。 - 前記センサは、カメラであり、
前記環境センサ情報は、前記カメラにより撮像された撮像画像である、
請求項1~8のいずれか一項に記載のロボット制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182018 | 2020-10-30 | ||
JP2020182018 | 2020-10-30 | ||
PCT/JP2021/038697 WO2022091895A1 (ja) | 2020-10-30 | 2021-10-20 | ロボット制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022091895A1 JPWO2022091895A1 (ja) | 2022-05-05 |
JPWO2022091895A5 JPWO2022091895A5 (ja) | 2023-07-12 |
JP7482359B2 true JP7482359B2 (ja) | 2024-05-14 |
Family
ID=81382337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022559051A Active JP7482359B2 (ja) | 2020-10-30 | 2021-10-20 | ロボット制御方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230256614A1 (ja) |
EP (1) | EP4238720A4 (ja) |
JP (1) | JP7482359B2 (ja) |
CN (1) | CN116348257A (ja) |
TW (1) | TW202231427A (ja) |
WO (1) | WO2022091895A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003015739A (ja) | 2001-07-02 | 2003-01-17 | Yaskawa Electric Corp | 外環境地図、並びに自己位置同定装置および誘導制御装置 |
JP6262568B2 (ja) | 2014-02-28 | 2018-01-17 | 株式会社フジキン | ダイヤフラム弁用アクチュエータ及びこのアクチュエータを備えた流体制御器 |
JP2020146773A (ja) | 2019-03-12 | 2020-09-17 | 株式会社不二越 | ハンドリング装置およびロボット装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3326851B2 (ja) * | 1993-03-08 | 2002-09-24 | 株式会社デンソー | 視覚に基く三次元位置および姿勢の認識方法とその装置 |
JP2003305675A (ja) | 2002-04-15 | 2003-10-28 | Denso Wave Inc | 視覚認識装置 |
JP4961860B2 (ja) * | 2006-06-27 | 2012-06-27 | トヨタ自動車株式会社 | ロボット装置及びロボット装置の制御方法 |
JP6000579B2 (ja) * | 2012-03-09 | 2016-09-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2015003348A (ja) * | 2013-06-19 | 2015-01-08 | セイコーエプソン株式会社 | ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法 |
JP7323993B2 (ja) * | 2017-10-19 | 2023-08-09 | キヤノン株式会社 | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム |
-
2021
- 2021-10-20 EP EP21886014.6A patent/EP4238720A4/en active Pending
- 2021-10-20 CN CN202180072683.XA patent/CN116348257A/zh active Pending
- 2021-10-20 WO PCT/JP2021/038697 patent/WO2022091895A1/ja unknown
- 2021-10-20 JP JP2022559051A patent/JP7482359B2/ja active Active
- 2021-10-21 TW TW110139081A patent/TW202231427A/zh unknown
-
2023
- 2023-04-25 US US18/138,913 patent/US20230256614A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003015739A (ja) | 2001-07-02 | 2003-01-17 | Yaskawa Electric Corp | 外環境地図、並びに自己位置同定装置および誘導制御装置 |
JP6262568B2 (ja) | 2014-02-28 | 2018-01-17 | 株式会社フジキン | ダイヤフラム弁用アクチュエータ及びこのアクチュエータを備えた流体制御器 |
JP2020146773A (ja) | 2019-03-12 | 2020-09-17 | 株式会社不二越 | ハンドリング装置およびロボット装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022091895A1 (ja) | 2022-05-05 |
TW202231427A (zh) | 2022-08-16 |
EP4238720A4 (en) | 2024-04-10 |
EP4238720A1 (en) | 2023-09-06 |
CN116348257A (zh) | 2023-06-27 |
US20230256614A1 (en) | 2023-08-17 |
JPWO2022091895A1 (ja) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109153125B (zh) | 用于定向工业机器人的方法和工业机器人 | |
JP5850962B2 (ja) | ビジュアルフィードバックを利用したロボットシステム | |
JP5977544B2 (ja) | 情報処理装置、情報処理方法 | |
US9878446B2 (en) | Determination of object-related gripping regions using a robot | |
JP7111114B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
JP2015199155A (ja) | 情報処理装置および情報処理方法、プログラム | |
Shi et al. | Collision avoidance for redundant robots in position-based visual servoing | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
KR20140008262A (ko) | 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램 | |
JP2013186088A (ja) | 情報処理装置、情報処理方法 | |
CN109916351B (zh) | 一种获取机器人tcp坐标的方法和装置 | |
JP3415427B2 (ja) | ロボットシミュレーションにおけるキャリブレーション装置 | |
WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
WO2019114631A1 (zh) | 一种获取机器人tcp坐标的方法和装置 | |
US11964400B2 (en) | Device and method for controlling a robot to pick up an object in various positions | |
CN115205371A (zh) | 用于根据对象的摄像机图像定位对象的部位的设备和方法 | |
JP7482359B2 (ja) | ロボット制御方法 | |
JP4956964B2 (ja) | ロボットハンドの把持制御装置 | |
JPH0847881A (ja) | ロボットの遠隔操作方法 | |
WO2020010625A1 (zh) | 机器人运动学模型优化方法、***和存储装置 | |
EP3946825A1 (en) | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system | |
WO2022195944A1 (ja) | ロボットシステム、およびロボットシステムの制御方法 | |
JP7366264B2 (ja) | ロボット教示方法及びロボット作業方法 | |
Qu et al. | Multi-cameras visual servoing for dual-arm coordinated manipulation | |
JP2022142773A (ja) | オブジェクトのカメラ画像からオブジェクトの場所を位置特定するための装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7482359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |