JP6123364B2 - ロボット制御システム、ロボット、プログラム及びロボット制御方法 - Google Patents
ロボット制御システム、ロボット、プログラム及びロボット制御方法 Download PDFInfo
- Publication number
- JP6123364B2 JP6123364B2 JP2013046266A JP2013046266A JP6123364B2 JP 6123364 B2 JP6123364 B2 JP 6123364B2 JP 2013046266 A JP2013046266 A JP 2013046266A JP 2013046266 A JP2013046266 A JP 2013046266A JP 6123364 B2 JP6123364 B2 JP 6123364B2
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- robot
- visual servo
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
近年、生産現場において、人が行ってきた作業を機械化・自動化するために、産業用ロボットを導入することが多くなってきた。しかし、ロボットのアームやハンド等の位置決めを行うにあたっては、精密なキャリブレーションが前提となり、ロボット導入の障壁となっている。
次に、本実施形態のロボット制御システム10及びロボット30の構成例を図1に示す。
本実施形態の処理の詳細を説明する前に、ビジュアルサーボの概要と、位置ベースビジュアルサーボの流れ、特徴ベースビジュアルサーボの流れについて説明する。
まず、図3のフローチャートにおいて、位置ベースビジュアルサーボの流れを示す。位置ベースビジュアルサーボでは、まず参照画像を設定する(S1)。ここで、参照画像とは、目標画像やゴール画像とも呼ばれ、ビジュアルサーボの制御目標となる画像であり、ロボット30の目標状態を表す画像をいう。すなわち、参照画像とは、ロボット30の目標位置や目標姿勢を表す画像、もしくはロボット30が目標位置に位置する状態を表す画像である。また、参照画像はあらかじめ用意しておき、記憶部130に記憶しておく必要がある。
次に、図5のフローチャートにおいて、特徴ベースビジュアルサーボの流れを示す。位置ベースビジュアルサーボと同様に、まず参照画像を設定し(S10)、次に、撮像部340によって作業スペースを撮像し、撮像画像を取得する(S11)。なお、特徴ベースビジュアルサーボを用いる場合には、参照画像を設定する際に参照画像の特徴抽出を行い、特徴量を算出しておくことが望ましい。または、参照画像の特徴を抽出した参照画像情報を記憶部130に記憶しておいてもよい。画像の特徴抽出については、例えば、コーナー検出やガウスフィルタ等を用いて行なう。
本実施形態のロボット制御システム10は、ロボット30の目標状態を表す画像である参照画像を記憶する記憶部130と、撮像部340から得られる撮像画像と参照画像とに基づいて、ロボット30のビジュアルサーボを行い、ロボット30の制御信号を出力する処理部110と、制御信号に基づいて、ロボット30を制御するロボット制御部120と、を含む。そして、記憶部130は、ロボット30の作業対象が映る画像を第1の参照画像として記憶し、ロボット30のアーム、ロボット30のエンドエフェクター350、及びロボット30が把持するワークのうちの少なくとも1つと、作業対象とが映る画像を、第2の参照画像として記憶する。さらに、処理部110は、作業対象が映る第1の撮像画像と、第1の参照画像とに基づいて、第1のビジュアルサーボを行い、第1のビジュアルサーボの後、アーム、エンドエフェクター350及びワークのうちの少なくとも1つと、作業対象とが映る第2の撮像画像と、第2の参照画像とに基づいて、第2のビジュアルサーボを行う。
120 ロボット制御部、130 記憶部、140 I/F部(入力部)、
310 制御部、320 第1のアーム、330 第2のアーム、340 撮像部、
350 エンドエフェクター
Claims (14)
- ロボットの目標状態を表す画像である参照画像を記憶する記憶部と、
撮像部から得られる撮像画像と前記参照画像とに基づいて、前記ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力する処理部と、
前記制御信号に基づいて、前記ロボットを制御するロボット制御部と、
を含み、
前記記憶部は、
前記ロボットの作業対象が映る第1の参照画像であって、前記第1の参照画像の撮像位置及び撮像方向が互いに異なる前記第1の参照画像を第1の参照画像群として記憶し、
前記ロボットのアーム、前記ロボットのエンドエフェクター、及び前記ロボットが把持するワークのうちの少なくとも1つと、前記作業対象とが映る第2の参照画像であって、前記第1の参照画像に対応する前記第2の参照画像を第2の参照画像群として記憶し、
前記処理部は、
前記作業対象が映る第1の撮像画像と、前記第1の参照画像とに基づいて、第1のビジュアルサーボを行い、
前記第1のビジュアルサーボの後、前記アーム、前記エンドエフェクター及び前記ワークのうちの少なくとも1つと、前記作業対象とが映る第2の撮像画像と、前記第2の参照画像とに基づいて、第2のビジュアルサーボを行うことを特徴とするロボット制御システム。 - 請求項1において、
前記記憶部は、
所与の撮像位置及び所与の撮像方向で前記作業対象を見た時の画像を、前記第1の参照画像として記憶し、
前記所与の撮像位置及び前記所与の撮像方向で、前記アーム、前記エンドエフェクター及び前記ワークのうちの少なくとも1つと、前記作業対象とを見た時の画像を、前記第2の参照画像として記憶し、
前記処理部は、
前記撮像部により前記作業対象を撮像することで得られる前記第1の撮像画像と、前記第1の参照画像とに基づいて、前記撮像部を前記所与の撮像位置に移動させ、前記撮像部を前記所与の撮像方向へ向けさせる前記第1のビジュアルサーボを行い、
前記所与の撮像位置及び前記所与の撮像方向で、前記アーム、前記エンドエフェクター及び前記ワークのうちの少なくとも1つと、前記作業対象とを、前記撮像部により撮像することで得られる前記第2の撮像画像と、前記第2の参照画像とに基づいて、前記第2のビジュアルサーボを行うことを特徴とするロボット制御システム。 - 請求項1又は2において、
前記ロボットは、
第1のアームと第2のアームとを有し、
前記撮像部は、
前記第1のアームに設けられ、
前記第2の参照画像は、
前記第2のアームと、前記第2のアームに設けられた前記エンドエフェクターと、前記第2のアームの前記エンドエフェクターが把持する前記ワークのうち、少なくとも1つが映る画像であることを特徴とするロボット制御システム。 - 請求項1乃至3のいずれかにおいて、
前記処理部は、
前記第1のビジュアルサーボが収束したか否かの判定処理を行い、前記第1のビジュアルサーボが収束したと判定した場合に、前記第2のビジュアルサーボを行うことを特徴とするロボット制御システム。 - 請求項1乃至4のいずれかにおいて、
前記記憶部は、
前記第1の参照画像群の各第1の参照画像に対応する前記撮像位置及び前記撮像方向を表す位置方向特定情報を記憶することを特徴とするロボット制御システム。 - 請求項1乃至4のいずれかにおいて、
前記記憶部は、
各第2の参照画像の撮像位置及び撮像方向が互いに異なる第2の参照画像群を記憶し、
前記処理部は、
前記第2のビジュアルサーボを行った後に、前記第2の参照画像群のうち、前回の前記第2のビジュアルサーボで用いた第2の参照画像とは異なる第2の参照画像を用いて、前記第2のビジュアルサーボを行うことを特徴とするロボット制御システム。 - 請求項6において、
前記処理部は、
前記第2のビジュアルサーボを行った時に、前記第2のビジュアルサーボが収束したか否かの判定処理を行い、
前記第2のビジュアルサーボが収束していないと判定した場合に、前回の前記第2のビジュアルサーボで用いた前記第2の参照画像とは異なる第2の参照画像を用いて、前記第2のビジュアルサーボを行うことを特徴とするロボット制御システム。 - 請求項6又は7において、
前記処理部は、
前記第2のビジュアルサーボを行った時に、前記第2のビジュアルサーボが収束したか否かの判定処理を行い、
前記第2のビジュアルサーボが収束したと判定した場合に、前回の前記第2のビジュアルサーボで用いた前記第2の参照画像とは異なる第2の参照画像を用いて、前記第2のビジュアルサーボを行うことを特徴とするロボット制御システム。 - 請求項1乃至8のいずれかにおいて、
前記作業対象は、
前記ロボットの作業対象物、作業場所及びマーカーのうちの少なくとも一つであることを特徴とするロボット制御システム。 - 請求項1乃至9のいずれかにおいて、
前記処理部は、
前記ビジュアルサーボとして、前記撮像画像が前記参照画像に一致又は近づくように前記ロボットを制御する処理を行うことを特徴とするロボット制御システム。 - 請求項1乃至10のいずれかに記載のロボット制御システムを含むことを特徴とするロボット。
- ロボットの目標状態を表す画像である第1の参照画像として、前記ロボットの作業対象が映る画像であって、前記第1の参照画像の撮像位置及び撮像方向が互いに異なる前記第1の参照画像を第1の参照画像群として記憶し、
前記ロボットのアーム、前記ロボットのエンドエフェクター、及び前記ロボットが把持するワークのうちの少なくとも1つと、前記作業対象とが映る第2の参照画像であって、前記第1の参照画像に対応する前記第2の参照画像を第2の参照画像群として記憶し、
前記作業対象が映る第1の撮像画像と、前記第1の参照画像とに基づいて、第1のビジュアルサーボを行い、
前記第1のビジュアルサーボの後、前記アーム、前記エンドエフェクター及び前記ワークのうちの少なくとも1つと、前記作業対象とが映る第2の撮像画像と、前記第2の参照画像とに基づいて、第2のビジュアルサーボを行うことを特徴とするロボット。 - ロボットの目標状態を表す画像である参照画像を記憶する記憶部と、
撮像部から得られる撮像画像と前記参照画像とに基づいて、前記ロボットのビジュアルサーボを行い、前記ロボットの制御信号を出力する処理部と、
前記制御信号に基づいて、前記ロボットを制御するロボット制御部として、
コンピューターを機能させ、
前記記憶部は、
前記ロボットの作業対象が映る第1の参照画像であって、前記第1の参照画像の撮像位置及び撮像方向が互いに異なる前記第1の参照画像を第1の参照画像群として記憶し、
前記ロボットのアーム、前記ロボットのエンドエフェクター、及び前記ロボットが把持するワークのうちの少なくとも1つと、前記作業対象とが映る第2の参照画像であって、前記第1の参照画像に対応する前記第2の参照画像を第2の参照画像群として記憶し、
前記処理部は、
前記作業対象が映る第1の撮像画像と、前記第1の参照画像とに基づいて、第1のビジュアルサーボを行い、
前記第1のビジュアルサーボの後、前記アーム、前記エンドエフェクター及び前記ワークのうちの少なくとも1つと、前記作業対象とが映る第2の撮像画像と、前記第2の参照画像とに基づいて、第2のビジュアルサーボを行うことを特徴とするプログラム。 - ロボットの目標状態を表す第1の参照画像であって、前記第1の参照画像の撮像位置及び撮像方向が互いに異なる前記第1の参照画像を第1の参照画像群として記憶し、
前記ロボットのアーム、前記ロボットのエンドエフェクター、及び前記ロボットが把持するワークのうちの少なくとも1つと、前記作業対象とが映る第2の参照画像であって、前記第1の参照画像に対応する前記第2の参照画像を第2の参照画像群として記憶し、
前記作業対象が映る第1の撮像画像と、前記第1の参照画像とに基づいて、前記ロボットの第1のビジュアルサーボを行い、前記ロボットの第1の制御信号を出力し、
前記第1の制御信号に基づいて、前記ロボットを制御し、
前記第1のビジュアルサーボの後、前記アーム、前記エンドエフェクター及び前記ワークのうちの少なくとも1つと、前記作業対象とが映る第2の撮像画像と、前記第2の参照画像とに基づいて、第2のビジュアルサーボを行い、前記ロボットの第2の制御信号を出力し、
前記第2の制御信号に基づいて、前記ロボットを制御することを特徴とするロボット制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013046266A JP6123364B2 (ja) | 2013-03-08 | 2013-03-08 | ロボット制御システム、ロボット、プログラム及びロボット制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013046266A JP6123364B2 (ja) | 2013-03-08 | 2013-03-08 | ロボット制御システム、ロボット、プログラム及びロボット制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014172119A JP2014172119A (ja) | 2014-09-22 |
JP6123364B2 true JP6123364B2 (ja) | 2017-05-10 |
Family
ID=51693939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013046266A Active JP6123364B2 (ja) | 2013-03-08 | 2013-03-08 | ロボット制御システム、ロボット、プログラム及びロボット制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6123364B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5949611B2 (ja) * | 2013-03-21 | 2016-07-13 | トヨタ自動車株式会社 | 遠隔操作ロボットシステム |
WO2021010016A1 (ja) * | 2019-07-12 | 2021-01-21 | パナソニックIpマネジメント株式会社 | ハンドの制御システム及びハンドの制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009279663A (ja) * | 2008-05-19 | 2009-12-03 | Kawada Kogyo Kk | ロボット用位置同定方法および装置 |
JP4820395B2 (ja) * | 2008-09-11 | 2011-11-24 | 川田工業株式会社 | ロボットの作業位置修正システムおよびそのシステムを備えた簡易設置型ロボット |
JP5609760B2 (ja) * | 2011-04-27 | 2014-10-22 | トヨタ自動車株式会社 | ロボット、ロボットの動作方法、及びプログラム |
JP2012254518A (ja) * | 2011-05-16 | 2012-12-27 | Seiko Epson Corp | ロボット制御システム、ロボットシステム及びプログラム |
-
2013
- 2013-03-08 JP JP2013046266A patent/JP6123364B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014172119A (ja) | 2014-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11090814B2 (en) | Robot control method | |
JP2012254518A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
JP4940715B2 (ja) | ピッキングシステム | |
US20150273689A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
JP2015071206A (ja) | 制御装置、ロボット、教示データ生成方法及びプログラム | |
US11440197B2 (en) | Robot system and imaging method | |
JP2016187846A (ja) | ロボット、ロボット制御装置およびロボットシステム | |
JP2014188617A (ja) | ロボット制御システム、ロボット、ロボット制御方法及びプログラム | |
CN110303474B (zh) | 使用图像处理修正机器人的示教的机器人*** | |
US20180085920A1 (en) | Robot control device, robot, and robot system | |
JP6390088B2 (ja) | ロボット制御システム、ロボット、プログラム及びロボット制御方法 | |
JP2016097474A (ja) | ロボットおよびロボットシステム | |
US20230150142A1 (en) | Device and method for training a machine learning model for generating descriptor images for images of objects | |
CN114080590A (zh) | 使用先进扫描技术的机器人料箱拾取***和方法 | |
JP6424432B2 (ja) | 制御装置、ロボットシステム、ロボット及びロボット制御方法 | |
JP6123364B2 (ja) | ロボット制御システム、ロボット、プログラム及びロボット制御方法 | |
JP2015003348A (ja) | ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法 | |
JP2018122376A (ja) | 画像処理装置、ロボット制御装置、及びロボット | |
US20180056517A1 (en) | Robot, robot control device, and robot system | |
JP6488571B2 (ja) | 教示装置、及びロボットシステム | |
CN113302027B (zh) | 作业坐标生成装置 | |
JP6455869B2 (ja) | ロボット、ロボットシステム、制御装置、及び制御方法 | |
CN116630733A (zh) | 用于训练机器学习模型以生成描述符图像的设备和方法 | |
JP2012236266A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
WO2019176450A1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160302 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160610 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6123364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |