JP2010236893A - 複数の物体間の相対移動を検出する方法 - Google Patents
複数の物体間の相対移動を検出する方法 Download PDFInfo
- Publication number
- JP2010236893A JP2010236893A JP2009082449A JP2009082449A JP2010236893A JP 2010236893 A JP2010236893 A JP 2010236893A JP 2009082449 A JP2009082449 A JP 2009082449A JP 2009082449 A JP2009082449 A JP 2009082449A JP 2010236893 A JP2010236893 A JP 2010236893A
- Authority
- JP
- Japan
- Prior art keywords
- relative movement
- objects
- grip portion
- image
- gripper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
【解決手段】ロボットハンド1は、CCDカメラ5により把持部4及び把持部4に把持されている物体9を含む部分画像Pを取得し、その部分画像Pから把持部4及び物体9をそれぞれ認識する。その後、認識された把持部4及び物体9の動きベクトルhi,wjをそれぞれ算出し、算出された動きベクトルhi,wjに基づいて、把持部4と物体9との間の滑り(相対移動)を検出する。これにより、把持部4と物体9との間に滑りが生じた場合に、滑りを検出するためのセンサ等を用いることなく、画像処理により把持部4と物体9との間の滑りを早期に検出することができる。
【選択図】図3
Description
また、特許文献1には、ハンドと部品との間の接触領域を取得可能な分布式接触センサを設け、接触領域の時間変化に基づいて、ハンドと部品との間の滑り(相対移動)を検出する方法も記載されている。
また、特許文献1に記載されている分布式接触センサを設ける方法では、センサの性能次第ではハンドと部品との間の滑りを早期に検出することができるが、コスト高となる。
これにより、複数の物体間に相対移動が生じた場合に、相対移動を検出するためのセンサ等を用いることなく、画像処理により複数の物体間の相対移動を早期に検出することができる。
これにより、把持部と把持部に把持されている物体との間に滑り(相対移動)が生じた場合に、滑りを検出するためのセンサ等を用いることなく、画像処理により把持部と物体との間の滑りを早期に検出することができる。
これにより、効率的に把持部及び物体を含む画像を取得することができる。
これにより、効率的に物体を認識することができる。
実施の形態.
本発明の実施の形態に係る複数の物体間の相対移動を検出する方法を用いることにより、把持部と把持部に把持されている物体との間の滑り(相対移動)検出を行いながら所望の位置まで物体を移動させるロボットハンドの構成を図1及び図2に基づいて説明する。
動作制御手段8は、アーム3、把持部4、及びカメラ5の各種動作を制御すると共に、滑り検出手段7から入力される滑り検出信号に基づいて、把持部4に物体9を再把持させる処理を行う。
図2に示されるように、滑り検出手段7は、画像取得手段7a、画像処理手段7b、評価値算出手段7c、閾値記憶手段7d、及び判定手段7eから構成されている。
以下、これらの詳細について順に説明していく。
E(hi)=(1/L)Σhi ……………………………………………… 式(1)
E(wj)=(1/M)Σwj ……………………………………………… 式(2)
とするとき、
Eval=‖E(hi)−E(wj)‖ …………………………………… 式(3)
として定義される。
尚、把持部4と物体9との間に滑りが生じていない状態では、把持部4の動きベクトルhiと物体9の動きベクトルwjとはほぼ等しい大きさ及び方向を有するため、評価値Eval_stableは0に近い値となる。
Th=Eval_stable+ε ……………………………………… 式(4)
として算出して記憶する(ステップS7)。
Eval>Th ………………………………………………………………… 式(5)
が成立するか否かを判定する(ステップS14)。
それに対して、図6に示されるように、外乱等の影響で把持部4と物体9との間に滑りが生じている状態では、hi及びwjの大きさ及び方向にずれが生じ、評価値Eval≠0となり閾値Thより大きくなる。
それ故、式(5)が成立する場合には、把持部4と物体9との間に滑りが生じていると判定し、滑り検出信号を動作制御手段8に出力する。式(5)が成立しない場合には、把持部4と物体9との間に滑りが生じていないと判定し、このときは滑り検出信号を出力しない。
また、滑りを検出するためのセンサ等を用いることなく、画像処理により把持部4と物体9との間の滑りを検出することができる。
また、把持部4及び物体9の画像上における動きを表現する量は、動きベクトルに限定されるものではなく、オプティカルフロー等でもよい。
さらに、ロボットハンド1自体が移動することによりカメラ5が移動する場合には、カメラ5の移動ベクトル及び回転ベクトルを算出して背景領域の動きベクトルを推定し、この背景領域の動きベクトルに基づいて画像全体から背景領域を除去することにより対応することができる。
E(hi)=(1/L)Σhi
E(wj)=(1/M)Σwj
とするとき、
Eval=|{‖E(hi)‖−‖E(wj)‖}|
或いは
Eval=‖E(wj)‖/‖E(hi)‖
として定義してもよい。
E(hi)=(1/L)Σhi
E(wj)=(1/M)Σwj
とするとき、
Eval={E(hi)・E(wj)}/{‖E(hi)‖‖E(wj)‖}
として定義してもよい。
V(hi)=(1/L)Σ{hi−E(hi)}T{hi−E(hi)}
とするとき(Tはベクトルの転置を表す)、
Eval=V(hi)
として定義してもよい。
V(wj)=(1/M)Σ{wj−E(wj)}T{wj−E(wj)}
とするとき、
Eval=V(wj)
として定義してもよい。
V(hi)=(1/L)Σ{hi−E(hi)}T{hi−E(hi)}
V(wj)=(1/M)Σ{wj−E(wj)}T{wj−E(wj)}
とするとき、
Eval=|V(hi)−V(wj)|
或いは
Eval=V(wj)/V(hi)
として定義してもよい。
E(hi)=(1/L)Σhi
E(wj)=(1/M)Σwj
E(ak)=(1/N)Σak
とするとき、
Eval=‖E(ak)−{E(hi)+E(wj)}/2‖
として定義してもよい。
E(hi)=(1/L)Σhi
E(wj)=(1/M)Σwj
E(fk)=(1/N)Σfk
とするとき、
Eval=‖E(fk)−{E(hi)+E(wj)}/2‖
として定義してもよい。
Claims (8)
- 複数の物体間の相対移動を検出する方法であって、
前記複数の物体を含む画像を取得し、
前記複数の物体を含む画像から前記複数の物体をそれぞれ認識し、
前記認識された前記複数の物体の画像上における動きを表現する量をそれぞれ算出し、
前記動きを表現する量に基づいて、前記複数の物体間の相対移動を検出する、
ことを特徴とする方法。 - 前記複数の物体のうちの少なくとも1つは、ロボットハンドの把持部であり、
前記把持部及び前記把持部に把持されている物体の前記動きを表現する量に基づいて、前記把持部と前記把持部に把持されている前記物体との間の相対移動を検出することを特徴とする、請求項1に記載の方法。 - 前記ロボットハンドは、前記画像上における前記把持部の位置を特定するセンサを備え、前記センサからの入力に基づいて、前記把持部及び前記把持部に把持されている前記物体を含む画像を取得することを特徴とする、請求項2に記載の方法。
- 前記ロボットハンドは、前記画像上における前記把持部の位置に基づいて、前記把持部に把持されている前記物体を認識することを特徴とする、請求項2又は3に記載の方法。
- 前記ロボットハンドは、アームを備え、
前記アームの前記動きを表現する量と、前記把持部及び前記把持部に把持されている前記物体の前記動きを表現する量とに基づいて、前記把持部と前記把持部に把持されている前記物体との間の相対移動を検出することを特徴とする、請求項2〜4のいずれか一項に記載の方法。 - 前記画像上における前記動きを表現する量は、動きベクトルであることを特徴とする、請求項1〜5のいずれか一項に記載の方法。
- 前記相対移動の検出を、前記動きベクトルの大きさ及び方向のうちの少なくとも一つに基づいて行うことを特徴とする、請求項6に記載の方法。
- 前記相対移動の検出を、前記動きベクトルの平均及び分散のうちの少なくとも一つに基づいて行うことを特徴とする、請求項6又は7に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082449A JP5218209B2 (ja) | 2009-03-30 | 2009-03-30 | 複数の物体間の相対移動を検出する方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082449A JP5218209B2 (ja) | 2009-03-30 | 2009-03-30 | 複数の物体間の相対移動を検出する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010236893A true JP2010236893A (ja) | 2010-10-21 |
JP5218209B2 JP5218209B2 (ja) | 2013-06-26 |
Family
ID=43091360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009082449A Expired - Fee Related JP5218209B2 (ja) | 2009-03-30 | 2009-03-30 | 複数の物体間の相対移動を検出する方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5218209B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015174172A (ja) * | 2014-03-14 | 2015-10-05 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及び制御装置 |
JP2016196077A (ja) * | 2015-04-06 | 2016-11-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020062702A (ja) * | 2018-10-15 | 2020-04-23 | 株式会社今仙電機製作所 | ロボット、このロボットを備えた搬送車、このロボットの制御方法及び制御プログラム |
CN117283585A (zh) * | 2023-11-24 | 2023-12-26 | 苏州英菲斯智能科技股份有限公司 | 一种安防巡检机器人及巡检方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004160614A (ja) * | 2002-11-14 | 2004-06-10 | Ricoh Co Ltd | 自動作業教示システム |
JP2005177977A (ja) * | 2003-11-25 | 2005-07-07 | Matsushita Electric Works Ltd | ロボットハンドの制御装置 |
JP2006350620A (ja) * | 2005-06-15 | 2006-12-28 | Fuji Electric Holdings Co Ltd | 自動組立システムにおける組立機構の動作教示方法 |
WO2008066798A1 (en) * | 2006-11-30 | 2008-06-05 | Corning Incorporated | Method and apparatus for distortion measurement imaging |
-
2009
- 2009-03-30 JP JP2009082449A patent/JP5218209B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004160614A (ja) * | 2002-11-14 | 2004-06-10 | Ricoh Co Ltd | 自動作業教示システム |
JP2005177977A (ja) * | 2003-11-25 | 2005-07-07 | Matsushita Electric Works Ltd | ロボットハンドの制御装置 |
JP2006350620A (ja) * | 2005-06-15 | 2006-12-28 | Fuji Electric Holdings Co Ltd | 自動組立システムにおける組立機構の動作教示方法 |
WO2008066798A1 (en) * | 2006-11-30 | 2008-06-05 | Corning Incorporated | Method and apparatus for distortion measurement imaging |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015174172A (ja) * | 2014-03-14 | 2015-10-05 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及び制御装置 |
JP2016196077A (ja) * | 2015-04-06 | 2016-11-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020062702A (ja) * | 2018-10-15 | 2020-04-23 | 株式会社今仙電機製作所 | ロボット、このロボットを備えた搬送車、このロボットの制御方法及び制御プログラム |
JP7317481B2 (ja) | 2018-10-15 | 2023-07-31 | 株式会社今仙電機製作所 | ロボット、このロボットを備えた搬送車、このロボットの制御方法及び制御プログラム |
CN117283585A (zh) * | 2023-11-24 | 2023-12-26 | 苏州英菲斯智能科技股份有限公司 | 一种安防巡检机器人及巡检方法 |
CN117283585B (zh) * | 2023-11-24 | 2024-03-29 | 苏州英菲斯智能科技股份有限公司 | 一种安防巡检机器人及巡检方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5218209B2 (ja) | 2013-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839261B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6529302B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5013270B2 (ja) | ロボットシステム | |
US9492925B2 (en) | Robot controller, robot system, robot, robot control method, and program | |
JP6700726B2 (ja) | ロボット制御装置、ロボット制御方法、ロボット制御システムおよびコンピュータプログラム | |
JP7111114B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
WO2020022302A1 (ja) | 把持装置 | |
JP6357785B2 (ja) | ロボット、ロボットシステム、制御装置および制御方法 | |
JP2019181622A (ja) | ハンド制御装置およびハンド制御システム | |
JP7377627B2 (ja) | 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム | |
US20160368148A1 (en) | Robotic device including machine vision | |
JP2005078257A (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
JP5218209B2 (ja) | 複数の物体間の相対移動を検出する方法 | |
JP2016196077A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN111037553B (zh) | 控制装置 | |
JP6838833B2 (ja) | 把持装置、把持方法、及びプログラム | |
JP5769411B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6067547B2 (ja) | 物体認識装置、ロボット及び物体認識方法 | |
JP2018179859A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6661783B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
JP6176091B2 (ja) | 把持方法、運搬方法及びロボット | |
JP2015157343A (ja) | ロボット、ロボットシステム、制御装置、および制御方法 | |
JP2015145050A (ja) | ロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム | |
JP2006007390A (ja) | 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体 | |
WO2019093299A1 (ja) | 位置情報取得装置およびそれを備えたロボット制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |