JP5200866B2 - ロボットシステム、ロボット制御装置およびロボット制御方法 - Google Patents
ロボットシステム、ロボット制御装置およびロボット制御方法 Download PDFInfo
- Publication number
- JP5200866B2 JP5200866B2 JP2008285093A JP2008285093A JP5200866B2 JP 5200866 B2 JP5200866 B2 JP 5200866B2 JP 2008285093 A JP2008285093 A JP 2008285093A JP 2008285093 A JP2008285093 A JP 2008285093A JP 5200866 B2 JP5200866 B2 JP 5200866B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference mark
- robot
- unit
- bright spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
Description
このようなボケ補正方法としては、下記の特許文献1や特許文献2に示すように、移動物の動きに関する情報を、産業用ロボットの移動部に設置した加速度センサで検出し、検出した情報に基づいて動きによるボケの特性を示す点像分布関数(PSF:Point Spread Function)を求め、このPSFに基づいてボケ補正を行っている。
本適用例にかかるロボットシステムは、移動部を有するロボットと、点滅する基準マークを前記移動部の移動先である目標物の近傍に生成する生成手段と、前記移動部に設置され、前記移動部が移動中に前記目標物と前記基準マークを一緒に撮影した場合、点滅する前記基準マークが輝点列として写る劣化した撮影画像を出力する撮影手段と、出力した前記撮影画像の中から前記輝点列を抽出する抽出手段と、抽出した前記輝点列の間を線分で補間する補間手段と、補間した前記線分を点像分布関数として、前記点像分布関数を用いて画像変換することにより、劣化した前記撮影画像から劣化していない画像を復元する復元手段と、復元した前記画像から前記目標物の位置を算出する算出手段と、算出した前記位置に基づいて、前記移動部を前記目標物へ移動させるべく前記ロボットを制御する制御手段と、を備えることを特徴とする。
上記適用例にかかるロボットシステムにおいて、前記生成手段は、光源を断続して投射することにより、前記基準マークを生成することが好ましい。
上記適用例にかかるロボットシステムにおいて、前記生成手段は、前記移動部の移動速度、および前記撮影手段の撮影時間の少なくとも1つに応じて、前記基準マークの点滅間隔を決定することが好ましい。
上記適用例にかかるロボットシステムにおいて、前記生成手段は、点滅する前記基準マークの近傍の所定の位置に、非点滅の基準マークを更に生成することが好ましい。
上記適用例にかかるロボットシステムにおいて、前記生成手段は、点滅する前記基準マークと非点滅の前記基準マークとを1つのマーク群とし、点滅する前記基準マークと非点滅の前記基準マークとの相対位置をそれぞれ変えた複数の前記マーク群を、前記目標物の周囲に生成することが好ましい。
上記適用例にかかるロボットシステムにおいて、復元した前記画像に含まれる前記基準マークを視認する視認手段を更に備えることが好ましい。
上記適用例にかかるロボットシステムにおいて、前記輝点列のそれぞれにおける前記点像分布関数の値は、前記輝点列のそれぞれに対応する前記基準マークの間隔の逆数に比例することが好ましい。
本適用例にかかるロボット制御装置は、ロボットが有する移動部の移動先である目標物と、前記目標物の近傍に生成された点滅する基準マークとが一緒に撮影された撮影画像であって、前記移動部に設置された撮影手段が、前記移動部の移動中に撮影することにより前記基準マークが輝点列として写る劣化した前記撮影画像が入力される入力手段と、入力された前記撮影画像の中から前記輝点列を抽出する抽出手段と、抽出した前記輝点列の間を線分で補間する補間手段と、補間した前記線分を点像分布関数として、前記点像分布関数を用いて画像変換することにより、劣化した前記撮影画像から劣化していない画像を復元する復元手段と、復元した前記画像から前記目標物の位置を算出する算出手段と、算出した前記位置に基づいて、前記移動部を前記目標物へ移動させるべく前記ロボットを制御する制御手段と、を備えることを特徴とする。
本適用例にかかるロボット制御方法は、ロボットが有する移動部の移動先である目標物と、前記目標物の近傍に生成された点滅する基準マークとが一緒に撮影された撮影画像であって、前記移動部に設置された撮影手段が、前記移動部の移動中に撮影することにより前記基準マークが輝点列として写る劣化した前記撮影画像が入力される工程と、入力された前記撮影画像の中から前記輝点列を抽出する工程と、抽出した前記輝点列の間を線分で補間する工程と、補間した前記線分を点像分布関数として、前記点像分布関数を用いて画像変換することにより、劣化した前記撮影画像から劣化していない画像を復元する工程と、復元した前記画像から前記目標物の位置を算出する工程と、算出した前記位置に基づいて、前記移動部を前記目標物へ移動させるべく前記ロボットを制御する工程と、を備えることを特徴とする。
図1は、ロボットシステム5の概観を示す図である。このロボットシステム5は、ロボット10と、このロボット10を制御するロボット制御装置50を備える。
このロボット10は、設置面に設置される基体であるロボットベース25、設置面との鉛直軸で回転する第一軸11、アーム17Aを水平軸で回転する第二軸12、アーム17Aの軸方向に回転する第三軸13、アーム17Aに固定され、アーム17Bを水平方向に回転する第四軸14、アーム17Bの軸方向に回転する第五軸15、および、アーム17Bに固定され、手首18を水平方向に回転する第六軸16のそれぞれを移動部とする六軸制御の多関節産業用ロボットである。また、この手首18の先端には、部品等を把持するためのハンド19と、図示を略したCCD(Charge Coupled Device)のような撮像素子によりハンド19が把持する方向を撮影する撮影手段としてのデジタルカメラ20が装着される。
これらの駆動軸は、何れも図示を略したモータや空圧機器等により動作する複数のアクチュエータ30(図2)の駆動により回動するように構成され、複数のアクチュエータ30は、ロボット制御装置50からケーブル85Aを介して送られる制御信号に基づいて駆動するように構成されている。また、デジタルカメラ20は所定の露出時間で撮影し、撮影した画像信号はケーブル85Aを介してロボット制御装置50に送られる。
ロボット制御装置50は、コンピュータ80、ディスプレイ82およびキーボード84を備える。コンピュータ80は、図示は略すが、それぞれ図示を略したCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、シーケンサ、ロボットコントローラおよびドライブユニット等からなるハードウェア資源と、ROMやHDD等に記憶された種々のソフトウェアとが有機的に協働することにより、後述する各機能部の機能を実現している。
マーク生成部190は、レーザ光源180に対してレーザ光185の発光を指示する。この場合、マーク生成部190は、位置情報取得部100からデジタルカメラ20の露出時間に関する情報を取得し、取得した露出時間よりも速い所定の時間間隔で点滅するように指示すると共に、ロボット動作制御部115からアーム17の移動速度に関する情報を取得し、取得した移動速度に基づいて、デジタルカメラ20が撮影する点滅像が重ならず、近接して撮影されるように指示する。尚、本実施形態1では、レーザ光185による基準マーク150の生成を採用するが、光源はレーザに限定されるものではなく、放電により発光するランプやLED(Light Emitting Diode)等であっても良い。
補間部105は、図4(a)に示すように、抽出した基準マーク150A,150B,150C,150C,150D,150Eから成る輝点列160のそれぞれの2点間を滑らかな曲線で補間(例えば、スプライン補間)する補間手段であり、アーム17の動きを示す基準マーク150の軌跡像165を作成し、作成した軌跡像165に関する情報を画像復元部106に送る。尚、画像復元部106に送られる軌跡像165は、PSFの空間移動分の情報を示す。この場合、レーザ光源180は、略等しい間隔で点滅するため、基準マーク150の2点間の間隔と移動速度は比例関係にある。従って、図4(b)に示すように、PSFの各点の値は、基準マーク150の間隔の逆数に比例する値として捕らえることができる。また、PSFの値の絶対値は自由度を有するため、PSFの全区間の積分値が一定の値となるように、その絶対値を決定しても良い。
次に、画像は正常に復元されたか、否かが判定される(ステップS206)。ここで、画像は正常に復元されなかったと判定された場合(ステップS206でNo)、CPUは、入力した画像の輝点列160からPSFを取得抽出する工程(ステップS202)に戻り、再度画像を復元する。
以上の処理により、入力された画像が、アーム17に装着されたデジタルカメラ20が撮影中に移動することにより生じたボケを含む場合、この画像は、基準マーク150の軌跡像165が示すPSFに基づいて逆変換され、ボケが補正された画像に変換される。更に、変換された画像に基づいてワーク130の位置が算出され、算出された位置にアーム17が移動する。この結果、ロボット制御装置50はワーク130の位置を正確に取得できると共に、ロボット10はワーク130を確実に把持できる。
次に、本発明の実施形態2について、図6を参照して説明する。尚、以下の説明では、既に説明した部分と同じ部分については、同一符号を付してその説明を省略する。実施形態1では、デジタルカメラ20の視界内には、ワーク130の近傍に1個の基準マーク150がレーザ光源180から投射されていたが、本実施形態2では、図6(a)に示すように、この基準マーク150の近傍の所定の位置に、更に別の基準マーク155がレーザ光源180から投射される。この場合、一方の基準マーク150は実施形態1と同様に点滅し、他方の基準マーク155は非点滅(常時点灯)である。ここで、アーム17が移動する際に所定の露出時間に渡りシャッタを開放して撮影することにより、図6(b)に示すような劣化画像が出力される。
尚、アーム17の移動方向によっては、軌跡像165と常時点灯像158が重なる場合が想定される。これを避けるべく、図7(a)に示すように、レーザ光源180は、2つの基準マーク150,155をマーク群とし、それぞれの相対位置を変えた複数のマーク群をワーク130の周囲に投射しても良い。この場合の劣化画像は、図7(b)のようになり、何れの方向に直線移動した場合であっても、PSFを取得できることに加え、回転移動の場合であってもPSFを取得できる。
Claims (9)
- 移動部を有するロボットと、
点滅する基準マークを生成する生成手段と、
前記移動部に設置され、前記移動部が移動中に前記移動部の移動先である目標物と前記基準マークを一緒に撮影し、前記基準マークが輝点列として写る劣化した撮影画像を出力する撮影手段と、
出力した前記撮影画像の中から前記輝点列を抽出する抽出手段と、
抽出した前記輝点列の間を線分で補間する補間手段と、
補間した前記線分を点像分布関数として、前記点像分布関数を用いて画像変換することにより、劣化した前記撮影画像から劣化していない画像を復元する復元手段と、
復元した前記画像から前記目標物の位置を算出する算出手段と、
算出した前記位置に基づいて、前記移動部を前記目標物へ移動させるべく前記ロボットを制御する制御手段と、を備えることを特徴とするロボットシステム。 - 請求項1に記載のロボットシステムにおいて、
前記生成手段は、光源を断続して投射することにより、前記基準マークを生成することを特徴とするロボットシステム。 - 請求項1乃至2のいずれかに記載のロボットシステムにおいて、
前記生成手段は、前記移動部の移動速度、および前記撮影手段の撮影時間の少なくとも1つに応じて、前記基準マークの点滅間隔を決定することを特徴とするロボットシステム。 - 請求項1乃至3のいずれか1項に記載のロボットシステムにおいて、
前記生成手段は、点滅する前記基準マークの近傍の所定の位置に、非点滅の基準マークを更に生成することを特徴とするロボットシステム。 - 請求項4に記載のロボットシステムにおいて、
前記生成手段は、点滅する前記基準マークと非点滅の前記基準マークとを1つのマーク群とし、点滅する前記基準マークと非点滅の前記基準マークとの相対位置をそれぞれ変えた複数の前記マーク群を、前記目標物の周囲に生成することを特徴とするロボットシステム。 - 請求項1乃至5のいずれか1項に記載のロボットシステムにおいて、
復元した前記画像に含まれる前記基準マークを視認する視認手段を更に備えることを特徴とするロボットシステム。 - 請求項1乃至6のいずれか1項に記載のロボットシステムにおいて、
前記輝点列のそれぞれにおける前記点像分布関数の値は、前記輝点列のそれぞれに対応する前記基準マークの間隔の逆数に比例することを特徴とするロボットシステム。 - ロボットが有する移動部の移動先である目標物と、点滅する基準マークとが一緒に撮影された撮影画像であって、前記移動部に設置された撮影手段が、前記移動部の移動中に撮影することにより前記基準マークが輝点列として写る劣化した前記撮影画像が入力される入力手段と、
入力された前記撮影画像の中から前記輝点列を抽出する抽出手段と、
抽出した前記輝点列の間を線分で補間する補間手段と、
補間した前記線分を点像分布関数として、前記点像分布関数を用いて画像変換することにより、劣化した前記撮影画像から劣化していない画像を復元する復元手段と、
復元した前記画像から前記目標物の位置を算出する算出手段と、
算出した前記位置に基づいて、前記移動部を前記目標物へ移動させるべく前記ロボットを制御する制御手段と、を備えることを特徴とするロボット制御装置。 - ロボットが有する移動部の移動先である目標物と、点滅する基準マークとが一緒に撮影された撮影画像であって、前記移動部に設置された撮影手段が、前記移動部の移動中に撮影することにより前記基準マークが輝点列として写る劣化した前記撮影画像が入力される工程と、
入力された前記撮影画像の中から前記輝点列を抽出する工程と、
抽出した前記輝点列の間を線分で補間する工程と、
補間した前記線分を点像分布関数として、前記点像分布関数を用いて画像変換することにより、劣化した前記撮影画像から劣化していない画像を復元する工程と、
復元した前記画像から前記目標物の位置を算出する工程と、
算出した前記位置に基づいて、前記移動部を前記目標物へ移動させるべく前記ロボットを制御する工程と、を備えることを特徴とするロボット制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285093A JP5200866B2 (ja) | 2008-11-06 | 2008-11-06 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285093A JP5200866B2 (ja) | 2008-11-06 | 2008-11-06 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010110855A JP2010110855A (ja) | 2010-05-20 |
JP5200866B2 true JP5200866B2 (ja) | 2013-06-05 |
Family
ID=42299839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008285093A Expired - Fee Related JP5200866B2 (ja) | 2008-11-06 | 2008-11-06 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5200866B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5233601B2 (ja) * | 2008-11-07 | 2013-07-10 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
JP6410861B2 (ja) * | 2017-03-09 | 2018-10-24 | キヤノン株式会社 | 計測装置、処理装置および物品製造方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324835A (ja) * | 1992-05-18 | 1993-12-10 | Kobe Steel Ltd | 二次元図形のパターンマッチング方法及びその装置 |
US7616841B2 (en) * | 2005-06-17 | 2009-11-10 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems |
JP2008011424A (ja) * | 2006-06-30 | 2008-01-17 | Eastman Kodak Co | 画像処理装置及び画像処理プログラム |
US20080100716A1 (en) * | 2006-11-01 | 2008-05-01 | Guoyi Fu | Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data |
-
2008
- 2008-11-06 JP JP2008285093A patent/JP5200866B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010110855A (ja) | 2010-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5233601B2 (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
JP6420229B2 (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
JP6429473B2 (ja) | ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体 | |
CN105666505B (zh) | 具备扩展现实对应显示器的机器人*** | |
JP6468741B2 (ja) | ロボットシステム及びロボットシステムの校正方法 | |
JPWO2017033359A1 (ja) | 遠隔操作ロボットシステム | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
CN109421047B (zh) | 机器人*** | |
WO2019116891A1 (ja) | ロボットシステム及びロボット制御方法 | |
JP2011115877A (ja) | 双腕ロボット | |
US20180281197A1 (en) | Teaching Device And Teaching Method | |
CN110856932B (zh) | 干涉回避装置以及机器人*** | |
JPH0431836B2 (ja) | ||
JP2007011978A (ja) | ロボットの運動制御装置 | |
CN110303474B (zh) | 使用图像处理修正机器人的示教的机器人*** | |
JP2014161950A (ja) | ロボットシステム、ロボット制御方法、ロボット較正方法 | |
JP2008183690A (ja) | ロボット制御装置及びロボット制御システム | |
JP2017124448A (ja) | 相対データ較正装置と方法 | |
JP6322949B2 (ja) | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム | |
JP5200866B2 (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
KR20130075712A (ko) | 레이저비전 센서 및 그 보정방법 | |
CN115135466A (zh) | 毛刺去除装置和控制*** | |
US20170028548A1 (en) | Robot control device and robot control method | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
JP2014144516A (ja) | ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5200866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |