JP2019089188A - 作動システムおよびプログラム - Google Patents
作動システムおよびプログラム Download PDFInfo
- Publication number
- JP2019089188A JP2019089188A JP2017221300A JP2017221300A JP2019089188A JP 2019089188 A JP2019089188 A JP 2019089188A JP 2017221300 A JP2017221300 A JP 2017221300A JP 2017221300 A JP2017221300 A JP 2017221300A JP 2019089188 A JP2019089188 A JP 2019089188A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- target
- camera
- command value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、作動システム1の概略構成図である。図1に示されるように、作動システム1は、作動装置100を含んでいる。
Tm=TTh ・・・ (4)
したがって、第一カメラ221の第一座標系(xm,ym,zm)から第二カメラ222の第二座標系(xh,yh,zh)への同次変換行列Thは、
Th=T−1Tm ・・・ (5)
と表せる。
u=k・uh1+(1−k)uh2 ・・・ (8)
ここに、kは、重み付け係数である。
k=m1/(m1+m2) ・・・ (9)
図8は、第1変形例の作動システム1Aの作動装置100Aのハンド121を含む先端部分の斜視図である。本変形例も、上記実施形態と同様の構成を備えており、当該同様の構成に基づく同様の作用および効果が得られる。ただし、本変形例では、複数のカメラ221〜224とは別の位置に配置された仮想カメラ220vの仮想撮影座標系が演算座標系として設定されている。言い換えると、本変形例では、演算座標系は、撮影座標系とは異なる座標系として設定されている。この場合、第一作動制御部312は、各カメラ221〜224の撮影画像に基づく値を当該仮想カメラ220vの仮想撮影座標系に座標変換し、当該仮想撮影座標系においてビジュアルサーボによるフィードバック制御を実行する。なお、カメラ221〜224は、ハンド121が目標位置および目標姿勢にある状態で、カメラ221〜224のうち少なくともいずれか一つによって目標物401が撮影されているように設置される。また、ハンド121は、例えばバキュームチャックであるが、これには限定されない。また、指令値算出部312eは、指令値uを、以下の式(10)により算出することができる。
u=(ma・ua+mb・ub+mc・uc+md・ud)
/(ma+mb+mc+md) ・・・ (10)
ここに、ua〜ud:カメラ221〜224の撮影画像のそれぞれから算出された原指令値、ma〜md:カメラ221〜224の撮影画像のそれぞれと目標画像との間でマッチングされた特徴点の数である。このような構成によれば、図8に示されるように、例えば、ハンド121が設けられた位置に仮想カメラ220vの演算座標系を設定することができる。言い換えると、ハンド121が設けられた位置に仮想カメラ220vを配置することができる。本変形例によれば、ハンド121による目標物401に対するアクセスを、より容易にあるいはより確実に実行できる場合がある。
図9は、第2実施形態の作動システム1B(作動装置)の斜視図である。本実施形態も、上記実施形態や変形例と同様の構成を備えており、当該同様の構成に基づく同様の作用および効果が得られる。ただし、本実施形態では、作動システム1Bは、飛翔体である。可動部材としてのベース111Bは、プロペラによって浮上して移動するボディやキャビンであり、アクチュエータ113は、プロペラを駆動するモータ等である。第一作動制御部312は、各カメラ221〜224の撮影画像に基づくビジュアルサーボによるフィードバック制御により、ベース111Bあるいはハンド121の位置および姿勢を制御する。
Claims (11)
- 可動部材と、
前記可動部材を動かすアクチュエータと、
少なくとも一つの撮影部と、
前記撮影部により撮影された撮影画像の撮影座標系から比較を実行する演算座標系への座標変換を実行する座標変換部と、
前記演算座標系におけるビジュアルサーボにより偏差が小さくなるよう前記アクチュエータを制御する第一作動制御部と、
を備えた、作動システム。 - 前記少なくとも一つの撮影部は第一撮影部および第二撮影部を含み、
前記演算座標系は、前記第二撮影部により撮影された撮影画像の第二撮影座標系に設定され、
前記座標変換部は、前記第一撮影部により撮影された撮影画像の第一撮影座標系から前記第二撮影座標系への座標変換を実行する、請求項1に記載の作動システム。 - 前記少なくとも一つの撮影部は複数の撮影部であり、
前記第一作動制御部は、前記複数の撮影部による前記撮影画像に基づいて、前記アクチュエータに対する指令値を算出する指令値算出部を備えた、請求項1または2に記載の作動システム。 - 前記複数の撮影部による撮影画像のそれぞれに基づいて複数の原指令値を算出する原指令値算出部を備え、
前記指令値算出部は、前記複数の原指令値の重み付け平均値として前記指令値を算出する、請求項3に記載の作動システム。 - 前記第一作動制御部は、前記撮影画像のそれぞれと目標画像との特徴点に基づくマッチング処理を実行するマッチング処理部を有し、
前記原指令値の重み付け係数が、当該原指令値が算出された前記撮影画像と前記目標画像との間でマッチングされた前記特徴点の数が多いほど大きく設定される、請求項4に記載の作動システム。 - 前記複数の撮影部は、画角、焦点距離、および撮影方向のうち少なくとも一つが互いに異なる複数の撮影部を含む、請求項3〜5のうちいずれか一つに記載の作動システム。
- 他の前記撮影部よりも広い範囲を撮影可能な広範囲撮影部と、
前記第一作動制御部による制御の前に、前記広範囲撮影部による撮影画像に基づいて目標物を決定する目標物決定部と、
を備えた、請求項3〜6のうちいずれか一つに記載の作動システム。 - 前記広範囲撮影部は、撮影画像として、三次元距離画像データを取得し、
前記目標物決定部は、前記三次元距離画像データに基づいて前記目標物を決定する、請求項7に記載の作動システム。 - 前記第一作動制御部による制御の前でありかつ前記目標物決定部により前記目標物が決定された後に、前記広範囲撮影部による撮影画像に基づいて、前記可動部材が前記目標物により近い近接位置に移動するよう前記アクチュエータを制御する第二作動制御部を備えた、請求項7または8に記載の作動システム。
- 可動部材と、
前記可動部材を動かすアクチュエータと、
第一撮影部と、
前記可動部材に設けられた前記第一撮影部とは別の第二撮影部と、
前記第一撮影部のデータを、前記第二撮影部で撮影された場合に得られる第一データに変換する変換部と、
前記第一データおよび前記第二撮影部の第二データのうち少なくとも一方に基づいて、前記可動部材が動作するよう前記アクチュエータを制御する第一作動制御部と、
を備えた、作動システム。 - コンピュータを、請求項1〜9のうちいずれか一つに記載の作動システムの、前記座標変換部、および前記第一作動制御部、として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221300A JP6815309B2 (ja) | 2017-11-16 | 2017-11-16 | 作動システムおよびプログラム |
US15/911,220 US10695912B2 (en) | 2017-11-16 | 2018-03-05 | Actuation system and computer program product utilizing visual servo control based on images from multiple cameras |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221300A JP6815309B2 (ja) | 2017-11-16 | 2017-11-16 | 作動システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019089188A true JP2019089188A (ja) | 2019-06-13 |
JP6815309B2 JP6815309B2 (ja) | 2021-01-20 |
Family
ID=66431713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017221300A Active JP6815309B2 (ja) | 2017-11-16 | 2017-11-16 | 作動システムおよびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10695912B2 (ja) |
JP (1) | JP6815309B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11312011B2 (en) | 2018-02-28 | 2022-04-26 | Kabushiki Kaisha Toshiba | Manipulator system, control device, control method, and computer program product |
US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
WO2023276238A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | ロボット制御装置、およびロボット制御方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6881188B2 (ja) * | 2017-09-27 | 2021-06-02 | オムロン株式会社 | 位置検出装置およびプログラム |
CN110421563A (zh) * | 2019-07-28 | 2019-11-08 | 南京驭逡通信科技有限公司 | 一种工业机器人建图定位***及机器人 |
CN110969097B (zh) * | 2019-11-18 | 2023-05-12 | 浙江大华技术股份有限公司 | 监控目标联动跟踪控制方法、设备及存储装置 |
CN111258267B (zh) * | 2020-01-17 | 2021-07-16 | 北京科技大学 | 一种人机协作搬运***及其混合视触控制方法 |
CN111360797A (zh) * | 2020-03-16 | 2020-07-03 | 杭州腾聚科技有限公司 | 一种基于视觉的机器人tcp标定方法 |
CN111360840A (zh) * | 2020-04-28 | 2020-07-03 | 沈阳优诚自动化工程有限公司 | 一种基于视觉算法的机械臂分拣方法 |
CN112584041B (zh) * | 2020-12-07 | 2022-11-18 | 杭州申昊科技股份有限公司 | 一种图像识别动态纠偏方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003211381A (ja) * | 2002-01-16 | 2003-07-29 | Denso Wave Inc | ロボット制御装置 |
JP2013186088A (ja) * | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
JP2014520351A (ja) * | 2011-07-08 | 2014-08-21 | レストレーション ロボティクス,インク. | カメラシステムの座標系の較正および変換 |
JP2014203365A (ja) * | 2013-04-08 | 2014-10-27 | オムロン株式会社 | 制御システムおよび制御方法 |
JP2015182186A (ja) * | 2014-03-25 | 2015-10-22 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置及び制御方法 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6021533B2 (ja) | 2012-09-03 | 2016-11-09 | キヤノン株式会社 | 情報処理システム、装置、方法及びプログラム |
JP2015003348A (ja) | 2013-06-19 | 2015-01-08 | セイコーエプソン株式会社 | ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法 |
US9630318B2 (en) * | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
JP2017094482A (ja) | 2015-11-17 | 2017-06-01 | 富士電機株式会社 | ロボット制御システム及びロボット制御方法 |
US9965870B2 (en) * | 2016-03-29 | 2018-05-08 | Institut National D'optique | Camera calibration method using a calibration target |
-
2017
- 2017-11-16 JP JP2017221300A patent/JP6815309B2/ja active Active
-
2018
- 2018-03-05 US US15/911,220 patent/US10695912B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003211381A (ja) * | 2002-01-16 | 2003-07-29 | Denso Wave Inc | ロボット制御装置 |
JP2014520351A (ja) * | 2011-07-08 | 2014-08-21 | レストレーション ロボティクス,インク. | カメラシステムの座標系の較正および変換 |
JP2013186088A (ja) * | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
JP2014203365A (ja) * | 2013-04-08 | 2014-10-27 | オムロン株式会社 | 制御システムおよび制御方法 |
JP2015182186A (ja) * | 2014-03-25 | 2015-10-22 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置及び制御方法 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11312011B2 (en) | 2018-02-28 | 2022-04-26 | Kabushiki Kaisha Toshiba | Manipulator system, control device, control method, and computer program product |
US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
WO2023276238A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | ロボット制御装置、およびロボット制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6815309B2 (ja) | 2021-01-20 |
US20190143525A1 (en) | 2019-05-16 |
US10695912B2 (en) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6815309B2 (ja) | 作動システムおよびプログラム | |
JP5949242B2 (ja) | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム | |
CN108297096B (zh) | 校准装置、校准方法以及计算机能够读取的介质 | |
JP5850962B2 (ja) | ビジュアルフィードバックを利用したロボットシステム | |
US9616569B2 (en) | Method for calibrating an articulated end effector employing a remote digital camera | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6021533B2 (ja) | 情報処理システム、装置、方法及びプログラム | |
JP6505729B2 (ja) | 視覚センサを用いるロボットシステムのための自動較正方法 | |
CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP5928114B2 (ja) | ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット | |
JP5233601B2 (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
KR101964332B1 (ko) | 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP2012254518A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
WO2019146201A1 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
JP2014029664A (ja) | 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム | |
JP2019049467A (ja) | 距離計測システムおよび距離計測方法 | |
CN111390910A (zh) | 机械手目标抓取定位方法、计算机可读存储介质及机械手 | |
KR102451791B1 (ko) | 영상 내 물체의 위치 추정 시스템 및 방법 | |
JP2014144516A (ja) | ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム | |
JP2018004554A (ja) | 対象物の特徴点の三次元座標を算出するための装置及び方法 | |
JP6841297B2 (ja) | ビジュアルサーボシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6815309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |