JP7496936B2 - 異なる座標フレーム間の制約を用いた較正の最適化 - Google Patents
異なる座標フレーム間の制約を用いた較正の最適化 Download PDFInfo
- Publication number
- JP7496936B2 JP7496936B2 JP2023527375A JP2023527375A JP7496936B2 JP 7496936 B2 JP7496936 B2 JP 7496936B2 JP 2023527375 A JP2023527375 A JP 2023527375A JP 2023527375 A JP2023527375 A JP 2023527375A JP 7496936 B2 JP7496936 B2 JP 7496936B2
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- pose
- coordinate frame
- constraint
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 46
- 238000005457 optimization Methods 0.000 claims description 39
- 239000003550 marker Substances 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
本出願は、2020年11月4日に出願された米国特許出願第17/089,332号の優先権を主張する。前述の出願の開示は、その全体が参照により本明細書に組み込まれる。
実施形態1は、方法であって、
複数のセンサと複数のロボットとを含む複数の較正エンティティを備える環境の初期モデルを取得することであって、複数のセンサの各々が、環境内の1つ以上の較正エンティティによる移動を観測するように構成されている、取得することと、
環境内の複数のロボットによる移動を表す移動データを生成する較正プログラムを実行することと、
較正プログラムの実行中に複数のロボットによる移動後にセンサが較正エンティティの姿勢をどのように観測するかを表すセンサデータを生成することと、
センサデータから、複数の異なる制約ペアを生成することであって、複数の異なる制約ペアの各々が、異なる座標フレームにおいて観測される較正エンティティの姿勢間の関係を指定する、生成することと、
複数の較正値を生成するために、複数の異なる制約ペアに対して1つ以上の最適化プロセスを実施することと、
複数の較正値を使用して、環境の更新されたモデルを生成することと、を含む、方法である。
実施形態2は、複数の異なる制約ペアの各々が、較正エンティティによって各々定義される少なくとも2つの異なる座標フレームを含む、実施形態1の方法である。
実施形態3は、複数の異なる制約ペアの各制約ペアが、異なる座標フレームにおいて観測される少なくとも1つの較正エンティティを含む、実施形態1又は2の方法である。
実施形態4は、複数の異なる制約ペアが、第2の座標フレーム内で観測される第1の座標フレームの測定された相対姿勢と計算された相対姿勢との間の関係を定義する相対姿勢制約を含み、第1の座標フレームが、第1の較正エンティティによって定義され、第2の座標フレームが、第2の較正エンティティによって定義される、実施形態1~3のいずれか1つの方法である。
実施形態5は、第1の座標フレームの測定された相対姿勢及び計算された相対姿勢が、第2の座標フレームに対して観測可能な並進位置及び回転位置の両方を含む、実施形態4の方法である。
実施形態6は、複数の異なる制約ペアが、較正エンティティによって各々定義された2つの異なる座標フレーム内で観測された較正エンティティの特徴姿勢間の関係を定義する特徴姿勢制約を含む、実施形態1~5のいずれか1つの方法である。
実施形態7は、較正エンティティの特徴姿勢が、並進位置及び回転位置の両方を含む、実施形態6の方法である。
実施形態8は、複数の異なる制約ペアが、較正エンティティによって各々定義される2つの異なる座標フレーム内で観測された較正エンティティの点別姿勢間の関係を定義する特徴点制約を含む、実施形態1~7のいずれか1つの方法である。
実施形態9は、較正エンティティの点別姿勢が、並進位置を含む、実施形態8の方法である。
実施形態10は、複数のセンサの各々が、カメラ又はレーザトラッカである、実施形態1~9のいずれか1つの方法である。
実施形態11は、複数の較正エンティティの各々が、センサ、ロボット、及び物体であり得る、実施形態1~10のいずれか1つの方法である。
実施形態12は、物体が、マーカ又は点別特徴である、実施形態11の方法である。
実施形態13は、異なる座標フレームの各々が、基準座標フレームに対してセンサデータで表される姿勢を定義する、実施形態1~12いずれか1つの方法である。
実施形態14は、基準座標フレームが、ワークセルモデル内の所定の座標フレームを含む、実施形態13の方法である。
実施形態15は、複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することが、複数の異なる制約ペアの各制約ペアについて、2つの異なる座標フレーム内で観測される較正エンティティの姿勢間のローカル誤差を定量化することを含む、実施形態1~14のいずれか1つの方法である。
実施形態16は、複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することが、複数の異なる制約ペアの各制約ペアについて定量化されたローカル誤差に基づいてグローバル誤差を定量化することを更に含む、実施形態15の方法である。
実施形態17は、複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することが、1つ以上のオプティマイザを用いてグローバル誤差を最小化することを更に含む、実施形態16の方法である。
実施形態18は、複数の異なる制約ペアの各々において観測された較正エンティティの姿勢間のローカル誤差を定量化することが、基準座標フレームに対する較正エンティティの姿勢間のローカル誤差を定量化することを含む、実施形態15の方法である。
実施形態19は、複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することが、複数の異なる制約ペアの各制約ペアについて、第2の座標フレームにおいて観測された第1の座標フレームの測定された相対姿勢と計算された相対姿勢との間のローカル誤差を定量化することを含み、第1の座標フレームが、第1の較正エンティティによって定義され、第2の座標フレームが、第2の較正エンティティによって定義される、実施形態1~18のいずれか1つの方法である。
実施形態20は、環境の更新されたモデルを使用して第2の複数の異なる制約ペアを生成することと、
第2の複数の較正値を生成するために、第2の複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することと、
第2の複数の較正値を使用して、環境の第2の更新されたモデルを生成することと、を更に含む、実施形態1~19のいずれか1つの方法である。
実施形態21は、1つ以上のコンピュータと、1つ以上のコンピュータによって実行されたときに、1つ以上のコンピュータに実施形態1~20のいずれか1つの方法を実施させるように動作可能である命令を記憶する1つ以上の記憶デバイスとを備える、システムである。
実施形態22は、コンピュータプログラムで符号化されたコンピュータ記憶媒体であり、プログラムは、データ処理装置によって実行されたときに、データ処理装置に実施形態1~20のいずれか1つの方法を実施させるように動作可能な命令を含む。
Claims (15)
- 1つ以上のコンピュータによって実施される方法であって、前記方法が、
複数のセンサと複数のロボットとを含む複数の較正エンティティを備える環境の初期モデルを取得することであって、前記複数のセンサの各々が、前記環境内の1つ以上の較正エンティティによる移動を観測するように構成されている、前記初期モデルを取得することと、
前記環境内の前記複数のロボットによる移動を表す移動データを生成する較正プログラムを実行することと、
前記較正プログラムの実行中に前記複数のロボットによる前記移動後に前記センサが較正エンティティの姿勢をどのように観測するかを表すセンサデータを生成することと、
前記センサデータから、複数の異なる制約ペアを生成することであって、前記複数の異なる制約ペアの各々が、異なる座標フレームにおいて観測される較正エンティティの姿勢間の関係を指定する、前記複数の異なる制約ペアを生成することと、
複数の較正値を生成するために、前記複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することと、
前記複数の較正値を使用して、前記環境の更新されたモデルを生成することと、を含む、方法。 - 前記複数の異なる制約ペアの各々が、較正エンティティによって各々定義される少なくとも2つの異なる座標フレームを含む、請求項1に記載の方法。
- 前記複数の異なる制約ペアの各制約ペアが、異なる座標フレームにおいて観測される少なくとも較正エンティティを含む、請求項1又は2に記載の方法。
- 前記複数の異なる制約ペアが、第2の座標フレーム内で観測される第1の座標フレームの測定された相対姿勢と計算された相対姿勢との間の関係を定義する相対姿勢制約を含み、前記第1の座標フレームが、第1の較正エンティティによって定義され、前記第2の座標フレームが、第2の較正エンティティによって定義され、前記第1の座標フレームの前記測定された相対姿勢及び前記計算された相対姿勢が、前記第2の座標フレームに対して観測可能な並進位置及び回転位置の両方を含む、請求項1~3のいずれか一項に記載の方法。
- 前記複数の異なる制約ペアが、較正エンティティによって各々定義される2つの異なる座標フレームにおいて観測される較正エンティティの特徴姿勢間の関係を定義する特徴姿勢制約を含み、前記較正エンティティの前記特徴姿勢が、並進位置及び回転位置の両方を含む、請求項1~4のいずれか一項に記載の方法。
- 前記複数の異なる制約ペアが、較正エンティティによって各々定義される2つの異なる座標フレームにおいて観測される較正エンティティの点別姿勢間の関係を定義する特徴点制約を含み、前記較正エンティティの前記点別姿勢が、並進位置を含む、請求項1~5のいずれか一項に記載の方法。
- 前記複数のセンサの各々が、カメラ又はレーザトラッカである、請求項1~6のいずれか一項に記載の方法。
- 前記複数の較正エンティティの各々が、センサ、ロボット、及び物体であり得、前記物体が、マーカ又は点別特徴である、請求項1~7のいずれか一項に記載の方法。
- 前記異なる座標フレームの各々が、基準座標フレームに対して前記センサデータで表される姿勢を定義し、前記基準座標フレームが、ワークセルモデルにおける所定の座標フレームを含む、請求項1~8のいずれか一項に記載の方法。
- 前記複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することが、前記複数の異なる制約ペアの各制約ペアについて、2つの異なる座標フレームにおいて観測された較正エンティティの姿勢間のローカル誤差を定量化することと、前記複数の異なる制約ペアの各制約ペアについて定量化された前記ローカル誤差に基づいてグローバル誤差を定量化することと、1つ以上のオプティマイザを用いて前記グローバル誤差を最小化することと、を含む、請求項1~8のいずれか一項に記載の方法。
- 前記較正エンティティの姿勢間の定量化された前記ローカル誤差が、基準座標フレームに対するものである、請求項10に記載の方法。
- 前記複数の異なる制約ペアについて1つ以上の最適化プロセスを実施することが、前記複数の異なる制約ペアの各制約ペアについて、第2の座標フレームにおいて観測された第1の座標フレームの測定された相対姿勢と計算された相対姿勢との間のローカル誤差を定量化することを含み、前記第1の座標フレームが、第1の較正エンティティによって定義され、前記第2の座標フレームが、第2の較正エンティティによって定義される、請求項1~11のいずれか一項に記載の方法。
- 前記環境の前記更新されたモデルを使用して第2の複数の異なる制約ペアを生成することと、
第2の複数の較正値を生成するために、前記第2の複数の異なる制約ペアについて前記1つ以上の最適化プロセスを実施することと、
前記第2の複数の較正値を使用して、前記環境の第2の更新されたモデルを生成することと、を更に含む、請求項1~12のいずれか一項に記載の方法。 - 1つ以上のコンピュータによって実行されたときに、前記1つ以上のコンピュータに請求項1~13のいずれか一項に記載の方法のそれぞれの動作を実施させる命令を記憶する1つ以上のコンピュータ可読記憶媒体。
- 1つ以上のコンピュータと、1つ以上のコンピュータによって実行されたときに、前記1つ以上のコンピュータに請求項1~13のいずれか一項に記載の方法のそれぞれの動作を実施させる命令を記憶する1つ以上の記憶デバイスと、を備える、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/089,332 US20220134566A1 (en) | 2020-11-04 | 2020-11-04 | Optimizing calibration with constraints between different coordinate frames |
US17/089,332 | 2020-11-04 | ||
PCT/US2021/055192 WO2022098489A1 (en) | 2020-11-04 | 2021-10-15 | Optimizing calibration with constraints between different coordinate frames |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023548394A JP2023548394A (ja) | 2023-11-16 |
JP7496936B2 true JP7496936B2 (ja) | 2024-06-07 |
Family
ID=81380526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023527375A Active JP7496936B2 (ja) | 2020-11-04 | 2021-10-15 | 異なる座標フレーム間の制約を用いた較正の最適化 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220134566A1 (ja) |
EP (1) | EP4241241A1 (ja) |
JP (1) | JP7496936B2 (ja) |
KR (1) | KR20230104217A (ja) |
CN (1) | CN116635892A (ja) |
WO (1) | WO2022098489A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116222384B (zh) * | 2023-05-08 | 2023-08-04 | 成都飞机工业(集团)有限责任公司 | 一种全向测量标定方法、***、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170094251A1 (en) | 2015-09-30 | 2017-03-30 | Faro Technologies, Inc. | Three-dimensional imager that includes a dichroic camera |
US20180307941A1 (en) | 2017-04-21 | 2018-10-25 | X Development Llc | Methods and Systems for Simultaneous Localization and Calibration |
JP2019155556A (ja) | 2018-03-15 | 2019-09-19 | セイコーエプソン株式会社 | ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6434265B1 (en) * | 1998-09-25 | 2002-08-13 | Apple Computers, Inc. | Aligning rectilinear images in 3D through projective registration and calibration |
US9393694B2 (en) * | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
CN104827480A (zh) * | 2014-02-11 | 2015-08-12 | 泰科电子(上海)有限公司 | 机器人***的自动标定方法 |
GB2541884A (en) * | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
US10076842B2 (en) * | 2016-09-28 | 2018-09-18 | Cognex Corporation | Simultaneous kinematic and hand-eye calibration |
CN106595474A (zh) * | 2016-11-18 | 2017-04-26 | 华南理工大学 | 一种基于激光跟踪仪的双机器人基坐标系标定方法 |
-
2020
- 2020-11-04 US US17/089,332 patent/US20220134566A1/en active Pending
-
2021
- 2021-10-15 CN CN202180088087.0A patent/CN116635892A/zh active Pending
- 2021-10-15 WO PCT/US2021/055192 patent/WO2022098489A1/en active Application Filing
- 2021-10-15 EP EP21889815.3A patent/EP4241241A1/en active Pending
- 2021-10-15 JP JP2023527375A patent/JP7496936B2/ja active Active
- 2021-10-15 KR KR1020237018655A patent/KR20230104217A/ko unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170094251A1 (en) | 2015-09-30 | 2017-03-30 | Faro Technologies, Inc. | Three-dimensional imager that includes a dichroic camera |
US20180307941A1 (en) | 2017-04-21 | 2018-10-25 | X Development Llc | Methods and Systems for Simultaneous Localization and Calibration |
JP2019155556A (ja) | 2018-03-15 | 2019-09-19 | セイコーエプソン株式会社 | ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220134566A1 (en) | 2022-05-05 |
JP2023548394A (ja) | 2023-11-16 |
WO2022098489A1 (en) | 2022-05-12 |
CN116635892A (zh) | 2023-08-22 |
KR20230104217A (ko) | 2023-07-07 |
EP4241241A1 (en) | 2023-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6755724B2 (ja) | 制御方法、ロボットシステム、および物品の製造方法 | |
JP6182143B2 (ja) | ロボットの較正およびプログラミング | |
KR20140008262A (ko) | 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램 | |
US20190176335A1 (en) | Calibration and operation of vision-based manipulation systems | |
WO2018196232A1 (zh) | 机器人和末端执行器的自动标定方法及*** | |
JP2015182144A (ja) | ロボットシステムおよびロボットシステムの校正方法 | |
CN104736304A (zh) | 工业机器人的在线校准方法,执行该方法的***和包括该校准***的工业机器人 | |
JP2015089575A (ja) | ロボット、制御装置、ロボットシステム及び制御方法 | |
Qiao et al. | Quick positional health assessment for industrial robot prognostics and health management (PHM) | |
KR20080088165A (ko) | 로봇 캘리브레이션 방법 | |
JP7496936B2 (ja) | 異なる座標フレーム間の制約を用いた較正の最適化 | |
Santolaria et al. | Self-alignment of on-board measurement sensors for robot kinematic calibration | |
KR100644174B1 (ko) | 로봇 용접의 보정방법 | |
JP2016159406A (ja) | ロボット制御装置、ロボット制御方法及びロボットシステム | |
Chiwande et al. | Comparative need analysis of industrial robot calibration methodologies | |
CN113799114A (zh) | 机器手臂的原点校正方法 | |
Nejat et al. | High-precision task-space sensing and guidance for autonomous robot localization | |
US20220297301A1 (en) | Detecting robotic calibration accuracy discrepancies | |
TWI710441B (zh) | 機器手臂的座標校正方法 | |
Tenhumberg et al. | Calibration of an Elastic Humanoid Upper Body and Efficient Compensation for Motion Planning | |
US20200189094A1 (en) | Device, method and system for teaching robot | |
Jeon et al. | Cost-effective calibration of collaborative robot arm with single wire encoder | |
WO2019114630A1 (zh) | 一种获取机器人tcp坐标的方法和装置 | |
TWI746004B (zh) | 機器手臂的原點校正方法 | |
US20220390922A1 (en) | Workcell modeling using motion profile matching and swept profile matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7496936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |