JP2023037769A - システム、及び自動搬送車 - Google Patents
システム、及び自動搬送車 Download PDFInfo
- Publication number
- JP2023037769A JP2023037769A JP2021144538A JP2021144538A JP2023037769A JP 2023037769 A JP2023037769 A JP 2023037769A JP 2021144538 A JP2021144538 A JP 2021144538A JP 2021144538 A JP2021144538 A JP 2021144538A JP 2023037769 A JP2023037769 A JP 2023037769A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- posture
- coordinate system
- camera
- stereo camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000036544 posture Effects 0.000 claims description 126
- 238000012937 correction Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 36
- 238000003860 storage Methods 0.000 description 30
- 230000009466 transformation Effects 0.000 description 21
- 239000000463 material Substances 0.000 description 17
- 238000013500 data storage Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000003754 machining Methods 0.000 description 8
- 230000001131 transforming effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
Description
前記補正量算出部51は、まず、前処理として、前記ティーチング操作時に得られた前記基準データに基づいて、ステレオカメラ31に対応した座標系であるカメラ座標系から、前記チャック12に対して設定された座標系であるオブジェクト座標系に変換するための座標変換行列
を取得する。尚、カメラ座標系は、例えば、カメラ31a,31bの撮像素子(例えば、CMOSセンサ)を含む平面内において、各撮像素子間の中間位置を中心として設定される直交3軸で定義することができる。
は、以下の手順により、算出することができる。即ち、まず、前記基準データ記憶部45に格納された、CADデータから得られるチャック12のオブジェクト座標系における3次元点群位置データ、ステレオカメラ31の内部パラメータ(例えば、カメラの焦点距離など)及び外部パラメータ(カメラ31a,31b間の距離、視差など)に基づいて、カメラ座標系からCADデータに係るオブジェクト座標系への座標変換行列
を取得する。
を取得する。図6において概念的に示すように、一点鎖線で示した図形がCADデータから得られるチャック12のオブジェクト座標系における3次元点群位置データに係る図形とし、実線で示した図形がティーチング操作時に得られたチャック12のオブジェクト座標系における3次元点群位置データに係る図形であるとすると、一点鎖線の図形が実線の図形に重ね合わさるように処理することで、上記の座標変換行列
が得られる。
を算出した後、補正量算出部51は、算出した座標変換行列
と、前記カメラ座標系におけるカメラ位置であって、前記ティーチング操作における撮像時のカメラ位置
とに基づいて、前記オブジェクト座標系におけるティーチング操作時のカメラ位置
を以下の数式2によって算出する。
(数式2)
次に、補正量算出部51は、ティーチング操作時のロボット座標系におけるカメラ位置
を以下の数式3によって算出する。尚、ロボット座標系は、制御装置40がロボット25を制御するために設定された3次元の座標系であり、適宜位置に原点が設定される直交3軸で定義される。
(数式3)
を以下の数式4によって算出する。
(数式4)
ここで、
の回転行列成分
を基に、x軸、y軸及びz軸回りの各回転角度
、
、
を算出する。
は、オブジェクト座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列である。例えば、オブジェクト座標系からティーチング操作時のカメラ座標系へ変換するための座標変換行列
と、前記カメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列
に基づいて、以下の数式5によって取得することができる。
(数式5)
次に、補正量算出部51は、自動運転時(実動作時)に前記点群データ算出部50によって算出された現在のチャック12のカメラ座標系における3次元点群位置データに基づいて、上記と同様にして、カメラ座標系からオブジェクト座標系に変換するための座標変換行列
を、以下の数式6に従って算出する。
(数式6)
は、上記と同様に、前記基準データ記憶部45に格納された、ティーチング操作時のチャック12のオブジェクト座標系における3次元点群位置データ、ステレオカメラ31の内部パラメータ(例えば、カメラの焦点距離など)及び外部パラメータ(カメラ31a,31b間の距離、視差など)に基づいて算出することができる。
は、前記基準データ記憶部45に格納された、ティーチング操作時のカメラ座標系におけるチャック12の3次元点群位置データである基準データと、自動運転時に前記点群データ算出部50によって算出されたチャック12の3次元点群位置データを用い、例えば、これらを、RANSACアルゴリズム(大域的位置合わせ)及びICPアルゴリズム(局所的位置合わせ)に従って、ティーチング操作時の3次元点群位置データを、自動運転時の3次元点群位置データに重ね合わせる処理を行うことにより算出することができる。図6を用いて説明すると、一点鎖線で示した図形がティーチング操作時のオブジェクト座標系におけるチャック12の3次元点群位置データに係る図形とし、実線で示した図形が自動運転時のオブジェクト座標系におけるチャック12の3次元点群位置データに係る図形であるとすると、一点鎖線の図形が実線の図形に重ね合わさるように処理することで、上記の座標変換行列
が得られる。
を算出した後、補正量算出部51は、算出した座標変換行列
と、前記カメラ座標系におけるカメラ位置であって、自動運転における撮像時のカメラ位置
とに基づいて、前記オブジェクト座標系における自動運転時のカメラ位置
を以下の数式7によって算出する。
(数式7)
を以下の数式8によって算出するとともに、自動運転時のロボット座標系における現在のカメラ位置
を以下の数式9によって算出する。
(数式8)
(数式9)
を以下の数式10によって算出する。
(数式10)
ここで、
の回転行列成分
を基に、x軸、y軸及びz軸回りの各回転角度
、
、
を算出する。
次に、補正量算出部51は、上記のようにして算出したティーチング操作時の座標系におけるティーチング操作時のカメラ角度
、
、
と、ティーチング操作時の座標系における現在のカメラ角度
、
、
とに基づいて、これらの差分を算出することによって、x軸、y軸及びz軸回りの各回転誤差Δrx、Δry及びΔrzを算出する。
但し、
、即ち、回転誤差量を以下の数式11によって算出するとともに、ティーチング操作時のロボット座標系から現在のロボット座標系への並進行列
、即ち、位置誤差量を以下の数式12により算出する。
(数式11)
(数式12)
10 工作機械
11 主軸
12 チャック
20 材料ストッカ
21 製品ストッカ
25 ロボット
29 ハンド
31 ステレオカメラ
35 無人搬送車
37 操作盤
40 制御装置
41 動作プログラム記憶部
42 移動位置記憶部
43 動作姿勢記憶部
44 マップ情報記憶部
45 基準データ記憶部
46 手動運転制御部
47 自動運転制御部
48 マップ情報生成部
49 位置認識部
50 点群データ算出部
51 補正量算出部
52 入出力インターフェース
W 加工前ワーク
W’ 加工済ワーク
Claims (4)
- ワークに対して所定の加工を行う工作機械と、
画像を撮像する2つのカメラを有するステレオカメラ、及び前記ワークに対して作用する作用部を備え、前記工作機械に対して作業を行うロボットと、
前記ロボットを搭載し、前記工作機械に対して設定された作業位置に移動可能に構成された搬送装置と、
予め設定された動作指令を含む動作プログラムに従って、前記ロボットに、作業開始姿勢、前記工作機械を構成する、又は前記工作機械に設けられた構造体を前記ステレオカメラよって撮像する撮像姿勢、前記ワークに対して前記作用部を作用させるための1以上の作業姿勢を順次取らせるように構成された制御装置とを備え、
前記作業開始姿勢、撮像姿勢及び作業姿勢は、前記ロボットをティーチング操作することによって予め設定されるシステムであって、
前記制御装置は、
前記ティーチング操作時に、前記ロボットを撮像姿勢に移行させた状態で、前記ステレオカメラにより前記構造体を撮像し、得られた画像を基に、前記ステレオカメラに対して設定されたカメラ座標系における前記構造体の3次元点群位置データからなる基準データを生成する処理を実行し、
前記動作プログラムに従って、前記ロボットを実動作させる際に、前記搬送装置が前記作業位置に移動した状態で、前記ロボットを、前記作業開始姿勢から前記撮像姿勢に移行させた後、前記ステレオカメラにより前記構造体を撮像し、得られた画像を基に、前記カメラ座標系における前記構造体の3次元点群位置データからなる現データを生成する処理を実行するとともに、得られた現データ及び前記基準データに基づいて、前記ロボットの現在の姿勢とティーチング操作時の姿勢との間における前記ステレオカメラの位置の誤差量であって、相互に直交する所定の第1軸及び第2軸方向、並びに前記第1軸及び第2軸と直交する第3軸方向における前記ステレオカメラの各位置誤差量と、前記第1軸、第2軸及び第3軸回りの前記ステレオカメラの各回転誤差量とを推定し、推定された各位置誤差量及び各回転誤差量に基づいて、前記作業姿勢における前記作用部の位置を補正するように構成されたシステム。 - 前記制御装置は、
前記基準データに基づいて、前記ロボットに対して設定されたロボット座標系であって、前記ティーチング操作時のロボット座標系における、該ティーチング操作による撮像時のカメラ位置
を算出する処理と、
前記実動作時に得られる前記現データに基づいて、前記ティーチング操作時のロボット座標系における、該実動作による撮像時のカメラ位置
を算出する処理と、
前記ティーチング操作時のロボット座標系における前記カメラ位置
、及び前記カメラ位置
に基づいて、前記実動作時のロボット座標系における前記ステレオカメラの前記第1軸、第2軸及び第3軸方向の位置誤差量、並びに前記第1軸、第2軸及び第3軸回りの回転誤差量を推定する処理と、
推定された前記位置誤差量及び回転誤差量に基づいて、前記作業姿勢における前記作用部の位置を補正する処理とを実行するように構成された請求項1記載のシステム。 - 前記制御装置は、
前記ティーチング操作時のロボット座標系における前記カメラ位置
、及び前記カメラ位置
を算出した後、
ティーチング操作時の座標系におけるティーチング操作時のカメラ角度
、
、
と、ティーチング操作時の座標系における現在のカメラ角度
、
、
とに基づいて、これらの差分を算出することによって、前記第1軸をx軸、第2軸をy軸、第3軸をz軸として、x軸、y軸及びz軸回りの各回転誤差量Δrx、Δry及びΔrzを算出し、算出した前記回転誤差量Δrx、Δry及びΔrzに基づいて、前記実動作時のロボット座標系における前記ステレオカメラの前記回転誤差量として、ティーチング操作時のロボット座標系と実動作時のロボット座標系との間の回転行列
を算出する処理と、
前記実動作時のロボット座標系における前記ステレオカメラの位置誤差量として、前記ティーチング操作時のロボット座標系から前記実動作時のロボット座標系への並進行列
を算出する処理と、
前記回転行列
及び並進行列
に基づいて、補正量
を算出する処理と、
前記補正量
に基づいて、前記作業姿勢における前記作用部の補正された位置
を算出する処理とを実行するように構成された請求項2記載のシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021144538A JP7093881B1 (ja) | 2021-09-06 | 2021-09-06 | システム、及び自動搬送車 |
PCT/JP2022/023266 WO2023032400A1 (ja) | 2021-09-06 | 2022-06-09 | 自動搬送装置、及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021144538A JP7093881B1 (ja) | 2021-09-06 | 2021-09-06 | システム、及び自動搬送車 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7093881B1 JP7093881B1 (ja) | 2022-06-30 |
JP2023037769A true JP2023037769A (ja) | 2023-03-16 |
Family
ID=82217736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021144538A Active JP7093881B1 (ja) | 2021-09-06 | 2021-09-06 | システム、及び自動搬送車 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7093881B1 (ja) |
WO (1) | WO2023032400A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116175256B (zh) * | 2023-04-04 | 2024-04-30 | 杭州纳志机器人科技有限公司 | 一种推车式机器人上下料自动定位方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07146121A (ja) * | 1993-10-01 | 1995-06-06 | Nippondenso Co Ltd | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 |
JPH0970781A (ja) * | 1995-09-07 | 1997-03-18 | Shinko Electric Co Ltd | 自立走行ロボットの三次元位置姿勢較正方法 |
JP2010172986A (ja) * | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | ロボットビジョンシステムおよび自動キャリブレーション方法 |
JP2016170050A (ja) * | 2015-03-12 | 2016-09-23 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム |
JP2020015102A (ja) * | 2018-07-23 | 2020-01-30 | オムロン株式会社 | 制御システム、制御方法およびプログラム |
JP2021035708A (ja) * | 2019-08-30 | 2021-03-04 | Dmg森精機株式会社 | 生産システム |
WO2021050646A1 (en) * | 2019-09-11 | 2021-03-18 | Dmg Mori Co., Ltd. | Robot-mounted moving device, system, and machine tool |
-
2021
- 2021-09-06 JP JP2021144538A patent/JP7093881B1/ja active Active
-
2022
- 2022-06-09 WO PCT/JP2022/023266 patent/WO2023032400A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07146121A (ja) * | 1993-10-01 | 1995-06-06 | Nippondenso Co Ltd | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 |
JPH0970781A (ja) * | 1995-09-07 | 1997-03-18 | Shinko Electric Co Ltd | 自立走行ロボットの三次元位置姿勢較正方法 |
JP2010172986A (ja) * | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | ロボットビジョンシステムおよび自動キャリブレーション方法 |
JP2016170050A (ja) * | 2015-03-12 | 2016-09-23 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム |
JP2020015102A (ja) * | 2018-07-23 | 2020-01-30 | オムロン株式会社 | 制御システム、制御方法およびプログラム |
JP2021035708A (ja) * | 2019-08-30 | 2021-03-04 | Dmg森精機株式会社 | 生産システム |
WO2021050646A1 (en) * | 2019-09-11 | 2021-03-18 | Dmg Mori Co., Ltd. | Robot-mounted moving device, system, and machine tool |
Also Published As
Publication number | Publication date |
---|---|
JP7093881B1 (ja) | 2022-06-30 |
WO2023032400A1 (ja) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6785931B1 (ja) | 生産システム | |
US20220331970A1 (en) | Robot-mounted moving device, system, and machine tool | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP2024096756A (ja) | ロボット搭載移動装置、及びその制御方法 | |
WO2023032400A1 (ja) | 自動搬送装置、及びシステム | |
WO2022091767A1 (ja) | 画像処理方法、画像処理装置、ロボット搭載型搬送装置、及びシステム | |
JP2022126768A (ja) | ロボット搭載移動装置 | |
JP6832408B1 (ja) | 生産システム | |
JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
WO2022264597A1 (ja) | ロボットシステム | |
WO2022195938A1 (ja) | ロボットシステムの位置決め精度測定方法 | |
WO2022075303A1 (ja) | ロボットシステム | |
JP6851535B1 (ja) | ティーチング操作を用いた設定方法 | |
JP7015949B1 (ja) | 貼着位置測定装置及びこれを備えた工作機械 | |
JP2024068115A (ja) | ロボット搭載移動装置 | |
WO2023053374A1 (ja) | 制御装置及びロボットシステム | |
WO2024135220A1 (ja) | ロボット制御システム | |
JP2021112809A (ja) | 生産システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211108 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7093881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |