JP6596530B2 - 方法及び装置 - Google Patents
方法及び装置 Download PDFInfo
- Publication number
- JP6596530B2 JP6596530B2 JP2018055637A JP2018055637A JP6596530B2 JP 6596530 B2 JP6596530 B2 JP 6596530B2 JP 2018055637 A JP2018055637 A JP 2018055637A JP 2018055637 A JP2018055637 A JP 2018055637A JP 6596530 B2 JP6596530 B2 JP 6596530B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- coordinate system
- predetermined
- posture
- detection point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Automatic Assembly (AREA)
Description
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
(項目1)オブジェクトに付されたオブジェクトマーカを撮像した画像から、所定の座標系における前記オブジェクトマーカの位置と姿勢を取得するステップと、マーカ座標系における前記オブジェクトマーカからの前記オブジェクトの検出点の座標と、前記オブジェクトマーカの位置と姿勢とに基づいて、前記所定の座標系における前記検出点の位置と前記オブジェクトの姿勢を算出するステップと、前記検出点の位置が、前記所定の座標系における所定の位置範囲内にあり、かつ前記オブジェクトの姿勢が、前記所定の座標系における所定の姿勢範囲内にあるかを判定するステップと、を備える方法。
前記検出点の位置が、前記所定の座標系における所定の位置範囲内にあり、かつ前記オブジェクトの姿勢が、前記所定の座標系における所定の目標姿勢にあるかを判定する位置姿勢比較部と、
を備える装置。
前記基準位置と、前記オブジェクトマーカの位置と姿勢とに基づいて、マーカ座標系における前記オブジェクトマーカを基準とする前記オブジェクトの検出点の座標を設定するステップと、
を備える方法。
以下、本開示の実施形態について図面を参照して説明する。図面において、同一または類似の要素には同一または類似の参照符号が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。しかし、本開示の実施形態は、必ずしもこのような態様に限定されない。本開示の実施形態が、特許請求の範囲において規定される範囲に含まれる様々な態様を取り得ることは、当業者にとって明らかであろう。
図4Aは、本開示の第1実施形態に係る制御システム400の概略構成図である。本実施形態では、制御システム400は、検出点124の所定の座標系における三次元位置と、予め設定された検出点124の三次元位置とを比較して、作業者の作業の正誤を判定等する。また、制御システム400は、作業者の作業が正しい場合、あるいは正しくない場合、予め設定されたシーケンスに基づいて、制御対象物460に対し制御信号を送出し、また制御対象物460からの応答信号を受け取る。図4Aは、オブジェクト120も制御対象物460(ツール464)も同一(工具470)の場合を示す。
グローバル座標系Σgでカメラ110が移動する場合、あるいは目標位置602が変化する場合は、カメラ座標系Σcに対する目標座標612や目標姿勢614は変化する。第2実施形態においては、図8に示すように所定の座標系として、基準マーカ座標系Σbを用いる。基準マーカ座標系Σbでは、基準マーカ座標系Σbに対する目標座標612、及び目標姿勢614が固定されている。
第3実施形態においては、第2の実施形態と同様に、カメラ座標系Σc(Xc,Yc,Zc)に対し目標座標612及び目標姿勢614が変化する。しかし、第3実施形態では、第2実施形態とは異なり基準マーカ802を用いずに、位置検出装置920を用いて、目標座標612をカメラ座標系Σcにおける目標座標に補正する。第2実施形態では、オブジェクト120と制御対象物460(ツール464)は共に工具470である。
図10は、本開示の第4実施形態による制御システム1000の構成を概略的に示す図である。第4実施形態においては、固定されたカメラ110が撮像した画像を用いて、複数の異なる種類のオブジェクト120(作業者の手、工具)がそれぞれ正しい位置、あるいは姿勢であるかを判定し、正しい位置および姿勢である場合に制御対象物460(ツール464)を用いて作業者の作業を支援する。
シーケンス処理1においては、オブジェクト120は作業者の手であり、制御対象物460は、表示灯464a及び464bである。シーケンス処理1では、コンピュータ140は、ツール(表示灯)464aをアクティブに(点灯)させ、手袋に付されたオブジェクトマーカ122aにより識別された特定の作業者に、目標位置602taが設定された特定のボルトバケツ1002からボルトを採取するよう促す。そして、手袋に設定された検出点124aが、ボルトバケツ1002の目標位置602taに近づくと、コンピュータ140はツール464aを非アクティブに(表示灯を消灯)させ、次の処理に進む。なお、図10においてツール464a及び464b(表示灯)は、コンピュータ140に接続されているが、ツール464a及び464bはツールコントローラ462に接続されていてもよい。この場合、ツール464a及び464bは、ツールコントローラ462からの制御信号に応答して点灯あるいは消灯する。
シーケンス処理2においては、オブジェクト120は作業者の手であり、制御対象物460は、作業者の手である。シーケンス処理2では、手袋に設定された検出点124aが、部品912の目標位置602tc1に近づくと、コンピュータ140は、採取したボルトが正しい目標位置602tc1に配置されたと判断し、次の処理へ進む。
シーケンス処理3においては、オブジェクト120、制御対象物460は、共に工具470である。シーケンス処理3では、作業者により把持される特定の工具470の検出点124bが目標位置602tc1に、目標姿勢で近づくことを検出すると、コンピュータ140は、ツールコントローラ462へ制御信号を出力する。ツールコントローラ462は制御信号に基づいて、締付プログラム1を設定する。締め付けプログラム1で設定された締め付けトルクに等しいトルクでボルトが締められると、工具470は、ツールコントローラ462に対し、締め付け完了信号を送出する。ツールコントローラ462は、締め付け完了信号を検知すると、コンピュータ140へ応答信号を出力し、次のステップへ進む。
コンピュータ140は、ツール464aに代えてツール464bに対して、また、目標位置602taに代えて目標位置602tbに対して、上記シーケンス処理1と同様の処理を行う。
コンピュータ140は、目標位置602tc1に代えて目標位置602tc2に対して、上記シーケンス処理2と同様の処理を行う。
コンピュータ140は、目標位置602tc1に代えて目標位置602tc2に対して、上記シーケンス処理3と同様の処理を行う。
図11は、本開示の第5実施形態による制御システム1100の構成を概略的に示す図である。制御システム1100は、第1カメラ110aと接続された第1コンピュータ140aと、第2カメラ110bと接続された第2コンピュータ140bと、第1及び第2のコンピュータ140bに接続されたツールコントローラと、第1オブジェクト120a(ヘルメット932)と、第2オブジェクト120b(工具470)とを備える。第1コンピュータ140aと第2コンピュータ140bとはこれらのコンピュータからの出力の論理積を出力する演算装置950を介して、ツールコントローラ462と接続される。第5実施形態においては、制御システム1100は、グローバル座標系Σgにおいて位置が固定された第1カメラ110aと、位置が固定されていない第2カメラ110bとを複合利用する。
110…カメラ
112…オブジェクトマーカ
120…オブジェクト
122…オブジェクトマーカ
124…検出点
126…オブジェクトマーカ座標
130…設定具
132…設定用マーカ
134…基準位置
140…コンピュータ
142…プロセッサ
144…メモリ
150…マーカ座標設定部
152…位置検出部
154…座標変換部
162…検出点データ
202…マーカ識別番号
204…オフセット座標
400、900A、900B、900C、1000、1100…制御システム
410…位置姿勢検出部
420…位置姿勢比較部
430…シーケンス制御部
440…制御信号生成部
452…目標座標姿勢データ
454…シーケンステーブル
460…制御対象物
462…ツールコントローラ
464…ツール
470…工具
602…目標位置
604…位置範囲
612…目標座標
614…目標姿勢
616…マーカ識別番号
802…基準マーカ
804…基準マーカ座標
910…コンベア
912…部品
914…位置センサ
920…位置検出装置
Claims (12)
- オブジェクトマーカが付されたオブジェクトの検出点が設定具の基準位置に重なったときの、所定の座標系における前記オブジェクトマーカの位置と姿勢とを算出するステップと、
前記基準位置と、前記オブジェクトマーカの位置と姿勢とに基づいて、マーカ座標系における前記オブジェクトマーカを基準とする前記オブジェクトの検出点の座標を設定するステップと、
前記オブジェクトに付された前記オブジェクトマーカを撮像した画像から、前記所定の座標系における前記オブジェクトマーカの位置と姿勢を取得するステップと、
前記マーカ座標系における前記オブジェクトマーカからの前記オブジェクトの検出点の座標と、前記オブジェクトマーカの位置と姿勢とに基づいて、前記所定の座標系における前記検出点の位置と前記オブジェクトの姿勢とを算出するステップと、
前記検出点の位置が、前記所定の座標系における所定の位置範囲内にあり、かつ前記オブジェクトの姿勢が、前記所定の座標系における所定の姿勢範囲内にあるかを判定するステップと、
を備える方法。 - 前記オブジェクトマーカの位置と姿勢とを算出するステップにおいて、前記オブジェクトマーカは前記オブジェクトの検出点との位置関係が不明である、請求項1に記載の方法。
- 前記検出点の位置が、前記所定の位置範囲内にあり、かつ前記オブジェクトの姿勢が、前記所定の姿勢範囲内にある場合に、制御対象物に対する制御信号を出力するステップをさらに備え、前記制御信号は、前記制御対象物の種類に依存しない信号である、請求項1に記載の方法。
- 前記制御信号に応じて、前記制御対象物からの応答信号を取得するステップをさらに備え、前記応答信号は、前記制御対象物の種類に依存しない信号である、請求項3に記載の方法。
- 前記オブジェクトマーカを撮像するカメラのカメラ座標系に対し、前記所定の位置範囲及び前記所定の姿勢範囲が変化しない場合に、前記所定の座標系は、カメラ座標系である、請求項1に記載の方法。
- 前記オブジェクトマーカを撮像するカメラのカメラ座標系に対し、前記所定の位置範囲及び前記所定の姿勢範囲が変化する場合に、前記所定の座標系は、基準マーカ座標系である、請求項1に記載の方法。
- 前記オブジェクトマーカを撮像するカメラのカメラ座標系対し、前記所定の位置範囲及び前記所定の姿勢範囲が変化する場合に、前記所定の位置範囲の目標座標及び、前記所定の姿勢範囲の目標姿勢を、カメラ座標系における目標座標、及び目標姿勢にそれぞれ補正する、請求項1に記載の方法。
- オブジェクトマーカが付されたオブジェクトの検出点が設定具の基準位置に重なったときの、所定の座標系における前記オブジェクトマーカの位置と姿勢とを算出する位置検出部と、
前記基準位置と、前記オブジェクトマーカの位置と姿勢とに基づいて、マーカ座標系における前記オブジェクトマーカを基準とする前記オブジェクトの検出点の座標を設定する座標変換部と、
前記オブジェクトに付された前記オブジェクトマーカを撮像した画像から、前記所定の座標系における前記オブジェクトマーカの位置と姿勢を検出し、前記マーカ座標系における前記オブジェクトマーカからの前記オブジェクトの検出点の座標と、前記オブジェクトマーカの位置と姿勢とに基づいて、前記所定の座標系における前記検出点の位置と前記オブジェクトの姿勢を検出する位置姿勢検出部と、
前記検出点の位置が、前記所定の座標系における所定の位置範囲内にあり、かつ前記オブジェクトの姿勢が、前記所定の座標系における所定の目標姿勢にあるかを判定する位置姿勢比較部と、
を備える装置。 - 前記位置検出部が、前記オブジェクトマーカの位置と姿勢とを算出するとき、前記オブジェクトマーカと前記オブジェクトの検出点との位置関係が不明である、請求項8に記載の装置。
- 前記検出点の位置が、前記所定の位置範囲内にあり、かつ前記オブジェクトの姿勢が、前記所定の姿勢範囲内にある場合に、制御対象物に対する制御信号を出力する制御信号生成部をさらに備え、前記制御信号は、前記制御対象物の種類に依存しない信号である、請求項8に記載の装置。
- 前記制御信号生成部は、さらに、前記制御信号に応じて、前記制御対象物からの応答信号を取得し、前記応答信号は、前記制御対象物の種類に依存しない信号である、請求項10に記載の装置。
- 前記基準位置は、前記設定具に付された設定用マーカとは離れた位置に配置される、請求項1に記載の方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018055637A JP6596530B2 (ja) | 2018-03-23 | 2018-03-23 | 方法及び装置 |
PCT/JP2019/011980 WO2019182084A1 (ja) | 2018-03-23 | 2019-03-22 | 方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018055637A JP6596530B2 (ja) | 2018-03-23 | 2018-03-23 | 方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168304A JP2019168304A (ja) | 2019-10-03 |
JP6596530B2 true JP6596530B2 (ja) | 2019-10-23 |
Family
ID=67986505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018055637A Active JP6596530B2 (ja) | 2018-03-23 | 2018-03-23 | 方法及び装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6596530B2 (ja) |
WO (1) | WO2019182084A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7335199B2 (ja) * | 2020-04-30 | 2023-08-29 | 本田技研工業株式会社 | 解析装置、解析方法、プログラム、および較正方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002013910A (ja) * | 2000-06-30 | 2002-01-18 | Shibuya Kogyo Co Ltd | レーザ光線のモニタリング方法とその装置 |
JP5930708B2 (ja) * | 2011-12-27 | 2016-06-08 | 三菱電機エンジニアリング株式会社 | 作業管理装置および作業管理システム |
JP6016090B2 (ja) * | 2012-09-04 | 2016-10-26 | 株式会社リコー | 画像投影システム、画像投影装置、画像投影システムの遠隔操作装置、及び画像投影システムを用いるテレビ会議システム |
JP6491574B2 (ja) * | 2015-08-31 | 2019-03-27 | Kddi株式会社 | Ar情報表示装置 |
JP6752610B2 (ja) * | 2016-04-27 | 2020-09-09 | 株式会社キーエンス | 三次元座標測定器 |
-
2018
- 2018-03-23 JP JP2018055637A patent/JP6596530B2/ja active Active
-
2019
- 2019-03-22 WO PCT/JP2019/011980 patent/WO2019182084A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019182084A1 (ja) | 2019-09-26 |
JP2019168304A (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108297096B (zh) | 校准装置、校准方法以及计算机能够读取的介质 | |
US11173609B2 (en) | Hand-eye calibration method and system | |
EP1555508B1 (en) | Measuring system | |
JP4191080B2 (ja) | 計測装置 | |
JP2018111166A (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
CN104023906A (zh) | 操作管理装置及操作管理*** | |
CN111225143B (zh) | 图像处理装置及其控制方法以及程序存储介质 | |
JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
CN112276936A (zh) | 三维数据生成装置以及机器人控制*** | |
KR102400416B1 (ko) | 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택 | |
JP2019025572A (ja) | ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法 | |
JP6596530B2 (ja) | 方法及び装置 | |
JP2006224291A (ja) | ロボットシステム | |
JP7439410B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6595065B1 (ja) | 加工装置、加工装置の制御方法および加工装置の制御プログラム | |
CN116867619A (zh) | 示教装置 | |
US11267129B2 (en) | Automatic positioning method and automatic control device | |
JP6659641B2 (ja) | 3次元モデル作成装置 | |
CN114945450A (zh) | 机器人*** | |
JP3541980B2 (ja) | 視覚センサ付きロボットにおけるキャリブレーション方法 | |
JP2020197806A (ja) | 検出システム | |
EP4279227A1 (en) | Robot system and robot control method | |
JP2012022600A (ja) | マスク画像作成システム | |
US20190061152A1 (en) | Measuring method, program, measuring apparatus and method of manufacturing article |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190909 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190930 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6596530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |