JP7177239B1 - マーカ検出装置及びロボット教示システム - Google Patents
マーカ検出装置及びロボット教示システム Download PDFInfo
- Publication number
- JP7177239B1 JP7177239B1 JP2021181014A JP2021181014A JP7177239B1 JP 7177239 B1 JP7177239 B1 JP 7177239B1 JP 2021181014 A JP2021181014 A JP 2021181014A JP 2021181014 A JP2021181014 A JP 2021181014A JP 7177239 B1 JP7177239 B1 JP 7177239B1
- Authority
- JP
- Japan
- Prior art keywords
- marker
- dimensional
- dimensional plane
- plane
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 title claims abstract description 154
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000003466 welding Methods 0.000 description 45
- 238000003384 imaging method Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000004904 shortening Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
- G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
Abstract
Description
[溶接ロボットシステムの基本構成]
図1は、本発明の一実施形態に係るロボット教示システムを含む溶接ロボットシステム100の構成を例示する図である。図1に示されるように、溶接ロボットシステム100は、例えば、撮影端末1と、ロボット制御装置2と、マニピュレータ3とを備える。撮影端末1とロボット制御装置2とは、例えばネットワークNを介して接続され、ロボット制御装置2とマニピュレータ3とは、例えば通信ケーブルCを介して接続される。ネットワークNは、有線(通信ケーブルを含む)であっても無線であってもよい。なお、溶接ロボットシステム100に、ティーチングペンダントを含めてもよい。ティーチングペンダントは、作業者がマニピュレータ3の動作を教示する操作装置である。
図2は、本発明の一実施形態に係るロボット教示システム200の機能的な構成を例示する図である。図2に示されるように、ロボット教示システム200は、機能的な構成として、例えば、撮影部211と、カメラ座標系設定部212と、プログラム生成部213とを有し、さらに、カメラ座標系を設定するための基準となるマーカを検出するためのマーカ検出装置220を含む。なお、マーカ検出装置220は、3次元平面検出部221と、2次元平面画像生成部222と、マーカ検出部223と、マーカ位置算出部224とを含む。
上述したように、マーカMの位置を原点Oとしてカメラ座標系が設定されることから、当該マーカMの位置を適切に検出することが重要となる。以下、マーカMの位置を検出するマーカ検出装置220の処理について詳しく説明する。
次に、本発明の一実施形態に係るマーカ検出装置220がマーカを検出する方法について、具体的に詳しく説明する。
Claims (5)
- 3Dカメラによって取得された点群データに基づいて、3次元空間における平面である3次元平面を検出する3次元平面検出部と、
前記検出された3次元平面を構成する点群データを、当該3次元平面を基準とする垂直方向に射影することにより2次元平面画像を生成する2次元平面画像生成部と、
前記生成された2次元平面画像からマーカを検出するマーカ検出部と、
前記検出された2次元平面画像に含まれるマーカについて、前記3次元平面における3次元座標を算出するマーカ位置算出部と、を備える、
マーカ検出装置。 - 前記マーカ検出部は、前記3次元平面検出部によって複数の3次元平面が検出された場合、1平面毎にマーカを検出する、
請求項1に記載のマーカ検出装置。 - 前記マーカ検出部は、前記複数の3次元平面のうち面積の大きい順にマーカを検出する、
請求項2に記載のマーカ検出装置。 - 前記マーカ検出部は、前記複数の3次元平面のうち視野中心順にマーカを検出する、
請求項2に記載のマーカ検出装置。 - ワークとマーカとを含む画像を撮影する3Dカメラを有する撮影部と、
前記3Dカメラによって取得された点群データに基づいて、3次元空間における平面である3次元平面を検出する3次元平面検出部と、
前記検出された3次元平面を構成する点群データを、当該3次元平面を基準とする垂直方向に射影することにより2次元平面画像を生成する2次元平面画像生成部と、
前記生成された2次元平面画像からマーカを検出するマーカ検出部と、
前記検出された2次元平面画像に含まれるマーカについて、前記3次元平面における3次元座標を算出するマーカ位置算出部と、
前記算出されたマーカの3次元座標に基づいてカメラ座標系を設定するカメラ座標系設定部と、
前記カメラ座標系におけるマニピュレータの動作経路をロボット制御装置に設定されているロボット座標系に変換しつつ、当該マニピュレータを動作させるための作業プログラムを生成するプログラム生成部と、を備える、
ロボット教示システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021181014A JP7177239B1 (ja) | 2021-11-05 | 2021-11-05 | マーカ検出装置及びロボット教示システム |
KR1020220107502A KR20230065879A (ko) | 2021-11-05 | 2022-08-26 | 마커 검출 장치 및 로봇 교시 시스템 |
EP22192377.4A EP4177838A1 (en) | 2021-11-05 | 2022-08-26 | Marker detection apparatus and robot teaching system |
US17/897,420 US20230143710A1 (en) | 2021-11-05 | 2022-08-29 | Marker Detection Apparatus and Robot Teaching System |
CN202211075940.8A CN116086311A (zh) | 2021-11-05 | 2022-09-02 | 标志检测装置以及机器人示教*** |
TW111133907A TWI806762B (zh) | 2021-11-05 | 2022-09-07 | 標誌檢測裝置以及機器人示教系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021181014A JP7177239B1 (ja) | 2021-11-05 | 2021-11-05 | マーカ検出装置及びロボット教示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7177239B1 true JP7177239B1 (ja) | 2022-11-22 |
JP2023069265A JP2023069265A (ja) | 2023-05-18 |
Family
ID=83081915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021181014A Active JP7177239B1 (ja) | 2021-11-05 | 2021-11-05 | マーカ検出装置及びロボット教示システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230143710A1 (ja) |
EP (1) | EP4177838A1 (ja) |
JP (1) | JP7177239B1 (ja) |
KR (1) | KR20230065879A (ja) |
CN (1) | CN116086311A (ja) |
TW (1) | TWI806762B (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013131171A (ja) | 2011-12-22 | 2013-07-04 | Univ Of Tokyo | モデル生成装置、モデル生成方法及びモデル生成プログラム |
JP2016176816A (ja) | 2015-03-20 | 2016-10-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042146B2 (en) * | 2017-11-17 | 2021-06-22 | Kodak Alaris Inc. | Automated 360-degree dense point object inspection |
JP7359633B2 (ja) * | 2019-10-17 | 2023-10-11 | ファナック株式会社 | ロボットシステム |
JP2021085751A (ja) * | 2019-11-27 | 2021-06-03 | 倉敷紡績株式会社 | 作業位置決定方法、ロボット制御方法、作業位置決定装置、およびロボット制御システム |
-
2021
- 2021-11-05 JP JP2021181014A patent/JP7177239B1/ja active Active
-
2022
- 2022-08-26 KR KR1020220107502A patent/KR20230065879A/ko unknown
- 2022-08-26 EP EP22192377.4A patent/EP4177838A1/en active Pending
- 2022-08-29 US US17/897,420 patent/US20230143710A1/en active Pending
- 2022-09-02 CN CN202211075940.8A patent/CN116086311A/zh active Pending
- 2022-09-07 TW TW111133907A patent/TWI806762B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013131171A (ja) | 2011-12-22 | 2013-07-04 | Univ Of Tokyo | モデル生成装置、モデル生成方法及びモデル生成プログラム |
JP2016176816A (ja) | 2015-03-20 | 2016-10-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN116086311A (zh) | 2023-05-09 |
JP2023069265A (ja) | 2023-05-18 |
TWI806762B (zh) | 2023-06-21 |
TW202319196A (zh) | 2023-05-16 |
EP4177838A1 (en) | 2023-05-10 |
US20230143710A1 (en) | 2023-05-11 |
KR20230065879A (ko) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111014995B (zh) | 非标非结构化作业环境的机器人焊接方法及*** | |
KR20200093464A (ko) | 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법 | |
CN111225143B (zh) | 图像处理装置及其控制方法以及程序存储介质 | |
TWI807990B (zh) | 機器人示教系統 | |
JP7176148B1 (ja) | 溶接線検出システム | |
JP7177239B1 (ja) | マーカ検出装置及びロボット教示システム | |
JP7183372B1 (ja) | マーカ検出装置及びロボット教示システム | |
JP7195476B1 (ja) | 作業プログラム作成システム及び作業プログラム作成方法 | |
JP7423851B1 (ja) | 端末装置 | |
US20240066701A1 (en) | Simulation device using three-dimensional position information obtained from output from vision sensor | |
TWI818717B (zh) | 作業程式作成系統以及作業程式作成方法 | |
JP7228070B1 (ja) | 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム | |
US20230096097A1 (en) | Welding Line Detection System | |
WO2023073959A1 (ja) | 作業支援装置及び作業支援方法 | |
JP2023069274A (ja) | 座標系変換システム及び座標系変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221017 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7177239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |