JP7228070B1 - 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム - Google Patents
点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム Download PDFInfo
- Publication number
- JP7228070B1 JP7228070B1 JP2022115172A JP2022115172A JP7228070B1 JP 7228070 B1 JP7228070 B1 JP 7228070B1 JP 2022115172 A JP2022115172 A JP 2022115172A JP 2022115172 A JP2022115172 A JP 2022115172A JP 7228070 B1 JP7228070 B1 JP 7228070B1
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- coordinate system
- cloud data
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims 1
- 239000003550 marker Substances 0.000 description 52
- 238000003466 welding Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Testing Of Coins (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
Claims (6)
- 作業対象を含む複数の画像を取得する画像取得部と、
前記画像を撮影するカメラを基準にしたカメラ座標系上の点群データを、前記画像ごとに取得する点群取得部と、
それぞれの前記画像に共通して含まれる視覚的な特徴点の前記カメラ座標系の位置をそれぞれ検出する検出部と、
前記検出部により前記画像ごとに検出された前記特徴点の前記カメラ座標系の位置を基準にするユーザ座標系を設定するユーザ座標系設定部と、
前記画像ごとに、前記カメラ座標系の点群データを前記ユーザ座標系の点群データに変換する座標変換部と、
前記座標変換部により前記画像ごとに変換された前記ユーザ座標系の点群データを合成する点群合成部と、
を備える点群データ合成装置。 - 前記検出部は、前記画像に基づいて前記特徴点を検出した場合に、当該検出した前記特徴点の位置を、前記画像上及び前記点群データ上の前記特徴点の位置に設定する、
請求項1記載の点群データ合成装置。 - 前記検出部は、前記画像に基づいて前記特徴点を検出できない場合に、前記画像上にある前記視覚的な特徴点を指定させることで前記視覚的な特徴点を検出し、当該検出した前記特徴点の位置を、前記画像上及び前記点群データ上の前記特徴点の位置に設定する、
請求項1記載の点群データ合成装置。 - コンピュータを、
作業対象を含む複数の画像を取得する画像取得部、
前記画像を撮影するカメラを基準にしたカメラ座標系上の点群データを、前記画像ごとに取得する点群取得部、
それぞれの前記画像に共通して含まれる視覚的な特徴点の前記カメラ座標系の位置をそれぞれ検出する検出部、
前記検出部により前記画像ごとに検出された前記特徴点の前記カメラ座標系の位置を基準にするユーザ座標系を設定するユーザ座標系設定部、
前記画像ごとに、前記カメラ座標系の点群データを前記ユーザ座標系の点群データに変換する座標変換部、
前記座標変換部により前記画像ごとに変換された前記ユーザ座標系の点群データを合成する点群合成部、
として機能させる点群データ合成プログラム。 - プロセッサにより実行される方法であって、
作業対象を含む複数の画像を取得するステップと、
前記画像を撮影するカメラを基準にしたカメラ座標系上の点群データを、前記画像ごとに取得するステップと、
それぞれの前記画像に共通して含まれる視覚的な特徴点の前記カメラ座標系の位置をそれぞれ検出するステップと、
前記画像ごとに検出された前記特徴点の前記カメラ座標系の位置を基準にするユーザ座標系を設定するステップと、
前記画像ごとに、前記カメラ座標系の点群データを前記ユーザ座標系の点群データに変換するステップと、
前記画像ごとに変換された前記ユーザ座標系の点群データを合成するステップと、
を含む点群データ合成方法。 - 作業対象を含む複数の画像を撮影するイメージセンサ及び前記作業対象までの距離を測定する距離計測センサを含む撮影装置と、
前記画像を前記イメージセンサから取得する画像取得部と、
前記撮影装置を基準にしたカメラ座標系上の点群データを、前記距離計測センサから前記画像ごとに取得する点群取得部と、
それぞれの前記画像に共通して含まれる視覚的な特徴点の前記カメラ座標系の位置をそれぞれ検出する検出部と、
前記検出部により前記画像ごとに検出された前記特徴点の前記カメラ座標系の位置を基準にするユーザ座標系を設定するユーザ座標系設定部と、
前記画像ごとに、前記カメラ座標系の点群データを前記ユーザ座標系の点群データに変換する座標変換部と、
前記座標変換部により前記画像ごとに変換された前記ユーザ座標系の点群データを合成する点群合成部と、
を備える点群データ合成システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022115172A JP7228070B1 (ja) | 2022-07-20 | 2022-07-20 | 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム |
KR1020220134139A KR102679017B1 (ko) | 2022-07-20 | 2022-10-18 | 점군 데이터 합성 장치, 점군 데이터 합성 프로그램을 기록한 비일시적인 컴퓨터 판독 가능 매체, 점군 데이터 합성 방법 및 점군 데이터 합성 시스템 |
CN202211283516.2A CN117475073A (zh) | 2022-07-20 | 2022-10-19 | 点群数据合成装置、方法、***以及计算机可读介质 |
TW111140125A TWI813480B (zh) | 2022-07-20 | 2022-10-21 | 點群數據合成裝置、方法、系統以及電腦可讀取記錄媒體 |
EP22208744.7A EP4310782A1 (en) | 2022-07-20 | 2022-11-22 | Point group data synthesis apparatus, point group data synthesis program, point group data synthesis method, and point group data synthesis system |
US18/084,283 US20240029189A1 (en) | 2022-07-20 | 2022-12-19 | Point Group Data Synthesis Apparatus, Non-Transitory Computer-Readable Medium Having Recorded Thereon Point Group Data Synthesis Program, Point Group Data Synthesis Method, and Point Group Data Synthesis System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022115172A JP7228070B1 (ja) | 2022-07-20 | 2022-07-20 | 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7228070B1 true JP7228070B1 (ja) | 2023-02-22 |
JP2024013243A JP2024013243A (ja) | 2024-02-01 |
Family
ID=84370153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022115172A Active JP7228070B1 (ja) | 2022-07-20 | 2022-07-20 | 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240029189A1 (ja) |
EP (1) | EP4310782A1 (ja) |
JP (1) | JP7228070B1 (ja) |
CN (1) | CN117475073A (ja) |
TW (1) | TWI813480B (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364905A1 (en) | 2015-06-15 | 2016-12-15 | Electronics And Telecommunications Research Institute | Apparatus and method for generating 3d model |
JP2017106749A (ja) | 2015-12-07 | 2017-06-15 | 株式会社Hielero | 点群データ取得システム及びその方法 |
JP2020075325A (ja) | 2018-11-08 | 2020-05-21 | 株式会社Ihi | ツールセンターポイントの設定方法及び設定装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6635649B2 (ja) | 2014-09-26 | 2020-01-29 | 国立大学法人千葉大学 | データ重ね合わせプログラム及びデータ重ね合わせ方法 |
-
2022
- 2022-07-20 JP JP2022115172A patent/JP7228070B1/ja active Active
- 2022-10-19 CN CN202211283516.2A patent/CN117475073A/zh active Pending
- 2022-10-21 TW TW111140125A patent/TWI813480B/zh active
- 2022-11-22 EP EP22208744.7A patent/EP4310782A1/en active Pending
- 2022-12-19 US US18/084,283 patent/US20240029189A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364905A1 (en) | 2015-06-15 | 2016-12-15 | Electronics And Telecommunications Research Institute | Apparatus and method for generating 3d model |
JP2017106749A (ja) | 2015-12-07 | 2017-06-15 | 株式会社Hielero | 点群データ取得システム及びその方法 |
JP2020075325A (ja) | 2018-11-08 | 2020-05-21 | 株式会社Ihi | ツールセンターポイントの設定方法及び設定装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4310782A1 (en) | 2024-01-24 |
JP2024013243A (ja) | 2024-02-01 |
US20240029189A1 (en) | 2024-01-25 |
TWI813480B (zh) | 2023-08-21 |
TW202404765A (zh) | 2024-02-01 |
KR20240012255A (ko) | 2024-01-29 |
CN117475073A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105269578B (zh) | 指示装置以及机器人*** | |
JP7250489B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2009175012A (ja) | 計測装置および計測方法 | |
JP7228070B1 (ja) | 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム | |
TWI807990B (zh) | 機器人示教系統 | |
US20230249341A1 (en) | Robot teaching method and robot working method | |
KR102679017B1 (ko) | 점군 데이터 합성 장치, 점군 데이터 합성 프로그램을 기록한 비일시적인 컴퓨터 판독 가능 매체, 점군 데이터 합성 방법 및 점군 데이터 합성 시스템 | |
TWI806762B (zh) | 標誌檢測裝置以及機器人示教系統 | |
JP2024025074A (ja) | マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法 | |
JP7340069B1 (ja) | マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ | |
TWI806761B (zh) | 標誌檢測裝置以及機器人示教系統 | |
JP7423851B1 (ja) | 端末装置 | |
EP4166267A1 (en) | Welding line detection system | |
JP2024025076A (ja) | マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法 | |
JP7433501B1 (ja) | 干渉判定装置 | |
JP2004243454A (ja) | ロボットの工具形状指定装置および工具干渉チェック装置 | |
JP2023069274A (ja) | 座標系変換システム及び座標系変換方法 | |
JP2023146927A (ja) | コンピュータプログラム、および、端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230123 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7228070 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |