JP7344289B2 - 点群データ処理装置、点群データ処理方法及びプログラム - Google Patents
点群データ処理装置、点群データ処理方法及びプログラム Download PDFInfo
- Publication number
- JP7344289B2 JP7344289B2 JP2021525955A JP2021525955A JP7344289B2 JP 7344289 B2 JP7344289 B2 JP 7344289B2 JP 2021525955 A JP2021525955 A JP 2021525955A JP 2021525955 A JP2021525955 A JP 2021525955A JP 7344289 B2 JP7344289 B2 JP 7344289B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- cloud data
- attribute information
- image data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図4は、第1の実施形態の点群データ処理装置11の機能構成例を示すブロック図である。点群データ処理装置11は、例えばコンピュータにより構成される。点群データ処理装置11は、三次元計測器1に搭載されてもよいし、三次元計測器1とは別体のコンピュータにより構成されてもよい。
次に、第2の実施形態に関して説明する。本実施形態においては、点群データに欠損部分がある場合には、その欠損部分が補間される。そして、補完された点群データに基づいて三次元モデルが生成される。
次に、第3の実施形態に関して説明する。上述した第1の実施形態及び第2の実施形態では、撮影画像5(又は撮影画像41)を画像データとして用いる態様に関して説明したが、本実施形態では撮影画像以外の画像データを取得する。
次に、第4の実施形態に関して説明する。本実施形態では、物体の部分領域ごとに点群データをグルーピングする。
[付記項1]
プロセッサを備えた点群データ処理装置であって、
前記プロセッサは、
物体の画像データを取得し、
前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得し、
前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得し、
前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与する
点群データ処理装置。
5 :撮影画像
7 :点群データ
9 :モニタ
11 :点群データ処理装置
13 :画像データ取得部
15 :点群データ取得部
17 :制御部
19 :表示制御部
21 :記憶部
23 :認識部
25 :属性付与部
27 :点群データ補完部
29 :三次元モデル生成部
35 :画像データ生成部
Claims (11)
- 物体の画像データを取得する画像データ取得部と、
前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得する点群データ取得部と、
前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得する認識部と、
前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与する属性付与部と、
少なくとも前記認識部により認識された前記物体の領域及び前記属性情報に基づいて、前記物体の領域に属する前記点群データの欠損部分を検出し、検出された前記欠損部分の前記点群データを補間する点群データ補完部と、
を備え、
前記属性付与部は、補完された前記点群データに対しても前記属性情報を付与する、点群データ処理装置。 - 前記認識部は、前記画像データに複数の前記物体の前記画像データが含まれる場合に、前記各物体の領域と前記各物体を特定する前記属性情報とを前記物体毎に取得し、
前記属性付与部は、前記点群データのうち前記各物体の領域に属する前記点群データを前記各物体毎に選択し、前記物体毎に選択された前記点群データに対して前記各物体の前記属性情報を付与する請求項1に記載の点群データ処理装置。 - 前記認識部は、前記画像データに複数の部分領域を有する前記物体の前記画像データが含まれる場合に、前記各部分領域の領域を認識し、前記各部分領域の領域と前記各部分領域を特定する前記属性情報とを取得し、
前記属性付与部は、前記点群データのうち前記各部分領域の前記領域に属する前記点群データを前記各部分領域毎に選択し、前記各部分領域毎に選択された前記点群データに対して前記各部分領域の前記属性情報を付与する請求項1又は2に記載の点群データ処理装置。 - 前記画像データ取得部は、前記物体を撮影して得られた撮影画像を前記画像データとして取得する請求項1から3のいずれか1項に記載の点群データ処理装置。
- 前記点群データに基づいて、前記画像データを生成する画像データ生成部を備え、
前記画像データ取得部は、前記画像データ生成部により生成された前記画像データを取得する請求項1から3のいずれか1項に記載の点群データ処理装置。 - 前記認識部は、機械学習又は深層学習が行われた認識器で構成される請求項1から5のいずれか1項に記載の点群データ処理装置。
- 前記属性情報が付与された前記点群データに基づいて、前記物体の三次元モデルを生成する三次元モデル生成部を備える請求項1から6のいずれか1項に記載の点群データ処理装置。
- 前記画像データ及び前記点群データの各々は、同一の光軸を有する装置により取得された請求項1から7のいずれか1項に記載の点群データ処理装置。
- 前記画像データ及び前記点群データの各々は、相互の位置関係が既知の装置により取得された請求項1から8のいずれか1項に記載の点群データ処理装置。
- 物体の画像データを取得するステップと、
前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得するステップと、
前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得するステップと、
前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与するステップと、
少なくとも前記認識された前記物体の領域及び前記属性情報に基づいて、前記物体の領域に属する前記点群データの欠損部分を検出し、検出された前記欠損部分の前記点群データを補間するステップと、
を含み、
前記属性情報を付与するステップは、補完された前記点群データに対しても前記属性情報を付与する、点群データ処理方法。 - 物体の画像データを取得するステップと、
前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得するステップと、
前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得するステップと、
前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与するステップと、
少なくとも前記認識された前記物体の領域及び前記属性情報に基づいて、前記物体の領域に属する前記点群データの欠損部分を検出し、検出された前記欠損部分の前記点群データを補間するステップと、
を含み、
前記属性情報を付与するステップは、補完された前記点群データに対しても前記属性情報を付与する、点群データ処理工程をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111185 | 2019-06-14 | ||
JP2019111185 | 2019-06-14 | ||
PCT/JP2020/019286 WO2020250620A1 (ja) | 2019-06-14 | 2020-05-14 | 点群データ処理装置、点群データ処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020250620A1 JPWO2020250620A1 (ja) | 2020-12-17 |
JP7344289B2 true JP7344289B2 (ja) | 2023-09-13 |
Family
ID=73780952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021525955A Active JP7344289B2 (ja) | 2019-06-14 | 2020-05-14 | 点群データ処理装置、点群データ処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220027654A1 (ja) |
EP (1) | EP3985615A4 (ja) |
JP (1) | JP7344289B2 (ja) |
CN (1) | CN113785331A (ja) |
WO (1) | WO2020250620A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6708917B1 (ja) * | 2020-02-05 | 2020-06-10 | リンクウィズ株式会社 | 形状検出方法、形状検出システム、プログラム |
WO2023106117A1 (ja) * | 2021-12-09 | 2023-06-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US11593921B1 (en) * | 2022-03-22 | 2023-02-28 | Illuscio, Inc. | Systems and methods for supplementing image capture with artificial data points that are generated based on material properties and associated rules |
CN115601272B (zh) * | 2022-12-16 | 2023-04-11 | 海纳云物联科技有限公司 | 点云数据处理方法、装置及设备 |
CN117315407B (zh) * | 2023-11-29 | 2024-02-27 | 苏州元脑智能科技有限公司 | 对象的识别的方法和装置、存储介质及电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348575A (ja) | 2003-05-23 | 2004-12-09 | Foundation For The Promotion Of Industrial Science | 3次元モデル構築システム及び3次元モデル構築プログラム |
JP2009053059A (ja) | 2007-08-27 | 2009-03-12 | Mitsubishi Electric Corp | 対象特定装置、対象特定方法および対象特定プログラム |
WO2018066352A1 (ja) | 2016-10-06 | 2018-04-12 | 株式会社アドバンスド・データ・コントロールズ | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 |
JP2018124973A (ja) | 2017-01-27 | 2018-08-09 | 株式会社デンソーアイティーラボラトリ | 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7477360B2 (en) * | 2005-02-11 | 2009-01-13 | Deltasphere, Inc. | Method and apparatus for displaying a 2D image data set combined with a 3D rangefinder data set |
US8179393B2 (en) * | 2009-02-13 | 2012-05-15 | Harris Corporation | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment |
JP5327339B2 (ja) * | 2010-02-02 | 2013-10-30 | コニカミノルタ株式会社 | 画像処理システム、画像処理方法、およびプログラム |
JP5673489B2 (ja) | 2011-10-31 | 2015-02-18 | トヨタ自動車株式会社 | 点群データの処理装置、処理方法、処理プログラム及び記録媒体 |
JP6529302B2 (ja) * | 2015-03-24 | 2019-06-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
FI127606B (fi) * | 2015-04-01 | 2018-10-15 | Konecranes Oyj | Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi |
JP6822929B2 (ja) * | 2017-09-19 | 2021-01-27 | 株式会社東芝 | 情報処理装置、画像認識方法および画像認識プログラム |
WO2019067641A1 (en) * | 2017-09-26 | 2019-04-04 | Aquifi, Inc. | SYSTEMS AND METHODS FOR VISUAL INSPECTION BASED ON INCREASED REALITY |
CN108765535A (zh) * | 2018-05-30 | 2018-11-06 | 链家网(北京)科技有限公司 | 一种三维点云缺失数据区域的标记方法及装置 |
US11430145B2 (en) * | 2018-06-17 | 2022-08-30 | Foresight Ai Inc. | Identification of local motions in point cloud data |
JP7173762B2 (ja) * | 2018-06-19 | 2022-11-16 | 株式会社トプコン | 反射***置算出装置、反射***置算出方法および反射***置算出用プログラム |
CN110163904B (zh) * | 2018-09-11 | 2022-04-22 | 腾讯大地通途(北京)科技有限公司 | 对象标注方法、移动控制方法、装置、设备及存储介质 |
GB2583687B (en) * | 2018-09-12 | 2022-07-20 | Sony Interactive Entertainment Inc | Method and system for generating a 3D reconstruction of a human |
-
2020
- 2020-05-14 EP EP20821721.6A patent/EP3985615A4/en active Pending
- 2020-05-14 CN CN202080033302.2A patent/CN113785331A/zh active Pending
- 2020-05-14 JP JP2021525955A patent/JP7344289B2/ja active Active
- 2020-05-14 WO PCT/JP2020/019286 patent/WO2020250620A1/ja active Application Filing
-
2021
- 2021-10-07 US US17/496,078 patent/US20220027654A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348575A (ja) | 2003-05-23 | 2004-12-09 | Foundation For The Promotion Of Industrial Science | 3次元モデル構築システム及び3次元モデル構築プログラム |
JP2009053059A (ja) | 2007-08-27 | 2009-03-12 | Mitsubishi Electric Corp | 対象特定装置、対象特定方法および対象特定プログラム |
WO2018066352A1 (ja) | 2016-10-06 | 2018-04-12 | 株式会社アドバンスド・データ・コントロールズ | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 |
JP2018124973A (ja) | 2017-01-27 | 2018-08-09 | 株式会社デンソーアイティーラボラトリ | 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020250620A1 (ja) | 2020-12-17 |
US20220027654A1 (en) | 2022-01-27 |
CN113785331A (zh) | 2021-12-10 |
WO2020250620A1 (ja) | 2020-12-17 |
EP3985615A4 (en) | 2022-08-10 |
EP3985615A1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7344289B2 (ja) | 点群データ処理装置、点群データ処理方法及びプログラム | |
JP7265639B2 (ja) | 優先点を識別して保持する点群の併合方法 | |
JP6261489B2 (ja) | 3次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体 | |
US20200349761A1 (en) | Methods and systems for processing and colorizing point clouds and meshes | |
WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
JPWO2012141235A1 (ja) | 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム | |
JP2004334819A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
JP2016502704A (ja) | 奥行きアーチファクトを除去するための画像処理方法および装置 | |
WO2019167453A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6185385B2 (ja) | 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム | |
US7280685B2 (en) | Object segmentation from images acquired by handheld cameras | |
KR102665603B1 (ko) | 스테레오 매칭을 위한 하드웨어 디스패러티 평가 | |
JP7392101B2 (ja) | 点群データ処理装置、点群データ処理方法及びプログラム | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
JP6867766B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JP3823559B2 (ja) | 三次元距離データを変換する方法 | |
JP6599031B2 (ja) | 監視装置 | |
US20230011921A1 (en) | Point cloud data processing apparatus, point cloud data processing method, and program | |
KR101765257B1 (ko) | 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치 | |
JP2001148020A (ja) | 対応点探索における信頼性の判定方法および装置 | |
JP2022189368A (ja) | 物品記録装置及び物品記録方法 | |
CN118266003A (zh) | 三维模型生成方法以及三维模型生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230127 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344289 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |