JP6879891B2 - 平面セグメントを用いて点群を完成させる方法およびシステム - Google Patents
平面セグメントを用いて点群を完成させる方法およびシステム Download PDFInfo
- Publication number
- JP6879891B2 JP6879891B2 JP2017232350A JP2017232350A JP6879891B2 JP 6879891 B2 JP6879891 B2 JP 6879891B2 JP 2017232350 A JP2017232350 A JP 2017232350A JP 2017232350 A JP2017232350 A JP 2017232350A JP 6879891 B2 JP6879891 B2 JP 6879891B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- dimensional
- point
- plane
- signed distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 67
- 230000036544 posture Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
図1は、本開示の実施の形態による3D点群完成システム100を示すブロック図である。
図2Aは、本開示の実施の形態による、3D点群完成システム100の3Dセンサ116を用いて3D点群を取得する一例示の説明図である。この例では、3D点群完成システム100は、正面の壁210、左の壁211、右の壁212、床220、天井(図示せず)、テーブル230、照明器具240、および窓250を備える部屋の中の物体の点データをスキャンする。
図3は、本開示の一つの実施の形態による3D点群完成システム100を示すブロック図である。3Dセンサ116によって単一のフレームまたは複数のフレームの集合として取得された3D点群305が与えられる場合には、3D点群完成システム100は、ステップ310において、3D点群305から平面セグメント315を抽出すること、ステップ320において、平面セグメント間の接続関係325および欠落点を特定すること、ステップ330において、平面セグメント315および接続関係325を用いて欠落点を充填すること、によって3D点群を完成させ、完成された3D点群335を生成する。
完成された3D点群は、あらゆる3Dモデル化および3D視覚化の用途に、より良好なビジュアルの表示品質を提供することができる。完成された3D点群は、3Dモデルベースのシミュレーションについても、特に、3Dモデルからのシミュレーション対象エンティティのリークが重大な問題であるときに有用となる場合がある。例として、空気流および熱伝導のシミュレーション、WiFiおよびセルラーネットワークの無線伝播のシミュレーション、および可視光伝播のシミュレーションが含まれる。そのようなシミュレーションは、ビルディング情報モデル化(BIM)において一般に興味がもたれている。
Claims (17)
- 3次元点群内の欠落点を完成させるシステムであって、
シーン内の物体の点データを測定する3次元センサと、
前記3次元センサと、プログラムおよび前記点データを記憶するメモリとに接続されたプロセッサであって、該プロセッサは、前記プログラムの命令ステップを実行し、前記命令ステップは、
前記物体の前記点データを取得して、前記3次元点群を生成するステップであって、前記点データは、前記物体の上の点の集合を含む、ステップと、
前記3次元点群から平面セグメントを抽出するステップと、
前記平面セグメント間の接続関係および欠落点を特定するステップと、
前記平面セグメントおよび前記接続関係を用いて前記3次元点群内の前記欠落点を充填して、完成された3次元点群を生成するステップと、
を含む、プロセッサと、
前記プロセッサおよび前記3次元センサに接続された、前記完成された3次元点群を表示するディスプレイモニターと、
を備え、
前記特定するステップおよび前記充填するステップは、符号付き距離場を用い、該符号付き距離場は、前記シーン内の各ボクセルの符号付き距離値を含む、システム。 - 前記特定するステップおよび前記充填するステップは、少なくとも1つの欠落点が前記充填するステップにおいて充填される場合に繰り返される、請求項1に記載のシステム。
- 前記3次元点群は、前記3次元センサを固定した姿勢に配置することによって取得される前記点データの単一のフレームから生成される、請求項1に記載のシステム。
- 前記3次元点群は、前記3次元センサを種々の姿勢に移動させることによって取得される前記点データの複数のフレームから、該複数のフレームを共通座標系に位置合わせすることによって生成される、請求項1に記載のシステム。
- 前記平面セグメントは、前記点データの前記複数のフレームのそれぞれから抽出され、前記共通座標系に位置合わせされる、請求項4に記載のシステム。
- 前記各ボクセルは、前記符号付き距離値が所定の範囲内にある場合には、占有ボクセルとして分類され、前記各ボクセルは、前記符号付き距離値が正の側における前記所定の範囲の正の限界を越えている場合には、空き空間ボクセルとして分類され、前記各ボクセルは、前記符号付き距離値が負の側における前記所定の範囲の負の限界を越えている場合には、未知ボクセルとして分類される、請求項1に記載のシステム。
- 2つの前記平面セグメント間のボクセルの大部分が前記占有ボクセルまたは前記未知ボクセルのいずれかである場合に、2つの前記平面セグメントは、接続されているとして特定される、請求項6に記載のシステム。
- 接続されているとして特定された前記2つの平面セグメント間の前記未知ボクセルは、占有ボクセルを用いて充填され、占有ボクセルとして更新される、請求項7に記載のシステム。
- 前記符号付き距離場は、近似された符号付き距離値を用いて前記点データから生成され、前記近似された符号付き距離値は、前記3次元センサの各光線方向に沿って求められる、請求項1に記載のシステム。
- 前記符号付き距離場は、3次元空間において定義される、請求項1に記載のシステム。
- 前記符号付き距離場は、前記平面セグメントのそれぞれにおいて定義される、請求項1に記載のシステム。
- 3次元点群内の欠落点を完成させる方法であって、プロセッサがメモリおよび3次元センサと通信し、該方法は、
前記3次元センサを用いてシーン内の物体の点データを測定するステップと、
前記物体の前記点データを取得して、前記3次元点群を生成するステップであって、前記点データは、前記物体の上の点の集合を含む、ステップと、
前記3次元点群から平面セグメントを抽出するステップと、
前記平面セグメント間の接続関係および欠落点を特定するステップと、
前記平面セグメントおよび前記接続関係を用いて前記3次元点群内の前記欠落点を充填して、完成された3次元点群を生成するステップと、
を含み、
前記特定するステップおよび前記充填するステップは、符号付き距離場を用い、該符号付き距離場は、前記シーン内の各ボクセルの符号付き距離値を含む、方法。 - 前記特定するステップおよび前記充填するステップは、少なくとも1つの欠落点が前記充填するステップにおいて充填される場合に繰り返される、請求項12に記載の方法。
- 前記3次元点群は、前記3次元センサを固定した姿勢に配置することによって取得される前記点データの単一のフレームから生成される、請求項12に記載の方法。
- 前記3次元点群は、前記3次元センサを種々の姿勢に移動させることによって取得される前記点データの複数のフレームから、該複数のフレームを共通座標系に位置合わせすることによって生成される、請求項12に記載の方法。
- 方法を実行するコンピューターによって実行可能なプログラムが具現化された非一時的コンピューター可読記憶媒体であって、前記方法は、3次元点群内の欠落点を完成させるものであり、プロセッサがメモリおよび3次元センサと通信し、前記方法は、
前記3次元センサを用いてシーン内の物体の点データを測定するステップと、
前記物体の前記点データを取得して、前記3次元点群を生成するステップであって、前記点データは、前記物体の上の点の集合を含む、生成するステップと、
前記3次元点群から平面セグメントを抽出するステップと、
前記平面セグメント間の接続関係および欠落点を特定するステップと、
前記平面セグメントおよび前記接続関係を用いて前記3次元点群内の前記欠落点を充填して、完成された3次元点群を生成するステップと、
を含み、
前記特定するステップおよび前記充填するステップは、符号付き距離場を用い、該符号
付き距離場は、前記シーン内の各ボクセルの符号付き距離値を含む、非一時的コンピューター可読記憶媒体。 - 前記特定するステップおよび前記充填するステップは、少なくとも1つの欠落点が前記充填するステップにおいて充填される場合に繰り返される、請求項16に記載の記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/420,245 | 2017-01-31 | ||
US15/420,245 US10176589B2 (en) | 2017-01-31 | 2017-01-31 | Method and system for completing point clouds using planar segments |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018124985A JP2018124985A (ja) | 2018-08-09 |
JP2018124985A5 JP2018124985A5 (ja) | 2020-10-22 |
JP6879891B2 true JP6879891B2 (ja) | 2021-06-02 |
Family
ID=62980041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017232350A Active JP6879891B2 (ja) | 2017-01-31 | 2017-12-04 | 平面セグメントを用いて点群を完成させる方法およびシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10176589B2 (ja) |
JP (1) | JP6879891B2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10066946B2 (en) | 2016-08-26 | 2018-09-04 | Here Global B.V. | Automatic localization geometry detection |
LU100465B1 (en) | 2017-10-05 | 2019-04-09 | Applications Mobiles Overview Inc | System and method for object recognition |
EP3467782A1 (en) * | 2017-10-06 | 2019-04-10 | Thomson Licensing | Method and device for generating points of a 3d scene |
US11093759B2 (en) * | 2018-03-06 | 2021-08-17 | Here Global B.V. | Automatic identification of roadside objects for localization |
US11094108B2 (en) * | 2018-09-27 | 2021-08-17 | Snap Inc. | Three dimensional scene inpainting using stereo extraction |
EP3846134A4 (en) | 2018-10-05 | 2021-11-03 | Samsung Electronics Co., Ltd. | METHOD AND DEVICE FOR CODING THREE-DIMENSIONAL IMAGES AND METHOD AND DEVICE FOR DECODING THREE-DIMENSIONAL IMAGES |
US11029146B2 (en) | 2018-10-18 | 2021-06-08 | Cyberoptics Corporation | Three-dimensional sensor with counterposed channels |
CN109859114B (zh) * | 2018-12-27 | 2020-10-16 | 北京大学 | 基于局域平滑性和非局域相似性的三维点云修复方法 |
SG11202111295UA (en) * | 2019-04-12 | 2021-11-29 | Beijing Chengshi Wanglin Information Technology Co Ltd | Three-dimensional object modeling method, image processing method, and image processing device |
CN110084840B (zh) * | 2019-04-24 | 2022-05-13 | 阿波罗智能技术(北京)有限公司 | 点云配准方法、装置、服务器和计算机可读介质 |
CN110443836B (zh) * | 2019-06-24 | 2022-03-18 | 中国人民解放军战略支援部队信息工程大学 | 一种基于平面特征的点云数据自动配准方法及装置 |
US10818071B1 (en) * | 2019-07-26 | 2020-10-27 | Google Llc | Image-based geometric fusion of multiple depth images using ray casting |
KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
CN110569926B (zh) * | 2019-09-19 | 2021-06-08 | 北京工商大学 | 一种基于局部边缘特征增强的点云分类方法 |
CN111462197B (zh) * | 2020-03-06 | 2023-05-26 | 深圳大学 | 外观模型获取方法、装置、计算机设备和存储介质 |
US11321953B2 (en) | 2020-03-25 | 2022-05-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and apparatus for posture, dimension and shape measurements of objects in 3D scenes |
WO2021195854A1 (en) * | 2020-03-30 | 2021-10-07 | Shanghaitech University | Multi-view neural human rendering |
CN113866791A (zh) * | 2020-06-30 | 2021-12-31 | 商汤集团有限公司 | 雷达装置采集的数据的处理方法及处理装置 |
CN112634366B (zh) * | 2020-12-23 | 2023-10-17 | 北京百度网讯科技有限公司 | 位置信息的生成方法、相关装置及计算机程序产品 |
CN112287907B (zh) * | 2020-12-24 | 2021-03-19 | 湖南联智科技股份有限公司 | 一种基于点云密度梯度的孔洞识别方法 |
WO2022141220A1 (zh) * | 2020-12-30 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 点云处理方法和装置、测距装置及可移动平台 |
CN113052955B (zh) * | 2021-03-19 | 2023-06-30 | 西安电子科技大学 | 一种点云补全方法、***及应用 |
US11741621B2 (en) * | 2021-05-10 | 2023-08-29 | Qingdao Pico Technology Co., Ltd. | Method and system for detecting plane information |
CN113298952B (zh) * | 2021-06-11 | 2022-07-15 | 哈尔滨工程大学 | 一种基于数据扩容与相似性度量的残缺点云分类方法 |
CN114266780A (zh) * | 2022-02-28 | 2022-04-01 | 深圳市其域创新科技有限公司 | 一种建筑物单体化实例分割方法及装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7860301B2 (en) * | 2005-02-11 | 2010-12-28 | Macdonald Dettwiler And Associates Inc. | 3D imaging system |
JP4715903B2 (ja) * | 2008-10-29 | 2011-07-06 | 株式会社明電舎 | 物体の三次元形状モデル作製装置 |
US8718393B2 (en) * | 2010-07-28 | 2014-05-06 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method for reconstruction of urban scenes |
US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
US8731247B2 (en) | 2012-01-20 | 2014-05-20 | Geodigital International Inc. | Densifying and colorizing point cloud representation of physical surface using image data |
US9183631B2 (en) | 2012-06-29 | 2015-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering points and planes of 3D data in multiple coordinate systems |
US9811880B2 (en) | 2012-11-09 | 2017-11-07 | The Boeing Company | Backfilling points in a point cloud |
CN105264566B (zh) * | 2013-05-31 | 2018-06-12 | 松下知识产权经营株式会社 | 建模装置、三维模型生成装置、建模方法和布局模拟器 |
US9412040B2 (en) | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
US9609307B1 (en) * | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
US10026230B2 (en) * | 2016-03-30 | 2018-07-17 | Daqri, Llc | Augmented point cloud for a visualization system and method |
US9972067B2 (en) * | 2016-10-11 | 2018-05-15 | The Boeing Company | System and method for upsampling of sparse point cloud for 3D registration |
-
2017
- 2017-01-31 US US15/420,245 patent/US10176589B2/en active Active
- 2017-12-04 JP JP2017232350A patent/JP6879891B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018124985A (ja) | 2018-08-09 |
US20180218510A1 (en) | 2018-08-02 |
US10176589B2 (en) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6879891B2 (ja) | 平面セグメントを用いて点群を完成させる方法およびシステム | |
US11954870B2 (en) | Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium | |
US11270460B2 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
US10896497B2 (en) | Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method | |
US10984554B2 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
JP6843237B2 (ja) | シーンのポイントクラウドを表現するシステム及び方法 | |
CN109564690B (zh) | 使用多向相机评估封闭空间的尺寸 | |
US9886774B2 (en) | Photogrammetric methods and devices related thereto | |
US10832079B2 (en) | Determining an architectural layout | |
CN108789421B (zh) | 基于云平台的云机器人交互方法和云机器人及云平台 | |
US11816799B2 (en) | Generating virtual representations | |
US11989827B2 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
Kim et al. | Interactive acquisition of residential floor plans | |
JP2023516656A (ja) | 複数の特徴タイプに基づく効率的位置特定 | |
CN109064533A (zh) | 一种3d漫游方法及*** | |
CN115187736A (zh) | 目标地图生成方法以及装置、ar地图生成方法以及装置 | |
CN113643343A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
Shade | Choosing where to go: mobile robot exploration | |
US20240096019A1 (en) | Key frame selection using a voxel grid | |
CA3221270A1 (en) | Methods, storage media, and systems for augmenting data or models | |
WO2024011063A1 (en) | Methods, storage media, and systems for combining disparate 3d models of a common building object | |
CN114723799A (zh) | 检测方法、装置、移动机器人及存储介质 | |
KR20240045736A (ko) | 3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200910 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210127 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6879891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |