CN116385505A - 数据处理方法、装置、***和存储介质 - Google Patents

数据处理方法、装置、***和存储介质 Download PDF

Info

Publication number
CN116385505A
CN116385505A CN202310315423.1A CN202310315423A CN116385505A CN 116385505 A CN116385505 A CN 116385505A CN 202310315423 A CN202310315423 A CN 202310315423A CN 116385505 A CN116385505 A CN 116385505A
Authority
CN
China
Prior art keywords
processed
point
cloud data
point cloud
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310315423.1A
Other languages
English (en)
Inventor
王彬
于景铭
冯晓端
潘攀
金榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202310315423.1A priority Critical patent/CN116385505A/zh
Publication of CN116385505A publication Critical patent/CN116385505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种数据处理方法、装置、***和存储介质。该方法包括：确定第一点云数据中的特征点以及第二点云数据中的特征点，第一点云数据和第二点云数据用于表征同一物体对象的不同部分；对第一点云数据和第二点云数据进行特征匹配，以确定第一点云数据和第二点云数据之间的符合特征匹配条件的特征点，构成多个特征点对；对于多个特征点对中的一个或多个特征点对，确定特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵；通过变换矩阵，对多个特征点对中的一个或多个特征点对进行坐标变换，以将第一点云数据与第二点云数据配准。根据本发明实施例提供的数据处理方法，可以提高物体表面特征配准的准确性和稳定性。

Description

数据处理方法、装置、***和存储介质
技术领域
本发明涉及计算机领域，尤其涉及一种数据处理方法、装置、***和存储介质。
背景技术
无论是在虚拟现实(Virtual Reality，VR)领域还是增强现实(AugmentedReality，AR)领域，通过采集的三维(Three Dimensional，3D)单视角点云进行配准后形成完整三维模型都是3D展示的关键一步，物体外表面的点数据的集合称之为点云。由于3D单视角点云只能反馈这个视角下的三维物体信息，如果想要获得完整即全视角物体的三维信息，需要将多个3D单视角点云进行配准，称为点云配准。
通过物体表面特征进行配准往往受限于特征匹配的准确性，并且受噪声影响严重，稳定性差。
发明内容
本发明实施例提供一种数据处理方法、装置、***和存储介质，可以提高物体表面特征配准的准确性和稳定性。
根据本发明实施例的一方面，提供一种数据处理方法，包括：
确定第一点云数据中的特征点以及第二点云数据中的特征点，第一点云数据和第二点云数据用于表征同一物体对象的不同部分；
对第一点云数据和第二点云数据进行特征匹配，以确定第一点云数据和第二点云数据之间的符合特征匹配条件的特征点，构成多个特征点对；
对于多个特征点对中的一个或多个特征点对，确定特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵；
通过变换矩阵，对多个特征点对中的一个或多个特征点对进行坐标变换，以将第一点云数据与第二点云数据配准。
根据本发明实施例的另一方面，提供一种数据处理装置，包括：
特征点获取模块，用于确定第一点云数据中的特征点以及第二点云数据中的特征点，第一点云数据和第二点云数据用于表征同一物体对象的不同部分；
特征匹配模块，用于对第一点云数据和第二点云数据进行特征匹配，以确定第一点云数据和第二点云数据之间的符合特征匹配条件的特征点，构成多个特征点对；
特征点对筛选模块，用于对于多个特征点对中的一个或多个特征点对，确定特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵；
数据配准模块，用于通过变换矩阵，对多个特征点对中的一个或多个特征点对进行坐标变换，以将第一点云数据与第二点云数据配准。
根据本发明实施例的再一方面，提供一种数据处理***，包括：存储器和处理器；该存储器用于存储程序；该处理器用于读取存储器中存储的可执行程序代码以执行上述的数据处理方法。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述各方面的数据处理方法。
根据本发明实施例中的数据处理方法、装置、***和存储介质，可以提高物体表面特征配准的准确性和稳定性。
根据本发明实施例的另一方面，提供一种数据处理方法，包括：
按照多个拍摄视角，对真实场景中物体对象进行三维扫描，得到所述物体对象的多个点数据；
基于所述多个点数据，构建所述物体对象在多个拍摄视角下的多个点云数据，所述多个点云数据包括至少两个坐标系的点云数据；
对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型。
在一种或多种可能的实施例中，所述对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型，包括：
按照统一坐标系，对所述至少两个坐标系的点云数据进行坐标转换，得到所述物体对象的三维点云数据模型。
在另一种或多种可能的实施例中，所述统一坐标系与变换矩阵对应，所述变换矩阵包括旋转分量和平移分量；所述按照统一坐标系，对所述至少两个坐标系的点云数据进行坐标转换，得到所述物体对象的三维点云数据模型，包括：
根据所述旋转分量和平移分量，对所述至少两个坐标系的点云数据进行坐标转换，得到所述物体对象的三维点云数据模型；
其中，所述旋转分量用于表征所述至少两个坐标系的点云数据中每两个坐标系的点云数据之间的旋转关系；所述平移分量用于表征所述至少两个坐标系的点云数据中每两个坐标系的点云数据之间的平移关系。
在又一种或多种可能的实施例中，所述至少两个坐标系的点云数据中的每个坐标系的点云数据对应一个多边形面片模型，所述多边形面片模型包括多个多边形面片，所述多边形面片包括点数据，所述统一坐标系与变换矩阵对应；
所述对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型，包括：
分别将所述每个坐标系的点云数据对应的多边形面片模型作为待处理面片；
通过所述变换矩阵，对每个多边形面片模型的多个待处理面片中的每个待处理面片的点数据进行坐标转换，得到所述物体对象的三维点云数据模型。
在再一种或多种可能的实施例中，其中，所述至少两个坐标系的点云数据中的每个坐标系的点云数据对应一个多边形面片模型；
所述对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型，包括：
分别将所述每个坐标系的点云数据对应的多边形面片模型作为待处理面片，得到所述物体对象的多个待处理面片，所述多个待处理面片包括第一待处理面片和第二待处理面片；
确定所述第一待处理面片中的特征点，以及确定所述第二待处理面片中的特征点；
分别对所述第一待处理面片中的特征点的表面特征，以及所述第二待处理面片中的特征点的表面特征，进行特征匹配，得到所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对；
从所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，去除所述第一待处理面片和所述第二待处理面片间的错误特征点对，得到所述第一待处理面片和所述第二待处理面片的特征点匹配结果；
根据所述第一待处理面片和所述第二待处理面片的特征点匹配结果，生成所述物体对象的三维点云数据模型。
在再一种或多种可能的实施例中，所述确定所述第一待处理面片中的特征点，以及确定所述第二待处理面片中的特征点，包括：
对所述第一待处理面片进行物体对象的表面特征提取，以及对所述第二待处理面片进行该物体对象的表面特征提取；
通过提取到的所述第一待处理面片的表面特征，确定所述第一待处理面片中的特征点，以及通过提取到的所述第二待处理面片的表面特征，确定所述第二待处理面片中的特征点。
在再一种或多种可能的实施例中，所述表面特征包括几何结构特征，所述几何结构特征至少包括所述物体对象表面采样点的法向矢量或曲率；
所述通过提取到的所述第一待处理面片的表面特征，确定所述第一待处理面片中的特征点，包括：
利用所述第一待处理面片中采样点的法向矢量，提取所述第一待处理面片中的特征点；或者，
利用所述第一待处理面片中采样点的曲率，提取所述第一待处理面片中的特征点。
在再一种或多种可能的实施例中，所述利用所述第一待处理面片中采样点的法向矢量，提取所述第一待处理面片中的特征点，包括：
获取所述第一待处理面片中的采样点；
计算所述第一待处理面片中的采样点的法向量；
计算所述第一待处理面片中采样点的法向量的梯度，所述法向量的梯度用于表示采样点的法向量变化方向，所述法向量的梯度值用于衡量采样点的法向量的变化的快慢；
当所述采样点的法向量的梯度取得极值时，确定所述第一待处理面片在所述采样点法向矢量发生突变；
当所述第一待处理面片在所述采样点法向矢量发生突变时，将所述采样点作为所述第一待处理面片中的特征点。
在再一种或多种可能的实施例中，所述利用所述第一待处理面片中采样点的曲率，提取所述第一待处理面片中的特征点，包括：
获取所述第一待处理面片中的采样点；
计算所述第一待处理面片中的采样点的曲率值；
计算所述第一待处理面片中采样点的曲率的梯度，所述曲率的梯度用于表示所述采样点的曲率的变化方向，所述曲率的梯度值用于衡量所述采样点的曲率变化的快慢；
当所述采样点的曲率的梯度取得极值时，确定所述第一待处理面片在所述采样点的曲率发生突变；
当所述确定所述第一待处理面片在所述采样点的曲率发生突变时，将所述采样点作为所述第一待处理面片中的特征点。
在再一种或多种可能的实施例中，所述表面特征包括纹理特征，所述纹理特征至少包括所述物体对象表面采样点的亮度或灰度；
所述通过提取到的所述第一待处理面片的表面特征，确定所述第一待处理面片中的特征点，包括：
通过所述第一待处理面片中采样点的亮度变化程度，提取所述第一待处理面片中的特征点；或者，
通过提取所述第一待处理面片的纹理特征，确定所述第一待处理面片中的特征点。
在再一种或多种可能的实施例中，所述通过所述第一待处理面片中采样点的亮度变化程度，提取所述第一待处理面片中的特征点，包括：
获取所述第一待处理面片中的采样点；
计算所述第一待处理面片中的采样点的亮度值；
计算所述第一待处理面片中采样点的亮度值的梯度，所述亮度值的梯度用于表示所述采样点的亮度变化最快的方向；
当所述采样点的亮度的梯度取得极值时，确定所述第一待处理面片在所述采样点的亮度发生突变；
当确定所述第一待处理面片在所述采样点的亮度发生突变时，将所述采样点作为所述第一待处理面片中的特征点。
在再一种或多种可能的实施例中，所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对对用于表示所述第一待处理面片和所述第二待处理面片间特征点的对象关系；所述特征匹配条件包括特征点的特征值的差值最小或者所述差值在预设的特征阈值范围内；
所述分别对所述第一待处理面片中的特征点的表面特征，以及所述第二待处理面片中的特征点的表面特征，进行特征匹配，得到所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对，包括：
基于相同的指定特征，分别对所述第一待处理面片中的特征点的表面特征，以及所述第二待处理面片中的特征点的表面特征，进行特征匹配，其中，所述指定特征包括以下至少一种：结构特征、纹理特征；
将所述第一待处理面片中的特征点的特征值与所述第二待处理面片中特征点的特征值的差值最小，或所述差值在预设的特征阈值范围内，确定为所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对。
在再一种或多种可能的实施例中，所述方法还包括：
获取所述第二待处理面片中的第一特征点；
利用所述第一特征点的特征值，在所述第一待处理面片中查找第二特征点，所述第二特征点的特征值与所述第一特征点的特征值符合所述特征匹配条件；
当所述第一待处理面片中的第三特征点和所述第二特征点重合时，确定所述第三特征点和所述第二特征点为相同的特征点；
将所述第一待处理面片中的第三特征点与所述第二待处理面片中的第一特征点，确定为所述第一待处理面片和所述第二待处理面片间的符合特征匹配条件的特征点对。
在再一种或多种可能的实施例中，所述特征点对包括错误特征点对和有效特征点对；
所述从所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，去除所述第一待处理面片和所述第二待处理面片间的错误特征点对，得到所述第一待处理面片和所述第二待处理面片的特征点匹配结果，包括：
基于空间距离和精度控制参数，构建评估模型；
通过所述评估模型，计算所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离；
将所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，与所述空间距离对应的特征点对确定为有效特征点对；
从所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，去除所述有效特征点对之外的错误特征点对，得到所述第一待处理面片和所述第二待处理面片的特征点匹配结果。
在再一种或多种可能的实施例中，所述评估模型包括目标函数和约束条件，所述目标函数用于减少错误特征点对的数量，所述约束条件为精度控制参数，所述精度控制参数用于控制对所述空间距离进行计算的精度；
所述通过所述评估模型，计算所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离，包括：
根据所述目标函数、所述精度控制参数、所述第一待处理面片中的特征点的集合、所述第二待处理面片中的特征点的集合，所述第一待处理面片与所述第二待处理面片间特征点的变换矩阵，计算所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离。
在再一种或多种可能的实施例中，所述将所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，与所述空间距离对应的特征点对确定为有效特征点对，包括：
设置所述精度控制参数的初始值；
利用所述评估模型对所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离进行计算；
逐步缩小所述精度控制参数的取值，并利用所述评估模型对所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离进行迭代计算；
当计算得到所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离的最小值时，将与所述空间距离对应的特征点对确定为所述有效特征点对。
在再一种或多种可能的实施例中，所述方法还包括：
通过三维重建技术，对所述每个坐标系的点云数据进行重建，得到所述每个坐标系的点云数据对应的一个多边形面片模型。
在再一种或多种可能的实施例中，所述待处理面片包括点云数据；
所述对所述第一待处理面片进行物体对象的表面特征提取，以及对所述第二待处理面片进行该物体对象的表面特征提取，包括：
将所述第一待处理面片中的点云数据和所述第二待处理面片中的点云数据确定为所述物体对象的表面特征的点集合；
分析所述物体对象的表面特征的点集合，得到所述第一待处理面片的表面特征和所述第二待处理面片的表面特征。
在再一种或多种可能的实施例中，所述按照多个拍摄视角，对真实场景中物体对象进行三维扫描，得到所述物体对象的多个点数据，包括：按照多个拍摄视角，向所述物体对象投射结构光；
获取所述多个拍摄视角的反馈影像，得到所述物体对象的多个点数据。
在再一种或多种可能的实施例中，所述多个点数据包括所述多个拍摄视角中的每个拍摄视角的点数据；
所述基于所述多个点数据，构建所述物体对象在多个拍摄视角下的多个点云数据，包括：
将所述多个拍摄视角中的每个拍摄视角的点数据的数据集合确定为所述每个拍摄视角的点云数据；
将所述每个拍摄视角的点云数据确定为一个坐标系的点云数据。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是示出根据本发明实施例的与第一拍摄视角对应的物体对应的第一待处理面片模型；
图1b是示出根据本发明实施例的与第二拍摄视角对应的物体对应的第二待处理面片模型；
图1c是示出根据本发明实施例的与第三拍摄视角对应的物体对应的第三待处理面片模型；
图1d是示出根据本发明实施例的与第四拍摄视角对应的物体对应的第四待处理面片模型；
图1e是示出根据本发明实施例的数据处理方法得到的三维点云数据模型的效果示意图。
图2是示出根据本发明一实施例的数据处理方法的流程图；
图3是示出根据本发明一实施例的数据处理装置的结构示意图；
图4是示出了可以实现根据本发明实施例的数据处理方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中，AR技术可以通过***自身携带的拍摄终端捕获真实世界的影像视频，使用图像配准等技术，估计出影像视频中虚拟物体的三维姿态，进而将虚拟物体或场景放置到真实环境中预定的位置，最后通过摄像机镜头的视角将场景渲染出来。
在本发明实施例中，VR技术是一种计算机仿真***，在该***中可以创建和体验虚拟世界。本质上，该***利用计算机生成一种模拟环境，该模拟环境包括多源信息融合的交互式的三维动态视景和对实体行为的***仿真，可以达到沉浸式体验。
在上述实施例中，增强现实技术和虚拟现实技术需要使用三维场景时，可以包括以下步骤：
首先，获取物体对象的点云数据。
在本发明实施例中，可以采用例如三维扫描仪、激光或雷达扫描仪、立体摄像机等可以进行三维扫描的仪器设备，对真实场景中的物体对象投射结构光，以进行多视角例如360度不同视角下的三维扫描，获取真实场景中物体对象的多个点数据，这些点数据构成与不同视角对应的点云数据。
其次，根据物体对象的与不同视角对应的点云数据，进行点云配准。
作为一个示例，在摄像机坐标系下，可以采用不同的拍摄视角对物体对象进行三维扫描，不同拍摄视角下的点云数据，有时会表现为旋转错位或平移错位。因此，要想得到完整的点云数据，需要对多个点云进行配准。
在本发明实施例下面的描述中，可以将对物体对象进行三维扫描时，对发生旋转或平移的物体对象在不同的拍摄视角下测得的多个点云数据，视为该多个点云数据具有不同的视角或在不同的坐标系下。
因此，在本发明实施例中，点云配准可以被理解为：对点云数据进行统一坐标系的操作，将不同视角或不同坐标系下拍摄的物体对象的点云数据，通过旋转和/或平移操作进行坐标转换，实现点云数据在统一坐标系下的一致对准，形成完整的三维点云数据模型。
在本发明实施例中，可以通过变换矩阵T进行点云数据之间的坐标变换。
作为一个示例，该变换矩阵可以表示为T＝[R t]，其中，R为旋转分量，并可以表示为一个3×3的矩阵，代表了不同视角下两个点云数据之间的旋转关系；t为平移分量，并可以表示为一个1×3的矩阵，代表了不同视角下两个点云数据之间的平移关系，通过该根据变换矩阵T，将不同视角对应的点云数据坐标变换到统一的坐标系下。
在上述点云数据配准过程中，可以利用三维重建技术的表面重建的方法，根据获取的第一点云数据，得到该物体对象的第一点云数据的多边形面片模型。该多边形面片模型包括多个多边形面片，每个多边形面片可以唯一确定一个多边形平面。
在本发明实施例中，可以对同一物体对象的不同视角或不同坐标系下的点云数据进行配准。具体地，可以将通过三维重建得到的每个点云模型对应的多边形面片模型作为待处理面片，利用变换矩阵，将不同视角或坐标系下的每个待处理面片中的点数据变换到统一坐标系下，得到物体对象的完整的三维点云数据模型。
为了更好的理解本发明，以具体物体对象是鞋子为例，通过不同视角下的点云模型，得到该物体对象不同视角下的多边形面片模型，将多边形面片模型作为待处理面片模型，描述根据本发明实施例的数据处理方法。应理解，该描述不应被解读为限制本方案的范围或实施可能性，对于鞋子以外的具体物体对象的数据处理方法，与结合图1a至图1e描述的数据处理方法的具体实现方式保持一致。
图1a示出了根据本发明实施例的与第一拍摄视角对应的物体对应的第一待处理面片模型；图1b示出了根据本发明实施例的与第二拍摄视角对应的物体对应的第二待处理面片模型；图1c示出了根据本发明实施例的与第三拍摄视角对应的物体对应的第三待处理面片模型；图1d示出了根据本发明实施例的与第四拍摄视角对应的物体对应的第四待处理面片模型；图1e示出了根据本发明实施例的数据处理方法得到的三维点云模型的效果示意图。
在图1a至图1d中，第一待处理面片模型是通过三维重建技术获得的第一视角下的多个第一点云数据的重建结果；第二待处理面片模型是通过三维重建技术获得的第二视角下的多个第二点云数据的重建结果；第三待处理面片模型是通过三维重建技术获得的第三视角下的多个第三点云数据的重建结果；第四待处理面片模型是通过三维重建技术获得的第四视角下的多个第四点云数据的重建结果。结合图1a至图1e，可以对该数据处理方法的处理过程进行详细的说明和示意性的效果展示。
在下面的描述中，可以将待处理面片模型简称为待处理面片。
在本发明实施例中，可以从物体对象的待处理面片中，选择两个待处理面片，例如图1a所示的第一待处理面片和图1b所示的第二待处理面片，以执行本发明实施例的数据处理方法100。
在该实施例中，数据处理方法100可以包括：
步骤S110，确定第一待处理面片中的特征点，以及确定第二待处理面片中的特征点。
具体地，首先，可以对第一待处理面片进行物体对象的表面特征提取，以及对第二待处理面片进行该物体对象的表面特征提取；接着，可以通过提取到的第一待处理面片的表面特征，确定第一待处理面片中的特征点，以及根据提取到的第二待处理面片的表面特征，确定第二待处理面片中的特征点。
在本发明实施例中，每个待处理面片中的点云数据是可以理解为物体对象的表面特征的点集合，通过分析点云数据，可以得到物体对象的表面特征。
具体地，表面特征可以包括几何结构特征和纹理特征。几何特征至少可以包括物体对象表面采样点的法向量或曲率，纹理特征至少可以包括物体对象表面采样点的亮度或灰度。
作为一个示例，可以利用第一待处理面片中采样点的法向矢量，提取第一待处理面片中的特征点。
在该示例中，待处理面片的采样点的法向矢量的变化程度，可以用于衡量待处理面片的起伏或平坦程度。当采样点的法向矢量的变化程度越大，则表示该点所在区域的起伏越大。
具体地，获取第一待处理面片中的采样点；计算第一待处理面片中的采样点的法向量；计算第一待处理面片中采样点的法向量的梯度，法向量的梯度可以用于表示当前采样点的法向量变化方向，法向量的梯度值可以用于衡量当前采样点的法向量的变化的快慢；当采样点的法向量的梯度取得极值时，表示第一待处理面片在当前采样点法向矢量发生突变，则可以将该采样点作为第一待处理面片中的特征点。
作为另一个示例，可以利用第一待处理面片的采样点的曲率，提取第一待处理面片中的特征点。
在该示例中，待处理面片的采样点的曲率的变化程度，可以用于衡量待处理面片的曲面弯曲程度。当曲率值变化程度越大，表示曲面弯曲程度越大，即曲面的光滑程度越低。
具体地，获取第一待处理面片中的采样点；计算第一待处理面片中的采样点的曲率值；计算第一待处理面片中采样点的曲率的梯度，曲率的梯度可以用于表示当前采样点的曲率的变化方向，曲率的梯度值可以用于衡量当前采样点的曲率变化的快慢；当采样点的曲率的梯度取得极值时，表示第一待处理面片在当前采样点的曲率发生突变，则可以将该采样点作为第一待处理面片中的特征点。
在另一个实施例中，可以通过提取第一待处理面片的纹理特征，确定第一待处理面片中的特征点。
作为一个示例，可以利用第一待处理面片的采样点的亮度变化程度，提取第一待处理面片中的特征点。
具体地，可以获取第一待处理面片中的采样点；计算第一待处理面片中的采样点的亮度值；计算第一待处理面片中采样点的亮度值的梯度，亮度值的梯度可以用于表示当前采样点的亮度变化最快的方向，当采样点的亮度的梯度取得极值时，表示第一待处理面片在当前采样点的亮度发生突变，则可以将该采样点作为第一待处理面片中的特征点。
作为一个示例，可以利用第一待处理面片的采样点的灰度变化程度，提取第一待处理面片中的特征点，该处理过程与利用第一待处理面片的采样点的亮度变化程度，提取第一待处理面片中的特征点的原理和步骤基本一致，在此不再赘述。
通过步骤S110，可以得到第一待处理面片中的特征点例如图1a所示的特征点A1、特征点A2和特征点A3。
如图1b所示，通过上述实施例提取特征点的步骤，对图1b中的第二待处理面片进行提取特征点的操作，得到第二待处理面片中的特征点例如特征点B1、特征点B2和特征点B3。
如图1c所示，通过上述实施例提取特征点的步骤，对图1c中的第三待处理面片进行提取特征点的操作，得到第三待处理面片中的特征点例如特征点C1、特征点C2和特征点C3。
如图1d所示，通过上述实施例提取特征点的步骤，对图1d中的第四待处理面片进行提取特征点的操作，得到第四待处理面片中的特征点例如特征点D1、特征点D2和特征点D3。
步骤S120，对第一待处理面片中的特征点的表面特征，以及第二待处理面片中的特征点的表面特征，进行特征匹配，得到第一待处理面片和第二待处理面片的符合特征匹配条件的特征点对。
在该步骤中，通过特征点对，表示第一待处理面片和第二待处理面片间特征点的对象关系。
在一个实施例中，特征匹配条件为：基于相同的指定特征，第一待处理面片中的特征点的特征值与第二待处理面片中特征点的特征值的差值最小，或该差值在预设的特征阈值范围内。
通过上述实施例可知，该指定特征可以是结构特征或纹理特征。
如果指定特征是曲率，作为一个示例，如图1a和1b所示，当第一待处理面片中的特征点A1的曲率值与第二待处理面片中的特征点B1的曲率值的差值最小，或该差值在预设的曲率阈值范围内时，认为第一待处理面片中的特征点A1与第二待处理面片中的特征点B1结构相似。
作为一个示例，如果指定特征是亮度，当第一待处理面片中的特征点A1的亮度值与第二待处理面片中的特征点B1的亮度值的差值最小，或该差值在预设的亮度阈值范围内时，认为第一待处理面片中的特征点A1与第二待处理面片中的特征点B1纹理相似。
作为另一个示例，可以结合一个以上的指定特征，对第一待处理面片中的特征点A1与第二待处理面片中的特征点B1的相似程度进行判断。
具体地，可以结合采样点的曲率和法相矢量，判断第一待处理面片中的特征点A1与第二待处理面片中的特征点B1是否结构相似。
具体地，可以结合采样点的亮度和灰度，判断第一待处理面片中的特征点A1与第二待处理面片中的特征点B1是否纹理相似。
具体地，也可以结合采样点的结构特征和纹理特征，判断第一待处理面片中的特征点A1与第二待处理面片中的特征点B1是否结构相似且纹理相似。
在一个实施例中，获取第一待处理面片中的特征点A1，并利用特征点A1的特征值，在第二待处理面片中查找第二待处理面片中的特征点B1，基于相同的指定特征，特征点B1的特征值与特征点A1的特征值符合特征匹配条件。
也就是说，可以认为第二待处理面片中的特征点B1，是第一待处理面片中的特征点A1的匹配点，特征点A1和特征点B1组成一个特征点对。
为了获得的特征点对更准确，可以进一步上述特征点A1和特征点B1的匹配关系进行校验。
具体地，在一个实施例中，获取上述实施例中第二待处理面片中的特征点B1，并利用该特征点B1的特征值，进一步在第一待处理面片中查找特征点A1′(图中未示出)，该特征点A1′的特征值与特征点B1的特征值符合本发明实施例的特征匹配条件。
在该实施例中，当第一待处理面片中的特征点A1和特征点A1′重合时，即特征点A1和特征点A1′为相同的特征点时，可以将第一待处理面片中的特征点A1与第二待处理面片中的特征点B1，作为第一待处理面片和第二待处理面片间的符合特征匹配条件的特征点对。
继续参考图1a和图1b，通过上述实施例中的方法，获得第一待处理面片和第二待处理面片的其他特征点对。
作为一个示例，其他特征点对例如可以包括：第一待处理面片中的特征点A2与第二待处理面片中的特征点B2，以及第一待处理面片中的特征点A3与第二待处理面片中的特征点B3等。
通过上述实施例中寻找特征点对的方法，可以提高获得的特征点对的可靠度。
步骤S130，去除第一待处理面片和第二待处理面片间的错误特征点对，对特征点对进行提纯优化。
在该步骤中，可以将通过上述步骤S120得到的特征点对作为初始特征点对。由于噪声的影响，初始特征点对中，不可避免的会出现错误的特征点对，并不是所有通过上述步骤得到的特征点对所表示的两个待处理面片间的特征点的对应关系都是准确的。
由于错误的特征点对会对两个待处理面片间的配准结果产生负面的影响，例如降低配准正确率、造成整体数据模型的错位，以及影响视觉效果。因此，需要在步骤S120的基础上，对初始特征点对所表示的特征点间的对应关系进行提纯优化，去除初始特征点对中错误的特征点对。
在本发明实施例中，对特征点对进行提纯优化的基本思想是：构建评估模型，根据构建的评估模型，计算上述实施例中的初始配准点对的空间距离。
具体地，当该空间距离计算得到最小值时，得到与该空间距离的最小值对应的坐标变换矩阵，以及初始特征点对中与该空间距离对应的特征点对，将该坐标变换矩阵作为的坐标变换矩阵T，将上述与该空间距离对应的特征点对作为有效特征点对。
在一个实施例中，为了提高与计算得到的坐标变换矩阵和有效特征点对的精度和稳定性，该评估模型可以包括目标函数和约束条件，该约束条件可以用于控制对空间距离进行计算的精度，该目标函数可以用于减少错误的特征点对的数量，抑制错误的特征点对带来的对配准精度的影响。
在一个实施例中，该目标函数可以是一个惩罚函数，该惩罚函数例如可以是Welsh函数的错误函数、Tukey函数的错误函数或Gaman-McClure函数的错误函数。下面以该目标函数为Gaman-McClure函数的错误函数为例，介绍根据本发明实施例中对特征点对进行提纯优化的方法。
在一个实施例中，该约束条件可以是一个精度控制参数，在精度控制参数的取值范围内，通过该精度控制参数控制对空间距离进行计算的精度。
在一个实施例中，可以通过下述公式(1)表示评估模型的目标函数：
Figure BDA0004150036820000171
在上述公式(1)中，f(x)表示评估模型的目标函数，x表示两个待匹配面片的特征点对的空间距离，μ表示精度控制参数。
在该实施例中，μ的取值代表求解目标函数的精度，μ的取值越小，求解目标函数的精度越高，则代表对特征点对的优化提纯过程可以去除更多的错误特征点对。
在一个实施例中，可以通过下述公式(2)表示两个待匹配面片的特征点对的空间距离：
x＝||P-TQ|| (2)
在上述公式(2)中，P表示第一待处理面片中的特征点的集合，Q表示第二待处理面片中的特征点的集合，T表示第一待处理面片与第二待处理面片间特征点的变换矩阵，x表示第一待处理面片与第二待处理面片间的匹配特征点对的空间距离。
在一个实施例中，可以通过非线性最小二乘算法，利用上述公式(1)和(2)，对空间距离x进行求解。
作为一个示例，为了求解的速度更快，求解的精度更高，也可以通过例如高斯牛顿法对该空间距离x进行求解。
在该实施例中，利用非线性最小二乘算法例如高斯牛顿法，对第一待处理面片与第二待处理面片间的匹配特征点对的空间距离x进行求解的过程可以表示为：
设置精度控制参数μ的初始值，利用评估模型对空间距离x进行计算；逐步缩小精度控制参数μ的取值，从而利用该评估模型对该空间距离x进行迭代计算，当计算得到该空间距离x的最小值时，得到与该空间距离x的最小值对应的坐标变换矩阵以及与该空间距离x对应的特征点对，将该坐标变换矩阵作为坐标变换矩阵T，将该特征点对作为有效特征点对。
作为一个具体的示例，利用非线性最小二乘算法例如高斯牛顿法，基于上述公式(1)和公式(2)对该空间距离x进行求解可以包括：
S01，获取精度控制参数μ的初始值μ0，根据精度控制参数的初始值μ0，利用上述公式(1)和公式(2)计算空间距离x，并通过计算得到的空间距离x，确定空间坐标变换矩阵T1。
在该步骤中，第一待处理面片和第二待处理面片之间的有效特征点对，利用坐标变换矩阵T1变换到统一的坐标系后，可以得到空间距离x，作为一个示例，该空间距离x包括例如x1，x2，x3，x4，x5。
S02，减小精度控制参数，得到新的精度参数值μ1，根据新的精度参数值μ1，利用上述公式(1)和上述公式(2)，计算空间距离x。
在该步骤中，精度控制参数减小时，利用减小的精度控制参数值μ1，可以提高对上述公式(1)中的空间距离x进行计算的精度。
具体地，当精度控制参数由μ0减小到μ1时，根据精度控制参数值μ1，利用上述公式(1)和公式(2)计算空间距离x，并通过计算得到的空间距离x，确定空间坐标变换矩阵T2。
在该步骤中，第一待处理面片和第二待处理面片之间的有效特征点对，利用坐标变换矩阵T2变换到统一的坐标系后，可以得到空间距离x，作为一个示例，该空间距离x包括例如x1，x3，x4。
因此，在精度控制参数的控制下，通过减小精度控制参数来提高计算精度时，空间距离值大于空间距离阈值的特征点对将被去除，该空间距离阈值与精度控制参数的取值相关，基于该与精度控制参数的取值相关的空间距离阈值，精度控制参数的取值越小，就会有越多的空间距离值大于该相关的空间距离阈值的特征点对被去除。
步骤S03，在精度控制参数的取值范围内，逐步减小精度控制参数进行迭代处理，根据减小后的精度控制参数例如μn，继续利用上述公式(1)对上述公式(2)中的空间距离x求解，得到与该空间距离x的最小值对应的坐标变换矩阵作为坐标变换矩阵Tn。
在该步骤中，第一待处理面片和第二待处理面片之间的有效特征点对，利用坐标变换矩阵Tn变换到统一的坐标系后，可以得到空间距离x包括x1，x1为空间距离x的最小值。
作为一个示例，在精度控制参数的取值范围内，当计算得到该空间距离的最小值时，将最该空间距离x的最小值对应的空间坐标变换矩阵Tn作为的空间坐标变换矩阵。
在本发明实施例中，获取第一待处理面片和第二待处理面片之间的特征点对，当该特征点对的空间距离满足与精度控制参数的取值相关的空间距离阈值时，认为特征点对的空间距离符合邻近条件。
也就是说，该的空间坐标变换矩阵也可以称为符合该邻近条件的变换矩阵。
在该实施例中，逐步减小精度控制参数可以通过多种方式实现。例如，可以基于固定的精度控制参数步长值逐步减小精度控制参数，也可以根据预先设置好的精度控制参数取值，并按照由大到小的顺序对精度控制参数取值进行上述实施例中的计算。
在本发明实施例中，利用上述实施例中得到的坐标变换矩阵T，将有效特征点对变换到相同的坐标系下，从而实现第一待处理面片与第二待处理面片间的有效特征点对的配准。
具体地，在该实施例中，可以利用符合该邻近条件的变换矩阵，通过上述公式(2)对第二待处理面片中的特征点的集合Q进行坐标转换，即利用上述实施例中旋转矩阵T，对特征点的集合Q的每个采样点进行基于旋转分量R的旋转操作，以及基于平移分量t的平移操作，使坐标转换后的特征点的集合Q与第一待处理面片中的特征点的集合P，转换到相同的视角或相同的坐标系下，实现第一待处理面片中的第一点云数据和第二待处理面片中的第二点云数据的配准。
作为一个示例，多个点云数据经过配准后，可以将经过配准的点云数据在相同坐标系下通过位移达到重合，得到完整的三维点云数据模型。
作为一个具体的示例，可以利用本发明实施例的数据处理方法，根据图1a示出的第一点云数据和图1b示出的第二点云数据，对第一待处理面片和第二待处理面片进行点云配准，得到第一点云配准结果(图中未示出)；并利用相同的方法，将图1c示出的第三待处理面片和图1d所示的第四待处理面片进行点云配准，得到第二点云配准结果(图中未示出)；利用相同的方法，将第一点云配准结果中的点云数据与第二点云配准结果进行点云配准，得到如图1e示出的点云数据模型。
图1e所示点云数据模型中，特征点A1(B1)表示对第一点云数据和第二点云数据进行配准后，特征点A1和特征点B1重合，当特征点A1和特征点B1重合时，特征点A1和特征点B1的空间距离最小。
在一些实施例中，对多个点云数据进行处理时，可以在多个点云数据任意选取两个点云数据进行处理，得到新的点云数据；并可以再从该新的点云数据、以及多个点云数据中的其他未配准的点云数据中任意选择两个点云数据，并执行本发明实施例的数据处理方法，直到全部的点云数据均完成配准，得到一个如图1e所示的完整的三维点云数据模型。
在该实施例中，经过步骤S130中对特征点对的提纯优化处理，待处理面片之间特征点对的准确度高，并具有很好的抗噪能力。大量实践表明，通过本发明实施例的数据处理方法，在待处理面片之间进行特征点匹配的信噪比在小于等于0.7或小于等于0.4的情况下，均可以获得高精度和高准确率的特征点匹配结果，从而得到稳定准确的三维点云数据模型。
图2是示出根据本发明一实施例的数据处理方法的流程图。如图2所示，本发明实施例中的数据处理方法200包括以下步骤：
步骤S210，确定第一点云数据中的特征点以及第二点云数据中的特征点，第一点云数据和第二点云数据用于表征同一物体对象的不同部分。
在一个实施例中，步骤S210具体可以包括：
步骤S211，按照指定特征的选取标准，从第一点云数据中提取符合选取标准的特征点；以及
步骤S212，从第二点云数据中提取符合选取标准的特征点。
步骤S220，对第一点云数据和第二点云数据进行特征匹配，以确定第一点云数据和第二点云数据之间的符合特征匹配条件的特征点，构成多个特征点对。
在一个实施例中，步骤S220具体可以包括：
步骤S221，获取第一点云数据中的第一特征点，利用第一特征点的特征值，查找第二点云数据中的第二特征点，第二特征点的特征值与第一特征点的特征值之间满足特征值阈值条件；
步骤S222，利用第二特征点的特征值，查找第一点云数据中的第三特征点，第三特征点的特征值与第二特征点的特征值之间满足特征值阈值条件；
步骤S223，当第一特征点与第三特征点重合时，确定第一特征点和第二特征点为符合特征匹配条件的特征点，构成多个特征点对。
步骤S230，对于多个特征点对中的一个或多个特征点对，确定特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵。
在一个实施例中，步骤S230具体可以包括：
步骤S231，基于空间距离和精度控制参数，构建多个特征点对中的一个或多个特征点对的评估模型；
步骤S232，在精度控制参数的控制下，利用评估模型对空间距离进行迭代处理，得到特征点对中的有效特征点对以及有效特征点对之间的变换矩阵，将有效特征点对之间的变换矩阵作为特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵。
具体地，步骤S232具体可以包括：
缩小精度控制参数，利用评估模型和缩小的精度控制参数，构建新的评估模型；利用新的评估模型对特征点对的空间距离进行求解的过程中，继续缩小精度控制参数进行迭代处理，直到空间距离的取值最小时，得到特征点对中的有效特征点对，以及有效特征点对之间的变换矩阵。
通过上述步骤S230，可以对特征点对进行提纯优化，去除由于噪声干扰造成的错误特征点对，利用提纯优化后的特征点对进行配准，可以提高特征点匹配结果的精度和准确率，从而得到稳定准确的三维点云数据模型。
步骤S240，通过变换矩阵，对多个特征点对中的一个或多个特征点对进行坐标变换，以将第一点云数据与第二点云数据配准。
通过上述步骤S210-S240，可以对物体对象的第一点云数据和第二点云数据进行配准，为了得到完整的三维点云数据模型，数据处理方法200还可以包括：
步骤S250，将配准后的第一点云数据与第二点云数据作为第一点云数据，重新确定第一点云数据中的特征点，直到物体对象的全部点云数据完成配准，得到物体对象的完整的三维点云数据模型。
通过本发明实施例的数据处理方法，当特征点的匹配信噪比较低时，也可以获得较为稳定的配准结果。
下面结合附图，详细介绍根据本发明实施例的数据处理装置。
图3示出了根据本发明一实施例提供的数据处理装置的结构示意图。
如图4所示，数据处理装置300包括：
特征点获取模块310，用于确定第一点云数据中的特征点以及第二点云数据中的特征点，第一点云数据和第二点云数据用于表征同一物体对象的不同部分；
特征匹配模块320，用于对第一点云数据和第二点云数据进行特征匹配，以确定第一点云数据和第二点云数据之间的符合特征匹配条件的特征点，构成多个特征点对；
特征点对筛选模块330，用于对于多个特征点对中的一个或多个特征点对，确定特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵；
数据配准模块340，用于通过变换矩阵，对多个特征点对中的一个或多个特征点对进行坐标变换，以将第一点云数据与第二点云数据配准。
在一个实施例中，特征点获取模块310可以包括：
第一特征点选取单元，用于按照指定特征的选取标准，从第一点云数据中提取符合选取标准的特征点；以及第二特征点选取单元，用于从第二点云数据中提取符合选取标准的特征点。
在该实施例中，指定特征至少包括几何结构特征或颜色特征。
在一个实施例中，特征匹配模块320可以包括：
第一特征点查找单元，用于获取第一点云数据中的第一特征点，利用第一特征点的特征值，查找第二点云数据中的第二特征点，第二特征点的特征值与第一特征点的特征值之间满足特征值阈值条件；
第二特征点查找单元，用于利用第二特征点的特征值，查找第一点云数据中的第三特征点，第三特征点的特征值与第二特征点的特征值之间满足特征值阈值条件；以及
特征点对匹配确定单元，用于当第一特征点与第三特征点重合时，确定第一特征点和第二特征点为符合特征匹配条件的特征点，构成多个特征点对。
在一个实施例中，特征点对筛选模块330可以包括：
评估模型构建单元，用于基于空间距离和精度控制参数，构建多个特征点对中的一个或多个特征点对的评估模型；以及
变换矩阵计算单元，用于在精度控制参数的控制下，利用评估模型对空间距离进行迭代处理，得到特征点对中的有效特征点对以及有效特征点对之间的变换矩阵，将有效特征点对之间的变换矩阵作为特征点对中的特征点之间的空间距离符合邻近条件的变换矩阵。
在一个实施例中，变换矩阵计算单元还可以包括：
精度控制子单元，用于缩小精度控制参数，利用评估模型和缩小的精度控制参数，构建新的评估模型；
变换矩阵计算单元还用于利用新的评估模型对特征点对的空间距离进行求解的过程中，继续缩小精度控制参数进行迭代处理，直到空间距离的取值最小时，得到特征点对中的有效特征点对，以及有效特征点对之间的变换矩阵。
在一个实施例中，数据处理装置300还可以包括：
迭代配准模块，用于将配准后的第一点云数据与第二点云数据作为第一点云数据，重新确定第一点云数据中的特征点，直到物体对象的全部点云数据完成，得到物体对象的完整的三维点云数据模型。
根据本发明实施例的数据处理装置对不同视角或不同坐标系下的点云数据进行配准，可以得到稳定性和精度较高的配准结果。
根据本发明实施例的数据处理装置的其他细节与以上结合图1a-图1e描述的根据本发明实施例的数据处理方法类似，在此不再赘述。
结合图1a-图1e以及图3描述的根据本发明实施例的数据处理方法和装置可以由计算设备实现。
图4是示出能够实现根据本发明实施例的数据处理方法和装置的计算设备的示例性硬件架构的结构图。
如图4所示，计算设备400包括输入设备401、输入接口402、处理器403、存储器404、输出接口405、以及输出设备406。其中，输入接口402、处理器403、存储器404、以及输出接口405通过总线410相互连接，输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接，进而与计算设备400的其他组件连接。具体地，输入设备601接收来自外部(例如，三维扫描仪)的输入信息，并通过输入接口402将输入信息传送到处理器403；处理器403基于存储器404中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器404中，然后通过输出接口405将输出信息传送到输出设备406；输出设备406将输出信息输出到计算设备400的外部供用户使用。
在一个实施例中，图4所示的计算设备400可以被实现为一种数据处理***，包括：存储器和处理器；存储器用于储存有可执行程序代码；处理器用于读取存储器中存储的可执行程序代码以执行上述实施例的数据处理方法。
通过本发明实施例的图像设备，可以对不同视角或不同坐标系下的点云数据进行配准，可以得到稳定性和精度较高的配准结果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品或计算机可读存储介质的形式实现。所述计算机程序产品或计算机可读存储介质包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种数据处理方法，包括：
按照多个拍摄视角，对真实场景中物体对象进行三维扫描，得到所述物体对象的多个点数据；
基于所述多个点数据，构建所述物体对象在多个拍摄视角下的多个点云数据，所述多个点云数据包括至少两个坐标系的点云数据；
对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型。
2.根据权利要求1所述的方法，其中，所述对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型，包括：
按照统一坐标系，对所述至少两个坐标系的点云数据进行坐标转换，得到所述物体对象的三维点云数据模型。
3.根据权利要求2所述的方法，其中，所述统一坐标系与变换矩阵对应，所述变换矩阵包括旋转分量和平移分量；所述按照统一坐标系，对所述至少两个坐标系的点云数据进行坐标转换，得到所述物体对象的三维点云数据模型，包括：
根据所述旋转分量和平移分量，对所述至少两个坐标系的点云数据进行坐标转换，得到所述物体对象的三维点云数据模型；
其中，所述旋转分量用于表征所述至少两个坐标系的点云数据中每两个坐标系的点云数据之间的旋转关系；所述平移分量用于表征所述至少两个坐标系的点云数据中每两个坐标系的点云数据之间的平移关系。
4.根据权利要求1-3任意一项所述的方法，其中，所述至少两个坐标系的点云数据中的每个坐标系的点云数据对应一个多边形面片模型，所述多边形面片模型包括多个多边形面片，所述多边形面片包括点数据，所述统一坐标系与变换矩阵对应；
所述对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型，包括：
分别将所述每个坐标系的点云数据对应的多边形面片模型作为待处理面片；
通过所述变换矩阵，对每个多边形面片模型的多个待处理面片中的每个待处理面片的点数据进行坐标转换，得到所述物体对象的三维点云数据模型。
5.根据权利要求1-3任意一项所述的方法，其中，所述至少两个坐标系的点云数据中的每个坐标系的点云数据对应一个多边形面片模型；
所述对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的三维点云数据模型，包括：
分别将所述每个坐标系的点云数据对应的多边形面片模型作为待处理面片，得到所述物体对象的多个待处理面片，所述多个待处理面片包括第一待处理面片和第二待处理面片；
确定所述第一待处理面片中的特征点，以及确定所述第二待处理面片中的特征点；
分别对所述第一待处理面片中的特征点的表面特征，以及所述第二待处理面片中的特征点的表面特征，进行特征匹配，得到所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对；
从所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，去除所述第一待处理面片和所述第二待处理面片间的错误特征点对，得到所述第一待处理面片和所述第二待处理面片的特征点匹配结果；
根据所述第一待处理面片和所述第二待处理面片的特征点匹配结果，生成所述物体对象的三维点云数据模型。
6.根据权利要求5所述的方法，其中，所述确定所述第一待处理面片中的特征点，以及确定所述第二待处理面片中的特征点，包括：
对所述第一待处理面片进行物体对象的表面特征提取，以及对所述第二待处理面片进行该物体对象的表面特征提取；
通过提取到的所述第一待处理面片的表面特征，确定所述第一待处理面片中的特征点，以及通过提取到的所述第二待处理面片的表面特征，确定所述第二待处理面片中的特征点。
7.根据权利要求5所述的方法，其中，所述特征点对包括错误特征点对和有效特征点对；
所述从所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，去除所述第一待处理面片和所述第二待处理面片间的错误特征点对，得到所述第一待处理面片和所述第二待处理面片的特征点匹配结果，包括：
基于空间距离和精度控制参数，构建评估模型；
通过所述评估模型，计算所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，所述第一待处理面片与所述第二待处理面片间的匹配特征点对的空间距离；
将所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，与所述空间距离对应的特征点对确定为有效特征点对；
从所述第一待处理面片和所述第二待处理面片的符合特征匹配条件的特征点对中，去除所述有效特征点对之外的错误特征点对，得到所述第一待处理面片和所述第二待处理面片的特征点匹配结果。
8.根据权利要求4或5所述的方法，其中，所述方法还包括：
通过三维重建技术，对所述每个坐标系的点云数据进行重建，得到所述每个坐标系的点云数据对应的一个多边形面片模型。
9.根据权利要求5所述的方法，其中，所述待处理面片包括点云数据；
所述对所述第一待处理面片进行物体对象的表面特征提取，以及对所述第二待处理面片进行该物体对象的表面特征提取，包括：
将所述第一待处理面片中的点云数据和所述第二待处理面片中的点云数据确定为所述物体对象的表面特征的点集合；
分析所述物体对象的表面特征的点集合，得到所述第一待处理面片的表面特征和所述第二待处理面片的表面特征。
10.根据权利要求1-3任意一项所述的方法，其中，所述按照多个拍摄视角，对真实场景中物体对象进行三维扫描，得到所述物体对象的多个点数据，包括：按照多个拍摄视角，向所述物体对象投射结构光；
获取所述多个拍摄视角的反馈影像，得到所述物体对象的多个点数据。
11.根据权利要求1-3任意一项所述的方法，其中，所述多个点数据包括所述多个拍摄视角中的每个拍摄视角的点数据；
所述基于所述多个点数据，构建所述物体对象在多个拍摄视角下的多个点云数据，包括：
将所述多个拍摄视角中的每个拍摄视角的点数据的数据集合确定为所述每个拍摄视角的点云数据；
将所述每个拍摄视角的点云数据确定为一个坐标系的点云数据。
12.一种数据处理方法，包括：
通过虚拟现实技术或增强现实技术，对真实场景中物体对象进行三维扫描，得到所述物体对象在多个拍摄视角中每个拍摄视角的多个点数据；
基于所述多个点数据，构建所述物体对象在多个拍摄视角下的多个点云数据，所述多个点云数据包括至少两个坐标系的点云数据；
对所述至少两个坐标系的点云数据进行统一坐标系处理，得到所述物体对象的虚拟现实技术或增强现实技术的三维点云数据模型。
13.一种数据处理设备，包括：存储器和处理器，
所述存储器，用于存储有计算机程序；
所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行如权利要求1至11中任意一项所述的数据处理方法的步骤、或者如权利要求12所述的数据处理方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至11中任意一项所述的数据处理方法的步骤、或者如权利要求12所述的数据处理方法的步骤。
CN202310315423.1A 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质 Pending CN116385505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310315423.1A CN116385505A (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310315423.1A CN116385505A (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质
CN201710984833.XA CN109697728B (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710984833.XA Division CN109697728B (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质

Publications (1)

Publication Number Publication Date
CN116385505A true CN116385505A (zh) 2023-07-04

Family

ID=66171147

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310315423.1A Pending CN116385505A (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质
CN201710984833.XA Active CN109697728B (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710984833.XA Active CN109697728B (zh) 2017-10-20 2017-10-20 数据处理方法、装置、***和存储介质

Country Status (5)

Country Link
US (1) US10706567B2 (zh)
EP (1) EP3698275A4 (zh)
CN (2) CN116385505A (zh)
TW (1) TW201917562A (zh)
WO (1) WO2019079766A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3726462A4 (en) * 2017-12-14 2020-12-23 NEC Corporation IDENTIFICATION DEVICE, IDENTIFICATION METHOD AND STORAGE MEDIUM
US11294060B2 (en) * 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
CN110084840B (zh) * 2019-04-24 2022-05-13 阿波罗智能技术(北京)有限公司 点云配准方法、装置、服务器和计算机可读介质
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法
CN110992258B (zh) * 2019-10-14 2021-07-30 中国科学院自动化研究所 基于弱色差信息的高精度rgb-d点云拼接方法和***
CN111415379B (zh) * 2020-03-23 2023-06-20 南京大学 一种基于布谷鸟优化的三维点云数据配准方法
CN111915677B (zh) * 2020-07-08 2023-11-17 哈尔滨工程大学 一种基于三维点云特征的船舶位姿估计方法
CN113192114B (zh) * 2021-07-01 2021-09-03 四川大学 基于重叠特征与局部距离约束的叶片多视场点云配准方法
CN113689471B (zh) * 2021-09-09 2023-08-18 中国联合网络通信集团有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN114037814B (zh) * 2021-11-11 2022-12-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114297237A (zh) * 2021-12-14 2022-04-08 重庆邮电大学 基于类别融合的三维点云数据检索方法、装置及计算机设备
CN114549601B (zh) * 2022-02-11 2023-03-28 中国科学院精密测量科学与技术创新研究院 一种顾及点对可靠性的滑坡多时相tls点云精配准方法
CN114373358B (zh) * 2022-03-07 2023-11-24 中国人民解放军空军工程大学航空机务士官学校 一种基于快速建模的航空飞机维护作业模拟训练***
CN115661220B (zh) * 2022-12-28 2023-03-17 深圳煜炜光学科技有限公司 点云数据配准方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848115A (en) * 1997-05-02 1998-12-08 General Electric Company Computed tomography metrology
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5343042B2 (ja) 2010-06-25 2013-11-13 株式会社トプコン 点群データ処理装置および点群データ処理プログラム
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
JP6030549B2 (ja) * 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US8818133B2 (en) 2012-07-11 2014-08-26 Raytheon Company Point cloud construction with unposed camera
US9443297B2 (en) * 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
CN106033621B (zh) * 2015-03-17 2018-08-24 阿里巴巴集团控股有限公司 一种三维建模的方法及装置
US9760996B2 (en) * 2015-08-11 2017-09-12 Nokia Technologies Oy Non-rigid registration for large-scale space-time 3D point cloud alignment
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN106803267B (zh) * 2017-01-10 2020-04-14 西安电子科技大学 基于Kinect的室内场景三维重建方法

Also Published As

Publication number Publication date
WO2019079766A1 (en) 2019-04-25
TW201917562A (zh) 2019-05-01
CN109697728B (zh) 2023-04-25
US10706567B2 (en) 2020-07-07
EP3698275A1 (en) 2020-08-26
US20190122375A1 (en) 2019-04-25
CN109697728A (zh) 2019-04-30
EP3698275A4 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
CN109697728B (zh) 数据处理方法、装置、***和存储介质
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN107705333B (zh) 基于双目相机的空间定位方法及装置
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN107223269B (zh) 三维场景定位方法和装置
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN109960402B (zh) 一种基于点云和视觉特征融合的虚实注册方法
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
CN109658497B (zh) 一种三维模型重建方法及装置
WO2014003081A1 (en) Method for registering data
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、***及介质
CN111868786B (zh) 跨设备监控计算机视觉***
CN116309880A (zh) 基于三维重建的物***姿确定方法、装置、设备及介质
CN113052880A (zh) 一种sfm稀疏重建方法、***及应用
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及***
CN114882106A (zh) 位姿确定方法和装置、设备、介质
JP2000099760A (ja) ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体
Chen et al. Multi-stage matching approach for mobile platform visual imagery
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN114255279A (zh) 一种基于高精度定位和深度学习的双目视觉三维重建方法
CN117216591A (zh) 三维模型匹配、多模态特征映射模型的训练方法及装置
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN111866493B (zh) 基于头戴显示设备的图像校正方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination