CN114170281A - 一种三维点云数据获取处理方法 - Google Patents

一种三维点云数据获取处理方法 Download PDF

Info

Publication number
CN114170281A
CN114170281A CN202111498675.XA CN202111498675A CN114170281A CN 114170281 A CN114170281 A CN 114170281A CN 202111498675 A CN202111498675 A CN 202111498675A CN 114170281 A CN114170281 A CN 114170281A
Authority
CN
China
Prior art keywords
point
point cloud
cloud data
points
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111498675.XA
Other languages
English (en)
Inventor
杨中凡
王小刚
唐磊
赵俊
奉志强
郭少杰
熊兴中
侯劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202111498675.XA priority Critical patent/CN114170281A/zh
Publication of CN114170281A publication Critical patent/CN114170281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种三维点云数据获取处理方法，解决了传统技术中计算量较大、容易受到干扰的问题，其包括：步骤A：通过相机获取点云数据；步骤B：将得到的点云数据进行滤波；步骤C：将滤波处理后的点云数据基于ISS关键点的4PCS的配准；步骤D：将配准后的点云数据进行拟合，得到物体点云图像，实现了对真实物体更好的处理标准的技术效果。

Description

一种三维点云数据获取处理方法
技术领域
本发明属于三维图像处理技术领域，具体涉及一种三维点云数据获取处理方法。
背景技术
基于二维图像处理的机器视觉已应用于诸多如人脸识别、缺陷检测、目标识别等领域，但由于其未考虑到三维深度距离信息，因此，相较于3D视觉在识别和检测等方面仍存在着一些不足之处。3D视觉是受人的视觉***启发，主要利用摄像头感知三维空间环境，并生成三维点云数据的技术，是人工智能、测绘和测量等领域最前沿的课题。例如在无人驾驶汽车，自主避障无人机，以及工业制造中用于产品逆向工程等方面均具有重大研究意义。
3D视觉的主流应用之一是三维重建，基于不同原理发展出了多种三维重建技术，如双目立体视觉、结构光、激光雷达、kinect传感器等。根据重建场景差异所采用的重建技术也不一样，但共同目的都是为了获取深度信息。由于本项目主要针对的是小型物体的三维重建，同时结合精度与成本因素最终选择了基于Kinect的三维重建技术。通过查阅相关文献并分析三维重建原理发现，在没有标记物定位的情况下，相机坐标系与世界坐标系之间的外参矩阵求解比较困难，有直接求解的，如三坐标测量机，三维靶标直接标定法和二维平面靶标标定法等。三坐标测量机价格昂贵，且操作复杂。三维靶标直接法和二维平面靶标标定法需要求解超定方程，需要迭代优化，计算量较大。也有对某一维坐标加以限制，通过约束条件来求解，但需要对光平面或相机位置等有限制条件，且容易受干扰。
发明内容
针对现有技术中计算量较大、容易受到干扰的问题，本发明提供一种三维点云数据获取处理方法，其目的在于：提高点云配准效率与精度，实现对真实物体更好的处理标准。
本发明采用的技术方案如下：
一种三维点云数据获取处理方法，包括以下步骤：
步骤A：通过相机获取点云数据；
步骤B：将得到的点云数据进行滤波；
步骤C：将滤波处理后的点云数据基于ISS关键点的4PCS的配准；
步骤D：将配准后的点云数据进行拟合，得到物体点云图像。
采用上述方案，能够通过ISS-4PCS算法提高配准的成功率，，其一，相比于其他关键点检测器，ISS提取的关键点更能代表局部信息，能匹配正确的点对数量更高；其二，当重叠率大于20％时，ISS关键点能极大提高4PCS算法的不稳定性。
所述步骤A的具体步骤为：
步骤A1：通过Kinect获取物体全角度的深度图像与深度坐标信息Z；
步骤A2：通过深度坐标信息Z计算世界坐标系中的X坐标与Y坐标，其中X的计算公式为：
Figure BDA0003401898310000021
其中Y的计算公式为：
Figure BDA0003401898310000022
式中，u、v为深度图像上的横坐标与纵坐标，Z为测量所得的深度值，f为相机的焦距，X、Y分别是世界坐标系中的横坐标与纵坐标。
采用上述方案，能够通过Kinect相机，实现TOF原理下的图像数据采集，满足高精度摄影需求，且Kinect上的彩色摄像头能够同时采集到彩色图像，最高帧率能够达到30fps，其发色的红外光纤，也不易收到其他光纤的干扰，能够实现准确获取深度数据。
所述步骤B的具体步骤为：
步骤B1：通过条件滤波去除背景噪声；
步骤B2：通过半径滤波和统计滤波去除异常值和孤立点。
采用上述方案，能够将除目标物体外的背景、噪点取出，只保留目标物体的影响，防止在获取点云数据时受到除目标物体外的影响的干扰。
所述步骤C的具体步骤为：
步骤C1：将点云数据进行特征点提取，并得到特征点集；
步骤C2：在特征点集上通过4PCS算法得到最优全等四点匹配；
步骤C3：得到最佳刚体变换矩阵。
采用上述方案，克服了Kinect相近进行三维重建时将单帧点云进行配准并融合的困难，本方法中的4PCS算法能够达到较好的鲁棒性，并提高配准的成功率。
所述步骤C1的具体步骤为：
步骤C11：设点云数据P中有n个点(xi,yi,zi)，i＝1,2,...,n-1，设pi＝(xi,yi,zi)；
步骤C12：对每个点Pi建立局部坐标系，并对所有点设定搜索半径rframe；
步骤C13：确定点云数据P中每个以Pi为中心、rframe为半径区域内的所有点，并计算这些点的权值wij，其表达式为：
Figure BDA0003401898310000023
其中pj是以pi为球心，rframe为半径内的任一点。
步骤C14：计算每个点Pi的协作方差矩阵，其公式为：
Figure BDA0003401898310000031
其中T表示对向量(pi-pj)的转置；
步骤C15：计算每个点Pi的协方差矩阵cov(pi)的特征值
Figure BDA0003401898310000032
并按从大到小的顺序排列；
步骤C16：设置阈值ε1和ε2，满足公式：
Figure BDA0003401898310000033
步骤C17：重复步骤C11-C16，直到完成所有点。
所述步骤C2的具体步骤为：
步骤C21：随机给定点云数据K和Q；
步骤C22：在点云数据K中随机选择4个共面点B＝{a,b,c,d}作为共面四点基；
步骤C23：计算得到四点基之间的两个比例因子r1,r2，其计算公式为：
Figure BDA0003401898310000034
步骤C24：对Q中的任意点对{q1,q2}，计算q1，q2∈Q的四种可能存在的焦点位置，其计算公式为：
Figure BDA0003401898310000035
式中，ei≈ej表示寻找到的与B＝{a,b,c,d}对应一致的全等四点，i,j分别表示第i个和第j个Q中长基线点对；
步骤C25：寻找点云数据K中所有的共面四点集合并记为E＝{B1,B2,...,Bm}，m为K中四点集总数，重复步骤C21-C25得到全等四点集合D＝{C1,C2,...,Cn}，n为全等四点集合总数。
所述步骤C3的具体步骤为：在集合D＝{C1,C2,...,Cn}中，通过LCP策略寻找最优全等四点匹配点对，从而计算全等四点旋转和平移变换参数，将四点转化应用到全局点云转化，记录全局配准中包含最大的一致区域记为最优匹配，与最优匹配对应的变换矩阵即为最佳刚体变换矩阵。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.能够通过4PCS算法，提高配准的成功率，其一，当重叠率小于20％时，传统技术中的算法的鲁棒性会低于标准4PCS算法，且检测器会在重叠区域提取的关键点少，即正确的电会减少，其二，4PCS是一种随机选择算法，每次随机选择点的方式使算法具有一定的随机性。因此，如果重叠率很低，那么配准就有一定的概率是正确的，当重叠率较高时，配准成功的可能性即可大幅提升。
2.能够通过Kinect相机，实现TOF原理下的图像数据采集，满足高精度摄影需求，且Kinect上的彩色摄像头能够同时采集到彩色图像，最高帧率能够达到30fps，其发色的红外光纤，也不易收到其他光纤的干扰，能够实现准确获取深度数据。
3.克服了Kinect相近进行三维重建时将单帧点云进行配准并融合的困难，本方法中的4PCS算法能够达到较好的鲁棒性，并提高配准的成功率。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的流程示意图；
图2是本发明的滤波处理后的点云；
图3是本发明的帧目标点云；
图4是本发明的两帧点云配准示意图；
图5是本发明的目标物体整体点云俯视图；
图6是本发明的目标物体整体点云主视图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1对本发明作详细说明。
实施例一：
一种三维点云数据获取处理方法，包括以下步骤：
步骤A：通过相机获取点云数据；
步骤B：将得到的点云数据进行滤波；
步骤C：将滤波处理后的点云数据基于ISS关键点的4PCS的配准；
步骤D：将配准后的点云数据进行拟合，得到物体点云图像。
所述步骤A的具体步骤为：
步骤A1：通过Kinect获取物体全角度的深度图像与深度坐标信息Z；
步骤A2：通过深度坐标信息Z计算世界坐标系中的X坐标与Y坐标，其中X的计算公式为：
Figure BDA0003401898310000051
其中Y的计算公式为：
Figure BDA0003401898310000052
式中，u、v为深度图像上的横坐标与纵坐标，Z为测量所得的深度值，f为相机的焦距，X、Y分别是世界坐标系中的横坐标与纵坐标。
所述步骤B的具体步骤为：
步骤B1：通过条件滤波去除背景噪声；
步骤B2：通过半径滤波和统计滤波去除异常值和孤立点。
所述步骤C的具体步骤为：
步骤C1：将点云数据进行特征点提取，并得到特征点集；
步骤C2：在特征点集上通过4PCS算法得到最优全等四点匹配；
步骤C3：得到最佳刚体变换矩阵。
所述步骤C1的具体步骤为：
步骤C11：设点云数据P中有n个点(xi,yi,zi)，i＝1,2,...,n-1，设pi＝(xi,yi,zi)；
步骤C12：对每个点Pi建立局部坐标系，并对所有点设定搜索半径rframe；
步骤C13：确定点云数据P中每个以Pi为中心、rframe为半径区域内的所有点，并计算这些点的权值wij，其表达式为：
Figure BDA0003401898310000053
其中pj是以pi为球心，rframe为半径内的任一点；
步骤C14：计算每个点Pi的协作方差矩阵，其公式为：
Figure BDA0003401898310000054
其中T表示对向量(pi-pj)的转置；
步骤C15：计算每个点Pi的协方差矩阵cov(pi)的特征值
Figure BDA0003401898310000055
并按从大到小的顺序排列；
步骤C16：设置阈值ε1和ε2，满足公式：
Figure BDA0003401898310000056
步骤C17：重复步骤C11-C16，直到完成所有点。
所述步骤C2的具体步骤为：
步骤C21：随机给定点云数据K和Q；
步骤C22：在点云数据K中随机选择4个共面点B＝{a,b,c,d}作为共面四点基；
步骤C23：计算得到四点基之间的两个比例因子r1,r2，其计算公式为：
Figure BDA0003401898310000061
步骤C24：对Q中的任意点对{q1,q2}，计算q1，q2∈Q的四种可能存在的焦点位置，其计算公式为：
Figure BDA0003401898310000062
式中，ei≈ej表示寻找到的与B＝{a,b,c,d}对应一致的全等四点，i,j分别表示第i个和第j个Q中长基线点对；
步骤C25：寻找点云数据K中所有的共面四点集合并记为E＝{B1,B2,...,Bm}，m为K中四点集总数，重复步骤C21-C25得到全等四点集合D＝{C1,C2,...,Cn}，n为全等四点集合总数。
所述步骤C3的具体步骤为：在集合D＝{C1,C2,...,Cn}中，通过LCP策略寻找最优全等四点匹配点对，从而计算全等四点旋转和平移变换参数，将四点转化应用到全局点云转化，记录全局配准中包含最大的一致区域记为最优匹配，与最优匹配对应的变换矩阵即为最佳刚体变换矩阵。
在上述实施例中，通过电机1与电机2控制相机移动，电机3与电机4控制物体旋转，其中电机3与电机4相应设置圆盘，将物体放置在圆盘的顶部，来进行物体全角度的拍摄，其中电机1与电机2可分别连接竖直滑轨与水平滑轨，来满足全角度的拍摄，本实施例中，相机采用Kinect2相机，其成像范围在0.5-4m，且越接近0.5m，精度损失越小，故在实际使用中，可将相机与目标物体之间的距离保持在0.6m，以达到最佳成像效果。
在拍摄时，Kinect2相机能够分别得到目标物体的彩色侧视图与深度侧视图，并通过深度侧视图和标定的相机内参解算出目标点云截图，为处理方便，本实施例中所使用的点云格式仅包含点云的空间信息。
在上述步骤得到的点云，除了包含背景点云外，还含有大量噪声，因此需要对其进行预处理，即步骤B中的滤波，本实施例中主要采用条件滤波、半径移除外点滤波一级统计滤波算法对原始点云去除背景、噪声、离群点，去除后的点云如图2所示，在本实施例中，目标物体为鸭子模型。
为了重建出目标点云的整个三维完整点云，本实施例中通过机械旋转平台，以每隔45度对目标进行采样，将0-360度平均分为8个角度对目标进行拍摄，获得了8帧点云数据，如图3所示。预处理后，需要进行配准，通过步骤C对角度0和45度的鸭子模型点云进行配准，结果如图4所示。
对其余相邻角度配准，并记录计算出的变换矩阵，再根据各角度与0度之间的变换关系变换到同一世界坐标系下，融合后的最终鸭子模型点云如图5、图6所示，通过该种方法，从三维角度考虑，弥补了传统的二维视觉无法获取物体尺度和距离信息等缺点，为工业上更高要求的测量、检测、识别提供了方向，本方法获取了目标的点云数据，同时针对部分重叠点云配准时间长，对应点匹配易出错，容易陷入局部最优等问题，通过ISS特征点结合4PCS的点云粗配准算法，实现了对真是物体较好的处理标准。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (7)

1.一种三维点云数据获取处理方法，其特征在于，包括以下步骤：
步骤A：通过相机获取点云数据；
步骤B：将得到的点云数据进行滤波；
步骤C：将滤波处理后的点云数据基于ISS关键点的4PCS的配准；
步骤D：将配准后的点云数据进行拟合，得到物体点云图像。
2.根据权利要求1所述的一种三维点云数据获取处理方法，其特征在于，所述步骤A的具体步骤为：
步骤A1：通过Kinect获取物体全角度的深度图像与深度坐标信息Z；
步骤A2：通过深度坐标信息Z计算世界坐标系中的X坐标与Y坐标，其中X的计算公式为：
Figure FDA0003401898300000011
其中Y的计算公式为：
Figure FDA0003401898300000012
式中，u、v为深度图像上的横坐标与纵坐标，Z为测量所得的深度值，f为相机的焦距，X、Y分别是世界坐标系中的横坐标与纵坐标。
3.根据权利要求1所述的一种三维点云数据获取处理方法，其特征在于，所述步骤B的具体步骤为：
步骤B1：通过条件滤波去除背景噪声；
步骤B2：通过半径滤波和统计滤波去除异常值和孤立点。
4.根据权利要求1所述的一种三维点云数据获取处理方法，其特征在于，所述步骤C的具体步骤为：
步骤C1：将点云数据进行特征点提取，并得到特征点集；
步骤C2：在特征点集上通过4PCS算法得到最优全等四点匹配；
步骤C3：得到最佳刚体变换矩阵。
5.根据权利要求4所述的一种三维点云数据获取处理方法，其特征在于，所述步骤C1的具体步骤为：
步骤C11：设点云数据P中有n个点(xi,yi,zi)，i＝1,2,...,n-1，设pi＝(xi,yi,zi)；
步骤C12：对每个点Pi建立局部坐标系，并对所有点设定搜索半径rframe；
步骤C13：确定点云数据P中每个以Pi为中心、rframe为半径区域内的所有点，并计算这些点的权值wij，其表达式为：
Figure FDA0003401898300000013
其中pj是以pi为球心，rframe为半径内的任一点；
步骤C14：计算每个点Pi的协作方差矩阵，其公式为：
Figure FDA0003401898300000021
其中T表示对向量(pi-pj)的转置；
步骤C15：计算每个点Pi的协方差矩阵cov(pi)的特征值
Figure FDA0003401898300000022
并按从大到小的顺序排列；
步骤C16：设置阈值ε1和ε2，满足公式：
Figure FDA0003401898300000023
步骤C17：重复步骤C11-C16，直到完成所有点。
6.根据权利要求5所述的一种三维点云数据获取处理方法，其特征在于，所述步骤C2的具体步骤为：
步骤C21：随机给定点云数据K和Q；
步骤C22：在点云数据K中随机选择4个共面点B＝{a,b,c,d}作为共面四点基；
步骤C23：计算得到四点基之间的两个比例因子r1,r2，其计算公式为：
Figure FDA0003401898300000024
步骤C24：对Q中的任意点对{q1,q2}，计算q1，q2∈Q的四种可能存在的焦点位置，其计算公式为：
Figure FDA0003401898300000025
式中，ei≈ej表示寻找到的与B＝{a,b,c,d}对应一致的全等四点，i,j分别表示第i个和第j个Q中长基线点对；
步骤C25：寻找点云数据K中所有的共面四点集合并记为E＝{B1,B2,...,Bm}，m为K中四点集总数，重复步骤C21-C25得到全等四点集合D＝{C1,C2,...,Cn}，n为全等四点集合总数。
7.根据权利要求6所述的一种三维点云数据获取处理方法，其特征在于，所述步骤C3的具体步骤为：在集合D＝{C1,C2,...,Cn}中，通过LCP策略寻找最优全等四点匹配点对，从而计算全等四点旋转和平移变换参数，将四点转化应用到全局点云转化，记录全局配准中包含最大的一致区域记为最优匹配，与最优匹配对应的变换矩阵即为最佳刚体变换矩阵。
CN202111498675.XA 2021-12-09 2021-12-09 一种三维点云数据获取处理方法 Pending CN114170281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111498675.XA CN114170281A (zh) 2021-12-09 2021-12-09 一种三维点云数据获取处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111498675.XA CN114170281A (zh) 2021-12-09 2021-12-09 一种三维点云数据获取处理方法

Publications (1)

Publication Number Publication Date
CN114170281A true CN114170281A (zh) 2022-03-11

Family

ID=80485121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111498675.XA Pending CN114170281A (zh) 2021-12-09 2021-12-09 一种三维点云数据获取处理方法

Country Status (1)

Country Link
CN (1) CN114170281A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050071A (zh) * 2022-06-20 2022-09-13 中国工商银行股份有限公司 情绪识别的方法、装置、存储介质以及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050071A (zh) * 2022-06-20 2022-09-13 中国工商银行股份有限公司 情绪识别的方法、装置、存储介质以及电子设备
CN115050071B (zh) * 2022-06-20 2024-07-05 中国工商银行股份有限公司 情绪识别的方法、装置、存储介质以及电子设备

Similar Documents

Publication Publication Date Title
US7769205B2 (en) Fast three dimensional recovery method and apparatus
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
Moussa Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording
Moussa et al. An automatic procedure for combining digital images and laser scanner data
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
Jin et al. An Indoor Location‐Based Positioning System Using Stereo Vision with the Drone Camera
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
CN115909025A (zh) 一种小天体表面采样点地形视觉自主检测识别方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及***
Xinmei et al. Passive measurement method of tree height and crown diameter using a smartphone
Lalonde et al. Automatic three-dimensional point cloud processing for forest inventory
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN116518864A (zh) 一种基于三维点云对比分析的工程结构全场变形检测方法
Barazzetti et al. Automated and accurate orientation of complex image sequences
CN114170281A (zh) 一种三维点云数据获取处理方法
Li et al. Using laser measuring and SFM algorithm for fast 3D reconstruction of objects
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
Jurjević et al. 3D data acquisition based on OpenCV for close-range photogrammetry applications
Fritsch et al. Photogrammetric point cloud collection with multi-camera systems
CN112862678A (zh) 一种无人机图像拼接方法、装置及存储介质
Grifoni et al. 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting
CN115063524A (zh) 一种3d人脸识别的重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination