CN117789197A - 点云数据的特征点提取方法及装置、采集装置及转移设备 - Google Patents
点云数据的特征点提取方法及装置、采集装置及转移设备 Download PDFInfo
- Publication number
- CN117789197A CN117789197A CN202311862532.1A CN202311862532A CN117789197A CN 117789197 A CN117789197 A CN 117789197A CN 202311862532 A CN202311862532 A CN 202311862532A CN 117789197 A CN117789197 A CN 117789197A
- Authority
- CN
- China
- Prior art keywords
- point
- points
- dimensional contour
- dimensional
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 39
- 238000012546 transfer Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 239000003292 glue Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种点云数据的特征点提取方法、点云数据的特征点提取装置、图像采集装置和物品转移设备。方法包括获取目标物体的各个截面的点云数据中的三维轮廓点；将三维轮廓点映射为二维轮廓点；确定各个二维轮廓点的邻域点，以根据邻域点确定各个二维轮廓点的曲率；确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据二维特征点确定三维特征点。如此，根据曲率至少可以准确地确定凸起的最凸点对应的三维轮廓点，或是凹陷的最凹点对应的三维轮廓点，后续可根据凸起的最凸点对应的三维轮廓点，或是根据凹陷的最凹点对应的三维轮廓点来准确地确定三维特征点，从而可提高获取的三维特征点的精度。
Description
技术领域
本申请涉及点云数据技术领域，更具体而言，涉及一种点云数据的特征点提取方法、点云数据的特征点提取装置、图像采集装置和物品转移设备。
背景技术
在3D视觉图像领域，获取异形物体(不规则物体、任意曲面形状物体)的3D特征点信息，在测量、涂胶引导、缺陷检测等3D高精度应用领域很广。目前常用的一种3D特征点方法为直接在3D的点云数据的轮廓点上提取3D特征点。但由于3D点云数据是乱序的，导致3D点云数据容易存在干扰，且3D点云数据的形状容易较复杂，从而导致获取的3D特征点的精度较低。
发明内容
本申请实施方式提供一种点云数据的特征点提取方法、点云数据的特征点提取装置、图像采集装置和物品转移设备。
本申请实施方式的点云数据的特征点提取方法包括获取目标物体的各个截面的点云数据中的三维轮廓点；将所述三维轮廓点映射为二维轮廓点；确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率；确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据所述二维特征点确定三维特征点。
本申请实施方式的点云数据的特征点提取装置包括获取模块、映射模块、第一确定模块及第二确定模块。所述获取模块用于获取目标物体的各个截面的点云数据中的三维轮廓点。所述映射模块用于将所述三维轮廓点映射为二维轮廓点。所述第一确定模块用于确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率。所述第二确定模块用于确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据所述二维特征点确定三维特征点。
本申请实施方式的图像采集装置包括图像采集模组及处理器。所述图像采集模组用于获取目标物体的点云数据。所述处理器用于执行点云数据的特征点提取方法。所述点云数据的特征点提取方法包括获取目标物体的各个截面的点云数据中的三维轮廓点；将所述三维轮廓点映射为二维轮廓点；确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率；确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据所述二维特征点确定三维特征点。
本申请实施方式的物品转移设备包括处理器、存储器及计算机程序，其中，所述计算机程序被存储在所述存储器中，并且被所述处理器执行，所述计算机程序包括用于执行点云数据的特征点提取方法的指令。所述点云数据的特征点提取方法包括获取目标物体的各个截面的点云数据中的三维轮廓点；将所述三维轮廓点映射为二维轮廓点；确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率；确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据所述二维特征点确定三维特征点。
本申请实施方式的点云数据的特征点提取方法、点云数据的特征点提取装置、图像采集装置和物品转移设备，在获取目标物体的点云数据后，可根据目标物体的各个截面中的三维轮廓点。然后，可利用旋转矩阵，将三维轮廓点转换为二维轮廓点，使得后续可基于二维轮廓点计算特征的，从而便于降低计算特征点的难度。特征点为点云数据中，某个特征较突出的点，以便于根据该特征进行特征点的提取，而凸起的最凸点的法线变化量是凸起中的所有点中最大的，凹陷的最凹点的法线变化量是凹陷的所有点中最大的，且曲率可表征该点的法线变化量，因此可利用曲率来确定特征点。在确定二维轮廓点后，可根据二维轮廓点的邻域点来确定每个二维轮廓点的曲率，并将曲率大于预设曲率阈值的二维轮廓点确认为二维特征点，如此至少可将曲率最大的二维轮廓点确认为二维特征点，接着可根据二维特征点确定三维特征点。如此，根据曲率至少可以准确地确定凸起的最凸点对应的三维轮廓点，或是凹陷的最凹点对应的三维轮廓点，后续可根据凸起的最凸点对应的三维轮廓点，或是根据凹陷的最凹点对应的三维轮廓点来准确地确定三维特征点，从而可提高获取的三维特征点的精度。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的点云数据的特征点提取方法的流程示意图；
图2是本申请某些实施方式的点云数据的特征点提取方法的场景示意图；
图3是本申请某些实施方式的点云数据的特征点提取方法的流程示意图；
图4是本申请某些实施方式的点云数据的特征点提取方法的流程示意图；
图5是本申请某些实施方式的点云数据的特征点提取方法的流程示意图；
图6是本申请某些实施方式的点云数据的特征点提取方法的流程示意图；
图7是本申请某些实施方式的点云数据的特征点提取方法的流程示意图；
图8是本申请某些实施方式的点云数据的特征点提取装置的模块示意图；
图9是本申请某些实施方式的图像采集装置的结构示意图；
图10是本申请某些实施方式的物品转移设备的结构示意图；
图11是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
在3D视觉图像领域，获取异形物体(不规则物体、任意曲面形状物体)的3D特征点信息，在测量、涂胶引导、缺陷检测等3D高精度应用领域很广。目前3D点云特征点检测方法一般有三种途径获得。
第一种是在2D灰度图像上根据灰度信息获取2D特征点，然后根据2D到3D的映射关系，获取3D点云数据的特征点。但该方法要求成像的2D图像所表示的特征点与3D特征点对应，由于2D图像易受光照等环境影响，导致获取的3D特征点不稳定。
第二种是在点云数据上直接获取，主要通过点云数据周围邻域信息获取边缘轮廓数据，然后在边缘轮廓数据上在精确提取3D特征点。但由于3D点云数据存在干扰或形状复杂，导致获取的3D特征点的精度通常较低，而且算法的复杂难度较大，效率较低，不适于进行3D高精度高效率的应用。
第三种方法在获取点云的轮廓数据(轮廓数据可以通过3D线扫相机直接获取、截面生成间接获取等)基础上提取3D特征点。目前一般轮廓数据的特征点提取算法包括梯度或角度变化获取，但是梯度或角度变化并不能满足所有场景的特征点提取，梯度(高度梯度)的变化或者角度的变化不能够很好地反应出特征点，找的特征点的变动比较大，导致精度和鲁棒性较低。
为解决上述技术问题，本申请实施例提供一种点云数据的特征点提取方法。
下面将对本申请的点云数据的特征点提取方法进行详细阐述：
请参阅图1，本申请实施方式提供一种点云数据的特征点提取方法，该点云数据的特征点提取方法包括：
步骤011：获取目标物体的各个截面的点云数据中的三维轮廓点；
具体地，通过三维扫描设备可获得目标物体的点云数据，每个点云数据包括三维坐标，也可能含有颜色信息(RGB)或反射强度信息(Intensity)，可反应目标物体可见表面的三维几何形状以及在物理空间中的位置信息。
然后，可根据预设平面信息来分割目标物体的点云数据，得到目标物体的各个截面，以及各个截面中的三维轮廓点。
例如，根据预设平面信息以及预设距离阈值，可确定预设平面信息对应的分割点云数据。其中，预设平面信息包括无界平面或有界平面两种形式。无界平面为没有边界的平面，指由点和法向量构造的平面；有界平面为有边界的平面，可以是三维矩形，也可以是三维圆，还可以是三维三角形、三维平行四边形等。
当预设平面信息为无界平面时，获取目标物体的点云数据中每个点到无界平面的距离。如果某个点的距离小于预设距离阈值，那么该点即为分割点，所有的分割点构成分割点云数据。当预设平面信息为有界平面时，可通过有界平面和距离阈值构造三维立体图形，目标物体的点云数据中落在三维立体图形中的点为分割点，这些分割点构成分割点云数据。
接着，可根据投影法或交叉法，或者同时使用投影法和交叉法得到三维轮廓点。在根据投影法确定三维轮廓点的情况下，可将分割点投影到第一平面上，当分割点到第一平面距离最小时，在第一平面上确定投影点，并将投影点作为三维轮廓点，如此可得到第一平面上的所有三维轮廓点。在根据交叉法确定三维轮廓点的情况下，可将第二平面一侧的分割点与第二平面另一侧的最近分割点的交叉线与第二平面的交叉，获得交叉点，并将交叉点作为三维轮廓点，如此可得到第二平面上的所有三维轮廓点。当然，也可同时使用投影法和交叉法得到三维轮廓点，例如小于1/2预设距离阈值的点使用投影法得到三维轮廓点，大于1/2预设距离阈值使用交叉法得到三维轮廓点。
如此，基于上述方法，可在目标物体的点云数据中划分多个截面，并得到各个截面上对应的三维轮廓点。
步骤012：将三维轮廓点映射为二维轮廓点；
具体地，三维轮廓点的计算难度较大，因此此时可将三维轮廓点映射为二维轮廓点。例如，将三维轮廓点旋转到预设平面上，例如空间坐标系中的XOY平面上，得到三维轮廓点在预设平面上对应的二维轮廓点。如此，一方面可降低计算特征点的难度，另一方面相比于直接将三维轮廓点投影为二维轮廓点的方法，这样旋转的方法还不会改变轮廓的形状结构，从而减少精度的损失，确保后续确定的特征点的精度。
步骤013：确定各个二维轮廓点的邻域点，以根据邻域点确定各个二维轮廓点的曲率；
具体地，在目标物体为异形物体的情况下，物品转移设备的目标位置需要为目标物体的轮廓边缘中有比较独特的特征的点，如此物品转移设备才可根据该特征来准确地找到目标位置，从而准确地进行作业。例如，在点胶的时候，胶水通常需要点在凹槽的最凹点，或者是凸起的最凸点，那么此时目标位置即为凹槽的最凹点或凸起的最凸点。物品转移设备需要准确地找到这些目标位置，点上胶水，若物品转移设备在目标位置以外的地方点上胶水，则可能会导致后续的安装效果不佳。
现有方法通常利用梯度或是角度变化来确定目标位置，但是梯度和角度的变化会受到弧线的长度以及走势影响，导致在弧线的长度或走势不同的情况下，利用梯度或是角度来确定的特征点的变动较大。例如目标位置为凹槽的最高点，在走势不同的凹槽A和凹槽B中，凹槽A确定的特征点可能会是凹槽A的最凹点，凹槽B确定的特征点为偏离凹槽B的最凹点一段距离的点。可以理解，现有方法是无法准确地将特征点定位到目标位置的。
请结合图2，图2为目标物体的部分轮廓，上面的点为部分轮廓点，箭头即为轮廓点对应的法向量。从图2中可以看到，对于凹槽的最凹点(即B点)或是凸起的最凸点(即A点和C点)，在这些点的两侧的轮廓点的法向量朝向是相反的，即最凹点和最凸点两侧的法向量会发生突变，因此，最凹点和最凸点的法向量变化量是整段弧线中最大的。可以理解，对于有弧线的目标物体，弧线对应的轮廓点中都会有法向量突变的轮廓点，且这个点要么是最凹点，要么就是最凸点。而曲率可表征一个点的法向量变化量，因此，即使在长度或走势不同的弧线中，凹槽的最凹点或是凸起的最凸点的曲率永远是最大的。可以理解，曲率更能表达特征点的信息，根据曲率来获取特征点，至少能够非常准确地获取到凹槽的最凹点或是凸起的最凸点，后续可再基于凹槽的最凹点或是凸起的最凸点准确地确定特征点。若目标位置为凸起的最凸点以及凹陷的最凹点，就可直接将曲率最大的点作为特征点。若目标位置位于凹陷或凸起的斜面上，即不是凹槽的最凹点或是凸起的最凸点，则可先将凹槽的最凹点或是凸起的最凸点作为中间点，然后基于中间点设置一定的偏移量得到特征点，可以理解，由于中间点的准确度较高，那么最终得到的特征点的准确度也会较高。
因此，本申请将曲率作为特征信息来获取特征点，此时则需要计算每个二维轮廓点的曲率。确定二维轮廓点后，可首先确定各个二维轮廓点的邻域点，例如可根据拟合直线的算法来拟合二维轮廓点，得到一条带有方向的直线，然后根据直线的方向确定各个二维轮廓点之间的顺序。
接着可根据顺序来确定二维轮廓点的邻域点，并根据邻域点来确定对应的二维轮廓点的曲率。例如，可根据邻域点确定二维轮廓点的协方差矩阵，并根据协方差矩阵来确定二维轮廓点的曲率。再例如，可根据邻域点确定二维轮廓点的二阶导数，并根据二阶导数确定曲率。
步骤014：确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据二维特征点确定三维特征点。
具体地，在确定每个二维轮廓点的曲率后，可根据预设曲率阈值来确定二维特征点。例如，可根据每个二维轮廓点的曲率，从大到小进行排序。然后根据用户的目标位置来设置预设曲率阈值。例如，用户的目标位置是凸起的最凸点或者凹陷的最凹点，那么该点的曲率是最大的，因此预设曲率阈值可根据曲率最大的二维轮廓点进行设置，使得可将曲率最大的二维轮廓点确定为二维特征点。当然，二维特征点的数量也可为多个，预设曲率阈值的范围可根据需求来进行设置，例如可根据曲率第三大的二维轮廓点来设置预设曲率阈值，此时的二维特征点分别为曲率最大的二维轮廓点、曲率第二大的二维轮廓点以及曲率第三大的二维轮廓点。
在确定二维特征点后，便可根据二维特征点确定三维特征点。例如，可根据将三维轮廓点映射为二维轮廓点的映射方法，将二维特征点反映射成三维特征点。如此，通过曲率确定三维特征点，使得在目标物体为异形物体的情况下，可至少准确地找到弧形中法线变化最大的点，即凸起的最凸点以及凹陷的最凹点，使得后续可根据曲率最大的点来准确地确定特征点。若目标位置为凸起的最凸点以及凹陷的最凹点，那么根据曲率最大的二维轮廓点可直接确认三维特征点。若目标位置位于凹陷或凸起的斜面上，则可根据曲率最大的二维轮廓点确定中间点，可以理解，中间点为凸起的最凸点以及凹陷的最凹点，然后基于中间点设置一定的偏移量，得到特征点，如此也可将特征点准确地定位到目标位置上。
当然，三维轮廓点是位于截面中的点，因此也可直接根据三维轮廓点进行排序，并计算曲率，然后确定曲率大于预设曲率阈值的三维轮廓点为三维特征点，这样也可以在轮廓点中找到曲率较大的三维特征点。但是，由于三维轮廓点比二维轮廓点多一维数据，直接根据三维轮廓点来进行操作的计算量会大大增加，从而带来一定的精度误差。因此，较优方案仍然为将三维轮廓点转换为二维轮廓点，然后再基于二维轮廓点进行排序和曲率的计算，从而一方面能够确保三维特征点的准确性，另一方面减少计算量。
本申请实施方式的点云数据的特征点提取方法，在获取目标物体的点云数据后，可根据目标物体的各个截面中的三维轮廓点。然后，可利用旋转矩阵，将三维轮廓点转换为二维轮廓点，使得后续可基于二维轮廓点计算特征的，从而便于降低计算特征点的难度。特征点为点云数据中，某个特征较突出的点，以便于根据该特征进行特征点的提取，而凸起的最凸点的法线变化量是凸起中的所有点中最大的，凹陷的最凹点的法线变化量是凹陷的所有点中最大的，且曲率可表征该点的法线变化量，因此可利用曲率来确定特征点。在确定二维轮廓点后，可根据二维轮廓点的邻域点来确定每个二维轮廓点的曲率，并将曲率大于预设曲率阈值的二维轮廓点确认为二维特征点，如此至少可将曲率最大的二维轮廓点确认为二维特征点，接着可根据二维特征点确定三维特征点。如此，根据曲率至少可以准确地确定凸起的最凸点对应的三维轮廓点，或是凹陷的最凹点对应的三维轮廓点，后续可根据凸起的最凸点对应的三维轮廓点，或是根据凹陷的最凹点对应的三维轮廓点来准确地确定三维特征点，从而可提高获取的三维特征点的精度。
请参阅图2，在某些实施方式中，步骤012：将三维轮廓点映射为二维轮廓点，包括：
步骤0121：根据三维轮廓点对应的截面的法向量和预设平面的法向量，确定旋转矩阵；
步骤0122：根据旋转矩阵将三维轮廓点进行旋转变换，以确定三维轮廓点在预设平面上对应的二维轮廓点。
具体地，预设平面信息中包括法向量，可以理解，三维轮廓点对应的截面的法向量为截面对应的预设平面信息中包含的法向量。根据三维轮廓点对应的截面的法向量和预设平面的法向量，可确定三维轮廓点的旋转矩阵。
以预设平面为空间坐标系中的XOY平面为例，此时预设平面的法向量为Z＝0，假设截面的法向量为(a，b，c)。旋转矩阵可根据以下计算公式获得：
其中，c1、c2、s1和s2通过以下公式获取：
在截面的法向量为(a，0，0)时，c1和c2需要进行化简计算，化简后得到c1＝1，c2＝0，s1＝0，s2＝-1。
在确定旋转矩阵后，可根据旋转矩阵将三维轮廓点进行旋转变换，得到三维轮廓点在预设平面上对应的二维轮廓点。例如，假设三维轮廓点的坐标为(xi，yi，zi)，预设平面上的二维轮廓点的坐标为(Xi，Yi)。可根据以下公式将三维轮廓点转换为二维轮廓点：
如此，可通过旋转的方式，将三维轮廓点降维为在预设平面上的二维轮廓点，使得后续可基于二维轮廓点进行排序以及曲率的计算，从而减少计算量，并减少计算的难度，同时也可降低计算误差。同时，二维轮廓点是通过旋转矩阵转换后得到的，这样并不会改变轮廓的形状结构，使得基于二维轮廓点中提取的二维特征点的精度较高，从而使得三维特征点的精度也较高。
请参阅图3，在某些实施方式中，步骤013：确定各个二维轮廓点的邻域点，以根据邻域点确定各个二维轮廓点的曲率，包括：
步骤0131：拟合二维轮廓点，确定拟合直线；
步骤0132：根据拟合直线的方向确定二维轮廓点的顺序；
步骤0133：根据二维轮廓点的顺序以及邻域点的预设数量，确定各个二维轮廓点的邻域点；
步骤0134：根据邻域点，确定对应的二维轮廓点的曲率。
具体地，将三维轮廓点转换为二维轮廓点后，可拟合二维轮廓点，确定一条带有方向的拟合直线，例如根据最小二乘法来得到对应的拟合直线。然后，根据任意两个二维轮廓点构成一个向量，向量的朝向与拟合直线的朝向相同，从而得到向量的方向。根据向量的方向，向量上的两个二维轮廓点有了先后顺序，例如靠近向量的箭头的二维轮廓点在后，远离向量的箭头的二维轮廓点在前，如此可确定位于向量上的两个二维轮廓点的顺序。以此类推，将所有的二维轮廓点进行比较后，可得到所有二维轮廓点的先后顺序。
接着，可根据二维轮廓点的顺序以及邻域点的预设数量，确定各个二维轮廓点的邻域点。例如，可以当前二维轮廓点为中心，结合邻域点的预设数量来获取邻域点。在邻域点的预设数量为4个的情况下，第3个二维轮廓点的邻域点为第1个二维轮廓点、第2个二维轮廓点、第4个二维轮廓点及第5个二维轮廓点。在邻域点的预设数量为2个的情况下，第3个二维轮廓点的邻域点为第2个二维轮廓点及第4个二维轮廓点。
然后，便可根据邻域点来确定对应的二维轮廓点的曲率。例如，可根据邻域点确定二维轮廓点的协方差矩阵，并根据协方差矩阵来确定二维轮廓点的曲率。再例如，可根据邻域点确定二维轮廓点的二阶导数，并根据二阶导数确定曲率。
如此，便可根据二维轮廓点的拟合直线来准确地确定各个二维轮廓点的顺序，并基于顺序来确定每个二维轮廓点对应的邻域点，以确保邻域点的准确性，从而使得后续根据邻域点，可准确地得到每个二维轮廓点对应的曲率。
请参阅图4，在某些实施方式中，步骤0134：根据邻域点，确定对应的二维轮廓点的曲率，包括：
步骤01341：根据邻域点，确定二维轮廓点对应的协方差矩阵；
步骤01342：分解协方差矩阵，确定协方差矩阵的特征值；
步骤01343：根据特征值确定二维轮廓点的曲率。
具体地，在确定邻域点后，可根据邻域点确定二维轮廓点对应的协方差矩阵，例如协方差矩阵Matrix的计算公式为：
其中， 是邻域范围内的点的质心位置，质心位置在x方向上的坐标为邻域范围内的所有点的横坐标的均值，质心位置在y方向上的坐标为邻域范围内的所有点的纵坐标的均值。
而上述xx的计算公式，xy的计算公式和yy的计算公式仅为某些情况下的计算公式，公式中的i和n都是需要根据当前二维轮廓点以及邻域点的数量来确定的。例如，在邻域点为4个的情况下，在计算第3个二维轮廓点的曲率的时候，i＝1，n＝5。计算第4个二维轮廓点的曲率的时候，i＝2，n＝6。
在生成协方差矩阵后，可对协方差矩阵进行奇异值分解(SVD分解)，从而得到协方差矩阵的特征值(λ1，λ2)与对应特征向量(u1，u2)、(v1，v2)，其中λ1＞λ2≥0。然后，可根据特征值来确定二维轮廓点的曲率，曲率curvity的计算公式如下：
如此，可根据协方差矩阵准确地得到每个二维轮廓点的曲率，使得后续根据二维轮廓点确定的二维轮廓点和三维轮廓点的准确性都较高。
同时，根据公式(4)可知，协方差矩阵的确定和邻域点的数量是有关系的，使得在邻域点的预设数量不同的情况下，同一个二维轮廓点对应的曲率不同。因此，还可通过改变预设数量，来得到同一个二维轮廓点对应的多个曲率，使得后续可根据目标位置来确定预设数量，确保目标位置对应的二维轮廓点的曲率最大，从而使得易于获取理想的特征点位置。例如图2为目标物体的部分轮廓，A点为其中一个凸起的最凸点，B点为凹陷的最凹点。可通过调整预设数量，确定A点的曲率为所有点的曲率的最大值的情况下，对应的预设数量，例如为4个，并确定B点的曲率为所有点的曲率的最大值的情况下，对应的预设数量，例如为6个。那么，在目标位置为A点的情况下，可设置预设数量为4个，使得后续可准确地将三维特征点定位到A点上。在目标位置为B点的情况下，可设置预设数量为6个，使得呃后续可准确地将三维特征点定位到B点上。
请参阅图6，在某些实施方式中，步骤013：确定各个二维轮廓点的邻域点，以根据邻域点确定各个二维轮廓点的曲率，还包括：
步骤0135：根据二维轮廓点的顺序以及邻域点的预设数量，对二维轮廓点进行平滑处理，以更新二维轮廓点的坐标。
具体地，在确定邻域点后，根据邻域点确定二维轮廓点的曲率之前，还可根据邻域点进行平滑处理，以对二维轮廓点进行滤波，从而减少噪声，使得后续可根据平滑处理后的二维轮廓点来准确地计算曲率。
例如，可采用平均滤波的方法，根据二维轮廓点的顺序以及邻域点的预设数量来更新二维轮廓点的坐标，其中的计算公式如下：
其中，qi为更新后的第i个二维轮廓点的坐标，pi为第i个二维轮廓点的原始坐标，n为邻域点的预设数量。
如此，根据邻域点来进行平滑处理后，可去除噪声，提高抗干扰能力和鲁棒性，以提高后续计算得到的曲率的准确性，从而更利于后续的特征点的提取。当然，平滑处理的次数并不限制，可为一次或多次。在平滑处理的次数为多次的情况下，可基于更新后的坐标再次进行平滑处理，也使得最终得到的二维轮廓点更平滑，抗干扰能力能强，从而进一步提高后续计算得到的曲率的准确性。
请参阅图7，在某些实施方式中，步骤014：根据二维特征点确定三维特征点，包括：
步骤0141：根据旋转矩阵的逆矩阵，将二维特征点进行旋转变换，以确定二维特征点在截面上对应的三维特征点。
具体地，在确定二维特征点后，可求得公式(1)确定的旋转矩阵的逆矩阵。然后根据逆矩阵将二维特征点进行旋转变化，以确定二维轮廓点在截面上对应的三维轮廓点。可以理解，二维特征点至少包括弧线中法线突变的点对应的二维轮廓点，即凸起的最凸点对应的二维轮廓点或是凹陷的最凹点对应的二维轮廓点。在目标位置为弧线中法线突变的点的情况下，将曲率最大的二维特征点进行旋转变换后，得到的点即为三维特征点。在目标位置为弧线中除法线突变的点以外的点的情况下，可将曲率最大的二维特征点进行旋转变换，得到的三维点为中间点，然后结合预设的偏移量，得到三维特征点。可以理解，中间点是能够准确地定位在法线突变的点上的，因此三维特征点的精度也较高。
如此，可根据旋转矩阵的逆矩阵和二维特征点，准确地得到三维特征点，使得后续物品转移设备可准确地根据三维特征点来实现精准作业，例如测量、涂胶引导、缺陷检测。
请参阅图8，为便于更好地实施本申请实施方式的点云数据的特征点提取方法，本申请实施方式还提供一种点云数据的特征点提取装置10。该点云数据的特征点提取装置10可以包括获取模块11、映射模块12、第一确定模块13及第二确定模块14。获取模块11用于获取目标物体的各个截面的点云数据中的三维轮廓点。映射模块12用于将三维轮廓点映射为二维轮廓点。第一确定模块13用于确定各个二维轮廓点的邻域点，以根据邻域点确定各个二维轮廓点的曲率。第二确定模块14用于确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据二维特征点确定三维特征点。
映射模块12具体用于根据三维轮廓点对应的截面的法向量和预设平面的法向量，确定旋转矩阵；根据旋转矩阵将三维轮廓点进行旋转变换，以确定三维轮廓点在预设平面上对应的二维轮廓点。
第一确定模块13具体用于拟合二维轮廓点，确定拟合直线；根据拟合直线的方向确定二维轮廓点的顺序；根据二维轮廓点的顺序以及邻域点的预设数量，确定各个二维轮廓点的邻域点；根据邻域点，确定对应的二维轮廓点的曲率。
第一确定模块13具体用于根据邻域点，确定二维轮廓点对应的协方差矩阵；分解协方差矩阵，确定协方差矩阵的特征值；根据特征值确定二维轮廓点的曲率。
第一确定模块13具体用于根据二维轮廓点的顺序以及邻域点的预设数量，对二维轮廓点进行平滑处理，以更新二维轮廓点的坐标。
第二确定模块14具体用于根据旋转矩阵的逆矩阵，将二维特征点进行旋转变换，以确定二维特征点在截面上对应的三维特征点。
上文中结合附图从功能模块的角度描述了点云数据的特征点提取装置10，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
请参阅图9，本申请实施方式的图像采集装置100包括图像采集模组20及处理器30。图像采集模组20用于获取目标物体的点云数据。处理器30用于执行上述任一实施方式的点云数据的特征点提取方法。
请参阅图10，本申请实施方式的物品转移设备200包括处理器210、存储器220及计算机程序，其中，计算机程序被存储在存储器220中，并且被处理器210执行，计算机程序包括用于执行上述任一实施方式的点云数据的特征点提取方法的指令。
请参阅图11，本申请实施方式还提供了一种非易失性计算机可读存储介质300，其上存储有计算机程序310，计算机程序310被处理器320执行的情况下，实现上述任意一种实施方式的点云数据的特征点提取方法的步骤，为了简洁，在此不再赘述。其中，所述处理器320可为图像采集装置100的处理器30，也可为物品转移设备200的处理器210。
在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种点云数据的特征点提取方法，其特征在于，包括：
获取目标物体的各个截面的点云数据中的三维轮廓点；
将所述三维轮廓点映射为二维轮廓点；
确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率；
确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据所述二维特征点确定三维特征点。
2.根据权利要求1所述的点云数据的特征点提取方法，其特征在于，所述将所述三维轮廓点映射为二维轮廓点，包括：
根据所述三维轮廓点对应的截面的法向量和预设平面的法向量，确定旋转矩阵；
根据所述旋转矩阵将所述三维轮廓点进行旋转变换，以确定所述三维轮廓点在所述预设平面上对应的二维轮廓点。
3.根据权利要求1所述的点云数据的特征点提取方法，其特征在于，所述确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率，包括：
拟合所述二维轮廓点，确定拟合直线；
根据所述拟合直线的方向确定所述二维轮廓点的顺序；
根据所述二维轮廓点的顺序以及邻域点的预设数量，确定各个所述二维轮廓点的邻域点；
根据所述邻域点，确定对应的二维轮廓点的曲率。
4.根据权利要求3所述的点云数据的特征点提取方法，其特征在于，所述根据所述邻域点，确定对应的二维轮廓点的曲率，包括：
根据所述邻域点，确定所述二维轮廓点对应的协方差矩阵；
分解协方差矩阵，确定所述协方差矩阵的特征值；
根据所述特征值确定所述二维轮廓点的曲率。
5.根据权利要求4所述的点云数据的特征点提取方法，其特征在于，在预设数量不同的情况下，同一个二维轮廓点对应的曲率不同。
6.根据权利要求3所述的点云数据的特征点提取方法，其特征在于，所述确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率，还包括：
根据所述二维轮廓点的顺序以及邻域点的预设数量，对所述二维轮廓点进行平滑处理，以更新所述二维轮廓点的坐标。
7.根据权利要求2所述的点云数据的特征点提取方法，其特征在于，所述根据所述二维特征点确定三维特征点，包括：
根据所述旋转矩阵的逆矩阵，将所述二维特征点进行旋转变换，以确定所述二维特征点在所述截面上对应的三维特征点。
8.一种点云数据的特征点提取装置，其特征在于，包括：
获取模块，用于获取目标物体的各个截面的点云数据中的三维轮廓点；
映射模块，用于将所述三维轮廓点映射为二维轮廓点；
第一确定模块，用于确定各个所述二维轮廓点的邻域点，以根据所述邻域点确定各个所述二维轮廓点的曲率；
第二确定模块，用于确定曲率大于预设曲率阈值的二维轮廓点为二维特征点，并根据所述二维特征点确定三维特征点。
9.一种图像采集装置，其特征在于，包括：
图像采集模组，所述图像采集模组用于获取目标物体的点云数据；及
处理器，所述处理器用于执行权利要求1至7任意一项所述的点云数据的特征点提取方法。
10.一种物品转移设备，其特征在于，包括：
处理器、存储器；及
计算机程序，其中，所述计算机程序被存储在所述存储器中，并且被所述处理器执行，所述计算机程序包括用于执行权利要求1至7任意一项所述的点云数据的特征点提取方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311862532.1A CN117789197A (zh) | 2023-12-29 | 2023-12-29 | 点云数据的特征点提取方法及装置、采集装置及转移设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311862532.1A CN117789197A (zh) | 2023-12-29 | 2023-12-29 | 点云数据的特征点提取方法及装置、采集装置及转移设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117789197A true CN117789197A (zh) | 2024-03-29 |
Family
ID=90381570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311862532.1A Pending CN117789197A (zh) | 2023-12-29 | 2023-12-29 | 点云数据的特征点提取方法及装置、采集装置及转移设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789197A (zh) |
-
2023
- 2023-12-29 CN CN202311862532.1A patent/CN117789197A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模*** | |
| Zhang et al. | Survey and evaluation of RGB-D SLAM | |
| Sun et al. | Surface matching by 3D point's fingerprint | |
| JP4573085B2 (ja) | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム | |
| Förstner et al. | Detecting interpretable and accurate scale-invariant keypoints | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| Hexner et al. | 2D-3D pose estimation of heterogeneous objects using a region based approach | |
| CN108921895B (zh) | 一种传感器相对位姿估计方法 | |
| Delmerico et al. | Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance | |
| CN108225319B (zh) | 基于目标特征的单目视觉快速相对位姿估计***及方法 | |
| US20190188871A1 (en) | Alignment of captured images by fusing colour and geometrical information | |
| CN109559346B (zh) | 一种3d点云测量中的待测部位的定位及分割方法、扫描仪 | |
| CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
| US6980685B2 (en) | Model-based localization and measurement of miniature surface mount components | |
| US6993177B1 (en) | Gauging based on global alignment and sub-models | |
| CN106296587B (zh) | 轮胎模具图像的拼接方法 | |
| CN111062966A (zh) | 基于l-m算法和多项式插值对相机跟踪进行优化的方法 | |
| Bormann et al. | Fast and accurate normal estimation by efficient 3d edge detection | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JP6579659B2 (ja) | 光源推定装置及びプログラム | |
| CN117789197A (zh) | 点云数据的特征点提取方法及装置、采集装置及转移设备 | |
| Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
| WO1999027493A9 (en) | Detection of image correspondence using radial cumulative similarity | |
| Zhang et al. | Alignment of 3d building models with satellite images using extended chamfer matching | |
| Cooke | Two applications of graph-cuts to image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |