CN117495969B - 基于计算机视觉的自动化点云定向方法、设备及存储介质 - Google Patents

基于计算机视觉的自动化点云定向方法、设备及存储介质 Download PDF

Info

Publication number
CN117495969B
CN117495969B CN202410003521.6A CN202410003521A CN117495969B CN 117495969 B CN117495969 B CN 117495969B CN 202410003521 A CN202410003521 A CN 202410003521A CN 117495969 B CN117495969 B CN 117495969B
Authority
CN
China
Prior art keywords
point cloud
target
angle
gray
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410003521.6A
Other languages
English (en)
Other versions
CN117495969A (zh
Inventor
廖李灿
应宗权
毛凤山
吕述晖
李金祥
刘介山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCCC Fourth Harbor Engineering Institute Co Ltd
Original Assignee
CCCC Fourth Harbor Engineering Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCCC Fourth Harbor Engineering Institute Co Ltd filed Critical CCCC Fourth Harbor Engineering Institute Co Ltd
Priority to CN202410003521.6A priority Critical patent/CN117495969B/zh
Publication of CN117495969A publication Critical patent/CN117495969A/zh
Application granted granted Critical
Publication of CN117495969B publication Critical patent/CN117495969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的自动化点云定向方法、电子设备及计算机可读存储介质，包括：从原始点云数据中提取覆盖标靶布设范围的点云环，将点云环从笛卡尔坐标系转换到球坐标系；将点云环映射为二维的点云灰度图像；基于模板匹配算法从点云灰度图像中寻找标靶灰度图像，识别出点云环中对应的标靶区域；定义第二分割精度，将标靶区域映射为更高精度的标靶灰度图像；对该标靶灰度图像进行滤波处理，再通过特征点提取算法在标靶灰度图像中获取标靶中心点；计算点云坐标转换参数，将原始点云数据从局部坐标系转换到施工坐标系。本发明能够自动识别平面标靶区域和提取标靶中心点，快速准确地实现点云数据定向过程的自动化处理。

Description

基于计算机视觉的自动化点云定向方法、设备及存储介质
技术领域
本发明涉及工程测量技术领域，尤其涉及一种基于计算机视觉的自动化点云定向方法、电子设备及计算机可读存储介质。
背景技术
随着社会的发展和工艺技术的进步，国内外超高层、异形以及大型结构建设日益加快，由于结构在施工过程中对施工偏差敏感性强，且安排给测量的工期要求紧，使得对于测量工作的要求越来越高，不仅要满足测量精度，同时还要兼顾测量效率。传统的测量手段已经很难满足效率方面的要求，而三维激光扫描技术的出现，则有效的解决了这一问题。
三维激光扫描技术弥补了传统测量方式单点采集的缺陷，能够实现对采集对象表面三维坐标、强度和颜色信息的快速准确获取。但是，一方面三维扫描仪采集的结构三维坐标是基于仪器的局部坐标系，而施工测量采用的是工程指定的施工坐标系，工程测量分析时需要将局部坐标系下的点云转换到施工坐标系下，即点云定向。
目前常用的方法是通过布设多组球形标靶或者平面标靶实现点云定向，球形标靶虽然可以实现自动识别，但是需要遍历扫描区域是否存在球面点云，且一次扫描最多只能扫描一半的球面，球面拟合时容易受到区域内其他物体的影响；而平面标靶需要人工先找出标靶区域，然后提取中心点。另一方面，三维激光扫描技术获取更加全面准确信息的同时，需要处理的数据量也变得更加庞大。数据量庞大和人工识别标靶这两方面的因素极大的降低了点云定向的处理效率，影响了三维扫描技术像传统测量方法一样对现场测量实时反馈的效率。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于计算机视觉的自动化点云定向方法、电子设备及计算机可读存储介质，能够自动识别平面标靶区域和提取标靶中心点，快速准确地实现点云数据定向过程的自动化处理。
本发明的基于计算机视觉的自动化点云定向方法采用如下技术方案实现：
一种基于计算机视觉的自动化点云定向方法，包括如下步骤：
步骤1：从原始点云数据中提取覆盖标靶布设范围的点云环，将点云环从笛卡尔坐标系转换到球坐标系；
步骤2：定义第一分割精度，根据第一分割精度对点云环的水平角和竖向角进行分割，使点云环划分为多个角度区域，将点云环映射为二维的点云灰度图像，该点云灰度图像的每个像素与点云环的每个角度区域一一对应，且每个像素的灰度值由对应角度区域内点云的RGB值转换计算所得；
步骤3：生成标靶的灰度图像模板，基于模板匹配算法从点云灰度图像中寻找标靶灰度图像，根据标靶灰度图像的位置识别出点云环中对应的标靶区域；
步骤4：定义第二分割精度，根据第二分割精度对标靶区域的水平角和竖向角进行分割，使标靶区域划分为多个更小的角度区域，从而将标靶区域映射为更高精度的标靶灰度图像，该标靶灰度图像的每个像素与标靶区域的每个角度区域一一对应，且每个像素的灰度值由对应角度区域内点云的RGB值转换计算所得；
步骤5：对标靶灰度图像进行滤波处理，再通过特征点提取算法在标靶灰度图像中获取标靶中心点的像素坐标，根据该像素坐标提取标靶中心点在原始点云数据中对应的局部坐标；
步骤6：根据至少3组标靶中心点的局部坐标与施工坐标，计算点云坐标转换参数，根据点云坐标转换参数将原始点云数据从局部坐标系转换到施工坐标系。
进一步地，所述步骤1包括：
步骤11：原始点云数据所对应的点云扫描区域内布设有至少3个不同高度且不共线的平面标靶，每个平面标靶由四个90°扇形组成，扇形颜色为黑色或白色，且相邻扇形颜色不同，以确保能通过相邻扇形灰度的差异识别出标靶的中心点；采用直通滤波方法分别提取原始点云数据中Z坐标范围为[h-h y-Δh，h-h y+h b+Δh]的点云环，其中，原始点云数据的局部坐标系以仪器中心位置为原点，h为标靶布设高度[h 1、h 2、h 3、…、h n]，n为标靶数量，h y为三维激光扫描仪架设高度，h b为标靶自身竖向长度，Δh为高度调整参数，Δh取0.1-0.5，以确保提取的点云环中覆盖标靶的布设范围；
步骤12：将点云环中所有点的笛卡尔坐标转换为相应的球坐标，得到点云环在球坐标系下水平角的取值范围[V min ，V max]和竖向角的取值范围[H min ，H max]。
进一步地，所述步骤2包括：
步骤21：定义第一分割精度P l1，根据第一分割精度P l1对点云环的水平角和竖向角进行分割，得到水平角的分割区间[V min+0×P l1 ，V min+1×P l1 ，…，V min+i×P l1 ，…，V max]以及竖向角的分割区间[H min+0×P l1 ，H min+1×P l1 ，…，H min+j×P l1 ，…，H max]，从而使点云环划分为多个角度区域，每个角度区域由一个水平角区间和一个竖向角区间定义；
步骤22：将点云环映射为点云灰度图像P0；其中，需要将点云环的每个角度区域映射为点云灰度图像P0的一个像素，像素坐标(i，j)对应于水平角区间[V min+i×P l1 ，V min+(i+1)×P l1]和竖向角区间[H min+j×P l1 ，H min+(j+1)×P l1]，整数i和j的取值范围分别为[0 ，((V max -V min)/P l1)-1]和[0 ，((H max -H min)/P l1)-1]；分别提取每个像素坐标所对应角度区域内点云的RGB值，并通过平均值法将角度区域内每个点的RGB值转换为灰度值，取灰度值中位数作为对应像素的灰度值，当角度区域内没有点云时，定义对应像素的灰度值为0。
进一步地，所述步骤3包括：
步骤31：生成高度和宽度均为d的初始灰度图像，定义以图像左上角为像素坐标系的原点，像素坐标系下[0: d/2，0: d/2]和[d/2: d，d/2:d]两个区域为黑色，[0:d/2，d/2:d]和[d/2:d，0: d/2]两个区域为白色，形成四个黑白相间的矩形；
步骤32：定义旋转角度Angle，Angle取2°～ 6°，在0°～ 180°之间生成以Angle为公差的等差数列A[Angle、…、Angle×(m-1)、180°]，将初始灰度图像按照等差数列A的角度值进行旋转，获得另外m个初始灰度图像，对每个初始灰度图像的边缘进行裁剪，留下[d/4:d×3/4，d/4: d×3/4]区域，从而生成m+1个标靶灰度图像模板，组成模板集合G；
步骤33：根据模板匹配算法求解模板集合G中所有标靶灰度图像模板与点云灰度图像P0中不同像素区域的相关系数，提取匹配效果最好的像素点(i1，j1)，将像素坐标系下[i1: i1+d/2，j1: j1+d/2]区域的图像作为标靶灰度图像P1，从点云环中识别出对应的标靶区域。
进一步地，在步骤33中，所述模板匹配算法采用归一化相关系数匹配法、归一化相关匹配法或归一化平方差匹配法。
进一步地，所述步骤4包括：
步骤41：获取标靶区域在球坐标系下水平角的取值范围[V k1 ，V k2]和竖向角的取值范围[H k1 ，H k2]，统计标靶区域内点云数量为Sum，对Sum开平方，若开方值不为整数，则向下取整，赋值为d1；
步骤42：定义第二分割精度P l2，P l2＝(H k2-H k1)/d1，根据第二分割精度P l2对标靶区域的水平角和竖向角进行分割，得到水平角的分割区间[V k1+0×P l2 ，V k1+1×P l2 ，…，V k1+i×P l2 ，…，V k2]以及竖向角的分割区间[H k1+0×P l2 ，H k1+1×P l2 ，…，H k1+j×P l2 ，…，H k2]，从而使标靶区域划分为多个角度区域，每个角度区域由一个水平角区间和一个竖向角区间定义；
步骤43：将标靶区域映射为标靶灰度图像P2；其中，需要将标靶区域的每个角度区域映射为标靶灰度图像P2的一个像素，像素坐标(i，j)对应于水平角区间[V k1+i×P l2 ，V k1+(i+1)×P l2]和竖向角区间[H k1+j×P l2 ，H k1+(j+1)×P l2]，整数i和j的取值范围分别为[0 ，d1-1]和[0 ，d1-1]；分别提取每个像素坐标所对应角度区域内点云的RGB值，并通过平均值法将角度区域内每个点的RGB值转换为灰度值，取灰度值中位数作为对应像素的灰度值，当角度区域内没有点云时，定义对应像素的灰度值为0。
进一步地，所述步骤5包括：
步骤51：在步骤 4 所生成的标靶灰度图像P2中，存在像素所对应的角度区域没有点云时，该像素的灰度值为0并且在该标靶灰度图像P2中显示为噪声点，采用滤波算法对该标靶灰度图像P2进行处理，将灰度值为0的像素用周围像素点的灰度值代替，得到无噪声点的标靶灰度图像；
步骤52：通过特征点提取算法在无噪声点的标靶灰度图像中获取标靶中心点的像素坐标，结合像素坐标、球坐标及笛卡尔坐标的对应关系，提取标靶中心点在笛卡尔坐标系下的局部坐标。
进一步地，在步骤51中，所述滤波算法采用中值滤波、均值滤波或高斯滤波，用噪声点所对应滤波窗口内所有像素的灰度值中位数或者平均数代替该噪声点的灰度值，得到无噪声点的标靶灰度图像；
在步骤52中，所述特征点提取算法采用Harris角点检测算法、SIFT角点检测算法或模板匹配方法，通过标靶中心点的灰度梯度变化特征或者模板匹配的相关系数值确定标靶中心点的像素坐标。
本发明的电子设备采用如下技术方案实现：
一种电子设备，包括存储器、处理器以及存储在存储器上并且可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述自动化点云定向方法。
本发明的计算机可读存储介质采用如下技术方案实现：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述自动化点云定向方法。
相比现有技术，本发明的有益效果在于：
本发明充分利用点云数据包含的坐标信息和RGB信息，将三维的点云数据映射为二维灰度图像，且在二维灰度图像中能够保留平面标靶的几何特征，因此能够利用成熟的计算机视觉算法自动识别标靶区域和提取标靶中心点，快速准确地实现点云定向的自动化处理。
附图说明
图1为本发明实施例的基于计算机视觉的自动化点云定向方法的流程图；
图2为本发明方法应用示例的点云环；
图3为本发明方法应用示例的点云灰度图像；
图4为本发明方法应用示例的未旋转初始灰度图像；
图5为本发明方法应用示例的旋转24°且裁剪后的标靶灰度图像模板；
图6为本发明方法应用示例的寻找到标靶灰度图像P2的示意图；
图7为本发明方法应用示例的标靶区域内的点云；
图8为本发明方法应用示例的标靶灰度图像P2；
图9为本发明方法应用示例中标靶灰度图像P2经过滤波处理的图像；
图10为本发明方法应用示例的标靶中心点识别结果的示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
参考图1，本发明实施例提供了一种基于计算机视觉的自动化点云定向方法。该方法包括如下步骤：
步骤1：从原始点云数据中提取覆盖标靶布设范围的点云环，将点云环从笛卡尔坐标系转换到球坐标系。
该步骤1的目的是为了后续进行二维图像化和计算机视觉识别时，减少需要处理的点云数据量，从而提高处理效率；根据该步骤1可知，本发明的方法要求点云环覆盖平面标靶的布设范围即可，无需全部的原始点云数据，因此能够剔除大量无关点云。
具体地，步骤1包括：
步骤11：原始点云数据所对应的点云扫描区域内布设有至少3个不同高度且不共线的平面标靶，每个平面标靶由四个90°扇形组成，扇形颜色为黑色或白色，且相邻扇形颜色不同，以确保能通过相邻扇形灰度的差异识别出标靶的中心点；采用直通滤波方法分别提取原始点云数据中Z坐标范围为[h-h y-Δh，h-h y+h b+Δh]的点云环，其中，原始点云数据的局部坐标系以仪器中心位置为原点，h为标靶布设高度[h 1、h 2、h 3、…、h n]，n为标靶数量，h y为三维激光扫描仪架设高度，h b为标靶自身竖向长度，Δh为高度调整参数，Δh取0.1-0.5，以确保提取的点云环中覆盖标靶的布设范围；
步骤12：将点云环中所有点的笛卡尔坐标转换为相应的球坐标，得到点云环在球坐标系下水平角的取值范围[V min ，V max]和竖向角的取值范围[H min ，H max]。
在步骤11中，n、h、h y、Δh、h b等数据可以预先得知或设置，[h 1、h 2、h 3、…、h n]等意味着预先对不同高度的标靶进行编号1、2、3、…、n；通过该步骤11的直通滤波方法，能够确保提取的点云环中包含完整的标靶纸点云，同时减少后续处理的点云数据量，提高处理效率。
在步骤12中，笛卡尔坐标系转换球坐标系的公式如下：
(1)
(2)
(3)
其中，x、y、z为笛卡尔坐标系下的坐标，r、、/>为球坐标系下的坐标，/>为竖直角，/>为水平角。
步骤2：定义第一分割精度P l1，根据第一分割精度P l1对点云环的水平角和竖向角进行分割，使点云环划分为多个角度区域，将点云环映射为二维的点云灰度图像P0，该点云灰度图像P0的每个像素与点云环的每个角度区域一一对应，且每个像素的灰度值由对应角度区域内点云的RGB值转换计算所得。
在该步骤2中，通过对点云环的水平角和竖向角进行分割，来使点云环划分为多个角度区域，在此基础上将点云环映射为二维的点云灰度图像，这种二维图像化的方式有助于在生成的点云灰度图像P0中保留平面标靶的几何特征。
另外，点云灰度图像P0在后续主要用于标靶区域的识别，而非直接识别标靶中心点，因此无需太高的精度，图像的精度可通过一个比值来理解，该比值=点云总数/角度区域总数，例如可以对第一分割精度P l1进行的适当定义，使得点云总数/角度区域总数大约在4:1~10:1的经验范围，即平均每个角度区域大约有4~10个点。步骤2的目的是将点云环映射为精度较低的二维灰度图像，在能保留平面标靶几何特征的同时，尽可能提高处理效率。优选地，第一分割精度P l1使得点云环的点云总数与角度区域总数的比值限定为4:1~10:1。
具体地，步骤2包括：
步骤21：定义第一分割精度P l1，P l1在经验上可取点云环竖向角范围的1/50-1/100，即(H max -H min)/100≤P l1≤(H max -H min) /50，根据第一分割精度P l1对点云环的水平角和竖向角进行分割，得到水平角的分割区间[V min+0×P l1 ，V min+1×P l1 ，…，V min+i×P l1 ，…，V max]以及竖向角的分割区间[H min+0×P l1 ，H min+1×P l1 ，…，H min+j×P l1 ，…，H max]，从而使点云环划分为多个角度区域，每个角度区域由一个水平角区间和一个竖向角区间定义；
在步骤21中，关于第一分割精度P l1的取值，另一种比较恰当的定义方式是，第一分割精度P l1使得点云环的点云总数与角度区域总数的比值限定为4:1~10:1；这种定义方式需要先统计出点云环的点云总数，根据比值得到角度区域总数的范围，在此基础上即可规划水平角区间和竖向角区间的数量，进而计算出适当的P l1；
步骤22：将点云环映射为点云灰度图像P0；其中，需要将点云环的每个角度区域映射为点云灰度图像P0的一个像素，像素坐标(i，j)对应于水平角区间[V min+i×P l1 ，V min+(i+1)×P l1]和竖向角区间[H min+j×P l1 ，H min+(j+1)×P l1]，整数i和j的取值范围分别为[0 ，((V max -V min)/P l1)-1]和[0 ，((H max -H min)/P l1)-1]；分别提取每个像素坐标所对应角度区域内点云的RGB值，并通过平均值法将角度区域内每个点的RGB值转换为灰度值，取灰度值中位数作为对应像素的灰度值，当角度区域内没有点云时，定义对应像素的灰度值为0。
在步骤22中，所采用的平均值法公式如下：
(4)
步骤3：生成标靶的灰度图像模板，基于模板匹配算法从点云灰度图像P0中寻找标靶灰度图像P1，根据标靶灰度图像P1的位置识别出点云环中对应的标靶区域。
在该步骤3中，由于前面的步骤2已经将点云环转化为了二维的点云灰度图像，且二维图像保留了平面标靶的几何特征（即大致呈现为四个黑白相间的扇形），因此能够利用成熟的计算机视觉算法（此处为模板匹配算法）在点云灰度图像P0中寻找标靶灰度图像P1，再根据标靶灰度图像P1在点云灰度图像P0中的位置，结合像素坐标和角度区域的对应关系，能够识别出点云环中对应的标靶区域；该标靶区域由标靶灰度图像P1所有像素对应的角度区域组成。
具体地，步骤3包括：
步骤31：生成高度和宽度均为d的初始灰度图像，定义以图像左上角为像素坐标系的原点，像素坐标系下[0: d/2，0: d/2]和[d/2: d，d/2:d]两个区域为黑色，[0:d/2，d/2:d]和[d/2:d，0: d/2]两个区域为白色，形成四个黑白相间的矩形；
步骤32：定义旋转角度Angle，Angle取2°～ 6°，在0°～ 180°之间生成以Angle为公差的等差数列A[Angle、…、Angle×(m-1)、180°]，将初始灰度图像按照等差数列A的角度值进行旋转，获得另外m个初始灰度图像，对每个初始灰度图像的边缘进行裁剪，留下[d/4:d×3/4，d/4: d×3/4]区域，从而生成m+1个标靶灰度图像模板，组成模板集合G；
步骤33：根据模板匹配算法求解模板集合G中所有标靶灰度图像模板与点云灰度图像P0中不同像素区域的相关系数，提取匹配效果最好的像素点(i1，j1)，将像素坐标系下[i1: i1+d/2，j1: j1+d/2]区域的图像作为标靶灰度图像P1，从点云环中识别出对应的标靶区域。
在步骤31中，用字母d表示初始灰度图像的高和宽，只是为了方便定义图像初始大小、黑色区域大小、白色区域大小以及裁剪剩下区域大小之间的比例关系；而对于d的具体值，只要保证裁剪剩下的区域比P0中标靶范围要小即可，这可以根据实际的标靶大小或根据经验进行调整。
在步骤32中，初始灰度图像按照等差数列A的角度值进行旋转，但是进行旋转可能会导致有些像素超出d×d的范围，此时只保留在d×d范围内的像素；另外，图像旋转后可能会产生黑边，因此对图像各个边缘裁剪1/4的区域，剩下[i1: i1+d/2，j1: j1+d/2]区域作为标靶灰度图像模板。
在步骤33中，得到了标靶灰度图像P1的位置即像素坐标系下[i1: i1+d/2，j1: j1+d/2]区域，因此也得知了标靶灰度图像P1所有像素的坐标，从而得知所有对应的水平角区间和竖向角区间，最终得到点云环中的标靶区域。在该步骤33中，所述模板匹配算法包括但不限于归一化相关系数匹配法、归一化相关匹配法、归一化平方差匹配法等。
步骤4：定义第二分割精度P l2，根据第二分割精度P l2对标靶区域的水平角和竖向角进行分割，使标靶区域划分为多个更小的角度区域（具体是指比步骤2中的角度区域更小），从而将标靶区域映射为更高精度的标靶灰度图像P2（具体是指比步骤3中的P1精度更高），该标靶灰度图像P2的每个像素与标靶区域的每个角度区域一一对应，且每个像素的灰度值由对应角度区域内点云的RGB值转换计算所得。
该步骤4与步骤2的区别在于：步骤2的划分对象是点云环，而步骤4是点云环中的标靶区域；步骤2中二维图像化的精度相对较低，主要是识别标靶区域无需太高的精度，以及为了提高处理效率，而步骤4中二维图像化的精度更高，主要是因为要用于提取标靶中心点，为了提高特征点检测的精度，从而提高标靶中心点坐标的准确性，最终提高点云定向的准确率。
具体地，步骤4包括：
步骤41：获取标靶区域在球坐标系下水平角的取值范围[V k1 ，V k2]和竖向角的取值范围[H k1 ，H k2]，统计标靶区域内点云数量为Sum，对Sum开平方，若开方值不为整数，则向下取整，赋值为d1；
步骤42：定义第二分割精度P l2，P l2＝(H k2-H k1)/d1，根据第二分割精度P l2对标靶区域的水平角和竖向角进行分割，得到水平角的分割区间[V k1+0×P l2 ，V k1+1×P l2 ，…，V k1+i×P l2 ，…，V k2]以及竖向角的分割区间[H k1+0×P l2 ，H k1+1×P l2 ，…，H k1+j×P l2 ，…，H k2]，从而使标靶区域划分为多个角度区域，每个角度区域由一个水平角区间和一个竖向角区间定义；
步骤43：将标靶区域映射为标靶灰度图像P2；其中，需要将标靶区域的每个角度区域映射为标靶灰度图像P2的一个像素，像素坐标(i，j)对应于水平角区间[V k1+i×P l2 ，V k1+(i+1)×P l2]和竖向角区间[H k1+j×P l2 ，H k1+(j+1)×P l2]，整数i和j的取值范围分别为[0 ，d1-1]和[0 ，d1-1]；分别提取每个像素坐标所对应角度区域内点云的RGB值，并通过平均值法将角度区域内每个点的RGB值转换为灰度值，取灰度值中位数作为对应像素的灰度值，当角度区域内没有点云时，定义对应像素的灰度值为0。
上述步骤41~步骤43，实际上点云总数与角度区域总数的比值大约为1:1，即每个角度区域可近似地看做是标靶区域的一个点，或者说以近似一个点的距离精度进行二维图像化，这主要是为了提高特征点检测精度，提高点云定向的准确性。
步骤5：对标靶灰度图像P2进行滤波处理，再通过特征点提取算法在滤波后的标靶灰度图像中获取标靶中心点的像素坐标，根据该像素坐标提取标靶中心点在原始点云数据中对应的局部坐标。因为考虑到在步骤5中，二维图像化的精度较高，因此容易出现像素值为0的噪声点，为了避免影响特征点提取，需要先进行滤波处理。
具体地，步骤5包括：
步骤51：在步骤 4 所生成的标靶灰度图像P2中，存在像素所对应的角度区域没有点云时，该像素的灰度值为0并且在该标靶灰度图像P2中显示为噪声点，采用滤波算法对该标靶灰度图像P2进行处理，将灰度值为0的像素用周围像素点的灰度值代替，得到无噪声点的标靶灰度图像；
步骤52：通过特征点提取算法在无噪声点的标靶灰度图像中获取标靶中心点的像素坐标，结合像素坐标、球坐标及笛卡尔坐标的对应关系，提取标靶中心点在笛卡尔坐标系下的局部坐标。
在步骤51中，所述滤波算法包括但不限于中值滤波、均值滤波、高斯滤波等，用噪声点所对应滤波窗口内所有像素的灰度值中位数或者平均数代替该噪声点的灰度值，得到无噪声点的标靶灰度图像。
在步骤52中，所述特征点提取算法包括但不限于Harris角点检测算法、SIFT角点检测算法、模板匹配方法等，通过标靶中心点的灰度梯度变化特征或者模板匹配的相关系数值确定标靶中心点的像素坐标。例如，定义角点检测邻域大小blockSize=3，计算梯度图的Sobel算子尺寸ksize=3，计算角点响应函数的参数k=4，通过Harris角点检测算法获取中心点在图片中的像素坐标，结合像素坐标、球坐标、笛卡尔坐标的对应关系，提取标靶中心点在笛卡尔坐标系下的局部坐标。
步骤6：根据至少3组标靶中心点的局部坐标与施工坐标，计算点云坐标转换参数，根据点云坐标转换参数将原始点云数据从局部坐标系转换到施工坐标系。
在步骤6中，可提取点云扫描范围内所有布设高度的平面标靶所对应的点云环，并提前获取标靶中心点的施工坐标，选取不少于3组标靶中心点的局部坐标与施工坐标数据，计算点云的坐标变换参数，进而实现对原始点云的定向；其中，选取的3组中心点坐标数据，所对应的3个平面标靶可以为不同布设高度且不共线。坐标转换参数计算公式如下：
（5）
式中[X,Y,Z,1]为初始坐标系下的坐标，[X’,Y’,Z’,1]为目标坐标系下的坐标。S为变换矩阵，数学表达式为：
（6）
式中a-i代表旋转、缩放参数，dx、dy、dz代表平移参数，l、m、n代表投影参数，s代表比例变换参数。
参考图2-图10，提供了一个应用本发明方法进行点云定向的示例。
根据本发明方法的步骤11，在点云扫描区域布设有四个平面标靶，编号为1、2、3、4，这些标靶的高度不同，其中至少有三个不共线，每个标靶自身的竖向长度为h b=0.297m，各个标靶的布设高度h分别为[0.2m、0.6m、1.0m、1.4m]，三维激光扫描仪架设高度h b=1.5m，Δh取为0.1m，分别提取各个标靶对应的点云环，例如，提取布设高度h为1.4m标靶所对应的点云环，如图2所示；
根据本发明方法的步骤12，将点云环中所有点的笛卡尔坐标通过坐标转换公式转换为球坐标，得到点云环在球坐标系下水平角和竖向角的取值范围分别为[-180°，180°]和[82°，99°]。
根据本发明方法的步骤21，定义第一分割精度P l1=0.2，得到水平角和竖向角的分割区间分别为[-180°，-179.8°，…，179.8°，180°]和[82°，82.2°，…，98.8°，99°]，以一个水平角区间和一个竖向角区间形成的角度区域作为二维图像的一个像素，则像素坐标为(i，j)对应的水平角区间和竖向角区间分别为[-180°+i×0.2°，-180°+（i+1）×0.2°]和[82°+j×0.2°，82°+（j+1）×0.2°]。其中，i和j的取值范围分别为[0 ，1799]和[0 ，84]；
根据本发明方法的步骤22，将点云环的每个角度区域内点云的RGB值转换为对应像素的灰度值，最终得到的点云灰度图像P0如图3所示。
根据本发明方法的步骤31，定义初始灰度图像的高度和宽度d=20，生成的初始灰度图像如图4所示；
根据本发明方法的步骤32，定义旋转角度Angle=4°，在0°～ 180°之间生成以Angle为公差的等差数列A[4°、8°、…、176°、180°]，将初始灰度模板按照等差数列A的角度值旋转，得到另外的25个初始灰度模板，总共26个初始灰度模板每个都裁剪图像边缘，剩下[5: 15，5: 15]区域作为标靶灰度图像模板，生成的26个标靶灰度图像模板组成模板集合G，例如，旋转24°并裁剪后所对应的标靶灰度图像模板如图5所示；
根据本发明方法的步骤33，采用归一化相关系数匹配法，在点云灰度图像P0寻找到标靶灰度图像P1所在的像素区域，如图6所示；根据该像素区域内所有的像素坐标可以得到点云环中的标靶区域，该标靶区域的点云如图7所示。
根据本发明方法的步骤41，得到标靶区域的水平角和竖向角的取值范围为[-64.2°，-62.0°]和[88.0°，90.2°]，统计该标靶区域内点云数量为Sum=2776，由于标靶区域宽度和高度相同，对Sum进行开方，若开方值不为整数，则向下取整，赋值d1=52；
根据本发明方法的步骤42，定义第二分割精度P l2=0.04，P l2可表示为：（90.2 -88.0）/52，经过步骤42和步骤43，生成精度更高的标靶灰度图像P2，如图8所示。
根据本发明方法的步骤51，由于图8所示的标靶灰度图像P2有很多噪声点，因此对标靶灰度图像P2进行滤波处理，得到无噪声点的标靶灰度图像，如图9所示；
根据本发明方法的步骤52，通过特征点提取算法所得到的结果如图10所示。
根据本发明方法的步骤6，由于有4组标靶中心点的局部坐标与施工坐标数据，且其中至少有3组坐标数据对应于3个不同布设高度且不共线的平面标靶，计算点云坐标变换参数，进而实现对原始点云的定向。
根据本发明实施例的方法和相关示例可知，该方法有如下优势：
1）本发明方法通过指定点云环的Z坐标范围，分别提取不同布设高度标靶所对应的点云环，不仅可以剔除点云定向过程中无关的点云数据；同时，不同高度的点云环提取标靶中心的流程都相同，可采用计算机多进程同时并行计算，进而提高点云处理效率。
2）本发明方法对布设在不同高度的标靶进行编号，对原始点云中的所有平面标靶进行区分，建立点云局部坐标系下标靶中心坐标与施工坐标系下标靶中心坐标的唯一映射，根据映射关系自动求解坐标变换参数，进而将原始点云从局部坐标系转换到施工坐标系。
3）本发明方法充分利用点云数据包含的坐标信息和RGB信息，将三维的点云数据映射为二维灰度图像，且在二维灰度图像中能够保留平面标靶的几何特征，因此能够利用成熟的计算机视觉算法自动识别标靶区域和提取标靶中心点，快速准确地实现点云定向的自动化处理。
4）本发明方法通过定义两次分割精度，可兼顾精度和效率得到标靶的中心点坐标。其中，定义第一分割精度时，主要是为了将三维数据形式的点云环映射为精度相对较低的二维的点云灰度图像，只需要保证该图像保留平面标靶的几何特征，以便于寻找出标靶灰度图像从而在点云环中识别出标靶区域，因此精度较低的二维图像化能够保证识别出标靶区域的同时又能提高处理效率。另外，定义第二分割精度时，主要是为了实现较高精度的二维图像化，从而将标靶区域映射为较高精度的二维的标靶灰度图像，进而提高标靶中心点的检测精度，最终达到提高点云定向精度的目的。
本发明实施例还提供一种电子设备，包括存储器、处理器以及存储在存储器上并且可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本发明实施例的自动化点云定向方法。
该电子设备所采用的自动化点云定向方法，能够充分利用点云数据包含的坐标信息和RGB信息，将三维的点云数据映射为二维灰度图像，且在二维灰度图像中能够保留平面标靶的几何特征，因此能够利用成熟的计算机视觉算法自动识别标靶区域和提取标靶中心点，快速准确地实现点云定向的自动化处理。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明实施例的自动化点云定向方法。
该计算机可读存储介质所采用的自动化点云定向方法，能够充分利用点云数据包含的坐标信息和RGB信息，将三维的点云数据映射为二维灰度图像，且在二维灰度图像中能够保留平面标靶的几何特征，因此能够利用成熟的计算机视觉算法自动识别标靶区域和提取标靶中心点，快速准确地实现点云定向的自动化处理。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于计算机视觉的自动化点云定向方法，其特征在于，包括如下步骤：
步骤1：从原始点云数据中提取覆盖标靶布设范围的点云环，将点云环从笛卡尔坐标系转换到球坐标系；
步骤2：定义第一分割精度，根据第一分割精度对点云环的水平角和竖向角进行分割，使点云环划分为多个角度区域，将点云环映射为二维的点云灰度图像，该点云灰度图像的每个像素与点云环的每个角度区域一一对应，且每个像素的灰度值由对应角度区域内点云的RGB值转换计算所得；
步骤3：生成标靶的灰度图像模板，基于模板匹配算法从点云灰度图像中寻找标靶灰度图像，根据标靶灰度图像的位置识别出点云环中对应的标靶区域；
步骤4：定义第二分割精度，根据第二分割精度对标靶区域的水平角和竖向角进行分割，使标靶区域划分为多个更小的角度区域，从而将标靶区域映射为更高精度的标靶灰度图像，该标靶灰度图像的每个像素与标靶区域的每个角度区域一一对应，且每个像素的灰度值由对应角度区域内点云的RGB值转换计算所得；
步骤5：对标靶灰度图像进行滤波处理，再通过特征点提取算法在标靶灰度图像中获取标靶中心点的像素坐标，根据该像素坐标提取标靶中心点在原始点云数据中对应的局部坐标；
步骤6：根据至少3组标靶中心点的局部坐标与施工坐标，计算点云坐标转换参数，根据点云坐标转换参数将原始点云数据从局部坐标系转换到施工坐标系。
2.如权利要求1所述的自动化点云定向方法，其特征在于，所述步骤1包括：
步骤11：原始点云数据所对应的点云扫描区域内布设有至少3个不同高度且不共线的平面标靶，每个平面标靶由四个90°扇形组成，扇形颜色为黑色或白色，且相邻扇形颜色不同，以确保能通过相邻扇形灰度的差异识别出标靶的中心点；采用直通滤波方法分别提取原始点云数据中Z坐标范围为[h-h y-Δh，h-h y+h b+Δh]的点云环，其中，原始点云数据的局部坐标系以仪器中心位置为原点，h为标靶布设高度[h 1、h 2、h 3、…、h n]，n为标靶数量，h y为三维激光扫描仪架设高度，h b为标靶自身竖向长度，Δh为高度调整参数，Δh取0.1-0.5，以确保提取的点云环中覆盖标靶的布设范围；
步骤12：将点云环中所有点的笛卡尔坐标转换为相应的球坐标，得到点云环在球坐标系下水平角的取值范围[V min ，V max]和竖向角的取值范围[H min ，H max]。
3.如权利要求2所述的自动化点云定向方法，其特征在于，所述步骤2包括：
步骤21：定义第一分割精度P l1，根据第一分割精度P l1对点云环的水平角和竖向角进行分割，得到水平角的分割区间[V min+0×P l1 ，V min+1×P l1 ，…，V min+i×P l1 ，…，V max]以及竖向角的分割区间[H min+0×P l1 ，H min+1×P l1 ，…，H min+j×P l1 ，…，H max]，从而使点云环划分为多个角度区域，每个角度区域由一个水平角区间和一个竖向角区间定义；
步骤22：将点云环映射为点云灰度图像P0；其中，需要将点云环的每个角度区域映射为点云灰度图像P0的一个像素，像素坐标(i，j)对应于水平角区间[V min+i×P l1 ，V min+(i+1)×P l1]和竖向角区间[H min+j×P l1 ，H min+(j+1)×P l1]，整数i和j的取值范围分别为[0 ，((V max - V min)/P l1)-1]和[0 ，((H max -H min)/P l1)-1]；分别提取每个像素坐标所对应角度区域内点云的RGB值，并通过平均值法将角度区域内每个点的RGB值转换为灰度值，取灰度值中位数作为对应像素的灰度值，当角度区域内没有点云时，定义对应像素的灰度值为0。
4.如权利要求3所述的自动化点云定向方法，其特征在于，所述步骤3包括：
步骤31：生成高度和宽度均为d的初始灰度图像，定义以图像左上角为像素坐标系的原点，像素坐标系下[0: d/2，0: d/2]和[d/2: d，d/2:d]两个区域为黑色，[0:d/2，d/2: d]和[d/2:d，0: d/2]两个区域为白色，形成四个黑白相间的矩形；
步骤32：定义旋转角度Angle，Angle取2°～ 6°，在0°～ 180°之间生成以Angle为公差的等差数列A[Angle、…、Angle×(m-1)、180°]，将初始灰度图像按照等差数列A的角度值进行旋转，获得另外m个初始灰度图像，对每个初始灰度图像的边缘进行裁剪，留下[d/4: d×3/4，d/4: d×3/4]区域，从而生成m+1个标靶灰度图像模板，组成模板集合G；
步骤33：根据模板匹配算法求解模板集合G中所有标靶灰度图像模板与点云灰度图像P0中不同像素区域的相关系数，提取匹配效果最好的像素点(i1，j1)，将像素坐标系下[i1: i1+d/2，j1: j1+d/2]区域的图像作为标靶灰度图像P1，从点云环中识别出对应的标靶区域。
5.如权利要求4所述的自动化点云定向方法，其特征在于，在步骤33中，所述模板匹配算法采用归一化相关系数匹配法、归一化相关匹配法或归一化平方差匹配法。
6.如权利要求4所述的自动化点云定向方法，其特征在于，所述步骤4包括：
步骤41：获取标靶区域在球坐标系下水平角的取值范围[V k1 ，V k2]和竖向角的取值范围[H k1 ，H k2]，统计标靶区域内点云数量为Sum，对Sum开平方，若开方值不为整数，则向下取整，赋值为d1；
步骤42：定义第二分割精度P l2，P l2＝(H k2- H k1)/d1，根据第二分割精度P l2对标靶区域的水平角和竖向角进行分割，得到水平角的分割区间[V k1+0×P l2 ，V k1+1×P l2 ，…，V k1+i×P l2 ，…，V k2]以及竖向角的分割区间[H k1+0×P l2 ，H k1+1×P l2 ，…，H k1+j×P l2 ，…，H k2]，从而使标靶区域划分为多个角度区域，每个角度区域由一个水平角区间和一个竖向角区间定义；
步骤43：将标靶区域映射为标靶灰度图像P2；其中，需要将标靶区域的每个角度区域映射为标靶灰度图像P2的一个像素，像素坐标(i，j)对应于水平角区间[V k1+i×P l2 ，V k1+(i+1)×P l2]和竖向角区间[H k1+j×P l2 ，H k1+(j+1)×P l2]，整数i和j的取值范围分别为[0 ，d1 -1]和[0 ，d1 -1]；分别提取每个像素坐标所对应角度区域内点云的RGB值，并通过平均值法将角度区域内每个点的RGB值转换为灰度值，取灰度值中位数作为对应像素的灰度值，当角度区域内没有点云时，定义对应像素的灰度值为0。
7.如权利要求6所述的自动化点云定向方法，其特征在于，所述步骤5包括：
步骤51：在步骤 4 所生成的标靶灰度图像P2中，存在像素所对应的角度区域没有点云时，该像素的灰度值为0并且在该标靶灰度图像P2中显示为噪声点，采用滤波算法对该标靶灰度图像P2进行处理，将灰度值为0的像素用周围像素点的灰度值代替，得到无噪声点的标靶灰度图像；
步骤52：通过特征点提取算法在无噪声点的标靶灰度图像中获取标靶中心点的像素坐标，结合像素坐标、球坐标及笛卡尔坐标的对应关系，提取标靶中心点在笛卡尔坐标系下的局部坐标。
8.如权利要求7所述的自动化点云定向方法，其特征在于，在步骤51中，所述滤波算法采用中值滤波、均值滤波或高斯滤波，用噪声点所对应滤波窗口内所有像素的灰度值中位数或者平均数代替该噪声点的灰度值，得到无噪声点的标靶灰度图像；
在步骤52中，所述特征点提取算法采用Harris角点检测算法、SIFT角点检测算法或模板匹配方法，通过标靶中心点的灰度梯度变化特征或者模板匹配的相关系数值确定标靶中心点的像素坐标。
9.一种电子设备，包括存储器、处理器以及存储在存储器上并且可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-8任一项所述的自动化点云定向方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8任一项所述的自动化点云定向方法。
CN202410003521.6A 2024-01-02 2024-01-02 基于计算机视觉的自动化点云定向方法、设备及存储介质 Active CN117495969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410003521.6A CN117495969B (zh) 2024-01-02 2024-01-02 基于计算机视觉的自动化点云定向方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410003521.6A CN117495969B (zh) 2024-01-02 2024-01-02 基于计算机视觉的自动化点云定向方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117495969A CN117495969A (zh) 2024-02-02
CN117495969B true CN117495969B (zh) 2024-04-16

Family

ID=89680465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410003521.6A Active CN117495969B (zh) 2024-01-02 2024-01-02 基于计算机视觉的自动化点云定向方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117495969B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN114862788A (zh) * 2022-04-29 2022-08-05 湖南联智科技股份有限公司 一种三维激光扫描的平面标靶坐标自动识别方法
CN117095038A (zh) * 2023-08-24 2023-11-21 上海盎维信息技术有限公司 用于激光扫描仪的点云滤波方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN114862788A (zh) * 2022-04-29 2022-08-05 湖南联智科技股份有限公司 一种三维激光扫描的平面标靶坐标自动识别方法
CN117095038A (zh) * 2023-08-24 2023-11-21 上海盎维信息技术有限公司 用于激光扫描仪的点云滤波方法及***

Also Published As

Publication number Publication date
CN117495969A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN110807355B (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN107203973B (zh) 一种三维激光扫描***中线激光中心的亚像素定位方法
CN110473221B (zh) 一种目标物体自动扫描***及方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN112233116B (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN111598770A (zh) 一种基于三维数据和二维图像的物体检测方法和装置
CN102721364A (zh) 一种工件的定位方法及其装置
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及***
CN104008542A (zh) 一种针对特定平面图形的快速角点匹配方法
CN105068918A (zh) 一种页面测试方法及装置
CN113343976A (zh) 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法
CN112257721A (zh) 一种基于Fast ICP的图像目标区域匹配方法
JP2008242508A (ja) 特定領域自動抽出システム、特定領域自動抽出方法、および、プログラム
CN111667429B (zh) 一种巡检机器人目标定位校正方法
CN117495969B (zh) 基于计算机视觉的自动化点云定向方法、设备及存储介质
CN116797757A (zh) 一种基于实景三维的城市建筑群数据采集方法
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN108416346B (zh) 车牌字符的定位方法及装置
TWI659390B (zh) 應用於物件檢測之攝影機與雷射測距儀的數據融合方法
CN109191483A (zh) 一种直升机桨叶图像中圆形标识的快速分水岭检测方法
CN113095309B (zh) 一种基于点云的道路场景地面标识物的提取方法
CN114627463A (zh) 一种基于机器识别的非接触式配电数据识别方法
CN105741268B (zh) 一种基于彩色图块及其拓扑关系的视觉定位方法
CN114862765A (zh) 一种细胞分层图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant