CN115994854B - 一种标志物点云和图像配准的方法和*** - Google Patents

一种标志物点云和图像配准的方法和*** Download PDF

Info

Publication number
CN115994854B
CN115994854B CN202310279128.5A CN202310279128A CN115994854B CN 115994854 B CN115994854 B CN 115994854B CN 202310279128 A CN202310279128 A CN 202310279128A CN 115994854 B CN115994854 B CN 115994854B
Authority
CN
China
Prior art keywords
camera
detection
point cloud
detection frame
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310279128.5A
Other languages
English (en)
Other versions
CN115994854A (zh
Inventor
聂树刚
鲍春飞
李小龙
张健
吴晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyang Innovation Technology Co Ltd
Original Assignee
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyang Innovation Technology Co Ltd filed Critical Zhiyang Innovation Technology Co Ltd
Priority to CN202310279128.5A priority Critical patent/CN115994854B/zh
Publication of CN115994854A publication Critical patent/CN115994854A/zh
Application granted granted Critical
Publication of CN115994854B publication Critical patent/CN115994854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提出了一种标志物点云和图像配准的方法和***，属于数据配准技术领域，该方法包括：设置相机参数初始值，将预处理后的点云数据根据初始值处理为第一深度图；利用训练后的图像检测模型对可见光图像检测得到第一检测信息；利用训练后的深度图检测模型对第一深度图检测得到第二检测信息；如果在可见光图像和深度图检测均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数标定；将点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像融合实现点云和可见光图像的配准。基于该方法，还提出了一种标志物点云和图像配准的***，本发明实现在相机内参、外参均未知情况下对点云与图像配准。

Description

一种标志物点云和图像配准的方法和***
技术领域
本发明属于多源数据配准技术领域，特别涉及一种标志物点云和图像配准的方法和***。
背景技术
计算机视觉的最终体现是三维视觉，而三维视觉的表达方式则是点云，点云处理在整个三维视觉领域占有非常重要的地位。在配电线路中当前利用点云数据实现隐患测距、高精度地图制作等功能离不开点云与图像的配准这一环节。
现有技术中公开的第一种点云和图像配准的方法是在相机内参信息确定的基础上，构造点云和图像的同名特征对来实现配准。现有技术中公开的第二种方法是通过寻找与激光雷达点云数据帧时间最接近的图像数据帧来完成，默认时间戳最接近即为配准，接下来则通过连续的点云数据帧和图像数据帧进行相机外参的预测，同样的，第二种方法也默认相机内参已知，且其应用的时间信息以及连续的点云数据帧信息是本发明条件中没有的。所以在相机内参、外参均未知的情况下，现有技术中无法实现配准，而且当前点云与图像配准的实现依赖于人工配准，然而人工配准操作复杂、难度高，配准人员工作量大且配准耗时长。
发明内容
为了解决上述技术问题，本发明提出了一种标志物点云和图像配准的方法和***，创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。
为实现上述目的，本发明采用以下技术方案：
一种标志物点云和图像配准的方法，包括以下步骤：
设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
进一步的，所述相机参数包括相机外参和相机内参；
所述相机外参包括旋转矩阵R和平移矩阵
Figure SMS_1
；
所述相机内参包括相机焦距f、光心位置坐标
Figure SMS_2
、/>
Figure SMS_3
、相机传感器的宽w和相机传感器的高h。
进一步的，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：
如果真实环境中点云数据的三维点坐标为
Figure SMS_5
；在对应相机上的成像点为/>
Figure SMS_10
；其中/>
Figure SMS_15
为点云数据数量；/>
Figure SMS_7
为第/>
Figure SMS_12
个点云数据的x轴坐标；/>
Figure SMS_14
为第/>
Figure SMS_16
个点云数据的y轴坐标；/>
Figure SMS_4
为第/>
Figure SMS_8
个点云数据的z轴坐标；/>
Figure SMS_11
为第/>
Figure SMS_13
个点云数据像素横坐标；/>
Figure SMS_6
为第/>
Figure SMS_9
个点云数据像素纵坐标；
则
Figure SMS_17
；（1）
其中
Figure SMS_18
为三维点坐标经过旋转平移后的中间矩阵；
Figure SMS_19
（2）
Figure SMS_20
（3）
Figure SMS_21
为相机成像的宽、/>
Figure SMS_22
为相机成像的高；/>
Figure SMS_23
光心位置横坐标；/>
Figure SMS_24
为光心位置纵坐标。
进一步的，训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型；
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
进一步的，所述第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸和第一检测框旋转角度；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸和第二检测框旋转角度。
进一步的，根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；
利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
进一步的，所述利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：
如果第一检测框的宽为
Figure SMS_25
、第一检测框的高为/>
Figure SMS_26
；第二检测框的宽为/>
Figure SMS_27
、第二检测框的高为/>
Figure SMS_28
；第一检测框的宽与第二检测框的宽之比/>
Figure SMS_29
；第二检测框的高与第二检测框的高之比/>
Figure SMS_30
；
当
Figure SMS_33
与/>
Figure SMS_35
的差值小于等于预设阈值时，则校正相机焦距为初始焦距的
Figure SMS_38
倍，当/>
Figure SMS_32
与/>
Figure SMS_36
的差值大于预设阈值时，则根据/>
Figure SMS_37
校正初始底片的宽度值
Figure SMS_39
，根据/>
Figure SMS_31
校正初始底片的高度值/>
Figure SMS_34
。
进一步的，所述利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到旋转矩阵。
本发明还提出了一种标志物点云和图像配准的***，所述***包括：预处理模块、检测模块、标定模块和配准模块；
所述预处理模块用于设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
所述检测模块用于利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
所述标定模块用于如果在深度图检测和可见光图像检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
所述配准模块用于将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
进一步的，所述标定模块实现的过程为：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；
利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了一种标志物点云和图像配准的方法和***，属于多源数据配准技术领域，该方法包括以下步骤：设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；将点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。基于一种标志物点云和图像配准的方法，还提出了一种标志物点云和图像配准的***，本发明创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过推导相机内、外参数与检测信息的具体关系，实现了标志物点云与图像的配准，进而减轻了配准人员在配准过程中的工作量，也为隐患测距等功能的自动化实现提供了技术支持。
本发明创新性的将旋转检测与相机内参校正结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息，即物体成像信息与相机各内参之间的具体关系，对设置的初始相机内参进行校正，得到精确的相机内参，该过程可多次迭代、实现最优校正。
本发明创新性的将旋转检测与相机外参预测结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息与相机外参之间的具体关系，对设置的初始相机外参进行校正，得到精确的相机外参，该过程可多次迭代。
附图说明
如图1为本发明实施例1提出的一种标志物点云和图像配准的方法流程图；
如图2为本发明实施例2提出的一种标志物点云和图像配准的***示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例1
本发明实施例1提出了一种标志物点云和图像配准的方法，用于解决现有技术配准的过程依赖于相机内参、外参均确定的情况。本发明创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过结合旋转检测与相机参数和检测信息的具体量化关系实现了比较可观的配准效果。
如图1为本发明实施例1提出的一种标志物点云和图像配准的方法流程图；
在步骤S100中，设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图。
利用点云离散点剔除算法对点云数据进行预处理，例如：半径滤波算法。
设置相机内参、外参初始值将点云数据处理为深度图，本发明实施例1中相机外参包括旋转矩阵R和平移矩阵
Figure SMS_40
；相机内参包括相机焦距f，单位为毫米、光心位置坐标/>
Figure SMS_41
、/>
Figure SMS_42
、相机传感器的宽w和相机传感器的高h。
将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：如果真实环境中点云数据的三维点坐标为
Figure SMS_44
；在对应相机上的成像点为
Figure SMS_49
；其中/>
Figure SMS_53
为点云数据数量；/>
Figure SMS_45
为第/>
Figure SMS_48
个点云数据的x轴坐标；/>
Figure SMS_51
为第/>
Figure SMS_54
个点云数据的y轴坐标；/>
Figure SMS_43
为第/>
Figure SMS_47
个点云数据的z轴坐标；/>
Figure SMS_52
为第/>
Figure SMS_55
个点云数据像素横坐标；/>
Figure SMS_46
为第/>
Figure SMS_50
个点云数据像素纵坐标；
则
Figure SMS_56
；（1）
其中
Figure SMS_57
为三维点坐标经过旋转平移后的中间矩阵；
Figure SMS_58
（2）
Figure SMS_59
（3）
Figure SMS_60
为相机成像的宽、单位为毫米；/>
Figure SMS_61
为相机成像的高、单位为毫米；/>
Figure SMS_62
光心位置横坐标；/>
Figure SMS_63
为光心位置纵坐标。
在步骤S200中，利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息。
训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型。
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
其中标注工具可采用例如RoLabelImg。
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸、第一检测框旋转角度、第一置信度得分和第二标签信息。
利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸、第二检测框旋转角度、第二置信度得分和第二标签信息。
在步骤S300中，如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定。
本发明实施例1中针对配电线路中杆塔点云和图像配准进行说明。为保证可见光与深度图中检测到的杆塔为同一杆塔，采用以下策略对检测结果进行过滤：如果可见光图像与深度图中检测出相同类型杆塔且存在某类型杆塔数量为一对一，选取某同类型一对一杆塔检测信息，直接用于后续的内参校正。如果可见光图像与深度图中检测出相同类型杆塔但所有同类型杆塔数量均为多对一、多对多或一对多；选取某同类型多对一、多对多或一对多的杆塔检测信息，两边均选取置信度得分最高的用于后续的内参校正。如果可见光图像与深度图中未检测出相同类型杆塔，不再进行后续的内参校正。
根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
其中，相机各内参与检测信息的具体关系推导过程为：假定某物体的三维点坐标为
Figure SMS_73
，已知某物体在相机/>
Figure SMS_66
下成像的宽为/>
Figure SMS_68
，高为/>
Figure SMS_75
，在相机/>
Figure SMS_78
下成像的宽为/>
Figure SMS_80
，高为/>
Figure SMS_82
，已知相机/>
Figure SMS_74
的成像大小为/>
Figure SMS_76
，焦距为/>
Figure SMS_64
，传感器宽为/>
Figure SMS_71
、高为/>
Figure SMS_72
，光心所位于的像素坐标为/>
Figure SMS_79
、/>
Figure SMS_77
，假定相机/>
Figure SMS_81
的成像大小、光心位置与相机/>
Figure SMS_65
一致，其焦距为/>
Figure SMS_69
，传感器宽为/>
Figure SMS_67
、高为/>
Figure SMS_70
。
根据如下公式：
Figure SMS_83
Figure SMS_84
Figure SMS_85
Figure SMS_86
根据如下公式求该物体在相机
Figure SMS_87
、/>
Figure SMS_88
下成像的宽、高比为：
Figure SMS_89
Figure SMS_90
根据上述推导可以得到结论：基于相同的相机坐标系，物体在内参不同的两相机中的成像宽/高均与焦距成正比，与传感器宽/高尺寸成反比。
所以利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：如果第一检测框的宽为
Figure SMS_91
、第一检测框的高为/>
Figure SMS_92
；第二检测框的宽为/>
Figure SMS_93
、第二检测框的高为/>
Figure SMS_94
；第一检测框的宽与第二检测框的宽之比/>
Figure SMS_95
；第二检测框的高与第二检测框的高之比/>
Figure SMS_96
。
当
Figure SMS_98
与/>
Figure SMS_100
的差值小于等于预设阈值时，则校正相机焦距为初始焦距的
Figure SMS_103
倍，当/>
Figure SMS_99
与/>
Figure SMS_102
的差值大于阈值时，则根据/>
Figure SMS_104
校正初始底片的宽度值/>
Figure SMS_105
，根据/>
Figure SMS_97
校正初始底片的高度值/>
Figure SMS_101
。
另外，相机外参与检测信息的具体关系推导过程为：假定
Figure SMS_107
为任意物体的任一三维点坐标，/>
Figure SMS_109
、/>
Figure SMS_112
为设置的初始的旋转矩阵和平移矩阵，/>
Figure SMS_108
表示矩阵乘法，/>
Figure SMS_111
为沿x轴顺时针旋转1°对应的旋转变换矩阵，/>
Figure SMS_113
为沿y轴顺时针旋转1°对应的旋转变换矩阵，
Figure SMS_115
为相机成像大小，/>
Figure SMS_106
为相机焦距，/>
Figure SMS_110
、/>
Figure SMS_114
分别为相机传感器的宽、高。
Figure SMS_116
Figure SMS_117
Figure SMS_118
Figure SMS_119
Figure SMS_120
利用上述公式可知：属于相机外参的旋转参数，沿x轴或y轴旋转1°对应的u方向和v方向的偏移，通过检测信息得到标志物的实际偏移量，即可得到相机需要沿x轴、y轴旋转的角度数。
所以利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到相机外参，即旋转矩阵。
所以，标志物仅通过旋转成像即可实现其点云与图像的配准。
在步骤S400中，将点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
点云数据首先根据步骤S300得到的相机外参转换为基于相机坐标系下的点云数据，转换公式如公式（1）所示，然后根据步骤S300得到的相机内参处理得到第二深度图；将得到的第二深度图与对应的可见光图像进行像素加权融合，融合后得到的图像能够比较直观的看出配准效果。
下面结合具体的示例对本发明实施例1实现的过程进行说明。
利用激光雷达扫描目标场景，获取到目标场景的点云，利用半径滤波算法对点云数据进行预处理，设置半径为0.2，点云数量阈值为50，剔除噪声点；处理后的点云数据共99个点位；设置初始相机参数为：焦距为3.69，相机成像大小为2592×1944（宽×高），相机光心位置为1312×986（宽×高），相机传感器尺寸为4.51845×3.38383，初始x,y,z轴对应旋转角为[-80°,0°,0°]，初始平移矩阵为[0,0,10]。
本发明中选取标志物为杆塔，利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸、第一检测框旋转角度、第一置信度得分和第二标签信息。
利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸、第二检测框旋转角度、第二置信度得分和第二标签信息。
如下表一所示：检测框的信息分别为：
表一：检测框信息表
深度图检测框信息 可见光检测框信息
[[1.11300e+03, 1.04200e+03, 1.27400e+03,1.24600e+03, 1.0000e-01,2.54231e-01,0.00000e+00]] [[1.23200e+03, 1.03500e+03, 1.38000e+03,1.20100e+03,5.0000e-01, 9.55390e-01,0.00000e+00]]
[[1.24300e+03, 8.42000e+02, 1.39700e+03,1.02500e+03, 0.0000e-01,7.17741e-01,2.00000e+00]] [[1.24800e+03, 9.50000e+02, 1.37700e+03,1.10300e+03, 1.0000e-01, 9.85985e-01,2.00000e+00],[1.24800e+03, 9.50000e+02,0.97700e+03, 0.10300e+03, 1.0000e-01,3.85985e-01, 2.00000e+00]]
None [[9.16000e+02, 6.68000e+02, 1.02300e+03,7.38000e+02, 1.0000e-01, 9.75876e-01,9.00000e+00]]
... ...
[[9.85000e+02, 9.78000e+02, 1.17800e+03,1.14100e+03, 1.0000e-01,8.46124e-01,9.00000e+00]] [[1.28100e+03, 1.22300e+03, 1.34100e+03,1.28100e+03, 7.0000e-01,8.61555e-01,4.00000e+00],[1.39800e+03, 1.13400e+03,1.43400e+03, 1.18800e+03, 7.0000e-01,4.04173e-01, 1.20000e+01]]
[[1.24200e+03, 7.33000e+02, 1.42800e+03,8.98000e+02, 1.0000e-01,7.73163e-01,9.00000e+00],[1.24200e+03, 7.33000e+02,1.42800e+03, 8.98000e+02, 1.0000e-01,8.73163e-01, 9.00000e+00]] [[1.30100e+03, 1.20600e+03, 1.42800e+03,1.31900e+03, 3.0000e-01,9.76397e-01,9.00000e+00]]
进行目标匹配过滤后，过滤掉两个点位，过滤后的检测信息如下表二:
表二：过滤后的检测框信息表
深度图检测框信息 可见光检测框信息
[[1.11300e+03, 1.04200e+03, 1.27400e+03,1.24600e+03, 1.0000e-01,2.54231e-01,0.00000e+00]] [[1.23200e+03, 1.03500e+03, 1.38000e+03,1.20100e+03, 4.0000e-01,9.55390e-01,0.00000e+00]]
[[1.24300e+03, 8.42000e+02, 1.39700e+03,1.02500e+03, 0.0000e-01,7.17741e-01,2.00000e+00]] [[1.24800e+03, 9.50000e+02, 1.37700e+03,1.10300e+03, 7.0000e-01,9.85985e-01,2.00000e+00]]
... ...
[[1.24200e+03, 7.33000e+02, 1.42800e+03,8.98000e+02, 0.0000e-01,8.73163e-01,9.00000e+00]] [[1.30100e+03, 1.20600e+03, 1.42800e+03,1.31900e+03, 3.0000e-01,9.76397e-01,9.00000e+00]]
以[[1.24300e+03, 8.42000e+02, 1.39700e+03,1.02500e+03,0.0000e-01,
717741e-01,2.00000e+00][[1.24800e+03,9.50000e+02,1.37700e+03,1.10300e+03,7.0000e-01, 9.85985e-01, 2.00000e+00]]对可见光-深度图检测信息为例，校正后得相机内参信息为：相机焦距为4.405116，相机成像大小为2592×1944（宽×高），相机光心位置为1312×986（宽×高），传感器尺寸为4.51845×3.38383。
以上面对内参进行校正的检测信息为例，预测得到的相机沿x轴、y轴，z轴的旋转角度为 -82.287、-0.16449，0.70001转换为旋转矩阵为： [[ 0.99992125, -0.01221713,-0.00287089],[ 0.00448438,0.13416626,0.99094869],[-0.01172137, -0.99088352,0.13421048]]。
利用上面得到的相机内参和相机外参对点云数据进行处理得到深度图，将得到的深度图与对应的可见光图像进行像素加权融合，融合后得到的配准效果。
本发明实施例1提出的一种标志物点云和图像配准的方法，创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过推导相机内、外参数与检测信息的具体关系，实现了标志物点云与图像的配准，进而减轻了配准人员在配准过程中的工作量，也为隐患测距等功能的自动化实现提供了技术支持。
本发明实施例1提出的一种标志物点云和图像配准的方法，创新性的将旋转检测与相机内参校正结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息，即物体成像信息与相机各内参之间的具体关系，对设置的初始相机内参进行校正，得到精确的相机内参，该过程可多次迭代、实现最优校正。
本发明实施例1提出的一种标志物点云和图像配准的方法，创新性的将旋转检测与相机外参预测结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息与相机外参之间的具体关系，对设置的初始相机外参进行校正，得到精确的相机外参，该过程可多次迭代。
实施例2
基于本发明实施例1提出的一种标志物点云和图像配准的方法，本发明实施例2还提出了一种标志物点云和图像配准的***，如图2为本发明实施例2提出的一种标志物点云和图像配准的***示意图，该***包括：预处理模块、检测模块、标定模块和配准模块；
预处理模块用于设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
检测模块用于利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
标定模块用于如果在深度图检测和可见光图像检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
配准模块用于将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
其中预处理模块实现的过程为：利用点云离散点剔除算法对点云数据进行预处理，例如：半径滤波算法。
设置相机内参、外参初始值将点云数据处理为深度图，本发明实施例1中相机外参包括旋转矩阵R和平移矩阵
Figure SMS_121
；相机内参包括相机焦距f，单位为毫米、光心位置坐标/>
Figure SMS_122
、/>
Figure SMS_123
、相机传感器的宽w和相机传感器的高h。
将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：如果真实环境中点云数据的三维点坐标为
Figure SMS_125
；在对应相机上的成像点为
Figure SMS_128
；其中/>
Figure SMS_131
为点云数据数量；/>
Figure SMS_127
为第/>
Figure SMS_132
个点云数据的x轴坐标；/>
Figure SMS_134
为第/>
Figure SMS_136
个点云数据的y轴坐标；/>
Figure SMS_124
为第/>
Figure SMS_129
个点云数据的z轴坐标；/>
Figure SMS_133
为第/>
Figure SMS_135
个点云数据像素横坐标；/>
Figure SMS_126
为第/>
Figure SMS_130
个点云数据像素纵坐标；
则
Figure SMS_137
；（1）
其中
Figure SMS_138
为三维点坐标经过旋转平移后的中间矩阵；
Figure SMS_139
（2）
Figure SMS_140
（3）
Figure SMS_141
为相机成像的宽、单位为毫米；/>
Figure SMS_142
为相机成像的高、单位为毫米；/>
Figure SMS_143
光心位置横坐标；/>
Figure SMS_144
为光心位置纵坐标。
检测模块实现的过程包括：训练图像检测模型、训练深度图检测模型以及利用训练完成的检测模型进行训练。
训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型；
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
其中标注工具可采用例如RoLabelImg。
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸、第一检测框旋转角度、第一置信度得分和第二标签信息。
利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸、第二检测框旋转角度、第二置信度得分和第二标签信息。
标定模块实现的过程中，本发明实施例2中针对配电线路中杆塔点云和图像配准进行说明，为保证可见光与深度图中检测到的杆塔为同一杆塔，采用以下策略对检测结果进行过滤：如果可见光图像与深度图中检测出相同类型杆塔且存在某类型杆塔数量为一对一，选取某同类型一对一杆塔检测信息，直接用于后续的内参校正。如果可见光图像与深度图中检测出相同类型杆塔但所有同类型杆塔数量均为多对一、多对多或一对多；选取某同类型多对一、多对多或一对多的杆塔检测信息，两边均选取置信度得分最高的用于后续的内参校正。如果可见光图像与深度图中未检测出相同类型杆塔，不再进行后续的内参校正。
根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
其中，相机各内参与检测信息的具体关系推导过程为：假定某物体的三维点坐标为
Figure SMS_157
，已知某物体在相机/>
Figure SMS_146
下成像的宽为/>
Figure SMS_159
，高为/>
Figure SMS_147
，在相机/>
Figure SMS_151
下成像的宽为/>
Figure SMS_152
，高为/>
Figure SMS_155
，已知相机/>
Figure SMS_153
的成像大小为/>
Figure SMS_154
，焦距为/>
Figure SMS_145
，传感器宽为/>
Figure SMS_149
、高为/>
Figure SMS_158
，光心所位于的像素坐标为/>
Figure SMS_161
、/>
Figure SMS_162
，假定相机/>
Figure SMS_163
的成像大小、光心位置与相机/>
Figure SMS_148
一致，其焦距为/>
Figure SMS_150
，传感器宽为/>
Figure SMS_156
、高为/>
Figure SMS_160
。
根据如下公式：
Figure SMS_164
Figure SMS_165
Figure SMS_166
Figure SMS_167
根据如下公式求该物体在相机
Figure SMS_168
、/>
Figure SMS_169
下成像的宽、高比为：
Figure SMS_170
Figure SMS_171
根据上述推导可以得到结论：基于相同的相机坐标系，物体在内参不同的两相机中的成像宽/高均与焦距成正比，与传感器宽/高尺寸成反比。
所以利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：如果第一检测框的宽为
Figure SMS_172
、第一检测框的高为/>
Figure SMS_173
；第二检测框的宽为/>
Figure SMS_174
、第二检测框的高为/>
Figure SMS_175
；第一检测框的宽与第二检测框的宽之比/>
Figure SMS_176
；第二检测框的高与第二检测框的高之比/>
Figure SMS_177
。
当
Figure SMS_179
与/>
Figure SMS_181
的差值小于等于预设阈值时，则校正相机焦距为初始焦距的
Figure SMS_184
倍，当/>
Figure SMS_180
与/>
Figure SMS_183
的差值大于阈值时，则根据/>
Figure SMS_185
校正初始底片的宽度值/>
Figure SMS_186
，根据/>
Figure SMS_178
校正初始底片的高度值/>
Figure SMS_182
。
另外，相机外参与检测信息的具体关系推导过程为：假定
Figure SMS_188
为任意物体的任一三维点坐标，/>
Figure SMS_191
、/>
Figure SMS_195
为设置的初始的旋转矩阵和平移矩阵，/>
Figure SMS_189
表示矩阵乘法，/>
Figure SMS_192
为沿x轴顺时针旋转1°对应的旋转变换矩阵，/>
Figure SMS_194
为沿y轴顺时针旋转1°对应的旋转变换矩阵，/>
Figure SMS_196
为相机成像大小，/>
Figure SMS_187
为相机焦距，/>
Figure SMS_190
、/>
Figure SMS_193
分别为相机传感器的宽、高。
Figure SMS_197
Figure SMS_198
Figure SMS_199
Figure SMS_200
Figure SMS_201
利用上述公式可知：属于相机外参的旋转参数，沿x轴或y轴旋转1°对应的u方向和v方向的偏移，通过检测信息得到标志物的实际偏移量，即可得到相机需要沿x轴、y轴旋转的角度数。
所以利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到相机外参，即旋转矩阵。
所以标志物仅通过旋转成像即可实现其点云与图像的配准。
配准模块实现的过程包括：点云数据首先标定模块得到的相机外参转换为基于相机坐标系下的点云数据，转换公式如公式（1）所示，然后根据标定模块得到的相机内参处理得到第二深度图；将得到的第二深度图与对应的可见光图像进行像素加权融合，融合后得到的图像能够比较直观的看出配准效果。
本发明实施例2提出的一种标志物点云和图像配准的***，创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过推导相机内、外参数与检测信息的具体关系，实现了标志物点云与图像的配准，进而减轻了配准人员在配准过程中的工作量，也为隐患测距等功能的自动化实现提供了技术支持。
本发明实施例2提出的一种标志物点云和图像配准的***，创新性的将旋转检测与相机内参校正结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息，即物体成像信息与相机各内参之间的具体关系，对设置的初始相机内参进行校正，得到精确的相机内参，该过程可多次迭代、实现最优校正。
本发明实施例2提出的一种标志物点云和图像配准的***，创新性的将旋转检测与相机外参预测结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息与相机外参之间的具体关系，对设置的初始相机外参进行校正，得到精确的相机外参，该过程可多次迭代。
本发明实施例2中各个模块实现的过程，和实施例1中相应步骤中的过程相同，在此不再详细赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种标志物点云和图像配准的方法，其特征在于，包括以下步骤：
设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定；
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：如果第一检测框的宽为
Figure QLYQS_3
、第一检测框的高为/>
Figure QLYQS_6
；第二检测框的宽为/>
Figure QLYQS_10
、第二检测框的高为/>
Figure QLYQS_4
；第一检测框的宽与第二检测框的宽之比/>
Figure QLYQS_8
；第二检测框的高与第二检测框的高之比/>
Figure QLYQS_12
；当/>
Figure QLYQS_15
与/>
Figure QLYQS_1
的差值小于等于预设阈值时，则校正相机焦距为初始焦距的/>
Figure QLYQS_5
倍，当/>
Figure QLYQS_9
与/>
Figure QLYQS_13
的差值大于预设阈值时，则根据/>
Figure QLYQS_2
校正相机传感器的宽度值/>
Figure QLYQS_7
，根据/>
Figure QLYQS_11
校正相机传感器的高度值/>
Figure QLYQS_14
；
将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
2.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于，所述相机参数包括相机外参和相机内参；
所述相机外参包括旋转矩阵R和平移矩阵
Figure QLYQS_16
；
所述相机内参包括相机焦距f、光心位置坐标
Figure QLYQS_17
、/>
Figure QLYQS_18
、相机传感器的宽w和相机传感器的高h。
3.根据权利要求2所述的一种标志物点云和图像配准的方法，其特征在于，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：
如果真实环境中点云数据的三维点坐标为
Figure QLYQS_20
；在对应相机上的成像点为
Figure QLYQS_24
；其中/>
Figure QLYQS_28
为点云数据数量；/>
Figure QLYQS_22
为第/>
Figure QLYQS_25
个点云数据的x轴坐标；/>
Figure QLYQS_30
为第/>
Figure QLYQS_31
个点云数据的y轴坐标；/>
Figure QLYQS_19
为第/>
Figure QLYQS_23
个点云数据的z轴坐标；/>
Figure QLYQS_27
为第/>
Figure QLYQS_29
个点云数据像素横坐标；/>
Figure QLYQS_21
为第/>
Figure QLYQS_26
个点云数据像素纵坐标；
则
Figure QLYQS_32
；（1）
其中
Figure QLYQS_33
为三维点坐标经过旋转平移后的中间矩阵；
Figure QLYQS_34
（2）
Figure QLYQS_35
（3）
Figure QLYQS_36
为相机成像的宽、/>
Figure QLYQS_37
为相机成像的高；/>
Figure QLYQS_38
光心位置横坐标；/>
Figure QLYQS_39
为光心位置纵坐标。
4.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于,
训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型；
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
5.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于，所述第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸和第一检测框旋转角度；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸和第二检测框旋转角度。
6.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于，所述利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到旋转矩阵。
7.一种标志物点云和图像配准的***，其特征在于，所述***包括：预处理模块、检测模块、标定模块和配准模块；
所述预处理模块用于设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
所述检测模块用于利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
所述标定模块用于如果在深度图检测和可见光图像检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定；
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：如果第一检测框的宽为
Figure QLYQS_41
、第一检测框的高为/>
Figure QLYQS_48
；第二检测框的宽为/>
Figure QLYQS_53
、第二检测框的高为/>
Figure QLYQS_42
；第一检测框的宽与第二检测框的宽之比/>
Figure QLYQS_45
；第二检测框的高与第二检测框的高之比/>
Figure QLYQS_49
；当/>
Figure QLYQS_52
与/>
Figure QLYQS_40
的差值小于等于预设阈值时，则校正相机焦距为初始焦距的/>
Figure QLYQS_44
倍，当/>
Figure QLYQS_47
与/>
Figure QLYQS_51
的差值大于预设阈值时，则根据/>
Figure QLYQS_43
校正相机传感器的宽度值/>
Figure QLYQS_46
，根据/>
Figure QLYQS_50
校正相机传感器的高度值/>
Figure QLYQS_54
；
所述配准模块用于将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
CN202310279128.5A 2023-03-22 2023-03-22 一种标志物点云和图像配准的方法和*** Active CN115994854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310279128.5A CN115994854B (zh) 2023-03-22 2023-03-22 一种标志物点云和图像配准的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310279128.5A CN115994854B (zh) 2023-03-22 2023-03-22 一种标志物点云和图像配准的方法和***

Publications (2)

Publication Number Publication Date
CN115994854A CN115994854A (zh) 2023-04-21
CN115994854B true CN115994854B (zh) 2023-06-23

Family

ID=85992259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310279128.5A Active CN115994854B (zh) 2023-03-22 2023-03-22 一种标志物点云和图像配准的方法和***

Country Status (1)

Country Link
CN (1) CN115994854B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359181A (zh) * 2021-12-17 2022-04-15 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340797B (zh) * 2020-03-10 2023-04-28 山东大学 一种激光雷达与双目相机数据融合检测方法及***
CN112132874B (zh) * 2020-09-23 2023-12-05 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
US11960276B2 (en) * 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
CN112861653B (zh) * 2021-01-20 2024-01-23 上海西井科技股份有限公司 融合图像和点云信息的检测方法、***、设备及存储介质
CN113923420B (zh) * 2021-11-18 2024-05-28 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质
CN114241298A (zh) * 2021-11-22 2022-03-25 腾晖科技建筑智能(深圳)有限公司 一种激光雷达和图像融合的塔吊环境目标检测方法及***
CN114494248B (zh) * 2022-04-01 2022-08-05 之江实验室 基于点云和不同视角下的图像的三维目标检测***及方法
CN115294200A (zh) * 2022-07-28 2022-11-04 中国人民解放军军事科学院国防科技创新研究院 一种多传感器融合的全天时三维目标检测方法
CN115240093B (zh) * 2022-09-22 2022-12-23 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359181A (zh) * 2021-12-17 2022-04-15 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及***

Also Published As

Publication number Publication date
CN115994854A (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN107270810B (zh) 多方位投影的投影仪标定方法及装置
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN109993793B (zh) 视觉定位方法及装置
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
CN102622747B (zh) 一种用于视觉测量的摄像机参数优化方法
CN102509261A (zh) 一种鱼眼镜头的畸变校正方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN101577002A (zh) 应用于目标检测的鱼眼镜头成像***标定方法
CN102567989A (zh) 基于双目立体视觉的空间定位方法
CN111854622B (zh) 一种大视场光学动态变形测量方法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN108537849A (zh) 基于同心圆环的三维直角靶标的线阵相机的标定方法
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN106780391A (zh) 一种用于全视角三维测量仪光学***的畸变矫正算法
CN112991467B (zh) 基于相机的激光投影标识自动引导定位与实时校正方法
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN114283203A (zh) 一种多相机***的标定方法及***
CN114705122A (zh) 一种大视场立体视觉标定方法
CN108550171B (zh) 基于交比不变性的含有八卦编码信息的线阵相机标定方法
CN109191527A (zh) 一种基于最小化距离偏差的对位方法及装置
CN112950719A (zh) 一种基于无人机主动式光电平台的无源目标快速定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant