CN118229524A - 基于点云映射隧道图像拼接方法、装置、设备及存储介质 - Google Patents
基于点云映射隧道图像拼接方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118229524A CN118229524A CN202410626224.7A CN202410626224A CN118229524A CN 118229524 A CN118229524 A CN 118229524A CN 202410626224 A CN202410626224 A CN 202410626224A CN 118229524 A CN118229524 A CN 118229524A
- Authority
- CN
- China
- Prior art keywords
- camera
- tunnel
- point cloud
- mapping
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 63
- 238000000638 solvent extraction Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 22
- 238000013461 design Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 12
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000007547 defect Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于点云映射隧道图像拼接方法、装置、设备及存储介质，所述方法通过获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将隧道全断面三维点云投影到相机坐标系，生成映射图；将映射图和相机图进行网格分块，提取各网格块的同名点，根据映射图获取同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；根据坐标信息、强度信息和深度信息建立误差模型，根据误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，能够实现隧道衬砌图像的拼接，提升了拼接精度，加强了实用性，能够稳定的提取点云图和相机图的同名点，实现了点云和相机的配准。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于点云映射隧道图像拼接方法、装置、设备及存储介质。
背景技术
受自然环境、地质气候、设计施工等多种因素影响，隧道出现衬砌裂缝、衬砌空洞、渗漏等病害不可避免，严重影响了基础设施整体结构的安全性；为此必须进行定期安全检测；利用隧道图像进行检测已经成为重要的手段。
现阶段，隧道拼接方法多以图像为数据源，采用特征点或将3D隧道衬砌网格展开成直的二维(2D)网格，以生成隧道衬砌的2D无缝全景图像；但基于特征点的隧道拼接方法对图像重叠度要求高，且重叠部分需具有明显特征；而只基于三维点云生成的隧道图像分辨率一般较低，严重影响了后期隧道裂缝精度识别；同时在隧道衬砌采集的过程中，采集设备随着车载不断地移动和相机畸变都增加了图像拼接的难度；虽然高清图像可以完美地展现隧道的细节信息，但其具有以下问题：
（1）由于采用相机旋转或多相机多角度进行拍摄，且基于移动平台不断移动，因此不同时间节点的图像并非基于同一点和同一时刻拍摄获得，因此采集的图像需要进行位置纠正；
（2）曲线型衬砌图像会有失真的情况，需要对源影像进行校正，以消除隧道曲面引起的畸变；而且采用移动测量设备采集隧道三维点云和图像，整个采集流程具有动态的特点，因此对导致采集的图像中心点不在一条直线上。
（3）基于点云和相机的拼接算法，绝大多数是根据标定板获取点云和相机的内外参数，在实际作业中，根据相机的内外参，将点云的深度附着与图像，再将图像转换到点云坐标系，实现图像拼接，但是在实际作业中，由于晃动，信号干扰等因素，都会对点云和相机的外参产生偏差，产生的隧道拼接图像存在错位情况；基于特征点的匹配算法，可以将点云转换为图像，实现点云图和相机图的配准，进而求解相机和点云的内外参，但是对于隧道场景，基本没有纹理、角点特征，当前的绝大多数相机匹配算法，都无法稳定的提取点云图和相机图的同名点，无法实现点云和相机的配准。
发明内容
本发明的主要目的在于提供一种基于点云映射隧道图像拼接方法、装置、设备及存储介质，旨在解决现有技术中隧道裂缝识别精度较差，采集的图像中心点不在一条直线上，采集的图像需要进行位置纠正，由于晃动，信号干扰等因素，都会对点云和相机的外参产生偏差，产生的隧道拼接图像存在错位情况，无法稳定的提取点云图和相机图的同名点，无法实现点云和相机的配准的技术问题。
第一方面，本发明提供一种基于点云映射隧道图像拼接方法，所述基于点云映射隧道图像拼接方法包括以下步骤：
获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；
将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；
根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
可选地，所述获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图，包括：
通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图；
获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图。
可选地，所述将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息，包括：
将所述映射图和所述相机图进行网格分块，根据预设最大互信息算法通过下式提取各网格块的最大互信息系数：
其中，为所述映射图的像素点的像素值的随机变量，/>为所述相机图的像素点的像素值的随机变量，/>为所述映射图和所述相机图的互信息，/>为所述映射图和所述相机图的最大信息系数，/>为变量间的联合概率密度，/>为/>的边界概率密度，/>为/>的边界概率密度，/>为/>的单调函数，/>为/>的单调函数，/>为/>的取值个数，/>为/>的取值个数；
根据所述最大互信息系数找到所述映射图和所述相机图的各网格块的同名点；
根据所述同名点在所述映射图中找到对应的目标隧道衬砌三维点云，获取所述目标隧道衬砌三维点云的坐标信息、强度信息和深度信息。
可选地，所述根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，包括：
根据所述坐标信息、所述强度信息和所述深度信息通过下式建立误差模型：
其中，为损失函数，其表示对/>个和/>个特征进行累加。/>为三维点的索引，/>为观测点的索引，/>表示第/>个点在第/>个相机中可见，/>表示第/>个点在第/>个相机中不可见，/>为第/>个点在第/>个相机中的观测点，/>为第/>个点在第/>个相机中的投影点，为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为三维点在世界坐标系中的坐标，/>表示待优化的量，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第1个三维点在世界坐标系中的坐标，/>为第/>个三维点在世界坐标系中的坐标，/>表示最小化/>与/>的误差平方和，/>表示含有/>个元素的向量；
根据所述误差模型优化相机内外参数以及畸变参数；
根据优化后的相机内外参数以及畸变参数，将所述隧道衬砌三维点云以拟合点云中心为圆心，以拟合直径为半径进行隧道断面展开，生成灰度图；
根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图；
对所述相机投影图进行拼接，获得隧道全景图。
可选地，所述根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图，包括：
根据优化后的相机内外参数和畸变参数，将所述隧道衬砌三维点云投影到所述相机图，获得每一个点云的点云深度值；
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标；
根据所述中心点坐标将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图。
可选地，所述根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标，包括：
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角通过下式计算获得所述相机图的每个像素点位置：
其中，为隧道某点的坐标，/>为点/>到球心的距离，/>为俯仰角，/>为偏转角，/>为所述相机图的每个像素点位置，/>为视场角，/>为最大视场角，/>为最小视场角，/>为投影图像的宽度，/>为投影图像的长度；
根据每个像素点位置和所述距离信息确定所述相机图的中心点坐标。
可选地，所述对所述相机投影图进行拼接，获得隧道全景图，包括：
在所述灰度图内的所有相机投影图都完成投影后，根据拍摄间隔时间将各相机投影图进行有序拼接，获得隧道全景图。
第二方面，为实现上述目的，本发明还提出一种基于点云映射隧道图像拼接装置，所述基于点云映射隧道图像拼接装置包括：
映射图生成模块，用于获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；
网格分块模块，用于将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；
拼接模块，用于根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
第三方面，为实现上述目的，本发明还提出一种基于点云映射隧道图像拼接设备，所述基于点云映射隧道图像拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于点云映射隧道图像拼接程序，所述基于点云映射隧道图像拼接程序配置为实现如上文所述的基于点云映射隧道图像拼接方法的步骤。
第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于点云映射隧道图像拼接程序，所述基于点云映射隧道图像拼接程序被处理器执行时实现如上文所述的基于点云映射隧道图像拼接方法的步骤。
本发明提出的基于点云映射隧道图像拼接方法，通过获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，能够实现隧道衬砌图像的拼接，而不依赖于图像之间重叠区域，不仅可以解决隧道图像拼接难的问题，也可以还原隧道衬砌表观的整体病害特征，为后续隧道检测提供真实有效的数据，提升了拼接精度，加强了实用性，能够稳定的提取点云图和相机图的同名点，实现了点云和相机的配准，拼接后的全景图像既体现了隧道的整体病害情况，还便于后期基于深度学习的隧道病害识别，提高了基于点云映射隧道图像拼接的速度和效率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明基于点云映射隧道图像拼接方法第一实施例的流程示意图；
图3为本发明基于点云映射隧道图像拼接方法第二实施例的流程示意图；
图4为本发明基于点云映射隧道图像拼接装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：通过获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，能够实现隧道衬砌图像的拼接，而不依赖于图像之间重叠区域，不仅可以解决隧道图像拼接难的问题，也可以还原隧道衬砌表观的整体病害特征，为后续隧道检测提供真实有效的数据，提升了拼接精度，加强了实用性，能够稳定的提取点云图和相机图的同名点，实现了点云和相机的配准，拼接后的全景图像既体现了隧道的整体病害情况，还便于后期基于深度学习的隧道病害识别，提高了基于点云映射隧道图像拼接的速度和效率，解决了现有技术中隧道裂缝识别精度较差，采集的图像中心点不在一条直线上，采集的图像需要进行位置纠正，由于晃动，信号干扰等因素，都会对点云和相机的外参产生偏差，产生的隧道拼接图像存在错位情况，无法稳定的提取点云图和相机图的同名点，无法实现点云和相机的配准的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如Wi-Fi接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（Non-Volatile Memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及基于点云映射隧道图像拼接程序。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，并执行以下操作：
获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；
将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；
根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，还执行以下操作：
通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图；
获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，还执行以下操作：
将所述映射图和所述相机图进行网格分块，根据预设最大互信息算法通过下式提取各网格块的最大互信息系数：
其中，为所述映射图的像素点的像素值的随机变量，/>为所述相机图的像素点的像素值的随机变量，/>为所述映射图和所述相机图的互信息，/>为所述映射图和所述相机图的最大信息系数，/>为变量间的联合概率密度，/>为/>的边界概率密度，/>为/>的边界概率密度，/>为/>的单调函数，/>为/>的单调函数，/>为/>的取值个数，/>为/>的取值个数；
根据所述最大互信息系数找到所述映射图和所述相机图的各网格块的同名点；
根据所述同名点在所述映射图中找到对应的目标隧道衬砌三维点云，获取所述目标隧道衬砌三维点云的坐标信息、强度信息和深度信息。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，还执行以下操作：
根据所述坐标信息、所述强度信息和所述深度信息通过下式建立误差模型：
其中，为损失函数，其表示对/>个和/>个特征进行累加。/>为三维点的索引，/>为观测点的索引，/>表示第/>个点在第/>个相机中可见，/>表示第/>个点在第/>个相机中不可见，/>为第/>个点在第/>个相机中的观测点，/>为第/>个点在第/>个相机中的投影点，为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为三维点在世界坐标系中的坐标，/>表示待优化的量，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第1个三维点在世界坐标系中的坐标，/>为第/>个三维点在世界坐标系中的坐标，/>表示最小化/>与/>的误差平方和，/>表示含有/>个元素的向量；
根据所述误差模型优化相机内外参数以及畸变参数；
根据优化后的相机内外参数以及畸变参数，将所述隧道衬砌三维点云以拟合点云中心为圆心，以拟合直径为半径进行隧道断面展开，生成灰度图；
根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图；
对所述相机投影图进行拼接，获得隧道全景图。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，还执行以下操作：
根据优化后的相机内外参数和畸变参数，将所述隧道衬砌三维点云投影到所述相机图，获得每一个点云的点云深度值；
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标；
根据所述中心点坐标将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，还执行以下操作：
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角通过下式计算获得所述相机图的每个像素点位置：
其中，为隧道某点的坐标，/>为点/>到球心的距离，/>为俯仰角，/>为偏转角，/>为所述相机图的每个像素点位置，/>为视场角，/>为最大视场角，/>为最小视场角，/>为投影图像的宽度，/>为投影图像的长度；
根据每个像素点位置和所述距离信息确定所述相机图的中心点坐标。
本发明设备通过处理器1001调用存储器1005中存储的基于点云映射隧道图像拼接程序，还执行以下操作：
在所述灰度图内的所有相机投影图都完成投影后，根据拍摄间隔时间将各相机投影图进行有序拼接，获得隧道全景图。
本实施例通过上述方案，通过获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，能够实现隧道衬砌图像的拼接，而不依赖于图像之间重叠区域，不仅可以解决隧道图像拼接难的问题，也可以还原隧道衬砌表观的整体病害特征，为后续隧道检测提供真实有效的数据，提升了拼接精度，加强了实用性，能够稳定的提取点云图和相机图的同名点，实现了点云和相机的配准，拼接后的全景图像既体现了隧道的整体病害情况，还便于后期基于深度学习的隧道病害识别，提高了基于点云映射隧道图像拼接的速度和效率。
基于上述硬件结构，提出本发明基于点云映射隧道图像拼接方法实施例。
参照图2，图2为本发明基于点云映射隧道图像拼接方法第一实施例的流程示意图。
在第一实施例中，所述基于点云映射隧道图像拼接方法包括以下步骤：
步骤S10、获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图。
需要说明的是，获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图后，可以将所述隧道全断面三维点云投影到相机坐标系，生成投影到相机坐标系后的映射图。
步骤S20、将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息。
可以理解的是，将所述映射图和所述相机图进行网格分块后，可以获得多个网格块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息。
进一步的，所述步骤S20包括以下步骤：
将所述映射图和所述相机图进行网格分块，根据预设最大互信息算法通过下式提取各网格块的最大互信息系数：
其中，为所述映射图的像素点的像素值的随机变量，/>为所述相机图的像素点的像素值的随机变量，/>为所述映射图和所述相机图的互信息，/>为所述映射图和所述相机图的最大信息系数，/>为变量间的联合概率密度，/>为/>的边界概率密度，/>为/>的边界概率密度，/>为/>的单调函数，/>为/>的单调函数，/>为/>的取值个数，/>为/>的取值个数；
根据所述最大互信息系数找到所述映射图和所述相机图的各网格块的同名点；
根据所述同名点在所述映射图中找到对应的目标隧道衬砌三维点云，获取所述目标隧道衬砌三维点云的坐标信息、强度信息和深度信息。
需要说明的是，对所述基于点云生成的映射图和相机图，进行网格分块，基于每一小块进行特征点的识别算法，对于所述的特征点的识别算法为最大互信息的方法提取映射图和相机图的同名点，根据已知映射图和相机图的同名点，再基于映射图的同名点找到对应隧道衬砌三维点云，获取三维点云的坐标信息、强度信息、深度信息。
在具体实现中，基于最大互信息法获取映射图和相机图的同名点：①采用Harris提取角点：
为灰度变化值，/>和/>为窗口偏移量，/>和/>为窗口内像素坐标，/>为窗口函数，内含权重信息，常用的有权重为1和呈二元高斯正太分布的权重，意在突出像素值变化明显的程度；
②将特征点填充到各个网格内并进行阈值过滤，采用hog算法提取特征点的特征描述：
I：为像素密度函数；
：表示x方向梯度，/>：表示y方向梯度，
：表示当前的强度值，
表示当前的强度角度，
③将强度值按角度分成9个bin，将图片的所有强度和角度信息放入到bin中。
④对网格内的特征点对应的bin采用最大互信息的方法，进行特征匹配，获取灰度图和点云图的同名点。
基于最大互信息系数找到映射图和相机图的同名点后，需要找到隧道点云模型中所对应的三维点，由于映射图是基于三维点云数据生成，因此，基于坐标数据可以找到对应的三维点，网格分块的大小与工业相机阵列的各相机的像素大小对应。
步骤S30、根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
应当理解的是，根据所述坐标信息、所述强度信息和所述深度信息可以建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
进一步的，所述步骤S30具体包括以下步骤：
根据所述坐标信息、所述强度信息和所述深度信息通过下式建立误差模型：
其中，为损失函数，其表示对/>个和/>个特征进行累加。/>为三维点的索引，/>为观测点的索引，/>表示第/>个点在第/>个相机中可见，/>表示第/>个点在第/>个相机中不可见，/>为第/>个点在第/>个相机中的观测点，/>为第/>个点在第/>个相机中的投影点，为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为三维点在世界坐标系中的坐标，/>表示待优化的量，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第1个三维点在世界坐标系中的坐标，/>为第/>个三维点在世界坐标系中的坐标，/>表示最小化/>与/>的误差平方和，/>表示含有/>个元素的向量；
根据所述误差模型优化相机内外参数以及畸变参数；
根据优化后的相机内外参数以及畸变参数，将所述隧道衬砌三维点云以拟合点云中心为圆心，以拟合直径为半径进行隧道断面展开，生成灰度图；
根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图；
对所述相机投影图进行拼接，获得隧道全景图。
需要说明的是，根据激光扫描仪数据用于三维隧道建模，以获得相机的物距；高清工业相机阵列选用不同焦距的镜头，以确保数据的物理分辨率；通过外在校准获取相机内精确的参数和传感器坐标系之间的刚性变换融合两个异构传感器。
可以理解的是，表示第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，包括焦距、畸变系数和旋转平移矩阵，共9个维度。
在具体实现中，相机拍摄的图像具有几何畸变，即靠近相机的物体的大小大于相同尺寸但离相机更远的物体，因此需要对相机的内外参数进行优化以及对相机的畸变进行校正。
已知点的三维坐标、相机参数和三维点在相机图像中的同名对应点,需要对三维点位置和相机参数进行非线性优化,得到更精确的相机参数和三维点坐标数据；优化的目标是重投的误差，即观察点的坐标和重新投影的坐标之间的误差最小。
其中，表示重投影之后的像素坐标，/>为内参矩阵，/>中的/>为旋转矩阵，/>为平移矩阵，/>表示点云坐标系的坐标/>。
需要说明的是，，/>表示添加径向畸变后的像素值，/>表示像素值，/>表示畸变系数，/>表示切向畸变系数，/>为曲率半径。
根据相机设计参数、映射点的坐标，计算相机图观察点和映射点之间的误差，根据相机模型所求的参数，且误差函数是非凸函数，因此有局部最优解，通过梯度下降法方法进行迭代求取其局部最优解，从而得到优化后的相机参数和三维点的坐标。
进一步的，所述步骤根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图，具体包括以下步骤：
根据优化后的相机内外参数和畸变参数，将所述隧道衬砌三维点云投影到所述相机图，获得每一个点云的点云深度值；
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标；
根据所述中心点坐标将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图。
需要说明的是，对上述的三维点云坐标信息、强度信息、深度信息，基于采用基于相机和激光扫描仪联合参数优化的方法建立误差模型，优化相机内外参数以及畸变参数；对所述优化后的相机内外参数以及畸变参数为基准，将隧道衬砌三维点云基于球面投影的方法，以拟合点云中心为圆心，拟合直径为半径的隧道断面展开生成灰度图；根据所述的优化后的相机内外参数以及畸变参数，将点云投影到相机图，获取每一个点云的深度值；对所述的点云深度值获取激光扫描仪距离隧道衬砌的距离信息，基于距离信息、激光扫描仪的位置坐标、相机的位置坐标和视场角（Field of view，FOV）视角等，计算出相机图的中心点坐标，实现对相机图中心点的优化；根据所述的相机图中心点的优化，将相机数据投影到灰度图的圆心和半径上，并生成相机投影图。
进一步的，所述步骤根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标，包括以下步骤：
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角通过下式计算获得所述相机图的每个像素点位置：
其中，为隧道某点的坐标，/>为点/>到球心的距离，/>为俯仰角，/>为偏转角，/>为所述相机图的每个像素点位置，/>为视场角，/>为最大视场角，/>为最小视场角，/>为投影图像的宽度，/>为投影图像的长度；
根据每个像素点位置和所述距离信息确定所述相机图的中心点坐标。
需要说明的是，基于地铁隧道点云生成灰度图，将三维激光点云通过球面投影转换为二维的灰度图，点云灰度图以拟合点云中心为圆心，拟合直径为半径的隧道断面展开为灰度图激光雷达扫描获取的地铁隧道点云的几何形状是一个空心的圆柱体，此时激光雷达位于坐标系的中心；将三维激光点云通过球面投影转换为二维的灰度图，激光雷达扫描获取的地铁隧道点云的几何形状是一个空心的圆柱体，此时激光雷达位于坐标系的中心，假设在三维笛卡尔坐标系下地铁隧道某点的坐标为/>，/>轴的方向为前视图方向，即地铁隧道快速检测***的前进方向，俯仰角（pitch）、偏转角（yaw），最终投影后灰度图的每个像素点位置为/>。
进一步的，所述步骤对所述相机投影图进行拼接，获得隧道全景图，包括以下步骤：
在所述灰度图内的所有相机投影图都完成投影后，根据拍摄间隔时间将各相机投影图进行有序拼接，获得隧道全景图。
在具体实现中，基于点云的拼接算法，基于对应的点云获取深度值即激光扫描仪距离隧道衬砌的距离信息，基于距离信息、激光扫描仪的位置坐标、相机的位置坐标和FOV视角等，计算出相机图的中心点坐标，实现对相机图中心点的优化；将相机数据投影至基于球面投影生成灰度图的圆心和半径上，生成相机投影图；由于地铁隧道快速检测***有八个相机共同捕获隧道衬砌数据，因此需要将八个相机依次进行上述投影，获取隧道断面方向的相机投影图；已知相邻两张相机图像拍摄间隔为0.8m，因此可继续生成下一个时段的八张相机投影图，直到当前灰度图的所有相机图投影完成，构架成相机投影总图，即相机拼接全景图。
可以理解的是，本实施例结合了激光扫描仪与高清工业相机阵列的坐标系关系，基于激光扫描仪和相机阵列的坐标转换，利用三维点云生成的映射图和相机阵列采集的高清隧道衬砌图像，基于图像分块的最大互信息法获取映射图和相机图的同名点，同时确定对应三维点云的坐标信息；基于三维点云和相机点，采用梯度下降的方法获取最优解，实现相机内外参数和畸变系数的优化；基于变换矩阵，实现激光雷达和相机两坐标系数据点间的相互转化；基于同名点对应的三维点云信息，包括坐标信息、深度信息；基于三维点云深度信息和已知的激光扫描仪的位置坐标、相机的位置坐标和FOV视角等，计算出相机图的中心点坐标，实现对相机图中心点坐标的优化；并将其投影至灰度图的圆心和半径上，生成相机投影图。
应当理解的是，本实施例采用了基于点云映射的灰度图特征辅助隧道高清图像拼接技术；与其他传统算法不同的是，传统算法依赖于图像重叠区域，即要求图像重叠区域需要达到固定的比例，该方法主要是通过点云与相机图之间的特征点以及坐标系之间的转换，实现隧道衬砌图像的拼接，而不依赖于图像之间重叠区域；因此，该算法不仅可以解决隧道图像拼接难的问题，也可以还原隧道衬砌表观的整体病害特征，为后续隧道检测提供真实有效的数据，基于点云映射的灰度图特征辅助隧道高清图像拼接技术，具有拼接精度高、实用性强等特点，拼接后的全景图像既体现了隧道的整体病害情况，还便于后期基于深度学习的隧道病害识别。
本实施例通过上述方案，通过获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，能够实现隧道衬砌图像的拼接，而不依赖于图像之间重叠区域，不仅可以解决隧道图像拼接难的问题，也可以还原隧道衬砌表观的整体病害特征，为后续隧道检测提供真实有效的数据，提升了拼接精度，加强了实用性，能够稳定的提取点云图和相机图的同名点，实现了点云和相机的配准，拼接后的全景图像既体现了隧道的整体病害情况，还便于后期基于深度学习的隧道病害识别，提高了基于点云映射隧道图像拼接的速度和效率。
进一步地，图3为本发明基于点云映射隧道图像拼接方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明基于点云映射隧道图像拼接方法第二实施例，在本实施例中，所述步骤S10包括以下步骤：
步骤S11、通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图。
需要说明的是，通过高精度的激光扫描仪可以获取当前待检测隧道的隧道全断面三维点云，通过高清的工业相机阵列的相机可以获得多组隧道衬砌的相机图，每组隧道衬砌图像基于不同时刻拍摄且每张图像都是从不同角度拍摄获得。
步骤S12、获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图。
可以理解的是，获取所述工业相机阵列的相机内外参数，以及所述激光扫描仪的设计参数，根据已知的相机内外参数和扫描仪到相机的设计参数，基于世界坐标系-相机坐标系等转换关系，将隧道衬砌三维点云基于设计参数，投影到相机坐标系，并生成映射图。
在具体实现中，进入测区后，控制点铺设员根据选定的控制点方案，在测区内寻找控制点位置，并在该位置放置控制标志；轨道沿线隧道壁两边离轨面高度1m左右无遮挡，间隔60m左右布置一对控制点，在曲线等有条件的地方加密布设控制点作为定位精度检查点，并在所有控制点上布设CPⅢ标靶定制靶标。
数据采集，将高精度激光扫描仪和高清工业相机阵列安装在移动平台上，并在车轮处安装里程计；确认设备安装完成，开启设备并打开大功率发光二极管照明灯，以支持短曝光时间；推动移动平台在隧道里以固定的速度前进；同时根据里程桩、CPIII控制点、运营百米标以及实际监测需求合理选择控制点布设方案，移动式三维激光扫描仪在垂直于小车前进方向作断面扫描，在推行空间上螺旋采集进行空间三维数据获取，获取的点云数据以激光发射中心为原点，以前进的方向为Y轴构成空间坐标系，获取隧道结构壁海量线性点云数据。
数据录入，待隧道数据采集完毕后，将设备连接计算机，提取数据进行处理。
本实施例通过上述方案，通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图；获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图；能够快速获得映射图，提高了基于点云映射隧道图像拼接的速度和效率。
相应地，本发明进一步提供一种基于点云映射隧道图像拼接装置。
参照图4，图4为本发明基于点云映射隧道图像拼接装置第一实施例的功能模块图。
本发明基于点云映射隧道图像拼接装置第一实施例中，该基于点云映射隧道图像拼接装置包括：
映射图生成模块10，用于获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图。
网格分块模块20，用于将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息。
拼接模块30，用于根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
所述映射图生成模块10，还用于通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图；获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图。
所述网格分块模块20，还用于将所述映射图和所述相机图进行网格分块，根据预设最大互信息算法通过下式提取各网格块的最大互信息系数：
其中，为所述映射图的像素点的像素值的随机变量，/>为所述相机图的像素点的像素值的随机变量，/>为所述映射图和所述相机图的互信息，/>为所述映射图和所述相机图的最大信息系数，/>为变量间的联合概率密度，/>为/>的边界概率密度，/>为/>的边界概率密度，/>为/>的单调函数，/>为/>的单调函数，/>为/>的取值个数，/>为/>的取值个数；
根据所述最大互信息系数找到所述映射图和所述相机图的各网格块的同名点；
根据所述同名点在所述映射图中找到对应的目标隧道衬砌三维点云，获取所述目标隧道衬砌三维点云的坐标信息、强度信息和深度信息。
所述拼接模块30，还用于
根据所述坐标信息、所述强度信息和所述深度信息通过下式建立误差模型：
其中，为损失函数，其表示对/>个和/>个特征进行累加。/>为三维点的索引，/>为观测点的索引，/>表示第/>个点在第/>个相机中可见，/>表示第/>个点在第/>个相机中不可见，/>为第/>个点在第/>个相机中的观测点，/>为第/>个点在第/>个相机中的投影点，为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为三维点在世界坐标系中的坐标，/>表示待优化的量，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第1个三维点在世界坐标系中的坐标，/>为第/>个三维点在世界坐标系中的坐标，/>表示最小化/>与/>的误差平方和，/>表示含有/>个元素的向量；
根据所述误差模型优化相机内外参数以及畸变参数；
根据优化后的相机内外参数以及畸变参数，将所述隧道衬砌三维点云以拟合点云中心为圆心，以拟合直径为半径进行隧道断面展开，生成灰度图；
根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图；
对所述相机投影图进行拼接，获得隧道全景图。
所述拼接模块30，还用于根据优化后的相机内外参数和畸变参数，将所述隧道衬砌三维点云投影到所述相机图，获得每一个点云的点云深度值；根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标；根据所述中心点坐标将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图。
所述拼接模块30，还用于根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角通过下式计算获得所述相机图的每个像素点位置：
/>
其中，为隧道某点的坐标，/>为点/>到球心的距离，/>为俯仰角，/>为偏转角，/>为所述相机图的每个像素点位置，/>为视场角，/>为最大视场角，/>为最小视场角，/>为投影图像的宽度，/>为投影图像的长度；
根据每个像素点位置和所述距离信息确定所述相机图的中心点坐标。
所述拼接模块30，还用于在所述灰度图内的所有相机投影图都完成投影后，根据拍摄间隔时间将各相机投影图进行有序拼接，获得隧道全景图。
其中，基于点云映射隧道图像拼接装置的各个功能模块实现的步骤可参照本发明基于点云映射隧道图像拼接方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于点云映射隧道图像拼接程序，所述基于点云映射隧道图像拼接程序被处理器执行时实现如下操作：
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；
将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；
根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图；
获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图。
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
将所述映射图和所述相机图进行网格分块，根据预设最大互信息算法通过下式提取各网格块的最大互信息系数：
其中，为所述映射图的像素点的像素值的随机变量，/>为所述相机图的像素点的像素值的随机变量，/>为所述映射图和所述相机图的互信息，/>为所述映射图和所述相机图的最大信息系数，/>为变量间的联合概率密度，/>为/>的边界概率密度，/>为/>的边界概率密度，/>为/>的单调函数，/>为/>的单调函数，/>为/>的取值个数，/>为/>的取值个数；
根据所述最大互信息系数找到所述映射图和所述相机图的各网格块的同名点；
根据所述同名点在所述映射图中找到对应的目标隧道衬砌三维点云，获取所述目标隧道衬砌三维点云的坐标信息、强度信息和深度信息。
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
根据所述坐标信息、所述强度信息和所述深度信息通过下式建立误差模型：
其中，为损失函数，其表示对/>个和/>个特征进行累加。/>为三维点的索引，/>为观测点的索引，/>表示第/>个点在第/>个相机中可见，/>表示第/>个点在第/>个相机中不可见，/>为第/>个点在第/>个相机中的观测点，/>为第/>个点在第/>个相机中的投影点，为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为三维点在世界坐标系中的坐标，/>表示待优化的量，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第1个三维点在世界坐标系中的坐标，/>为第/>个三维点在世界坐标系中的坐标，/>表示最小化/>与/>的误差平方和，/>表示含有/>个元素的向量；
根据所述误差模型优化相机内外参数以及畸变参数；
根据优化后的相机内外参数以及畸变参数，将所述隧道衬砌三维点云以拟合点云中心为圆心，以拟合直径为半径进行隧道断面展开，生成灰度图；
根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图；
对所述相机投影图进行拼接，获得隧道全景图。
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
根据优化后的相机内外参数和畸变参数，将所述隧道衬砌三维点云投影到所述相机图，获得每一个点云的点云深度值；
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标；
根据所述中心点坐标将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图。
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角通过下式计算获得所述相机图的每个像素点位置：
其中，为隧道某点的坐标，/>为点/>到球心的距离，/>为俯仰角，/>为偏转角，/>为所述相机图的每个像素点位置，/>为视场角，/>为最大视场角，/>为最小视场角，/>为投影图像的宽度，/>为投影图像的长度；
根据每个像素点位置和所述距离信息确定所述相机图的中心点坐标。
进一步地，所述基于点云映射隧道图像拼接程序被处理器执行时还实现如下操作：
在所述灰度图内的所有相机投影图都完成投影后，根据拍摄间隔时间将各相机投影图进行有序拼接，获得隧道全景图。
本领域技术人员可以理解，实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于点云映射隧道图像拼接方法，其特征在于，所述基于点云映射隧道图像拼接方法包括：
获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；
将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；
根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
2.如权利要求1所述的基于点云映射隧道图像拼接方法，其特征在于，所述获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图，包括：
通过激光扫描仪获取当前待检测隧道的隧道全断面三维点云，通过工业相机阵列在不同时刻和不同角度获得所述当前待检测隧道的多组隧道衬砌的相机图；
获取所述工业相机阵列的相机内外参数，获取所述激光扫描仪的设计参数，根据所述相机内外参数和所述设计参数将所述隧道全断面三维点云从世界坐标系投影到相机坐标系，生成映射图。
3.如权利要求1所述的基于点云映射隧道图像拼接方法，其特征在于，所述将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息，包括：
将所述映射图和所述相机图进行网格分块，根据预设最大互信息算法通过下式提取各网格块的最大互信息系数：
其中，为所述映射图的像素点的像素值的随机变量，/>为所述相机图的像素点的像素值的随机变量，/>为所述映射图和所述相机图的互信息，/>为所述映射图和所述相机图的最大信息系数，/>为变量间的联合概率密度，/>为/>的边界概率密度，/>为/>的边界概率密度，/>为/>的单调函数，/>为/>的单调函数，/>为/>的取值个数，/>为/>的取值个数；
根据所述最大互信息系数找到所述映射图和所述相机图的各网格块的同名点；
根据所述同名点在所述映射图中找到对应的目标隧道衬砌三维点云，获取所述目标隧道衬砌三维点云的坐标信息、强度信息和深度信息。
4.如权利要求1所述的基于点云映射隧道图像拼接方法，其特征在于，所述根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图，包括：
根据所述坐标信息、所述强度信息和所述深度信息通过下式建立误差模型：
其中，为损失函数，其表示对/>个和/>个特征进行累加，/>为三维点的索引，/>为观测点的索引，/>表示第/>个点在第/>个相机中可见，/>表示第/>个点在第/>个相机中不可见，/>为第/>个点在第/>个相机中的观测点，/>为第/>个点在第/>个相机中的投影点，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为三维点在世界坐标系中的坐标，/>表示待优化的量，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第/>个相机的内参数以及世界坐标系与第/>个相机的外参数，/>为第1个三维点在世界坐标系中的坐标，/>为第/>个三维点在世界坐标系中的坐标，/>表示最小化/>与/>的误差平方和，/>表示含有/>个元素的向量；
根据所述误差模型优化相机内外参数以及畸变参数；
根据优化后的相机内外参数以及畸变参数，将所述隧道衬砌三维点云以拟合点云中心为圆心，以拟合直径为半径进行隧道断面展开，生成灰度图；
根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图；
对所述相机投影图进行拼接，获得隧道全景图。
5.如权利要求4所述的基于点云映射隧道图像拼接方法，其特征在于，所述根据所述相机图的中心点坐标，将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图，包括：
根据优化后的相机内外参数和畸变参数，将所述隧道衬砌三维点云投影到所述相机图，获得每一个点云的点云深度值；
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标；
根据所述中心点坐标将相机数据投影到所述灰度图的圆心和半径上，生成相机投影图。
6.如权利要求5所述的基于点云映射隧道图像拼接方法，其特征在于，所述根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述距离信息、所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角计算获得所述相机图的中心点坐标，包括：
根据所述点云深度值获得当前激光扫描仪距离各个隧道衬砌的距离信息，根据所述激光扫描仪的位置坐标、当前相机的位置坐标和视场角通过下式计算获得所述相机图的每个像素点位置：
其中，为隧道某点的坐标，/>为点/>到球心的距离，/>为俯仰角，/>为偏转角，/>为所述相机图的每个像素点位置，/>为视场角，/>为最大视场角，/>为最小视场角，/>为投影图像的宽度，/>为投影图像的长度；
根据每个像素点位置和所述距离信息确定所述相机图的中心点坐标。
7.如权利要求4所述的基于点云映射隧道图像拼接方法，其特征在于，所述对所述相机投影图进行拼接，获得隧道全景图，包括：
在所述灰度图内的所有相机投影图都完成投影后，根据拍摄间隔时间将各相机投影图进行有序拼接，获得隧道全景图。
8.一种基于点云映射隧道图像拼接装置，其特征在于，所述基于点云映射隧道图像拼接装置包括：
映射图生成模块，用于获取当前待检测隧道的隧道全断面三维点云和多组隧道衬砌的相机图，将所述隧道全断面三维点云投影到相机坐标系，生成映射图；
网格分块模块，用于将所述映射图和所述相机图进行网格分块，提取各网格块的同名点，根据所述映射图获取所述同名点的隧道衬砌三维点云的坐标信息、强度信息和深度信息；
拼接模块，用于根据所述坐标信息、所述强度信息和所述深度信息建立误差模型，根据所述误差模型优化相机内外参数以及畸变参数，并根据优化后的相机内外参数、畸变参数和相机数据生成并拼接隧道全景图。
9.一种基于点云映射隧道图像拼接设备，其特征在于，所述基于点云映射隧道图像拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于点云映射隧道图像拼接程序，所述基于点云映射隧道图像拼接程序配置为实现如权利要求1至7中任一项所述的基于点云映射隧道图像拼接方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于点云映射隧道图像拼接程序，所述基于点云映射隧道图像拼接程序被处理器执行时实现如权利要求1至7中任一项所述的基于点云映射隧道图像拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410626224.7A CN118229524A (zh) | 2024-05-20 | 2024-05-20 | 基于点云映射隧道图像拼接方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410626224.7A CN118229524A (zh) | 2024-05-20 | 2024-05-20 | 基于点云映射隧道图像拼接方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118229524A true CN118229524A (zh) | 2024-06-21 |
Family
ID=91502785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410626224.7A Pending CN118229524A (zh) | 2024-05-20 | 2024-05-20 | 基于点云映射隧道图像拼接方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118229524A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827199A (zh) * | 2019-10-29 | 2020-02-21 | 武汉大学 | 基于激光测距仪引导的隧道图像拼接方法及装置 |
| CN115147566A (zh) * | 2022-06-27 | 2022-10-04 | 长安大学 | 基于多线激光的隧道衬砌三维结构的建模方法、***及装置 |
-
2024
- 2024-05-20 CN CN202410626224.7A patent/CN118229524A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827199A (zh) * | 2019-10-29 | 2020-02-21 | 武汉大学 | 基于激光测距仪引导的隧道图像拼接方法及装置 |
| CN115147566A (zh) * | 2022-06-27 | 2022-10-04 | 长安大学 | 基于多线激光的隧道衬砌三维结构的建模方法、***及装置 |
Non-Patent Citations (1)
| Title |
|---|
| MENGXUAN XIA: "A subway tunnel image stitching method based on point cloud mapping relationships and high resolution image", 《ENGINEERING RESEARCH EXPRESS》, 18 April 2024 (2024-04-18), pages 1 - 17 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111855664B (zh) | 一种可调节隧道病害三维检测*** | |
| CN111505606B (zh) | 多相机与激光雷达***相对位姿检校方法及装置 | |
| CN109410256B (zh) | 基于互信息的点云与影像自动高精度配准方法 | |
| CN108195377B (zh) | 一种基于三角形周长匹配的反光板匹配算法 | |
| CN103512579B (zh) | 一种基于热红外摄像机和激光测距仪的地图构建方法 | |
| CN104359459B (zh) | 采用三维激光扫描反射率信息生成隧道内壁影像的方法 | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及*** | |
| JP2002157576A (ja) | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 | |
| CN111879235A (zh) | 弯管的三维扫描检测方法、三维扫描***和计算机设备 | |
| CN111815707A (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| CN113916130B (zh) | 一种基于最小二乘法的建筑物位置测量方法 | |
| CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及*** | |
| US9245375B2 (en) | Active lighting for stereo reconstruction of edges | |
| CN109146791B (zh) | 一种基于面阵ccd成像的隧道展布图生成方法 | |
| Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
| CN115854895A (zh) | 一种基于目标立木形态的非接触式立木胸径测量方法 | |
| Alidoost et al. | Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image | |
| CN115032648A (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
| CN115690138A (zh) | 一种融合车载影像与点云的道路边界提取与矢量化方法 | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| CN117036326A (zh) | 一种基于多模态融合的缺陷检测方法 | |
| CN114972645A (zh) | 一种三维重建方法、装置、计算机设备及存储介质 | |
| CN109615695B (zh) | 房屋外部的空间照片到屋顶cad图纸的自动化转换方法 | |
| JP3919722B2 (ja) | 肌形状計測方法及び肌形状計測装置 | |
| CN118229524A (zh) | 基于点云映射隧道图像拼接方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |