CN117765048A - 一种基于跨模态融合的水下目标三维配准方法 - Google Patents
一种基于跨模态融合的水下目标三维配准方法 Download PDFInfo
- Publication number
- CN117765048A CN117765048A CN202410195664.1A CN202410195664A CN117765048A CN 117765048 A CN117765048 A CN 117765048A CN 202410195664 A CN202410195664 A CN 202410195664A CN 117765048 A CN117765048 A CN 117765048A
- Authority
- CN
- China
- Prior art keywords
- registered
- registration
- point cloud
- representing
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 76
- 238000013519 translation Methods 0.000 claims abstract description 38
- 230000005484 gravity Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 229920001651 Cyanoacrylate Polymers 0.000 description 2
- 239000004830 Super Glue Substances 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于跨模态融合的水下目标三维配准方法，属于水下三维视觉技术领域，解决了现有技术无法有效地融合激光点云和深度图这两种数据源，在发挥各自的优势的同时，克服各自的局限性的问题。读取待配准的深度图，获得待配准的深度图投影图；读取待配准的激光点云，获得待配准的激光点云投影图；将待配准的深度图投影图与待配准的激光点云投影图进行匹配；根据匹配结果计算出配准角度差，根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵；对粗配准旋转矩阵和粗配准平移矩阵进行精配准，获得精配准旋转矩阵和精配准平移矩阵，实现了深度图投影图与激光点云投影图的配准。
Description
技术领域
本发明涉及水下三维视觉技术领域，具体涉及基于跨模态融合的水下目标三维配准方法。
背景技术
水下目标三维配准是海洋领域中一项至关重要的技术，为了解决水下环境复杂多变的挑战而应运而生。这项技术的意义在于其对海洋科学、海洋资源开发和环境保护方面具有深远影响。在海洋勘测和资源开发中，水下目标三维配准用于精确勘测海底地形和探测潜在的海洋资源。同时，这项技术对于海洋生态环境的监测和保护也至关重要，能够帮助了解和保护海洋生态***。此外，对于海洋工程和潜水作业，它有助于提高作业效率和安全性。总之，水下目标三维配准不仅是海洋科学和工程领域的重要技术手段，更是为了探索海洋之谜、保护海洋环境和挖掘海洋资源而不懈努力的关键一环。
激光点云和深度图作为两种主流的三维数据获取方式，各自拥有独特的优势和局限性。激光点云以其高精度和抗干扰性而备受青睐，尤其在复杂环境或动态场景中表现出色。深度图更加易于获取，且能实时捕捉物体的颜色和纹理信息。例如，中国专利CN112258618A公开了“基于先验激光点云与深度图融合的语义建图与定位方法”，基于先验激光点云与深度图融合的语义建图与定位方法，以解决现有技术中存在的技术问题，能够有效消除大规模室内建图与定位的累计误差，建图及定位的精度及实时性高。然而，在水下环境中，激光点云对环境因素较为敏感，如反射、遮挡等，可能会影响数据的完整性和准确性。相对而言，深度图的精度和分辨率通常较低，且对光照条件的变化较为敏感。
为了更好地利用这两种数据源的优势，克服其局限性，跨源点云配准技术应运而生。它旨在将激光点云与深度图进行精确的配准融合，以生成一个统一、完整且精确的三维模型。跨源点云配准主要解决的问题是如何将来自不同数据源的点云数据进行精确的匹配和融合。由于两种数据来源的特性和采集方式不同，它们之间存在一定的差异和不确定性。首先，激光雷达获取的激光点云具有高精度和高密度的特点，能够提供物体表面的详细信息。然而，由于环境因素、物体表面反射等原因，激光点云可能会存在噪声、失真等问题。此外，激光雷达在小范围场景中获取的激光点云相对稀疏，这增加了点云配准的难度。其次，深度相机获取的深度图虽然相对容易获取，但其精度和分辨率相对较低。深度图主要依赖于光学原理，因此对光照条件和视角变化较为敏感。在复杂的光照条件或动态场景中，深度图可能会出现失真或误差。此外，深度图在小范围场景中获取的深度图点云相对更加密集，这也增加了深度图点云配准的复杂性。另外，激光雷达和深度相机获取的点云的噪声特性也不同。激光雷达的激光点云噪声通常较低，而深度图点云的噪声相对较高。在进行跨源点云配准时，需要考虑两种数据源的噪声特性，以提高配准的准确性和稳定性。
因此，在跨源点云配准中，需要解决的关键问题是如何有效地融合这两种数据源，发挥各自的优势的同时，克服各自的局限性。这需要找到一种合适的方法，能够准确地匹配和融合来自不同源的点云数据，以生成一个完整、准确且一致的三维模型。
发明内容
本发明解决了现有技术无法有效地融合激光点云和深度图这两种数据源，在发挥各自的优势的同时，克服各自的局限性的问题。
本发明所述的一种基于跨模态融合的水下目标三维配准方法，包括以下步骤：
步骤S1，将待配准的深度图输入到处理深度图分支中，待配准的激光点云输入到处理激光点云分支中；
步骤S2，读取经步骤S1处理的待配准的深度图后，对待配准的深度图分别进行降噪、计算深度图点云重心以及投影的操作，获得待配准的深度图投影图；
步骤S3，读取经步骤S1处理的待配准的激光点云后，对待配准的激光点云分别进行补全、计算激光点云的重心以及投影的操作，获得待配准的激光点云投影图；
步骤S4，将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图进行匹配；
步骤S5，根据步骤S4的匹配结果计算出配准角度差，根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵；
步骤S6，对步骤S5获得的粗配准旋转矩阵和粗配准平移矩阵进行精配准，获得精配准旋转矩阵和精配准平移矩阵，实现了深度图投影图与激光点云投影图的配准。
进一步地，在本发明的一个实施例中，所述的步骤S2中，所述的对待配准的深度图进行降噪的操作，具体为：
式中，表示降噪的操作，/>表示中心像素，/>表示归一化系数，/>表示以中心像素/>为中心的窗口内的像素集合，/>表示窗口内像素/>的强度，/>表示像素/>和中心像素/>之间的权重。
进一步地，在本发明的一个实施例中，所述的步骤S2中，所述的对待配准的深度图进行计算深度图点云重心的操作，具体为：
式中，()表示待配准的深度图点云的重心，/>表示待配准的深度图点云中点的总数，/>表示待配准的深度图中点/>的三维坐标。
进一步地，在本发明的一个实施例中，所述的步骤S3中，所述的对待配准的激光点云进行计算激光点云的重心的操作，具体为：
式中，()表示待配准的激光点云的重心，/>表示待配准的激光点云中点的总数，/>表示待配准的激光点云中点/>的三维坐标。
进一步地，在本发明的一个实施例中，所述的步骤S4中，所述的将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图进行匹配，包括以下步骤：
步骤S401，将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图输入到特征匹配模型中进行特征匹配；
步骤S402，根据步骤S401的特征匹配结果设置特征匹配关系的置信度阈值，将低置信度的特征匹配关系过滤；
步骤S403，当待配准的深度图投影图与待配准的激光点云投影图的匹配度达到30%，则匹配成功，否则，则匹配失败，将激光点云的重心进行平移后，重复步骤S401～S403，当待配准的深度图投影图与待配准的激光点云投影图的匹配度无法达到30%，则执行步骤S404；
步骤S404，搜集所有具有高置信度的匹配面，输出匹配结果。
进一步地，在本发明的一个实施例中，所述的步骤S402中，所述的低置信度小于0.4；
所述的步骤S404中，所述的高置信度大于0.6。
进一步地，在本发明的一个实施例中，所述的步骤S5中，所述的根据步骤S4的匹配结果计算出配准角度差，具体为：
；
；
式中，表示角度差，/>和/>分别表示两个匹配面的法向量，/>表示位移差，和/>分别表示两个匹配点的坐标；
计算角度差和位移差的平均值，则为配准角度差。
进一步地，在本发明的一个实施例中，所述的步骤S5中，所述的根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵，具体为：
；
；
式中，表示粗配准旋转矩阵，/>表示旋转矩阵，/>为配准对数，/>和分别表示两个匹配点旋转后的坐标；
；
；
式中，表示粗配准平移矩阵，/>表示平移矩阵，/>表示匹配点的坐标。
进一步地，在本发明的一个实施例中，所述的步骤S6中，所述的对步骤S5获得的粗配准旋转矩阵和粗配准平移矩阵进行精配准，具体为：
；
式中，表示目标函数，/>和/>分别表示两个点云中的对应点，/>表示点云中的索点，/>表示精配准旋转矩阵，/>表示精配准平移矩阵。
本发明解决了现有技术无法有效地融合激光点云和深度图这两种数据源，在发挥各自的优势的同时，克服各自的局限性的问题。具体有益效果包括：
本发明所述的一种基于跨模态融合的水下目标三维配准方法，由于激光点云和深度图来源于两种不同的数据源，无法实现将两者相互融合的基础上，在发挥各自的优势的同时，克服各自的局限性的问题。为解决上述技术问题，本发明通过将待配准的深度图分别进行降噪、计算深度图点云重心以及投影的操作，获得待配准的深度图投影图，将对待配准的激光点云分别进行补全、计算激光点云的重心以及投影的操作，获得待配准的激光点云投影图，最后，将待配准的深度图投影图与待配准的激光点云投影图进行匹配，并对匹配结果进项粗配准，以及精配准，从而实现了深度图投影图与激光点云投影图的配准，获得的三维配准既能发挥激光点云和深度图的特点，又能克服各自的局限性；
本发明所述的一种基于跨模态融合的水下目标三维配准方法，涉及点云处理、模式识别、特征匹配、多模态数据融合以及三维重建方法。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是实施方式一所述的基于跨模态融合的水下目标三维配准方法流程图；
图2是实施方式一所述的投影图标记示意图；
图3是实施方式一所述的采用的点云旋转过程示意图。
具体实施方式
下面结合附图将对本发明的多种实施方式进行清楚、完整地描述。通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
实施方式一、本实施方式所述的一种基于跨模态融合的水下目标三维配准方法，包括以下步骤：
步骤S1，将待配准的深度图输入到处理深度图分支中，待配准的激光点云输入到处理激光点云分支中；
步骤S2，读取经步骤S1处理的待配准的深度图后，对待配准的深度图分别进行降噪、计算深度图点云重心以及投影的操作，获得待配准的深度图投影图；
步骤S3，读取经步骤S1处理的待配准的激光点云后，对待配准的激光点云分别进行补全、计算激光点云的重心以及投影的操作，获得待配准的激光点云投影图；
步骤S4，将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图进行匹配；
步骤S5，根据步骤S4的匹配结果计算出配准角度差，根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵；
步骤S6，对步骤S5获得的粗配准旋转矩阵和粗配准平移矩阵进行精配准，获得精配准旋转矩阵和精配准平移矩阵，实现了深度图投影图与激光点云投影图的配准。
本实施方式中，所述的步骤S2中，所述的对待配准的深度图进行降噪的操作，具体为：
式中，表示降噪的操作，/>表示中心像素，/>表示归一化系数，/>表示以中心像素/>为中心的窗口内的像素集合，/>表示窗口内像素/>的强度，/>表示像素/>和中心像素/>之间的权重。
本实施方式中，所述的步骤S2中，所述的对待配准的深度图进行计算深度图点云重心的操作，具体为：
式中，()表示待配准的深度图点云的重心，/>表示待配准的深度图点云中点的总数，/>表示待配准的深度图中点/>的三维坐标。
本实施方式中，所述的步骤S3中，所述的对待配准的激光点云进行计算激光点云的重心的操作，具体为：
式中，()表示待配准的激光点云的重心，/>表示待配准的激光点云中点的总数，/>表示待配准的激光点云中点/>的三维坐标。
本实施方式中，所述的步骤S4中，所述的将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图进行匹配，包括以下步骤：
步骤S401，将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图输入到特征匹配模型中进行特征匹配；
步骤S402，根据步骤S401的特征匹配结果设置特征匹配关系的置信度阈值，将低置信度的特征匹配关系过滤；
步骤S403，当待配准的深度图投影图与待配准的激光点云投影图的匹配度达到30%，则匹配成功，否则，则匹配失败，将激光点云的重心进行平移后，重复步骤S401～S403，当待配准的深度图投影图与待配准的激光点云投影图的匹配度无法达到30%，则执行步骤S404；
步骤S404，搜集所有具有高置信度的匹配面，输出匹配结果。
本实施方式中，所述的步骤S402中，所述的低置信度小于0.4；
所述的步骤S404中，所述的高置信度大于0.6。
本实施方式中，所述的步骤S5中，所述的根据步骤S4的匹配结果计算出配准角度差，具体为：
；
；
式中，表示角度差，/>和/>分别表示两个匹配面的法向量，/>表示位移差，和/>分别表示两个匹配点的坐标；
计算角度差和位移差的平均值，则为配准角度差。
本实施方式中，所述的步骤S5中，所述的根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵，具体为：
；
；
式中，表示粗配准旋转矩阵，/>表示旋转矩阵，/>为配准对数，/>和分别表示两个匹配点旋转后的坐标；
；
；
式中，表示粗配准平移矩阵，/>表示平移矩阵，/>表示匹配点的坐标。
本实施方式中，所述的步骤S6中，所述的对步骤S5获得的粗配准旋转矩阵和粗配准平移矩阵进行精配准，具体为：
；
式中，表示目标函数，/>和/>分别表示两个点云中的对应点，/>表示点云中的索点，/>表示精配准旋转矩阵，/>表示精配准平移矩阵。
现有技术中，激光点云和深度图作为三维数据的获取方式，但是各自都有其优势和局限性。
为了在跨源点云配准中，有效地融合激光点云和深度图这两种数据源，使其发挥各自的优势的同时，克服各自的局限性。本实施方式提出的一种基于跨模态融合的水下目标三维配准方法，如图1所示，包括以下步骤：
步骤S1，将待配准的深度图输入到处理深度图分支中，待配准的激光点云输入到处理激光点云分支中；
深度图通过深度相机来获取，具体来说，深度相机通过使用红外或者其他光源，通过传感器发射光源，光源照射到目标表面后，测量光的返回时间或结构光投影的形状，计算出每个深度图像素点的深度值。激光点云通过激光雷达来获取，具体来说，激光雷达通过发射激光束，测量激光束反射回来所需的时间，从而得知激光束的行进距离，通过旋转或调整激光束的方向，形成三维空间中的激光点云。
步骤S2，读取处理后的待配准的深度图，应用自适应双边滤波法对每一张待配准的深度图进行降噪处理，去除待配准的深度图的噪点。自适应双边滤波的基本思想是根据像素之间的空间距离和灰度值的相似性进行加权平均。这样，对于附近的像素以及具有相似灰度值的像素，它们的权重较大，而对于远离的像素或者灰度值差异较大的像素，它们的权重较小。结合空间域和灰度值域的信息，对待配准的深度图的每个像素进行加权平均，以达到降噪的效果，实现方式如下：
；
式中，表示降噪的操作，/>表示中心像素，/>表示归一化系数，/>表示以中心像素/>为中心的窗口内的像素集合，/>表示窗口内像素/>的强度，/>表示像素/>和中心像素/>之间的权重；
得到去噪后的待配准的深度图后，计算出待配准的深度图点云的重心，实现方式如下：
对于一个三维点云，其重心 ()可以通过对所有点的坐标分量分别求平均得到：
式中，()表示待配准的深度图点云的重心，/>表示待配准的深度图点云中点的总数，/>表示待配准的深度图中点/>的三维坐标；
然后，以重心为核心将待配准的深度图点云按照正二十面体的角度进行投影20次，输出20张待配准的深度图投影图。
步骤S3，读取待配准的激光点云，将待配准的激光点云进行补全处理，主要原因是，激光雷达获取的待配准的点云数据可能会因为遮挡、传感器噪声或其他原因而存在缺失或不完整的情况。补全待配准的激光点云的目标是填充这些缺失的区域，以提高点云的完整性和准确性；
然后，计算出待配准的激光点云的重心，对于一个三维点云，其重心()可以通过对所有点的坐标分量分别求平均得到：
式中，()表示待配准的激光点云的重心，/>表示待配准的激光点云中点的总数，/>表示待配准的激光点云中点/>的三维坐标；
以重心为核心将待配准的激光点云按照正二十面体的角度投影20次，输出20张待配准的激光点云投影图。
步骤S4，将待配准的深度图投影图与待配准的激光点云投影图进行配准，包括以下步骤：
步骤S401，将降噪后的20张待配准的深度图投影图与补全后的20张待配准的激光点云投影图分别使用Superglue模型（特征匹配模型）进行图与图之间的匹配；
Superglue模型主要包括特征提取器和匹配器两个模块，特征提取器通常采用预训练的CNN（卷积神经网络），负责从输入的图像或特征图中提取特征，将图像信息编码成具有判别性的向量表示。匹配器使用了注意力机制，它通过计算特征之间的相关性来确定两个输入特征集之间的匹配关系，它的输出是置信度，表示两特征集之间每个特征点的匹配程度；
步骤S402，根据特征匹配结果设置点与点之间匹配关系的置信度阈值，过滤掉置信度小于0.4的匹配关系；
步骤S403，如果在20个面中有大于等于6个面能够成功匹配，则认为整体配准达到了成功的标准，并输出匹配结果。反之，如果在20个面中有小于6个面能够匹配成功，将激光点云的重心进行平移，再次执行步骤S401～S403进行匹配过滤，直到有6个面匹配成功；
选择20个面中界定6个面进行能够匹配，则认为匹配成功，该数值的选择是综合考虑投影角度和位置不同带来的影响，且经人工验证后，结果表明：有6个面匹配上，就是一个非常理想的情况。
步骤S404，如果经过多次尝试仍未找到6个面匹配成功的情况，则收集所有具有置信度大于0.6匹配的面；
匹配的具体原理是，通过投影操作，得到待配准的深度图投影图和待配准的激光点云投影图的各20张子图。接着，从待配准的深度图投影图的20张子图中选择1张子图，将其与待配准的激光点云投影图的20张子图一起输入深度图匹配网络。通过深度图匹配网络，找到与待配准的深度图投影图与存在较多匹配对的第1张待配准的激光点云投影图，记为子图n；
随后，如图2所示，待配准的深度图投影图的1张子图的20个面依次进行标记出1～20，其中，1与2、5和6相邻，按照顺序与将其子图n进行匹配，从1=>2=>5=>6=>11=>7=>3=>4=>10=>15=>16=>12=>8=>9=>14=>20=>17=>18=>13=>19的顺序进行检索。这个检索过程同时适用于待配准的激光点云投影图的检索顺序，从第n+1张子图开始，依次检索n+1、n+2、n+5、n+6…，直到找到与待配准的深度图投影图的1张子图匹配的6个面。
步骤S5，将匹配面或置信度大于0.6的匹配面进项重心重叠，计算匹配面之间的角度差和匹配点之间的位移差，实现方式如下：
；
；
式中，表示角度差，/>和/>分别表示两个匹配面的法向量，/>表示位移差，和/>分别表示两个匹配点的坐标，计算角度差和位移差的平均值为配准角度差；
根据配准角度差旋转令两个匹配面重叠，获得新的坐标和，通过如下方式计算粗配准旋转矩阵：
；
；
式中，表示粗配准旋转矩阵，/>表示旋转矩阵，/>为配准对数；
然后，如图3所示，通过空间上旋转令点云的重心、匹配点A和匹配点B在一条直线上，得到匹配点B的新坐标，通过如下方式计算粗配准平移矩阵：
；
；
式中，表示粗配准平移矩阵，/>表示平移矩阵；
步骤S6，将粗配准旋转矩阵和粗配准平移矩阵输入到ICP算法（点云精配准算法）中，对粗配准后的两个点云进行精配准，得到精配准旋转矩阵和精配准平移矩阵；
具体原理是，通过粗配准，即两个点云在某种程度上对齐，获得粗配准旋转矩阵和粗配准平移矩阵作为ICP算法的初始估计。ICP算法通过迭代的方式不断优化旋转矩阵和平移矩阵，以最小化两个点云之间的距离。在每一次迭代中，ICP算法会寻找两个点云之间的最近邻点对应关系，并使用最小化距离的目标函数更新旋转矩阵和平移矩阵；
最小化距离的目标函数：通常使用平方和误差或平方和差异作为目标函数，优化的目标函数可以表示为：
；
式中，表示目标函数，/>和/>分别表示两个点云中的对应点，/>表示点云中的索点，/>表示精配准旋转矩阵，/>表示精配准平移矩阵；
在每一次迭代中，ICP算法会根据当前的旋转矩阵和平移矩阵计算点云之间的最近邻对应关系。然后，通过最小二乘法优化目标函数，更新精配准旋转矩阵和精配准平移矩阵。迭代过程会持续进行，直到达到收敛条件或达到预定的迭代次数。
综上所述，本实施方式通过将待配准的深度图投影图与待配准的激光点云投影图有效的配准，实现了跨模态融合的水下目标三维配准。
以上对本发明所提出的一种基于跨模态融合的水下目标三维配准方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于跨模态融合的水下目标三维配准方法，其特征在于，包括以下步骤：
步骤S1，将待配准的深度图输入到处理深度图分支中，待配准的激光点云输入到处理激光点云分支中；
步骤S2，读取经步骤S1处理的待配准的深度图后，对待配准的深度图分别进行降噪、计算深度图点云重心以及投影的操作，获得待配准的深度图投影图；
步骤S3，读取经步骤S1处理的待配准的激光点云后，对待配准的激光点云分别进行补全、计算激光点云的重心以及投影的操作，获得待配准的激光点云投影图；
步骤S4，将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图进行匹配；
步骤S5，根据步骤S4的匹配结果计算出配准角度差，根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵；
步骤S6，对步骤S5获得的粗配准旋转矩阵和粗配准平移矩阵进行精配准，获得精配准旋转矩阵和精配准平移矩阵，实现了深度图投影图与激光点云投影图的配准。
2.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S2中，所述的对待配准的深度图进行降噪的操作，具体为：
式中，表示降噪的操作，/>表示中心像素，/>表示归一化系数，/>表示以中心像素/>为中心的窗口内的像素集合，/>表示窗口内像素/>的强度，/>表示像素/>和中心像素/>之间的权重。
3.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S2中，所述的对待配准的深度图进行计算深度图点云重心的操作，具体为：
式中，()表示待配准的深度图点云的重心，/>表示待配准的深度图点云中点的总数，/>表示待配准的深度图中点/>的三维坐标。
4.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S3中，所述的对待配准的激光点云进行计算激光点云的重心的操作，具体为：
式中，()表示待配准的激光点云的重心，/>表示待配准的激光点云中点的总数，/>表示待配准的激光点云中点/>的三维坐标。
5.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S4中，所述的将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图进行匹配，包括以下步骤：
步骤S401，将步骤S2获得的待配准的深度图投影图与步骤S3获得的待配准的激光点云投影图输入到特征匹配模型中进行特征匹配；
步骤S402，根据步骤S401的特征匹配结果设置特征匹配关系的置信度阈值，将低置信度的特征匹配关系过滤；
步骤S403，当待配准的深度图投影图与待配准的激光点云投影图的匹配度达到30%，则匹配成功，否则，则匹配失败，将激光点云的重心进行平移后，重复步骤S401～S403，当待配准的深度图投影图与待配准的激光点云投影图的匹配度无法达到30%，则执行步骤S404；
步骤S404，搜集所有具有高置信度的匹配面，输出匹配结果。
6.根据权利要求5所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S402中，所述的低置信度小于0.4；
所述的步骤S404中，所述的高置信度大于0.6。
7.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S5中，所述的根据步骤S4的匹配结果计算出配准角度差，具体为：
；
；
式中，表示角度差，/>和/>分别表示两个匹配面的法向量，/>表示位移差，和/>分别表示两个匹配点的坐标；
计算角度差和位移差的平均值，则为配准角度差。
8.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S5中，所述的根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵，具体为：
；
；
式中，表示粗配准旋转矩阵，/>表示旋转矩阵，/>为配准对数，/>和分别表示两个匹配点旋转后的坐标；
；
；
式中，表示粗配准平移矩阵，/>表示平移矩阵，/>表示匹配点的坐标。
9.根据权利要求1所述的一种基于跨模态融合的水下目标三维配准方法，其特征在于，所述的步骤S6中，所述的对步骤S5获得的粗配准旋转矩阵和粗配准平移矩阵进行精配准，具体为：
；
式中，表示目标函数，/>和/>分别表示两个点云中的对应点，/>表示点云中的索点，/>表示精配准旋转矩阵，/>表示精配准平移矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410195664.1A CN117765048B (zh) | 2024-02-22 | 2024-02-22 | 一种基于跨模态融合的水下目标三维配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410195664.1A CN117765048B (zh) | 2024-02-22 | 2024-02-22 | 一种基于跨模态融合的水下目标三维配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765048A true CN117765048A (zh) | 2024-03-26 |
| CN117765048B CN117765048B (zh) | 2024-06-11 |
Family
ID=90314824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410195664.1A Active CN117765048B (zh) | 2024-02-22 | 2024-02-22 | 一种基于跨模态融合的水下目标三维配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765048B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272537A (zh) * | 2018-08-16 | 2019-01-25 | 清华大学 | 一种基于结构光的全景点云配准方法 |
| US20200160487A1 (en) * | 2018-11-15 | 2020-05-21 | Toyota Research Institute, Inc. | Systems and methods for registering 3d data with 2d image data |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、***及装置 |
| KR20220042833A (ko) * | 2020-09-28 | 2022-04-05 | 고려대학교 산학협력단 | 라이다 스캐너에서 획득한 점군 정합 방법 |
| CN115170624A (zh) * | 2022-06-27 | 2022-10-11 | 东北大学 | 基于多传感器点云的鲁棒配准方法及*** |
| CN116205956A (zh) * | 2021-11-30 | 2023-06-02 | 合肥美亚光电技术股份有限公司 | 点云配准方法、装置以及医疗影像设备 |
| CN116222543A (zh) * | 2023-04-26 | 2023-06-06 | 齐鲁工业大学(山东省科学院) | 用于机器人环境感知的多传感器融合地图构建方法及*** |
| CN116385507A (zh) * | 2023-03-29 | 2023-07-04 | 华昕设计集团有限公司 | 一种基于不同尺度的多源点云数据配准方法及*** |
| CN117036300A (zh) * | 2023-08-14 | 2023-11-10 | 东南大学 | 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 |
-
2024
- 2024-02-22 CN CN202410195664.1A patent/CN117765048B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272537A (zh) * | 2018-08-16 | 2019-01-25 | 清华大学 | 一种基于结构光的全景点云配准方法 |
| US20200160487A1 (en) * | 2018-11-15 | 2020-05-21 | Toyota Research Institute, Inc. | Systems and methods for registering 3d data with 2d image data |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、***及装置 |
| KR20220042833A (ko) * | 2020-09-28 | 2022-04-05 | 고려대학교 산학협력단 | 라이다 스캐너에서 획득한 점군 정합 방법 |
| CN116205956A (zh) * | 2021-11-30 | 2023-06-02 | 合肥美亚光电技术股份有限公司 | 点云配准方法、装置以及医疗影像设备 |
| CN115170624A (zh) * | 2022-06-27 | 2022-10-11 | 东北大学 | 基于多传感器点云的鲁棒配准方法及*** |
| CN116385507A (zh) * | 2023-03-29 | 2023-07-04 | 华昕设计集团有限公司 | 一种基于不同尺度的多源点云数据配准方法及*** |
| CN116222543A (zh) * | 2023-04-26 | 2023-06-06 | 齐鲁工业大学(山东省科学院) | 用于机器人环境感知的多传感器融合地图构建方法及*** |
| CN117036300A (zh) * | 2023-08-14 | 2023-11-10 | 东南大学 | 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765048B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN110807809B (zh) | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 | |
| CN111882612A (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| CN108369741A (zh) | 用于配准数据的方法和*** | |
| Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
| CN113658337B (zh) | 一种基于车辙线的多模态里程计方法 | |
| CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
| Fei et al. | Ossim: An object-based multiview stereo algorithm using ssim index matching cost | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| Yang et al. | Stereo matching using epipolar distance transform | |
| CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
| Yang et al. | An extrinsic calibration method with closed-form solution for underwater opti-acoustic imaging system | |
| Liao et al. | SE-Calib: Semantic Edge-Based LiDAR–Camera Boresight Online Calibration in Urban Scenes | |
| CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及*** | |
| CN115147709A (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN114137564A (zh) | 一种室内物体自动标识定位方法和装置 | |
| CN117765048B (zh) | 一种基于跨模态融合的水下目标三维配准方法 | |
| Gracias et al. | Application challenges of underwater vision | |
| CN111383354B (zh) | 一种基于sfm的三维点云朝向修正方法 | |
| Yang et al. | Stereo matching algorithm based on improved census transform | |
| CN115170663B (zh) | 跨时空真伪目标多模态关联超远程无源测距方法 | |
| Sun et al. | Binocular ranging based on improved ORB-RANSAC | |
| CN117437404B (zh) | 一种基于虚拟点云的多模态目标检测方法 | |
| Zhang et al. | Binocular Depth Estimation Based on Diffractive Optical Elements and the Semiglobal Matching Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |