CN117036300A - 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 - Google Patents

基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 Download PDF

Info

Publication number
CN117036300A
CN117036300A CN202311026568.6A CN202311026568A CN117036300A CN 117036300 A CN117036300 A CN 117036300A CN 202311026568 A CN202311026568 A CN 202311026568A CN 117036300 A CN117036300 A CN 117036300A
Authority
CN
China
Prior art keywords
image
point cloud
point
coordinates
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311026568.6A
Other languages
English (en)
Inventor
朱俊清
吴宇轩
卜天翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202311026568.6A priority Critical patent/CN117036300A/zh
Publication of CN117036300A publication Critical patent/CN117036300A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于点云‑RGB异源图像多级配准映射的路面裂缝识别方法。该方法包括：采集路面点云数据和路面图像数据进行时间和空间同步，创建投影图像对进行特征提取，获取局部特征描述子，提取局部特征描述子中的特征点进行匹配，获得实际匹配点对，根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系，遍历路面图像数据中每个点的坐标利用映射关系深度信息赋值给路面图像数据，获得点云投影图像，将点云投影图像生成深度图像标注裂缝和背景，构建数据集，采用数据集对裂缝识别模型进行训练，获得训练好的裂缝识别模型待识别路面裂缝进行识别，提高了裂缝自动识别的效率和精准度。

Description

基于点云-RGB异源图像多级配准映射的路面裂缝识别方法
技术领域
本申请涉及基于图像识别的道路工程检测养护技术领域，特别是涉及一种基于点云-RGB异源图像多级配准映射的路面裂缝识别方法。
背景技术
随着公路里程不断增长，养护需求的压力持续增加，对道路检测的要求也越来越高，自动化、智能化、精确化成为路面检测技术发展的主要趋势。而裂缝作为最常见的路面病害类型，及时准确的发现路面裂缝并修复具有显著的提高养护效率与保持路面服役性能的意义。在这一需求的牵引下，基于路面图像的裂缝自动识别技术取得了很大的发展。
但是，单一可见光图像或者三维深度图像受到阴影、不均匀光照或者虚假深度的影响，无法全面揭示路面裂缝的空间纹理或深度等信息，普遍存在假性错误结果，严重影响了路面裂缝检测的效率和精度。
近年来，随着激光雷达设备的不断完善，三维点云和可见光图像的融合技术日益成为研究热点。三维点云具有丰富的空间和反射率信息且不易受外界光照的影响，但是分辨率低，缺少真实的纹理和色彩信息。相反，光学图像能够获得真实的纹理信息和色彩信息，具有较高的分辨率，但是在采集过程中受光照影响较大，且不能获取空间距离信息。
因此，目前采用基于路面图像的裂缝自动识别的效率和精准度较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高裂缝自动识别的效率和精准度的基于点云-RGB异源图像多级配准映射的路面裂缝识别方法。
一种基于点云-RGB异源图像多级配准映射的路面裂缝识别方法，所述方法包括：
采用搭载于无人机上的激光雷达和相机采集路面点云数据和路面图像数据，其中，所述路面点云数据包括：点坐标信息和时间信息，所述路面图像数据包括：时间信息和尺寸信息；
采用帧同期同步采集的方法对所述路面点云数据和所述路面图像数据进行时间同步，采用空间变换矩阵对所述路面点云数据和所述路面图像数据进行空间同步，创建互相匹配的投影图像对；
基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对所述投影图像对进行特征提取，获取所述投影图像对基于结构一致性增强的局部特征描述子；
提取所述局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对；
根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系；
遍历所述路面图像数据中每个点的坐标，利用映射关系找到路面点云数据中对应的像元，将像元的深度信息赋值给所述路面图像数据，并采用随机采样一致性算法剔除错配，获得点云投影图像；
将所述点云投影图像按照激光点的Z轴坐标值，对点云投影图像中的对应像元赋予不同的颜色值，生成深度图像，采用Labelme对深度图像中裂缝和背景的像素进行标注，构建数据集；
将构建的数据集划分为训练集和验证集，对基于四维信息融合的卷积神经网络识别算法的裂缝识别模型进行训练，获得训练好的裂缝识别模型，采集待识别路面的点云数据和图像数据，输入所述训练好的裂缝识别模型进行裂缝识别，输出所述待识别路面的裂缝识别结果。
在其中一个实施例中，所述空间变换矩阵为：
其中，世界坐标系下点的坐标表示为(XW，YW，ZW)，相机坐标系下点的坐标表示为(XC，YC，ZC)，R为旋转矩阵，T为平移矩阵，图像坐标系下的点表示为(Xp，Yp)，像素坐标系原点的图像坐标表示为(u0，v0)，像素点在图像坐标系X轴的分辨率表示为dx，像素点在图像坐标系Y轴的分辨率表示为dy，图像坐标系下的点(Xp，Yp)在像素坐标系下的坐标表示为(u，v)，M为相机内参矩阵。
在其中一个实施例中，所述基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对所述投影图像对进行特征提取，获取所述投影图像对基于结构一致性增强的局部特征描述子，包括：
使用Sobel滤波器组提取投影图像对的多方向边缘图，对多方向边缘图进行非极大值抑制以保留特征明显的边缘结构，得到稀疏的边缘结构图；
采用基于局部对比的方法提取投影图像对中主要的共同结构特征，建立结构导向图像；
利用所述结构导向图像对所述稀疏的边缘结构图执行导向滤波操作增强结构一致性，得到结构特征图；
对所述结构特征图进行子区域划分，建立各子区域的特征直方图，对各子区域的特征直方图联合，得到局部特征描述子。
在其中一个实施例中，所述提取所述局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对，包括：
提取所述局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得初步匹配点对；
根据参考矩阵计算的真实匹配点对，分析每个所述初步匹配点对与对应的真实匹配点对之间的标准误差，以确定每个初步匹配点对的准确程度；
根据每个初步匹配点对的准确程度，确定实际匹配点对。
在其中一个实施例中，所述最近邻距离比率的表达式为：
D(a0，b0)＜η·D(a0，b1)
其中，(·，·)表示欧氏距离，b0表示当前图像中对应于参考图像中特征向量a0最近的特征向量，b1表示当前图像中对于a0次近的特征向量，η是最近邻距离比率中的比例阈值。
在其中一个实施例中，所述根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系，包括：
根据实际匹配点对求解直接线性变换方程的参数，获得三维点云与二维图像之间的索引关系；
根据所述三维点云与二维图像之间的索引关系，获得RGB图像像素坐标与三维点云坐标之间的映射关系。
在其中一个实施例中，所述根据实际匹配点对求解直接线性变换方程的参数，获得三维点云与二维图像之间的索引关系，包括：
假设实际匹配点A在像素坐标系下的坐标为(uA，vA)，在世界坐标系下的坐标为(XA，YA，ZA)，像素点在图像坐标系X轴、Y轴分辨率dx，dy，像素坐标系原点的图像坐标表示为(u0，v0)，建立图像与点云坐标系之间的关系为：
其中，R为旋转矩阵，T为平移矩阵，l1～l12为直接线性变换参数。
令l12＝1，根据图像与点云坐标系之间的关系得出直接线性变换方程为：
将l1～l11作为未知数，代入所有实际匹配点的像素坐标系下的坐标和世界坐标系下的坐标，列出方程：
其中，(X1...n，Y1...n，Z1...n)为匹配点1...n在世界坐标系下的坐标，(u1...n，v1...n)为匹配点1...n在像素坐标系下的坐标。
进一步转换为法方程：
L＝(BTB)-1BTW
式中：L＝(l1，l2，l3，l4，l5，l6，l7，l8，l9，l10，l11)T
W＝(-u1，-v1，-u2，-v2，…，-un，-vn)T
其中，上标T表示转置。
根据所述法方程，求解出线性变换参数l1～l11，获得三维点云与二维图像之间的索引关系。
上述基于点云-RGB异源图像多级配准映射的路面裂缝识别方法，通过采用搭载于无人机上的激光雷达和相机采集路面点云数据和路面图像数据，其中，路面点云数据包括：点坐标信息和时间信息，路面图像数据包括：时间信息和尺寸信息，采用帧同期同步采集的方法对路面点云数据和路面图像数据进行时间同步，采用空间变换矩阵对路面点云数据和路面图像数据进行空间同步，创建互相匹配的投影图像对，基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对投影图像对进行特征提取，获取投影图像对基于结构一致性增强的局部特征描述子，提取局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对，根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系，遍历路面图像数据中每个点的坐标，利用映射关系找到路面点云数据中对应的像元，将像元的深度信息赋值给路面图像数据，并采用随机采样一致性算法剔除错配，获得点云投影图像，以实现异源图像的精确配准，将点云投影图像按照激光点的Z轴坐标值，对点云投影图像中的对应像元赋予不同的颜色值，生成深度图像，采用Labelme对深度图像中裂缝和背景的像素进行标注，构建数据集，将构建的数据集划分为训练集和验证集，实现路面裂缝信息的互补与增强，对基于四维信息融合的卷积神经网络识别算法的裂缝识别模型进行训练，获得识别效率和精度更高的训练好的裂缝识别模型，采集待识别路面的点云数据和图像数据，输入训练好的裂缝识别模型进行裂缝识别，输出待识别路面的裂缝识别结果，进而提高了裂缝自动识别的效率和精准度。
附图说明
图1为一个实施例中基于点云-RGB异源图像多级配准映射的路面裂缝识别方法的流程示意图；
图2为一个实施例中基于四维信息融合的卷积神经网络识别算法的裂缝识别模型的网络结构示意图；
图3是本申请实施例提供的无人机设备组装平台图；
图4是本申请提供的道路图像点云时间同步粗配准方法同步示意图；
图5是本申请提供的基于结构特征图建立多方向直方图的方法划分示意图；
图6是本申请提供的基于最近邻距离比率检测提取的同名的实际匹配点的示意图；
图7是本申请提供的经过多级配准后的路面图像数据集的标注示意图；
图8是本申请提供的模型预测结果示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于点云-RGB异源图像多级配准映射的路面裂缝识别方法，包括以下步骤：
步骤S1：采用搭载于无人机上的激光雷达和相机采集路面点云数据和路面图像数据，其中，路面点云数据包括：点坐标信息和时间信息，路面图像数据包括：时间信息和尺寸信息。
其中，路面点云数据，可以是对路面采集的点云数据。
其中，路面图像数据，可以是对路面采集的图像数据。
其中，设计不同传感器设备的组装方式，计算无人机飞行参数并开发数据采集程序，用于获取路面点云数据和路面图像数据，其中，路面点云数据包含点坐标信息和时间信息，路面图像数据包含时间信息和尺寸信息。通过内参和外参标定，计算雷达和相机之间的外参矩阵和相机内参信息。
其中，采集路面点云数据和路面图像数据的整体设备包括五个部分，分别为无人机搭载平台、激光雷达、相机、微控制单元(MCU)和外部电源。无人机搭载平台使用六翼无人机，利用飞控模块和GPS+IMU惯导***获取无人机的飞行轨迹和飞行姿态；激光雷达使用固态激光雷达，通过内部微振动镜片(MEMS)将五条激光线偏折25个角度，在水平120°、垂直25°的扫描范围内进行扫描，每秒接收的反射点高达750000个；相机使用全画幅相机，分辨率达到4000万；微控制单元使用树莓派单片机，分别连接飞控模块和激光雷达的数据传输接口。
在搭载方面，通过定制的碳钎维板框架固定激光雷达和相机，并将其吊装在无人机平台的减震架上；单片机和外部电源由于体型小巧，直接绑定在减震架上，为保证无人机的续航能力，同时搭载外部电源为激光雷达和单片机供电。
其中，无人机的飞行参数为：飞行高度为无人机相对于路面表面的高度，即相对航高，该飞行高度不会随着路面纵坡的改变而变化。采用凸透镜成像原理计算无人机的飞行高度H为：
a＝N/L
H＝f*GSD/a
式中，N为相机传感器(CMOS)的单边长度，L为航向拍摄图像的单边长度，a为像元尺寸，GSD为数字影像中单个像元对应的地面尺寸，f为镜头焦距。
由于需要研究全幅路面的图像采集方式，利用航向重叠度计算飞行速度V为：
V＝t×L(1-O)
式中，t为拍摄时间间隔(/s)，即拍摄一张图片的频率；O为航向重叠度，即同一航向的两相邻图片之间的重叠部分，一般取值为75％。
其中，无人机的采集程序为：使用大疆Onboard SDK编写飞行控制以及读取飞控数据的程序，同时可以接收与储存无人机飞行时的雷达点云数据；基于C++语言设计采集程序以记录和同步控制GPS、IMU、激光雷达以及相机。
步骤S2，采用帧同期同步采集的方法对路面点云数据和路面图像数据进行时间同步，采用空间变换矩阵对路面点云数据和路面图像数据进行空间同步，创建互相匹配的投影图像对。
其中，时间同步，可以是基于GNSS高精度时钟信号为每一帧点云和图像数据生成独有的时间戳。由工控机提供公共的时间基准，相机使用触发式曝光，通过记录相机触发时间并对数据传输延迟进行修正，以获取图像的真实时间戳；激光雷达通过精确时间协议(PTP)进行硬件时间同步。在同步时以频率低的激光雷达数据去寻找与之时间差最小的图像数据，实现对于点云和图像数据的毫秒级同步。
其中，空间同步，可以是基于相机成像原理进行空间坐标转换，其中涉及到世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转化，以及旋转、平移、映射三种数学关系。
在一个实施例中，空间变换矩阵为：
其中，世界坐标系下点的坐标表示为(XW，YW，ZW)，相机坐标系下点的坐标表示为(XC，YC，ZC)，R为旋转矩阵，T为平移矩阵，图像坐标系下的点表示为(Xp，Yp)，像素坐标系原点的图像坐标表示为(u0，v0)，像素点在图像坐标系X轴的分辨率表示为dx，像素点在图像坐标系Y轴的分辨率表示为dy，图像坐标系下的点(Xp，Yp)在像素坐标系下的坐标表示为(u，v)，M为相机内参矩阵。
在一个实施例中，世界坐标系到相机坐标系为：
假设世界坐标系下点的坐标(XW，YW，ZW)，相机坐标系下点的坐标(XC，YC，ZC)，两者之间的转换关系可以由旋转矩阵R和平移矩阵T表示为齐次矩阵：
相机坐标系到图像坐标系为：
假设相机坐标系下的点(XC，YC，ZC)，投影变换得到图像坐标系下的点(Xp，Yp)，透镜中心到成像平面的距离为镜头焦距f，在不考虑畸变的情况下，由相似三角形原理可得，两坐标之间的转换关系为：
图像坐标系到像素坐标系为：
假设像素坐标系原点的图像坐标(u0，v0)，像素点在图像坐标系X轴、Y轴分辨率dx，dy，则图像坐标系下的点(Xp，Yp)在像素坐标系下的坐标为：
其中(u，v)表示图像坐标系下的点(Xp，Yp)在像素坐标系下的坐标。
相机内参矩阵为：
以目前的传感器工艺，完全可以假设畸变参数为0，将相机坐标系到图像坐标系与图像坐标系到像素坐标系中的矩阵相乘可得相机内参矩阵为：
点云到图像的投影为：
把世界坐标系到相机坐标系、相机坐标系到图像坐标系、图像坐标系到像素坐标系和相机内参矩阵这四种坐标系之间的变换过程组合，得到点云投影至图像的过程为世界坐标(XW，YW，ZW)→相机坐标(XC，YC，ZC)→图像坐标(Xp，Yp)→像素坐标(u，v)，以上顺序用矩阵表示为不断左乘下一步，得到空间变换矩阵为：
步骤S3，基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对投影图像对进行特征提取，获取投影图像对基于结构一致性增强的局部特征描述子。
在一个实施例中，基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对投影图像对进行特征提取，获取投影图像对基于结构一致性增强的局部特征描述子，包括：
使用Sobel滤波器组提取投影图像对的多方向边缘图，对多方向边缘图进行非极大值抑制以保留特征明显的边缘结构，得到稀疏的边缘结构图；采用基于局部对比的方法提取投影图像对中主要的共同结构特征，建立结构导向图像；利用结构导向图像对稀疏的边缘结构图执行导向滤波操作增强结构一致性，得到结构特征图；对结构特征图进行子区域划分，建立各子区域的特征直方图，对各子区域的特征直方图联合，得到局部特征描述子。
步骤S4：提取局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对。
其中，FAST特征点检测子，可以是FAST(Features fromaccelerated segmenttest)特征点检测算子。
在一个实施例中，提取局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对，包括：
提取局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得初步匹配点对；根据参考矩阵计算的真实匹配点对，分析每个初步匹配点对与对应的真实匹配点对之间的标准误差，以确定每个初步匹配点对的准确程度；根据每个初步匹配点对的准确程度，确定实际匹配点对。
其中，最近邻距离比率(nearest neighbor distance ratio，NNDR)作为特征匹配的优化策略，NNDR策略可以表示如下：
D(a0，b0)＜η·D(a0，b1)
式中，(·，·)表示欧氏距离，b0表示当前图像中对应于参考图像中特征向量a0最近的特征向量，b1表示当前图像中对于a0次近的特征向量，η是最近邻距离比率中的比例阈值。
其中，参考图像，可以是激光雷达和相机上带有基准标定点的标准图像。
步骤S5：根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系。
在一个实施例中，根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系，包括：
根据实际匹配点对求解直接线性变换方程的参数，获得三维点云与二维图像之间的索引关系；根据三维点云与二维图像之间的索引关系，获得RGB图像像素坐标与三维点云坐标之间的映射关系。
在一个实施例中，根据实际匹配点对求解直接线性变换方程的参数，获得三维点云与二维图像之间的索引关系，包括：
假设实际匹配点A在像素坐标系下的坐标为(uA，vA)，在世界坐标系下的坐标为(XA，YA，ZA)，像素点在图像坐标系X轴、Y轴分辨率dx，dy，像素坐标系原点的图像坐标表示为(u0，v0)，建立图像与点云坐标系之间的关系为：
其中，R为旋转矩阵，T为平移矩阵，l1～l12为直接线性变换参数。
令l12＝1，根据图像与点云坐标系之间的关系得出直接线性变换方程为：
将l1～l11作为未知数，代入所有实际匹配点的像素坐标系下的坐标和世界坐标系下的坐标，列出方程：
其中，(X1...n，Y1...n，Z1...n)为匹配点1...n在世界坐标系下的坐标，(u1...n，v1...n)为匹配点1...n在像素坐标系下的坐标。
进一步转换为法方程：
L＝(BTB)-1BTW
式中：L＝(l1，l2，l3，l4，l5，l6，l7，l8，l9，l10，l11)T
W＝(-u1，-v1，-u2，-v2，…，-un，-vn)T
其中，上标T表示转置。
根据所述法方程，求解出线性变换参数l1～l11，获得三维点云与二维图像之间的索引关系。
步骤S6：遍历路面图像数据中每个点的坐标，利用映射关系找到路面点云数据中对应的像元，将像元的深度信息赋值给路面图像数据，并采用随机采样一致性算法剔除错配，获得点云投影图像。
应理解，在获得三维点云与二维图像之间的索引关系后，便获得了RGB图像像素坐标与三维点云坐标之间的映射关系。通过遍历路面图像数据中每个点的坐标，利用映射关系找到到路面点云数据中对应的像元，即可将到路面点云数据的深度信息赋值给路面图像数据，使用随机采样一致性(RANSAC)算法不断迭代减少误差，实现图像和点云的精配准。
步骤S7：将点云投影图像按照激光点的Z轴坐标值，对点云投影图像中的对应像元赋予不同的颜色值，生成深度图像，采用Labelme对深度图像中裂缝和背景的像素进行标注，构建数据集；
步骤S8：将构建的数据集划分为训练集和验证集，对基于四维信息融合的卷积神经网络识别算法的裂缝识别模型进行训练，获得训练好的裂缝识别模型，采集待识别路面的点云数据和图像数据，输入训练好的裂缝识别模型进行裂缝识别，输出待识别路面的裂缝识别结果。
其中，裂缝识别模型对点云数据和图像数据进行卷积层融合和全连接层融合，获得融合后的特征向量AFeature和融合后的特征BFeature，将融合后的特征向量AFeature和融合后的特征BFeature进行特征融合，获得特征FC Fusion，根据特征FC Fusion进行裂缝识别，输出裂缝识别结果。
其中，裂缝识别模型的网络结构如图2所示，该网络结构包含三个改进后的融合结构FCNN，其中，FCNN-RGBD为输入为4通道的RGB-D信息，彩色图像和深度图像在第一个卷积层进行信息融合，输出为256个神经元组成的特征向量，通过一个含有512个神经元的全连接层进行维度变换和特征整合得到融合特征向量AFeature；FCNN-RGB输入为彩色图像，输出为256个神经元组成的彩色特征向量；FCNN-Depth输入为深度图像，输出为256个神经元组成的深度特征向量，两个特征向量通过一个全连接层进行信息融合，得到融合特征向量BFeature；最后将两种融合特征向量AFeature和BFeature通过一个全连接层再次进行融合，得到特征FC Fusion，根据特征FC Fusion进行裂缝识别，输出裂缝识别结果，实现多维信息融合识别。
上述基于点云-RGB异源图像多级配准映射的路面裂缝识别方法，通过采用搭载于无人机上的激光雷达和相机采集路面点云数据和路面图像数据，其中，路面点云数据包括：点坐标信息和时间信息，路面图像数据包括：时间信息和尺寸信息，采用帧同期同步采集的方法对路面点云数据和路面图像数据进行时间同步，采用空间变换矩阵对路面点云数据和路面图像数据进行空间同步，创建互相匹配的投影图像对，基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对投影图像对进行特征提取，获取投影图像对基于结构一致性增强的局部特征描述子，提取局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对，根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系，遍历路面图像数据中每个点的坐标，利用映射关系找到路面点云数据中对应的像元，将像元的深度信息赋值给路面图像数据，并采用随机采样一致性算法剔除错配，获得点云投影图像，以实现异源图像的精确配准，将点云投影图像按照激光点的Z轴坐标值，对点云投影图像中的对应像元赋予不同的颜色值，生成深度图像，采用Labelme对深度图像中裂缝和背景的像素进行标注，构建数据集，将构建的数据集划分为训练集和验证集，实现路面裂缝信息的互补与增强，对基于四维信息融合的卷积神经网络识别算法的裂缝识别模型进行训练，获得识别效率和精度更高的训练好的裂缝识别模型，采集待识别路面的点云数据和图像数据，输入训练好的裂缝识别模型进行裂缝识别，输出待识别路面的裂缝识别结果，进而提高了裂缝自动识别的效率和精准度。
在一个实施例中，一种基于点云-RGB异源图像多级配准映射的路面裂缝识别方法具体步骤为：
步骤1：设计各传感器的组装方式、飞行参数和采集程序，获取匹配的点云和图像数据，包括时间信息、点云坐标系、相机坐标系、标定外参信息、内参信息；
首先基于无人机移动平台设计激光雷达与相机组合的多源检测***，对激光雷达、相机以及移动平台进行联合标定，以确定各传感器之间的相对位置和姿态，采集路面点云数据以及路面图像数据。
无人机平台选用大疆公司生产的Matrice 600Pro型号无人机，它是一款为行业应用领域打造的六旋翼飞行平台，具有优异的承载能力，最大起飞重量可达15.5kg，同时配备了定制的DJ A3 Pro三余度冗余飞控***以及Lighten Bridge2图传模块，不仅具有丰富的通讯、SDK接口，可满足专业用途定制的需求，还可以实时向遥控端传输画面并控制相机的快门。
相机选用了索尼公司的A7R3型号微单，影像传感器尺寸为36mm×24mm全画幅，分辨率达到4000万像素以上，装配的定焦镜头为FE2.8/35mm。在控制方面，相机接入了飞控***，并通过大疆的开发者工具箱设置了两个同步接口用于触发快门，能够在遥控端一键控制相机拍摄。在搭载方面,使用碳纤维板定制了一个框架，先将相机尽量保持光轴平行、牢牢固定在框架上,再将框架挂载到无人机平台下方的减震架上。
激光雷达为Robosense公司的固态激光雷达RS-Lidar-M1，通过内部微振动镜片(MEMS)将五条激光线偏折25个角度，在水平120°、垂直25°的扫描范围内进行扫描效果等同传统的128线机械式激光雷达，每秒接收的反射点高达750000个，平均角分辨率为0.2°，最远测距距离可达200m。
微控制单元选择了树莓派4b型号的单片机，分别连接A3 Pro飞控模块和激光雷达的数据传输接口。
为保证无人机的续航能力，在碳纤维板上搭载外部电源为激光雷达和单片机供电。具体组装方式如图3所示。
根据大疆开发者工具箱DJ Onboard SDK开发飞行控制程序和数据传输程序，可以同时控制无人机、各传感器的拍摄和数据传输。
步骤2：进行时间同步和空间同步，实现点云图像粗配准；
时间同步：针对不同传感器设备时钟，开发基于C++语言的数据采集程序，在工控台同步记录GPS、IMU、激光雷达以及相机的采集起始与终止时间完成时间参考系的统一，实现路面点云数据与路面图像数据实时对应。
本实施例采用的高清相机频率为30FPS，激光雷达频率为15FPS，两种异源传感器工作频率相差较大，路面点云数据与路面图像数据存在固有时间偏差。无人机移动平台搭载的组合惯导以100Hz的频率提供经纬度和高精度时钟信号，这里基于时钟信号采用时间戳对齐的方法实现对于路面点云数据和路面图像数据的毫秒级同步如图4所示。
具体做法是基于GNSS高精度时钟信号为每一帧路面点云数据和路面图像数据生成时间戳。在同步时以频率低的激光雷达数据去寻找与之时间差最小的图像数据。就本实施例而言，以频率为15Hz的激光雷达和频率为30Hz的相机为例，时间最大偏差小于10ms，无人机以20m/s的速度行驶距离偏移0.2m，基本能够满足采集的精度需求。
空间同步：空间同步通过建立相机成像模型并进行畸变矫正，其中建立相机模型实现目标从三维世界坐标到像素坐标的转换，畸变矫正主要是为了矫正像差。其中需要的参数有：点云、点云坐标系到相机坐标系的旋转矩阵、点云坐标系到相机坐标系的平移向量、相机内参和相机畸变参数。
通过空间投影变换后，指定了相机传感器位置和姿态，设置适当的投影平面，根据这些参数即可创建粗配准下的投影图像对。
步骤3：构建局部特征描述子：
在得到经过粗配准后的投影图像对后，需要进行特征点提取。
本实施例基于结构一致性增强建立方向结构直方图，局部特征描述子。
首先，建立图像的边缘结构图，采用扩充的Sobel滤波器提取二维图像和三维图像的多方向结构信息。本实施例中对滤波器进行扩充改进，相较于传统的双方向Sobel滤波器，扩充后的Sobel滤波器有5个方向。
令输入图像为I(x,y)，fn(x,y)，n＝1，2，3，4，5表示Sobel滤波器组，数字从1到5依次表示(a)0°，(b)45°，(c)90°，(d)135°及(e)无方向，则多方向的Sobel边缘结构图提取可以表示为：
SEn(x，y)＝|I(x，y)*fn(x，y)|
式中，SEn(x，y)表示在像素(x，y)处沿方向n的Sobel边缘，“*”表示卷积，“|·|”表示取绝对值。
接着将SEn(x，y)的灰度范围拉伸为(0，255)，进行非极大值抑制，在每一个位置按方向逐点比较，将每个点在方向边缘上的最大值保留，得到5个方向的边缘结构图EMn。
其次，基于局部对比提取导向图像，通过计算局部区域范围内所有灰度的均值，将其与区域内各个像素点的灰度值进行做差取绝对值，再将所有绝对值归一化为(0，1)之间的一个值进行累加，即可得出导向图像G的灰度值，该过程可表示如下：
式中，I是源图像，G是导向图像，(x，y)表示局部窗口的中心，Imean表示局部区域内所有像素的灰度均值，i，j分别表示局部区域内像素的变化值，m表示局部区域内像素变化的最大值。
接着，基于结构一致性增强建立结构特征图，通过前文所述构建的导向图像G和边缘结构图EMn，通过导向滤波执行结构一致性增强，建立结构特征图SMn。导向滤波利用导向图对输入图像的滤波过程进行约束，输出图像可以看作是导向图像在局部窗口内的线性变换的结果，其中的线性系数使用最小化输出图像和输入图像的差异进行求解。
最后，基于结构特征图建立多方向直方图的方法生成局部特征描述子，通过子区域划分，以特征点为中心在特征图上取一个32×32的像素区域，将其划分为16个4×4的子区域；统计每个8×8的子区域各方向上的像素值，按顺序排列建立一个5方向的特征直方图；将每个区域的直方图用L2范数进行归一化，将16个直方图联合得到一个80维的特征描述子。本实施例中的路面图像分割过程如图5所示。
步骤4：解算直接线性变换方程的参数，实现点云图像精配准；
采用步骤3中构建的局部特征描述子提取特征点，然后使用FAST特征点检测子，用最近邻距离比率检测作为匹配策略进行特征点匹配，得到实际匹配点对。在本实施例中，采用上述操作获得了22对同名的实际匹配点，同名的实际匹配点如图6所示，将同名的实际匹配点的坐标代入直接线性变换方程计算出直接线性变换参数，如表1所示：
系数 值 系数 值
l1 -40.248910 l7 70.475391
l2 -40.515524 l8 -245.073019
l3 -8.384885 l9 -0.022806
l4 -326.330583 l10 -0.046011
l5 13.240888 l11 0.020568
l6 5.047637
求得直接线性变换参数后，获得三维点云与二维影像的对应关系，即可进行数据融合，由于点云深度图像与深度图像高度同源，可共享该映射矩阵。利用映射矩阵，使用随机采样一致性(RANSAC)算法不断迭代减少误差，实现图像和点云的精配准。
步骤5：裂缝信息标注和数据集制作；
基于以上配准方法，建立空间坐标对应的路面RGB图像和点云深度图像数据集。采用多种边缘滤波器进行特征提取，分析异源图像裂缝边缘特征。采用Labelme对图像进行像素标注工作，标注为裂缝和背景两种标签，最终制作的数据集如图7所示。
步骤6：训练基于四维信息融合的卷积神经网络识别算法的裂缝识别模型及验证；
利用制作的数据集，通过融合图像的深度信息，设计基于四维信息融合的卷积神经网络识别算法的裂缝识别模型，网络结构如图2所示。
该网络包含三个改进后的融合结构FCNN，其中FCNN-RGBD为输入为4通道的RGB-D信息，彩色图像和深度图像在第一个卷积层进行信息融合，输出为256个神经元组成的特征向量，通过一个含有512个神经元的全连接层进行维度变换和特征整合得到融合特征向量AFeature。
FCNN-RGB输入为彩色图像，输出为256个神经元组成的彩色特征向量；FCNN-Depth输入为深度图像，输出为256个神经元组成的深度特征向量，两个特征向量通过一个全连接层进行信息融合，得到融合特征向量BFeature。
最后将两种融合特征向量AFeature和BFeature通过一个全连接层再次进行融合，实现多维信息融合识别。
在实验训练时，采用随机梯度下降SGD作为优化器，MAE平均绝对误差作为损失函数，设置300个epoch(训练周期)，将数据集按7：3的比例划分为训练集和验证集对基于四维信息融合的卷积神经网络识别算法的裂缝识别模型进行训练。使用训练出的权重文件，即可检测并输出目标的回归框bounding box、分类名及概率，完成基于无人机的路面裂缝识别，如图8所示。
识别结果包括每条裂缝的类别、置信度和预测框的坐标信息。同时，通过图像采集时的GPS信息可以反算得到实际的里程桩号，从而以文本形式输出道路裂缝的分类和桩号位置，完成道路裂缝的识别和记录，为路面养护管理提供依据。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于点云-RGB异源图像多级配准映射的路面裂缝识别方法，其特征在于，所述方法包括：
采用搭载于无人机上的激光雷达和相机采集路面点云数据和路面图像数据，其中，所述路面点云数据包括：点坐标信息和时间信息，所述路面图像数据包括：时间信息和尺寸信息；
采用帧同期同步采集的方法对所述路面点云数据和所述路面图像数据进行时间同步，采用空间变换矩阵对所述路面点云数据和所述路面图像数据进行空间同步，创建互相匹配的投影图像对；
基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对所述投影图像对进行特征提取，获取所述投影图像对基于结构一致性增强的局部特征描述子；
提取所述局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对；
根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系；
遍历所述路面图像数据中每个点的坐标，利用映射关系找到路面点云数据中对应的像元，将像元的深度信息赋值给所述路面图像数据，并采用随机采样一致性算法剔除错配，获得点云投影图像；
将所述点云投影图像按照激光点的Z轴坐标值，对点云投影图像中的对应像元赋予不同的颜色值，生成深度图像，采用Labelme对深度图像中裂缝和背景的像素进行标注，构建数据集；
将构建的数据集划分为训练集和验证集，对基于四维信息融合的卷积神经网络识别算法的裂缝识别模型进行训练，获得训练好的裂缝识别模型，采集待识别路面的点云数据和图像数据，输入所述训练好的裂缝识别模型进行裂缝识别，输出所述待识别路面的裂缝识别结果。
2.根据权利要求1所述方法，其特征在于，所述空间变换矩阵为：
其中，世界坐标系下点的坐标表示为(XW，YW，ZW)，相机坐标系下点的坐标表示为(XC，YC，ZC)，R为旋转矩阵，T为平移矩阵，图像坐标系下的点表示为(Xp，Yp)，像素坐标系原点的图像坐标表示为(u0，v0)，像素点在图像坐标系X轴的分辨率表示为dx，像素点在图像坐标系Y轴的分辨率表示为dy，图像坐标系下的点(Xp，Yp)在像素坐标系下的坐标表示为(u，v)，M为相机内参矩阵。
3.根据权利要求1所述方法，其特征在于，所述基于二维图像和三维图像的灰度分布存在显著的非线性差异，而结构存在一致性的特征，对所述投影图像对进行特征提取，获取所述投影图像对基于结构一致性增强的局部特征描述子，包括：
使用Sobel滤波器组提取投影图像对的多方向边缘图，对多方向边缘图进行非极大值抑制以保留特征明显的边缘结构，得到稀疏的边缘结构图；
采用基于局部对比的方法提取投影图像对中主要的共同结构特征，建立结构导向图像；
利用所述结构导向图像对所述稀疏的边缘结构图执行导向滤波操作增强结构一致性，得到结构特征图；
对所述结构特征图进行子区域划分，建立各子区域的特征直方图，对各子区域的特征直方图联合，得到局部特征描述子。
4.根据权利要求1所述方法，其特征在于，所述提取所述局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得实际匹配点对，包括：
提取所述局部特征描述子中的特征点，以最近邻距离比率检测作为匹配策略，使用FAST特征点检测子对特征点进行匹配，获得初步匹配点对；
根据参考矩阵计算的真实匹配点对，分析每个所述初步匹配点对与对应的真实匹配点对之间的标准误差，以确定每个初步匹配点对的准确程度；
根据每个初步匹配点对的准确程度，确定实际匹配点对。
5.根据权利要求1所述方法，其特征在于，所述最近邻距离比率的表达式为：
D(a0,b0)<η·D(a0,b1)
其中，(·,·)表示欧氏距离，b0表示当前图像中对应于参考图像中特征向量a0最近的特征向量，b1表示当前图像中对于a0次近的特征向量，η是最近邻距离比率中的比例阈值。
6.根据权利要求1所述方法，其特征在于，所述根据实际匹配点对求解直接线性变换方程的参数，获得RGB图像像素坐标与三维点云坐标之间的映射关系，包括：
根据实际匹配点对求解直接线性变换方程的参数，获得三维点云与二维图像之间的索引关系；
根据所述三维点云与二维图像之间的索引关系，获得RGB图像像素坐标与三维点云坐标之间的映射关系。
7.根据权利要求6所述方法，其特征在于，所述根据实际匹配点对求解直接线性变换方程的参数，获得三维点云与二维图像之间的索引关系，包括：
假设实际匹配点A在像素坐标系下的坐标为(uA，vA)，在世界坐标系下的坐标为(XA，YA，ZA)，像素点在图像坐标系X轴、Y轴分辨率dx，dy，像素坐标系原点的图像坐标表示为(u0，v0)，建立图像与点云坐标系之间的关系为：
其中，R为旋转矩阵，T为平移矩阵，l1～l12为直接线性变换参数。
令l12＝1，根据图像与点云坐标系之间的关系得出直接线性变换方程为：
将l1～l11作为未知数，代入所有实际匹配点的像素坐标系下的坐标和世界坐标系下的坐标，列出方程：
其中，(X1...n，Y1...n，Z1...n)为匹配点1...n在世界坐标系下的坐标，(u1...n，v1...n)为匹配点1...n在像素坐标系下的坐标。
进一步转换为法方程：
L＝(BTB)-1BTW
式中：L＝(l1，l2，l3，l4，l5，l6，l7，l8，l9，l10，l11)T
W＝(-u1，-v1，-u2，-v2，…，un，-vn)T
其中，上标T表示转置。
根据所述法方程，求解出线性变换参数l1～l11，获得三维点云与二维图像之间的索引关系。
CN202311026568.6A 2023-08-14 2023-08-14 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 Pending CN117036300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311026568.6A CN117036300A (zh) 2023-08-14 2023-08-14 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311026568.6A CN117036300A (zh) 2023-08-14 2023-08-14 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法

Publications (1)

Publication Number Publication Date
CN117036300A true CN117036300A (zh) 2023-11-10

Family

ID=88635048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311026568.6A Pending CN117036300A (zh) 2023-08-14 2023-08-14 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法

Country Status (1)

Country Link
CN (1) CN117036300A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579965A (zh) * 2023-05-22 2023-08-11 北京拙河科技有限公司 一种多图像融合方法及装置
CN117557553A (zh) * 2023-12-28 2024-02-13 中核武汉核电运行技术股份有限公司 一种核电站管道焊缝检测方法及装置
CN117765048A (zh) * 2024-02-22 2024-03-26 吉林大学 一种基于跨模态融合的水下目标三维配准方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579965A (zh) * 2023-05-22 2023-08-11 北京拙河科技有限公司 一种多图像融合方法及装置
CN117557553A (zh) * 2023-12-28 2024-02-13 中核武汉核电运行技术股份有限公司 一种核电站管道焊缝检测方法及装置
CN117557553B (zh) * 2023-12-28 2024-05-24 中核武汉核电运行技术股份有限公司 一种核电站管道焊缝检测方法及装置
CN117765048A (zh) * 2024-02-22 2024-03-26 吉林大学 一种基于跨模态融合的水下目标三维配准方法
CN117765048B (zh) * 2024-02-22 2024-06-11 吉林大学 一种基于跨模态融合的水下目标三维配准方法

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
Choi et al. KAIST multi-spectral day/night data set for autonomous and assisted driving
CN110163930B (zh) 车道线生成方法、装置、设备、***及可读存储介质
CN110869974B (zh) 点云处理方法、设备及存储介质
CN112444242B (zh) 一种位姿优化方法及装置
CN109387186B (zh) 测绘信息获取方法、装置、电子设备及存储介质
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN106529538A (zh) 一种飞行器的定位方法和装置
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
CN109900274B (zh) 一种图像匹配方法及***
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测***与方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及***
WO2022054422A1 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法
CN106500729A (zh) 一种无需控制信息的智能手机自检校方法
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及***
CN115937842A (zh) 用于机器人的着色LiDAR点云物体检测方法及***
CN114972539A (zh) 机房相机平面在线标定方法、***、计算机设备和介质
CN104200469A (zh) 一种视觉智能数控***的数据融合方法
Wang et al. Stereo rectification based on epipolar constrained neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination