CN113221648A - 一种基于移动测量***的融合点云序列影像路牌检测方法 - Google Patents
一种基于移动测量***的融合点云序列影像路牌检测方法 Download PDFInfo
- Publication number
- CN113221648A CN113221648A CN202110376202.6A CN202110376202A CN113221648A CN 113221648 A CN113221648 A CN 113221648A CN 202110376202 A CN202110376202 A CN 202110376202A CN 113221648 A CN113221648 A CN 113221648A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- guideboard
- image
- sequence
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于移动测量***的融合点云序列影像路牌检测方法。本发明首先基于点云在空间上的聚类性及路牌的平面性，以欧式距离聚类为基础，利用MVCNN网络，实现路牌点云的多视角特征提取与自动分类。然后，通过激光扫描雷达与相机之间的空间相对位置关系，定位出包含候选路牌的所有序列影像数据及对应同一路牌的ROI。最后，基于YOLOv4小目标检测网络，进一步验证路牌点云ROI，并通过计算影像检测得到的路牌影像ROI结果与空间关联得到的路牌点云ROI结果的匹配度，得到最优的点云与图像的融合结果，便于同时进行几何测量和内容识别，并进一步对路牌识别结果进行建档建库。对于各种不同的场景，本发明具有较高的准确性和鲁棒性。
Description
技术领域
本发明属于路牌识别技术领域，尤其涉及一种基于移动测量***的融合点云序列影像路牌检测方法。
背景技术
路牌是用于管理交通、保障交通安全的重要设施。对路牌进行自动检测既可以给现有路牌资源的建档建库及其维护，也可以用于驾驶辅助，及时提醒驾驶员，从而确保行车安全。移动测量车安装有定位传感器、惯性测量单元、激光扫描雷达、相机等多种传感器，可以同时采集道路两侧的三维激光点云数据和序列影像数据，获得路牌的位置、形状、颜色、纹理等信息，为路牌检测提供了全面的数据。目前的研究主要集中在单独利用影像或点云对路牌的检测。但是三维点云虽然记录路牌的位置和几何形状信息，但缺乏纹理及光谱信息，无法对形状相似的地物进行区分。而影像虽然记录了丰富的纹理及光谱信息，能连续多次采集同一路牌，但缺乏直接的位置和几何信息，需要对序列影像数据进行复杂的匹配和跟踪，以避免同一路牌的重复而矛盾的检测。
因此，如何联合路牌的三维点云和序列影像数据信息实现以对象为基础的路牌检测，是目前亟需解决的技术难题。
发明内容
针对现有技术的缺陷或改进需求，本发明提出了一种基于移动测量***的融合点云序列影像路牌检测方法，由此解决如何联合路牌的三维点云和序列影像数据信息实现以对象为基础的路牌检测的技术难题。
为实现上述目的，按照本发明的一个方面，提供了一种基于移动测量***的融合点云序列影像路牌检测方法。
本发明移动测量***包括：定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器、移动测量车；
所述定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器都装载在所述移动测量车上；
所述微处理器分别与所述的定位传感器、惯性测量单元、激光扫描雷达、相机依次连接；
所述定位传感器用于采集惯性测量单元的世界大地坐标系坐标，并传输至所述微处理器；
所述惯性测量单元为用于采集惯性测量单元的角速度和加速度，并传输至所述微处理器；
所述激光扫描雷达用于采集三维激光点云数据，并传输至所述微处理器；
所述相机用于采集序列影像数据，并传输至所述微处理器；
所述微处理器将所述惯性测量单元的角速度和加速度转化为姿态信息即惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角，并和所述惯性测量单元的世界大地坐标系坐标一起组成移动测量车的轨迹点序列数据，利用轨迹点序列数据将原始三维激光点云数据的相对坐标转化为世界大地坐标系下的绝对坐标，并对三维激光点云数据和序列影像数据进行整理，使之具有相同的时间基准，建立三维激光点云数据和序列影像数据之间的联系；
所述融合点云序列影像路牌检测方法，包括以下步骤：
步骤1：利用移动测量***采集三维激光点云数据、序列影像数据、轨迹点序列数据；
步骤2：基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云中获得道路边界附近点云；基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云；对道路边界附近地物点云进行欧式聚类，获得多个单独的聚类簇；对每个聚类簇进行多视角投影，利用MVCNN网络识别包含路牌的聚类簇；之后利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云；
步骤3：利用点云坐标系和惯性测量单元坐标系、惯性测量单元坐标系和相机的图像坐标系之间坐标转换关系，得到点云坐标系和图像坐标系之间的转换关系；利用所述转换关系将所述路牌平面点云投影到对应的序列影像数据上，获得同一路牌点云ROI序列；
步骤4：首先引入公开路牌数据集对YOLOv4网络进行训练，之后利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列，最后计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果，在融合结果上可以同时进行几何测量和内容识别，最终建立路牌数据库。
作为优选，步骤1所述三维激光点云数据为：
其中，
表示第k个三维激光点云数据Pk中的第lk个激光点，
为第k个三维激光点云数据中的第lk个激光点的三维坐标，K表示三维激光点云数据的个数，Lk表示第k个三维激光点云数据的激光点个数。
步骤1所述序列影像数据为：
其中，Ik表示第k个三维激光点云数据所对应的序列影像数据，
表示序列影像数据Ik中的第sk张影像，Sk表示第k个三维激光点云数据对应的序列影像数据中影像的张数，
表示序列影像数据Ik中的第sk张影像上第i行第j列的像素，i∈[1,M]，j∈[1,N]，M表示影像的行数，N表示影像的列数。
步骤1所述轨迹点序列数据为：
其中，Tk为第k个三维激光点云数据所对应的轨迹点序列数据，
表示轨迹点序列数据Tk中的第hk个轨迹点，(X,Y,Z)为惯性测量单元坐标原点在世界大地坐标系下的坐标，(φ,ω,κ)分别为惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角。
作为优选，步骤2所述基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云获得道路附近点云为：
对于步骤1所述的三维激光点云数据Pk，选取位于所述轨迹点序列数据Tk中间的两个轨迹点TA和TB，计算经过这两个轨迹点的一条直线L1，该直线的方向和道路的延伸方向一致。然后沿着与道路延伸方向垂直的直线L2，对激光点进行遍历，直到左右两边线状缓冲区内的激光点的平均高度差大于等于路牙石的高度hs，得到道路边界的位置。将道路边界一定范围内的线状缓冲区内的激光点提取出来，作为道路附近点云。
步骤2所述基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云为：
此时点云中还存在大量的路面点，需要进一步进行剔除。首先将点云在XOY平面内划分为girdL×girdL的格网。然后对一个格网Gi，统计其高程直方图由此获得峰值高程Zi，将该高程设置为初始路面高程，并将高度小于Zi的点作为路面滤除。之后将每个格网再细分为girdS×girdS的小格网，基于高程分布直方图获得更精细的路面高程，进一步排除路面点。对每个格网点依次进行上述处理，从而将相机拍摄范围内的所有路面点排除，进一步降低点云的规模，并将路面点与道路边界附近其他地物分开，减少路牌定位的干扰。
步骤2所述对道路边界附近地物点云进行欧式聚类为：
根据激光扫描雷达的扫描分辨率，设置一个两相邻点最大距离的阈值th1。算法随机选择一个激光点为聚类簇的种子点，如果激光点与种子点的距离在预设阈值范围内，则将该激光点添加到该聚类簇中，并将该激光点也设置为种子点继续进行搜索，直到聚类簇的点数不再增加，则完成了一个聚类簇的提取。之后选择其他未被聚类的激光点作为新聚类簇的种子点，重复以上步骤，直到所有的点都被分到不同的聚类簇中，设从第k个三维激光点云数据得到的聚类簇为
其中，
表示从第k个三维激光点云数据中得到的第nk个聚类簇，Nk为从第k个三维激光点云数据中得到的聚类簇的个数。此时，地物点云被划分为多个单独的聚类簇，路牌点云也会在某个聚类簇中出现。
步骤2所述对聚类簇进行多视角投影为：
对于一个聚类簇，首先计算其聚类中心，并将点云坐标系的坐标原点平移至聚类中心。在点云坐标系的XOY平面上选择一个与聚类簇距离为一个固定距离的位置放置第一个虚拟相机，并使虚拟相机的Z轴指向聚类簇的中心，且虚拟相机的Y轴与点云坐标系的Z轴方向一致，以产生第一个视角的2D投影图像。然后，将虚拟相机绕点云坐标系的Z轴进行旋转，以30°为间隔，每旋转一次进行一次投影，从而可以生成12个视角的2D投影图像。
步骤2所述基于MVCNN进行路牌点云的识别为：
利用所述多视角投影获得路牌聚类簇的多视角投影图像构建MVCNN网络的数据集。多视角投影图像首先经过第一阶段的卷积神经网络CNN1，分别对每一个图像进行特征提取得到路牌的多视角特征图。其中CNN1采用VGG-M结构，该VGG-M由5个卷积层，3个全连接层和一个Softmax分类层组成。之后采用视角池化将一个路牌的多视角下的特征图合成一个单一的、更为简单的形状描述子，融合12个视角的路牌投影图像，提取得到聚类簇的鲁棒形状特征。然后采用第二阶段的卷积网络CNN2对合成的形状描述子进行识别，判断当前聚类簇是否含有路牌点云。该网络在ImageNet上进行预训练，然后在本文使用的训练集上进行微调。
网络训练完成后，对于一个聚类簇，首先利用所述多视角投影方法生成12个视角的二维图像，并输入到训练好的MVCNN网络，即可判断该聚类簇中是否包含路牌点云。最终从聚类簇
中提取得到含有路牌的聚类簇
其中，
为识别到的路牌聚类簇的个数。
步骤2所述利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云为：
对于步骤2所述的每个路牌聚类簇
进一步利用RANSAC方法反复迭代得到路牌所在的平面，获得平面的内点，以去除底部大部分干扰点云。具体地，首先利用距离d做RANSAC平面拟合，获得初始的平面内点，之后减少距离为d/2，重复RANSAC拟合，直到前后两次拟合得到的平面法向量夹角小于th2，则停止迭代，此时的内点就认为是路牌所在平面的点云。得到内点之后，点云中还存在路牌底部的杆状部分。由于杆状部分一般较细，可以利用类似图像形态学开运算进行去除，最终得到的路牌平面点云为：
其中，
表示第
个路牌平面点云
中的第
个激光点，
表示识别到的路牌平面点云的个数，
表示第
个路牌平面点云中的激光点个数。
从步骤1所述序列影像数据
中选择出与路牌平面点云对应的序列影像数据为：
其中，
表示第
个路牌平面点云所对应的序列影像数据，
表示序列影像数据Ik中的第
张影像，
表示第
个路牌平面点云对应的序列影像数据中影像的张数。
作为优选，步骤3所述点云坐标系为：世界大地坐标系OW-XWYWZW；
步骤3所述惯性测量单元坐标系定义为：坐标系OI-XIYIZI；
步骤3所述相机的图像坐标系定义为：坐标系o-xyf；
步骤3所述世界大地坐标系和惯性测量单元坐标系之间的坐标转换为：
利用轨迹点
获得世界大地坐标系和惯性测量单元坐标系之间的坐标转换关系。设(XW,YW,ZW)T为激光点的世界坐标，
为惯性测量单元在世界坐标系中的坐标，
为世界坐标系到惯性测量单元坐标系之间的旋转矩阵，则激光点在惯性测量单元坐标中的坐标(XI,YI,ZI)T为：
步骤3所述惯性测量单元坐标系和相机坐标系之间的坐标转换为：
相机和惯性测量单元都是固定在移动测量车上的，其相对位置保持不变。令
为惯性测量单元坐标系到相机坐标系之间的旋转矩阵，
为相机的摄影中心在惯性测量单元坐标系中的坐标，则激光点在图像上的坐标可以计算为：
步骤3所述世界大地坐标系和相机坐标系之间的转换关系为：
进一步计算激光点从世界坐标系到相机坐标系之间的转换关系为：
进一步计算激光点在图像上的行u和列v为：
u＝M/2-y
v＝N/2+x
其中M表示影像的行数，N表示影像的列数。
步骤3所述将激光点云投影到对应的序列影像数据上，获得路牌点云ROI序列为：
所述转换关系将步骤2所述路牌平面点云
投影到对应的序列影像数据
上，获得所有投影点的最小外接矩形，将矩形区域作为感兴趣区域ROI。将点云依次投影到对应的序列影像数据上，得到空间关联的路牌点云ROI序列为：
其中，
表示第
个路牌点云ROI序列
中的第
个路牌点云ROI，
表示第
个路牌点云ROI序列中ROI的个数。
作为优选，步骤4所述YOLOv4网络的训练为：
首先引入公开的TT100K路牌数据集对YOLOv4网络进行训练；网络首先将路牌影像调整到一个合适的分辨率，并利用Mosaic方法进行数据增强，即将四张图片进行随机裁剪，再拼接到一张图上作为网络的输入，以丰富待检测目标的背景信息，使网络可以准确定位到各种复杂场景中的路牌。将增强后的图片通过CSPDarkNet53骨架网络获得路牌的高维特征，利用SSP+PAN模块进行多尺度特征提取，并用DropBlock进行正则化，避免网络学习出现过拟合。最后利用YOLO-head模块分别从不同的尺度进行路牌位置的预测，之后基于预测框和标记框之间的差异计算网络模型中各参数的梯度，并按照一定的学习率，不断迭代地对网络参数进行调整，直到网络可以准确对路牌的位置进行预测。
步骤4所述利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列为：
对于步骤3所述路牌点云ROI序列
中的每一个
利用训练好的YOLOv4网络判断所述对应的序列影像数据
上ROI附近是否含有路牌，剔除几何上与路牌相似的地物，如广告牌等，并准确定位影像中路牌平面的预测框，特别地这里本发明称其为路牌影像ROI。剔除误检点云后的路牌点云ROI序列为：
其中，
表示剔除误检之后的路牌平面的个数，
表示第
个路牌点云ROI序列
中的第
个路牌点云ROI，
表示第
个路牌点云ROI序列中ROI的个数。
路牌点云ROI序列对应的路牌影像ROI序列为：
其中，
表示剔除误检之后的路牌平面的个数，
表示第
个路牌影像ROI序列
中的第
个路牌影像ROI，
表示第
个路牌影像ROI序列中ROI的个数。
步骤4所述计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果为：
当路牌离相机较近时，路牌会有部分没有被拍到，投影到影像上面的路牌点云会超过影像的边界。当路牌逐渐远离相机时，会拍摄得到完整的路牌，路牌点云ROI和路牌影像ROI刚好重合，IoU最大且最少会大于0.5。而当路牌继续远离相机时，路牌在影像上的纹理会变得不清晰，路牌检测出现一些偏差，同样不利于点云和影像信息的融合。本发明由近及远计算网络检测到的路牌影像ROI与投影得到的路牌点云ROI的IoU，当IoU不再增加时，认为路牌影像ROI和路牌点云ROI的匹配度达到最高，此时的路牌影像为最完整最清晰的路牌影像，可以得到融合了清晰的影像纹理的路牌点云。
步骤4所述在融合结果上同时进行几何测量和内容识别，最终建立路牌数据库为：
基于路牌中心点在世界大地坐标系下的坐标、路牌的长度及宽度、及融合了清晰的影像纹理的路牌点云，对路牌进行建档建库。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本文利用深度学习网络在点云和序列影像数据上自动学习路牌的特征，不依靠人工特征设计，这种数据驱动方法是一种适用性强、鲁棒性高的通用解决方案。通过点云和影像数据的空间关系，实现了以对象为基础的点云和影像信息的互补，能在复杂光照、干扰和遮挡情况下实现准确的路牌检测。同时利用路牌点云ROI序列和路牌影像ROI序列的匹配度获得最优的点云和影像的融合结果，可以同时进行几何量测和内容识别，并建立路牌数据库。
附图说明
图1：是本发明实施例提供的一种方法流程示意图；
图2：是本发明实施例提供的一种道路边界示意图；
图3：是本发明实施例提供的一种道路边界点云滤除地面点之后的结果示意图；
图4：是本发明实施例提供的一种多角度投影示意图；
图5：是本发明实施例提供的一种MVCNN结构示意图；
图6：是本发明实施例提供的一种路牌平面点云提取示意图；
图7：是本发明实施例提供的一种坐标系示意图；
图8：是本发明实施例提供的一种在序列影像数据中计算IoU示意图；
图9：是本发明实施例提供的一种图像与点云信息融合示意图；
具体实施方式
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
下面结合图1至图9介绍本发明的具体实施方式为一种影像优先的交通标牌变化检测方法，包括以下步骤：
本发明移动测量***包括：定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器、移动测量车；
所述定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器都装载在所述移动测量车上；
所述微处理器分别与所述的定位传感器、惯性测量单元、激光扫描雷达、相机依次连接；
所述定位传感器选型为天宝R7 GPS；
所述惯性测量单元选型为Xscens Mti-100；
所述激光扫描雷达选型为：VLP-16；
所述相机选型为：灰点工业相机，分辨率为2448×2048；
所述微处理器选型为：CPU i79700；
所述定位传感器用于采集惯性测量单元的世界大地坐标系坐标，并传输至所述微处理器；
所述惯性测量单元为用于采集惯性测量单元的角速度和加速度，并传输至所述微处理器；
所述激光扫描雷达用于采集三维激光点云数据，并传输至所述微处理器；
所述相机用于采集序列影像数据，并传输至所述微处理器；
所述微处理器将所述惯性测量单元的角速度和加速度转化为姿态信息即惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角，并和所述惯性测量单元的世界大地坐标系坐标一起组成移动测量车的轨迹点序列数据，利用轨迹点序列数据将原始三维激光点云数据的相对坐标转化为世界大地坐标系下的绝对坐标，并对三维激光点云数据和序列影像数据进行整理，使之具有相同的时间基准，建立三维激光点云数据和序列影像数据之间的联系；
步骤1：利用移动测量***采集三维激光点云数据、序列影像数据、轨迹点序列数据。
步骤1所述三维激光点云数据为：
其中，
表示第k个三维激光点云数据Pk中的第lk个激光点，
为第k个三维激光点云数据中的第lk个激光点的三维坐标，K表示三维激光点云数据的个数，Lk表示第k个三维激光点云数据的激光点个数。
步骤1所述序列影像数据为：
其中，Ik表示第k个三维激光点云数据所对应的序列影像数据，
表示序列影像数据Ik中的第sk张影像，Sk表示第k个三维激光点云数据对应的序列影像数据中影像的张数，
表示序列影像数据Ik中的第sk张影像上第i行第j列的像素，i∈[1,M]，j∈[1,N]，M＝2448表示影像的行数，N＝2048表示影像的列数。
步骤1所述轨迹点序列数据为：
其中，Tk为第k个三维激光点云数据所对应的轨迹点序列数据，
表示轨迹点序列数据Tk中的第hk个轨迹点，(X,Y,Z)为惯性测量单元坐标原点在世界大地坐标系下的坐标，(φ,ω,κ)分别为惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角。
步骤2：基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云中获得道路边界附近点云；基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云；对道路边界附近地物点云进行欧式聚类，获得多个单独的聚类簇；对每个聚类簇进行多视角投影，利用MVCNN网络识别包含路牌的聚类簇；之后利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云。
步骤2所述基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云获得道路附近点云为：
如图2所示，其中黑色点为移动测量车的轨迹点，对于步骤1所述的三维激光点云数据Pk，选取位于所述轨迹点序列数据Tk中间的两个轨迹点TA和TB，计算经过这两个轨迹点的一条直线L1，如2黑色实线所示，该直线的方向和道路的延伸方向一致。然后沿着与道路延伸方向垂直的直线，对激光点进行遍历，直到左右两边线状缓冲区内的激光点的平均高度差大于等于路牙石的高度hs＝20cm，得到道路边界的位置，如图2虚线所示。将道路边界一定范围内的线状缓冲区内的激光点提取出来，作为道路附近点云。
步骤2所述基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云为：
此时点云中还存在大量的路面点，需要进一步进行剔除。首先将点云在XOY平面内划分为1m×1m的格网。然后对一个格网Gi，统计其高程直方图由此获得峰值高程Zi，将该高程设置为初始路面高程，并将高度小于Zi的点作为路面滤除。之后将每个格网再细分为0.1m×0.1m的小格网，基于高程分布直方图获得更精细的路面高程，进一步排除路面点。对每个格网点依次进行上述处理，从而将相机拍摄范围内的所有路面点排除，进一步降低点云的规模，并将路面点与道路边界附近其他地物分开，减少路牌定位的干扰。道路边界点云滤除地面点之后的结果如图3所示，可见道路边界附近地物的点云呈现明显的聚类分布，其中路牌点云也会在其中一个聚类簇中出现，如图黑色方框中点云所示。
步骤2所述对道路边界附近地物点云进行欧式聚类为：
根据激光扫描雷达的扫描分辨率，设置一个两相邻点最大距离的阈值为th1＝0.1m。算法随机选择一个激光点为聚类簇的种子点，如果激光点与种子点的距离在预设阈值范围内，则将该激光点添加到该聚类簇中，并将该激光点也设置为种子点继续进行搜索，直到聚类簇的点数不再增加，则完成了一个聚类簇的提取。之后选择其他未被聚类的激光点作为新聚类簇的种子点，重复以上步骤，直到所有的点都被分到不同的聚类簇中，设从第k个三维激光点云数据得到的聚类簇为
其中，
表示从第k个三维激光点云数据中得到的第nk个聚类簇，Nk为从第k个三维激光点云数据中得到的聚类簇的个数。此时，地物点云被划分为多个单独的聚类簇，路牌点云也会在某个聚类簇中出现。
步骤2所述对聚类簇进行多视角投影为：
对于一个聚类簇，首先计算其聚类中心，并将点云坐标系的坐标原点平移至聚类中心。聚类簇的多视角投影示意图如图4所示，在点云坐标系的XOY平面上选择一个与聚类簇距离为一个固定距离的位置放置第一个虚拟相机，并使虚拟相机的Z轴指向聚类簇的中心，且虚拟相机的Y轴与点云坐标系的Z轴方向一致，以产生第一个视角的2D投影图像。然后，将虚拟相机绕点云坐标系的Z轴进行旋转，以30°为间隔，每旋转一次进行一次投影，从而可以生成12个视角的2D投影图像。
步骤2所述基于MVCNN进行路牌点云的识别为：
利用所述多视角投影获得路牌聚类簇的多视角投影图像构建MVCNN网络的数据集。MVCNN的网络结构如图5所示，多视角投影图像首先经过第一阶段的卷积神经网络CNN1，分别对每一个图像进行特征提取得到路牌的多视角特征图。其中CNN1采用VGG-M结构，该VGG-M由5个卷积层，3个全连接层和一个Softmax分类层组成。之后采用视角池化将一个路牌的多视角下的特征图合成一个单一的、更为简单的形状描述子，融合12个视角的路牌投影图像，提取得到聚类簇的鲁棒形状特征。然后采用第二阶段的卷积网络CNN2对合成的形状描述子进行识别，判断当前聚类簇是否含有路牌点云。该网络在ImageNet上进行预训练，然后在本文使用的训练集上进行微调。
网络训练完成后，对于一个聚类簇，首先利用所述多视角投影方法生成12个视角的二维图像，并输入到训练好的MVCNN网络，即可判断该聚类簇中是否包含路牌点云。最终从聚类簇
中提取得到含有路牌的聚类簇
其中，
为识别到的路牌聚类簇的个数。
步骤2所述利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云为：
对于步骤2所述的每个路牌聚类簇
进一步利用RANSAC方法反复迭代得到路牌所在的平面，获得平面的内点，以去除底部大部分干扰点云。具体地，首先利用距离d做RANSAC平面拟合，获得初始的平面内点，之后减少距离为d/2，重复RANSAC拟合，直到前后两次拟合得到的平面法向量夹角小于th2＝5°，则停止迭代，此时的内点就认为是路牌所在平面的点云。得到内点之后，点云中还存在路牌底部的杆状部分。由于杆状部分一般较细，可以利用类似图像形态学开运算进行去除，最终得到的路牌平面点云为：
其中，
表示第
个路牌平面点云
中的第
个激光点，
表示识别到的路牌平面点云的个数，
表示第
个路牌平面点云中的激光点个数。如图6所示，对于图(a)所示的包含有路牌的聚类簇，经过迭代的平面拟合得到的内点如图(b)所示，进一步利用形态学的方法可以从内点中提取得到的路牌平面点云如图(c)所示。
从步骤1所述序列影像数据
中选择出与路牌平面点云对应的序列影像数据为：
其中，
表示第
个路牌平面点云所对应的序列影像数据，
表示序列影像数据Ik中的第
张影像，
表示第
个路牌平面点云对应的序列影像数据中影像的张数。
步骤3：利用点云坐标系和惯性测量单元坐标系、惯性测量单元坐标系和相机的图像坐标系之间坐标转换关系，得到点云坐标系和图像坐标系之间的转换关系；利用所述转换关系将所述路牌平面点云投影到对应的序列影像数据上，获得同一路牌点云ROI序列。
步骤3所述点云坐标系为：世界大地坐标系OW-XWYWZW；
步骤3所述惯性测量单元坐标系定义为：坐标系OI-XIYIZI；
步骤3所述相机的图像坐标系定义为：坐标系o-xyf；
步骤3所述坐标系OW-XWYWZW、OI-XIYIZI、o-xyf如图7所示。
步骤3所述世界大地坐标系和惯性测量单元坐标系之间的坐标转换为：
利用轨迹点
获得世界大地坐标系和惯性测量单元坐标系之间的坐标转换关系。设(XW,YW,ZW)T为激光点的世界坐标，
为惯性测量单元在世界坐标系中的坐标，
为世界坐标系到惯性测量单元坐标系之间的旋转矩阵，则激光点在惯性测量单元坐标中的坐标(XI,YI,ZI)T为：
步骤3所述惯性测量单元坐标系和相机坐标系之间的坐标转换为：
相机和惯性测量单元都是固定在移动测量车上的，其相对位置保持不变。令
为惯性测量单元坐标系到相机坐标系之间的旋转矩阵，
为相机的摄影中心在惯性测量单元坐标系中的坐标，则激光点在图像上的坐标可以计算为：
步骤3所述世界大地坐标系和相机坐标系之间的转换关系为：
进一步计算激光点从世界坐标系到相机坐标系之间的转换关系为：
进一步计算激光点在图像上的行u和列v为：
u＝M/2-y
v＝N/2+x
其中M＝2448表示影像的行数，N＝2048表示影像的列数。
步骤3所述将激光点云投影到对应的序列影像数据上，获得路牌点云ROI序列为：
所述转换关系将步骤2所述路牌平面点云
投影到对应的序列影像数据
上，获得所有投影点的最小外接矩形，将矩形区域作为感兴趣区域ROI。将点云依次投影到对应的序列影像数据上，得到空间关联的路牌点云ROI序列为：
其中，
表示第
个路牌点云ROI序列
中的第
个路牌点云ROI，
表示第
个路牌点云ROI序列中ROI的个数。
步骤4：首先引入公开路牌数据集对YOLOv4网络进行训练，之后利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列，最后计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果，在融合结果上可以同时进行几何测量和内容识别，最终建立路牌数据库。
步骤4所述YOLOv4网络的训练为：
首先引入公开的TT100K路牌数据集对YOLOv4网络进行训练；网络首先将路牌影像调整到一个合适的分辨率，并利用Mosaic方法进行数据增强，即将四张图片进行随机裁剪，再拼接到一张图上作为网络的输入，以丰富待检测目标的背景信息，使网络可以准确定位到各种复杂场景中的路牌。将增强后的图片通过CSPDarkNet53骨架网络获得路牌的高维特征，利用SSP+PAN模块进行多尺度特征提取，并用DropBlock进行正则化，避免网络学习出现过拟合。最后利用YOLO-head模块分别从不同的尺度进行路牌位置的预测，之后基于预测框和标记框之间的差异计算网络模型中各参数的梯度，并按照一定的学习率，不断迭代地对网络参数进行调整，直到网络可以准确对路牌的位置进行预测。
步骤4所述利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列为：
对于步骤3所述路牌点云ROI序列
中的每一个
利用训练好的YOLOv4网络判断所述对应的序列影像数据
上ROI附近是否含有路牌，剔除几何上与路牌相似的地物，如广告牌等，并准确定位影像中路牌平面的预测框，特别地这里本发明称其为路牌影像ROI。剔除误检点云后的路牌点云ROI序列为：
其中，
表示剔除误检之后的路牌平面的个数，
表示第
个路牌点云ROI序列
中的第
个路牌点云ROI，
表示第
个路牌点云ROI序列中ROI的个数。
路牌点云ROI序列对应的路牌影像ROI序列为：
其中，
表示剔除误检之后的路牌平面的个数，
表示第
个路牌影像ROI序列
中的第
个路牌影像ROI，
表示第
个路牌影像ROI序列中ROI的个数。
步骤4所述计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果为：
如图8所示为在序列影像数据中计算IoU示意图，从左到右为相机与路牌距离由近到远，其中虚线为投影得到的路牌点云ROI，实线为网络检测得到的路牌影像ROI。当路牌离相机较近时，如图(a)所示，路牌在区域A中的部分没有被拍到，投影到影像上面的路牌点云会超过影像的边界。当路牌逐渐远离相机时，如图(b)所示，会拍摄得到完整的路牌，路牌点云ROI和路牌影像ROI刚好重合，IoU最大且最少会大于0.5。而当路牌继续远离相机时，如图(c)所示，路牌在影像上的纹理会变得不清晰，路牌检测出现一些偏差，同样不利于点云和影像信息的融合。本发明由近及远计算网络检测到的路牌影像ROI与投影得到的路牌点云ROI的IoU，当IoU不再增加时，认为路牌影像ROI和路牌点云ROI的匹配度达到最高，此时的路牌影像为最完整最清晰的路牌影像,通过将最优影像的颜色信息赋值给对应的激光点，可以得到融合清晰的影像纹理的路牌点云。
步骤4所述在融合结果上同时进行几何测量和内容识别，最终建立路牌数据库为：
如图9为路牌影像与点云信息融合的结果，可以看到路牌的清晰纹理，同时可以在点云层面对路牌进行几何测量，其中点A为路牌平面的中心点，可以获得其世界大地坐标系坐标，W为路牌平面的宽度，L为路牌平面的长度，H为路牌距离地面的高度。基于路牌中心点在世界大地坐标系下的坐标、路牌的长度及宽度、及融合了清晰的影像纹理的路牌点云，对路牌进行建档建库。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于移动测量***的融合点云序列影像路牌检测方法，其特征在于，
所述移动测量***包括：定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器、移动测量车；
所述定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器都装载在所述移动测量车上；
所述微处理器分别与所述的定位传感器、惯性测量单元、激光扫描雷达、相机依次连接；
所述定位传感器用于采集惯性测量单元的世界大地坐标系坐标，并传输至所述微处理器；
所述惯性测量单元为用于采集惯性测量单元的角速度和加速度，并传输至所述微处理器；
所述激光扫描雷达用于采集三维激光点云数据，并传输至所述微处理器；
所述相机用于采集序列影像数据，并传输至所述微处理器；
所述微处理器将所述惯性测量单元的角速度和加速度转化为姿态信息即惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角，并和所述惯性测量单元的世界大地坐标系坐标一起组成移动测量车的轨迹点序列数据，利用轨迹点序列数据将原始三维激光点云数据的相对坐标转化为世界大地坐标系下的绝对坐标，并对三维激光点云数据和序列影像数据进行整理，使之具有相同的时间基准，建立三维激光点云数据和序列影像数据之间的联系；
所述融合点云序列影像路牌检测方法，包括以下步骤：
步骤1：利用移动测量***采集三维激光点云数据、序列影像数据、轨迹点序列数据；
步骤2：基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云中获得道路边界附近点云；基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云；对道路边界附近地物点云进行欧式聚类，获得多个单独的聚类簇；对每个聚类簇进行多视角投影，利用MVCNN网络识别包含路牌的聚类簇；之后利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云；
步骤3：利用点云坐标系和惯性测量单元坐标系、惯性测量单元坐标系和相机的图像坐标系之间坐标转换关系，得到点云坐标系和图像坐标系之间的转换关系；利用所述转换关系将所述路牌平面点云投影到对应的序列影像数据上，获得同一路牌点云ROI序列；
步骤4：首先引入公开路牌数据集对YOLOv4网络进行训练，之后利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列，最后计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果，在融合结果上可以同时进行几何测量和内容识别，最终建立路牌数据库。
2.根据权利要求1所述的基于移动测量***的融合点云序列影像路牌检测方法，其特征在于，步骤1所述三维激光点云数据为：
其中，
表示第k个三维激光点云数据Pk中的第lk个激光点，
为第k个三维激光点云数据中的第lk个激光点的三维坐标，K表示三维激光点云数据的个数，Lk表示第k个三维激光点云数据的激光点个数；
步骤1所述序列影像数据为：
其中，Ik表示第k个三维激光点云数据所对应的序列影像数据，
表示序列影像数据Ik中的第sk张影像，Sk表示第k个三维激光点云数据对应的序列影像数据中影像的张数，
表示序列影像数据Ik中的第sk张影像上第i行第j列的像素，i∈[1,M]，j∈[1,N]，M表示影像的行数，N表示影像的列数；
步骤1所述轨迹点序列数据为：
其中，Tk为第k个三维激光点云数据所对应的轨迹点序列数据，
表示轨迹点序列数据Tk中的第hk个轨迹点，(X,Y,Z)为惯性测量单元坐标原点在世界大地坐标系下的坐标，(φ,ω,κ)分别为惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角。
3.根据权利要求1所述的基于移动测量***的融合点云序列影像路牌检测方法，其特征在于，步骤2所述基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云获得道路附近点云为：
对于步骤1所述的三维激光点云数据Pk，选取位于所述轨迹点序列数据Tk中间的两个轨迹点TA和TB，计算经过这两个轨迹点的一条直线L1，该直线的方向和道路的延伸方向一致；然后沿着与道路延伸方向垂直的直线L2，对激光点进行遍历，直到左右两边线状缓冲区内的激光点的平均高度差大于等于路牙石的高度hs，得到道路边界的位置；将道路边界一定范围内的线状缓冲区内的激光点提取出来，作为道路附近点云；
步骤2所述基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云为：
此时点云中还存在大量的路面点，需要进一步进行剔除；首先将点云在XOY平面内划分为girdL×girdL的格网；然后对一个格网Gi，统计其高程直方图由此获得峰值高程Zi，将该高程设置为初始路面高程，并将高度小于Zi的点作为路面滤除；之后将每个格网再细分为girdS×girdS的小格网，基于高程分布直方图获得更精细的路面高程，进一步排除路面点；对每个格网点依次进行上述处理，从而将相机拍摄范围内的所有路面点排除，进一步降低点云的规模，并将路面点与道路边界附近其他地物分开，减少路牌定位的干扰；
步骤2所述对道路边界附近地物点云进行欧式聚类为：
根据激光扫描雷达的扫描分辨率，设置一个两相邻点最大距离的阈值th1；算法随机选择一个激光点为聚类簇的种子点，如果激光点与种子点的距离在预设阈值范围内，则将该激光点添加到该聚类簇中，并将该激光点也设置为种子点继续进行搜索，直到聚类簇的点数不再增加，则完成了一个聚类簇的提取；之后选择其他未被聚类的激光点作为新聚类簇的种子点，重复以上步骤，直到所有的点都被分到不同的聚类簇中，设从第k个三维激光点云数据得到的聚类簇为
其中，
表示从第k个三维激光点云数据中得到的第nk个聚类簇，Nk为从第k个三维激光点云数据中得到的聚类簇的个数；此时，地物点云被划分为多个单独的聚类簇，路牌点云也会在某个聚类簇中出现；
步骤2所述对聚类簇进行多视角投影为：
对于一个聚类簇，首先计算其聚类中心，并将点云坐标系的坐标原点平移至聚类中心；在点云坐标系的XOY平面上选择一个与聚类簇距离为一个固定距离的位置放置第一个虚拟相机，并使虚拟相机的Z轴指向聚类簇的中心，且虚拟相机的Y轴与点云坐标系的Z轴方向一致，以产生第一个视角的2D投影图像；然后，将虚拟相机绕点云坐标系的Z轴进行旋转，以30°为间隔，每旋转一次进行一次投影，从而可以生成12个视角的2D投影图像；
步骤2所述基于MVCNN进行路牌点云的识别为：
利用所述多视角投影获得路牌聚类簇的多视角投影图像构建MVCNN网络的数据集；多视角投影图像首先经过第一阶段的卷积神经网络CNN1，分别对每一个图像进行特征提取得到路牌的多视角特征图；其中CNN1采用VGG-M结构，该VGG-M由5个卷积层，3个全连接层和一个Softmax分类层组成；之后采用视角池化将一个路牌的多视角下的特征图合成一个单一的、更为简单的形状描述子，融合12个视角的路牌投影图像，提取得到聚类簇的鲁棒形状特征；然后采用第二阶段的卷积网络CNN2对合成的形状描述子进行识别，判断当前聚类簇是否含有路牌点云；该网络在ImageNet上进行预训练，然后在本文使用的训练集上进行微调；
网络训练完成后，对于一个聚类簇，首先利用所述多视角投影方法生成12个视角的二维图像，并输入到训练好的MVCNN网络，即可判断该聚类簇中是否包含路牌点云；最终从聚类簇
中提取得到含有路牌的聚类簇
其中，
为识别到的路牌聚类簇的个数；
步骤2所述利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云为：
对于步骤2所述的每个路牌聚类簇
进一步利用RANSAC方法反复迭代得到路牌所在的平面，获得平面的内点，以去除底部大部分干扰点云；具体地，首先利用距离d做RANSAC平面拟合，获得初始的平面内点，之后减少距离为d/2，重复RANSAC拟合，直到前后两次拟合得到的平面法向量夹角小于th2，则停止迭代，此时的内点就认为是路牌所在平面的点云；得到内点之后，点云中还存在路牌底部的杆状部分；由于杆状部分一般较细，可以利用类似图像形态学开运算进行去除，最终得到的路牌平面点云为：
其中，
表示第
个路牌平面点云
中的第
个激光点，
表示识别到的路牌平面点云的个数，
表示第
个路牌平面点云中的激光点个数；
从步骤1所述序列影像数据
中选择出与路牌平面点云对应的序列影像数据为：
其中，
表示第
个路牌平面点云所对应的序列影像数据，
表示序列影像数据Ik中的第
张影像，
表示第
个路牌平面点云对应的序列影像数据中影像的张数。
4.根据权利要求1所述的基于移动测量***的融合点云序列影像路牌检测方法，其特征在于，步骤3所述点云坐标系为：世界大地坐标系OW-XWYWZW；
步骤3所述惯性测量单元坐标系定义为：坐标系OI-XIYIZI；
步骤3所述相机的图像坐标系定义为：坐标系o-xyf；
步骤3所述世界大地坐标系和惯性测量单元坐标系之间的坐标转换为：
利用轨迹点
获得世界大地坐标系和惯性测量单元坐标系之间的坐标转换关系；设(XW,YW,ZW)T为激光点的世界坐标，
为惯性测量单元在世界坐标系中的坐标，
为世界坐标系到惯性测量单元坐标系之间的旋转矩阵，则激光点在惯性测量单元坐标中的坐标(XI,YI,ZI)T为：
步骤3所述惯性测量单元坐标系和相机坐标系之间的坐标转换为：
相机和惯性测量单元都是固定在移动测量车上的，其相对位置保持不变；令
为惯性测量单元坐标系到相机坐标系之间的旋转矩阵，
为相机的摄影中心在惯性测量单元坐标系中的坐标，则激光点在图像上的坐标可以计算为：
步骤3所述世界大地坐标系和相机坐标系之间的转换关系为：
进一步计算激光点从世界坐标系到相机坐标系之间的转换关系为：
进一步计算激光点在图像上的行u和列v为：
u＝M/2-y
v＝N/2+x
其中M表示影像的行数，N表示影像的列数；
步骤3所述将激光点云投影到对应的序列影像数据上，获得路牌点云ROI序列为：
所述转换关系将步骤2所述路牌平面点云
投影到对应的序列影像数据
上，获得所有投影点的最小外接矩形，将矩形区域作为感兴趣区域ROI；将点云依次投影到对应的序列影像数据上，得到空间关联的路牌点云ROI序列为：
其中，
表示第
个路牌点云ROI序列
中的第
个路牌点云ROI，
表示第
个路牌点云ROI序列中ROI的个数。
5.根据权利要求1所述的基于移动测量***的融合点云序列影像路牌检测方法，其特征在于，步骤4所述YOLOv4网络的训练为：
首先引入公开的TT100K路牌数据集对YOLOv4网络进行训练；网络首先将路牌影像调整到一个合适的分辨率，并利用Mosaic方法进行数据增强，即将四张图片进行随机裁剪，再拼接到一张图上作为网络的输入，以丰富待检测目标的背景信息，使网络可以准确定位到各种复杂场景中的路牌；将增强后的图片通过CSPDarkNet53骨架网络获得路牌的高维特征，利用SSP+PAN模块进行多尺度特征提取，并用DropBlock进行正则化，避免网络学习出现过拟合；最后利用YOLO-head模块分别从不同的尺度进行路牌位置的预测，之后基于预测框和标记框之间的差异计算网络模型中各参数的梯度，并按照一定的学习率，不断迭代地对网络参数进行调整，直到网络可以准确对路牌的位置进行预测；
步骤4所述利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列为：
对于步骤3所述路牌点云ROI序列
中的每一个
利用训练好的YOLOv4网络判断所述对应的序列影像数据
上ROI附近是否含有路牌，剔除几何上与路牌相似的地物，如广告牌等，并准确定位影像中路牌平面的预测框，特别地这里本发明称其为路牌影像ROI；剔除误检点云后的路牌点云ROI序列为：
其中，
表示剔除误检之后的路牌平面的个数，
表示第
个路牌点云ROI序列
中的第
个路牌点云ROI，
表示第
个路牌点云ROI序列中ROI的个数；
路牌点云ROI序列对应的路牌影像ROI序列为：
其中，
表示剔除误检之后的路牌平面的个数，
表示第
个路牌影像ROI序列
中的第
个路牌影像ROI，
表示第
个路牌影像ROI序列中ROI的个数；
步骤4所述计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果为：
当路牌离相机较近时，路牌会有部分没有被拍到，投影到影像上面的路牌点云会超过影像的边界；当路牌逐渐远离相机时，会拍摄得到完整的路牌，路牌点云ROI和路牌影像ROI刚好重合，IoU最大且最少会大于0.5；而当路牌继续远离相机时，路牌在影像上的纹理会变得不清晰，路牌检测出现一些偏差，同样不利于点云和影像信息的融合；本发明由近及远计算网络检测到的路牌影像ROI与投影得到的路牌点云ROI的IoU，当IoU不再增加时，认为路牌影像ROI和路牌点云ROI的匹配度达到最高，此时的路牌影像为最完整最清晰的路牌影像，可以得到融合了清晰的影像纹理的路牌点云；
步骤4所述在融合结果上同时进行几何测量和内容识别，最终建立路牌数据库为：
基于路牌中心点在世界大地坐标系下的坐标、路牌的长度及宽度、及融合了清晰的影像纹理的路牌点云，对路牌进行建档建库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110376202.6A CN113221648B (zh) | 2021-04-08 | 2021-04-08 | 一种基于移动测量***的融合点云序列影像路牌检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110376202.6A CN113221648B (zh) | 2021-04-08 | 2021-04-08 | 一种基于移动测量***的融合点云序列影像路牌检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221648A true CN113221648A (zh) | 2021-08-06 |
| CN113221648B CN113221648B (zh) | 2022-06-03 |
Family
ID=77086643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110376202.6A Active CN113221648B (zh) | 2021-04-08 | 2021-04-08 | 一种基于移动测量***的融合点云序列影像路牌检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221648B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113721255A (zh) * | 2021-08-17 | 2021-11-30 | 北京航空航天大学 | 基于激光雷达与视觉融合的列车站台停车点精准检测方法 |
| CN116503821A (zh) * | 2023-06-19 | 2023-07-28 | 成都经开地理信息勘测设计院有限公司 | 基于点云数据和图像识别的道路标识识别方法及*** |
| TWI815680B (zh) * | 2022-09-28 | 2023-09-11 | 財團法人車輛研究測試中心 | 艙內偵測方法及其系統 |
| CN117523111A (zh) * | 2024-01-04 | 2024-02-06 | 山东省国土测绘院 | 三维实景点云模型的生成方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127153A (zh) * | 2016-06-24 | 2016-11-16 | 南京林业大学 | 车载激光扫描点云数据的交通标牌识别方法 |
| CN107463918A (zh) * | 2017-08-17 | 2017-12-12 | 武汉大学 | 基于激光点云与影像数据融合的车道线提取方法 |
| CN107491756A (zh) * | 2017-08-17 | 2017-12-19 | 武汉大学 | 基于交通标牌与地面标志的车道转向信息识别方法 |
| CN107516077A (zh) * | 2017-08-17 | 2017-12-26 | 武汉大学 | 基于激光点云和影像数据融合的交通标牌信息提取方法 |
| US20190180467A1 (en) * | 2017-12-11 | 2019-06-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for identifying and positioning objects around a vehicle |
| CN111898543A (zh) * | 2020-07-31 | 2020-11-06 | 武汉大学 | 一种融合几何感知与图像理解的建筑物自动提取方法 |
| CN112529948A (zh) * | 2020-12-25 | 2021-03-19 | 南京林业大学 | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 |
-
2021
- 2021-04-08 CN CN202110376202.6A patent/CN113221648B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127153A (zh) * | 2016-06-24 | 2016-11-16 | 南京林业大学 | 车载激光扫描点云数据的交通标牌识别方法 |
| CN107463918A (zh) * | 2017-08-17 | 2017-12-12 | 武汉大学 | 基于激光点云与影像数据融合的车道线提取方法 |
| CN107491756A (zh) * | 2017-08-17 | 2017-12-19 | 武汉大学 | 基于交通标牌与地面标志的车道转向信息识别方法 |
| CN107516077A (zh) * | 2017-08-17 | 2017-12-26 | 武汉大学 | 基于激光点云和影像数据融合的交通标牌信息提取方法 |
| US20190180467A1 (en) * | 2017-12-11 | 2019-06-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for identifying and positioning objects around a vehicle |
| CN111898543A (zh) * | 2020-07-31 | 2020-11-06 | 武汉大学 | 一种融合几何感知与图像理解的建筑物自动提取方法 |
| CN112529948A (zh) * | 2020-12-25 | 2021-03-19 | 南京林业大学 | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| XIANGSHUANG MENG.ET AL: ""Airborne LiDAR Point Cloud Filtering by a Multilevel Adaptive Filter Based on Morphological Reconstruction and Thin Plate Spline Interpolation"", 《MDPI》 * |
| YUCHUN HUANG.ET AL: ""Part-Based Modeling of Pole-Like Objects Using Divergence-Incorporated 3-D Clustering of Mobile Laser Scanning Point Clouds "", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 孙亮等: ""一种基于车载移动测量***的城市专题数据提取方法"", 《勘察科学技术》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113721255A (zh) * | 2021-08-17 | 2021-11-30 | 北京航空航天大学 | 基于激光雷达与视觉融合的列车站台停车点精准检测方法 |
| TWI815680B (zh) * | 2022-09-28 | 2023-09-11 | 財團法人車輛研究測試中心 | 艙內偵測方法及其系統 |
| CN116503821A (zh) * | 2023-06-19 | 2023-07-28 | 成都经开地理信息勘测设计院有限公司 | 基于点云数据和图像识别的道路标识识别方法及*** |
| CN116503821B (zh) * | 2023-06-19 | 2023-08-25 | 成都经开地理信息勘测设计院有限公司 | 基于点云数据和图像识别的道路标识识别方法及*** |
| CN117523111A (zh) * | 2024-01-04 | 2024-02-06 | 山东省国土测绘院 | 三维实景点云模型的生成方法及*** |
| CN117523111B (zh) * | 2024-01-04 | 2024-03-22 | 山东省国土测绘院 | 三维实景点云模型的生成方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221648B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113221648B (zh) | 一种基于移动测量***的融合点云序列影像路牌检测方法 | |
| CN110781827B (zh) | 一种基于激光雷达与扇状空间分割的路沿检测***及其方法 | |
| CN106650640B (zh) | 一种基于激光雷达点云局部结构特征的负障碍物检测方法 | |
| Cheng et al. | Extraction and classification of road markings using mobile laser scanning point clouds | |
| CN107516077B (zh) | 基于激光点云和影像数据融合的交通标牌信息提取方法 | |
| CN111754583B (zh) | 一种车载三维激光雷达和相机外参联合标定的自动化方法 | |
| CN109753885B (zh) | 一种目标检测方法、装置以及行人检测方法、*** | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
| CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
| EP2958054A2 (en) | Hazard detection in a scene with moving shadows | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN113421289B (zh) | 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法 | |
| CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
| CN110490936A (zh) | 车辆摄像头的标定方法、装置、设备及可读存储介质 | |
| WO2023060632A1 (zh) | 基于点云数据的街景地物多维度提取方法和*** | |
| CN109791607A (zh) | 借助单应矩阵从摄像机的一系列图像中探测和验证对象 | |
| Liu et al. | Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs | |
| CN115690138A (zh) | 一种融合车载影像与点云的道路边界提取与矢量化方法 | |
| CN112270694B (zh) | 基于激光雷达扫描图进行城市环境动态目标检测的方法 | |
| CN116452852A (zh) | 一种高精度矢量地图的自动生成方法 | |
| CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
| Yang et al. | Detecting small objects in urban settings using SlimNet model | |
| CN113219472B (zh) | 一种测距***和方法 | |
| CN110414425A (zh) | 一种基于灭点检测的宽度自适应车道线检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |