CN112990034B - 一种影像优先的交通标牌变化检测方法 - Google Patents

一种影像优先的交通标牌变化检测方法 Download PDF

Info

Publication number
CN112990034B
CN112990034B CN202110310245.4A CN202110310245A CN112990034B CN 112990034 B CN112990034 B CN 112990034B CN 202110310245 A CN202110310245 A CN 202110310245A CN 112990034 B CN112990034 B CN 112990034B
Authority
CN
China
Prior art keywords
traffic sign
image
point cloud
kth
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110310245.4A
Other languages
English (en)
Other versions
CN112990034A (zh
Inventor
黄玉春
张秋兰
麻尧崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110310245.4A priority Critical patent/CN112990034B/zh
Publication of CN112990034A publication Critical patent/CN112990034A/zh
Application granted granted Critical
Publication of CN112990034B publication Critical patent/CN112990034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种影像优先的交通标牌变化检测方法。首先利用交通标志影像数据集训练YOLOv4网络。其次，基于人工选择的特征点和共线条件方程计算三维激光点云数据和影像数据所在坐标系之间的转换关系。然后，利用YOLOv4定位待检测交通影像的交通标志预测框，并将与其对应的三维点云数据通过共线条件方程进行逆映射，得到四棱锥形点云，进而基于欧式聚类从中提取得到交通标志点云，并利用增长算法获得支撑杆点云。最后在点云层面对交通标牌进行状态评估，判断其是否发生了不良变化。该方法直接利用影像上的准确检测结果将交通标志点云的位置锁定在一个四棱锥体内，不需要处理庞大的点云数据，是一种通用性强鲁棒性高的交通标志检测及其不良变化评估方案。

Description

一种影像优先的交通标牌变化检测方法
技术领域
本发明属于交通标志牌检测技术领域，尤其涉及一种影像优先的交通标牌变化检测方法。
背景技术
交通标志牌是保证交通安全的重要设施，它们提供了关于公路和周边环境的信息，被用于规范与引导驾驶员的行为。但是，交通标牌可能因为自然和人为因素而发生形变、倾斜、遮挡等不良的变化，会严重威胁到交通安全。目前基于点云的交通标志提取方案受限于形状、平面性等先验知识，对发生了变化的交通标牌并不一定成立。且三维点云缺少纹理及光谱信息，会产生较多的误检。而现有的检测网络对不同视角、不同遮挡下的交通标志都表现出了良好的鲁棒性，可以准确检测到影像中的交通标志。然而正是由于检测网络的鲁棒性对各种不良变化产生了一定的屏蔽效果，使网络无法识别到交通标牌发生的变化，因此需要利用点云引入交通标志的空间信息。
因此，需要找到一种有效的方法综合利用点云和影像信息进行交通标志的不良变化检测。
发明内容
针对现有技术的缺陷或改进需求，本发明提出了一种影像优先的交通标牌变化检测方法及***，由此解决如何有效综合利用点云和影像信息进行交通标志不良变化检测的技术难题。
为实现上述目的，本发明提出了一种影像优先的交通标牌变化检测方法，包括：
步骤1：引入包含不同大小、形状、遮挡程度以及光照条件的交通标志影像构建交通标志影像数据集，并人工标记每张交通标志影像中交通标志的标记框；构建YOLOv4小目标检测网络，将交通标志影像数据集每张交通标志影像作为训练集依次输入至YOLOv4小目标检测网络进行预测得到每张交通标志影像交通标志的预测框，结合每张交通标志影像中交通标志的标记框构建损失函数，进一步通过余弦退火算法进行迭代优化训练，得到训练后YOLOv4小目标检测网络；
步骤2：引入交通标志影像数据集及每张交通标志影像数据所对应的三维激光点云数据，构建三维激光点云数据集；人工选择三维激光点云数据与交通标志影像的特征点并构建特征点集合；利用特征点集合中三维激光点的坐标和交通标志影像的像素坐标构建共线条件方程，计算三维激光点云数据所在的物方坐标系和交通标志影像数据所在的像方坐标系之间的旋转矩阵以及摄影中心在物方坐标系下的坐标；
步骤3：将待检测的交通影像通过步骤1所述的训练后YOL0v4小目标检测网络，预测得到待检测的交通标志影像的交通标志预测框；将待检测的交通影像对应的三维点云数据通过共线条件方程进行逆映射得到待检测的交通影像对应的三维点云数据的像素坐标；将经过逆映射后得到的像素坐标落在待检测的交通标志影像的交通标志预测框范围内的三维点从待检测交通标志影像对应的三维点云数据中提取出来，得到交通标志预测框所对应的四棱锥形点云；基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云；利用增长算法获得支撑杆点云，通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌。
步骤4：对交通标牌点云进行交通标志的状态评估，进而判断是否发生了不良变化。具体为：利用交通标志聚类簇的局部法向量判断交通标志是否发生形变；利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖；根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡；通过计算交通标志支撑杆的方向向量与垂直方向的夹角判断交通标牌是否发生倾斜；通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转。
作为优选，步骤1所述交通标志影像数据集为：Ik，k∈[1，K]；
其中，Ik表示交通标志影像数据集中第k张交通标志影像，Ik(i，j)表示交通标志影像数据集中第k张影像上第i行第j列的像素，i∈[1，M]，j∈[1，N]，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤1所述每张交通标志影像中交通标志的标记框为：
其中，为交通标志影像数据集中第k张交通标志影像的交通标志的标记框中心点的像素坐标，/>为交通标志影像数据集中第k张交通标志影像的第/>列，/>为交通标志影像数据集中第k张交通标志影像的第/>行，/>分别为交通标志影像数据集中第k张交通标志影像的交通标志的标记框的宽度，/>为交通标志影像数据集中第k张交通标志影像的交通标志的标记框的长度，/>为交通标志影像数据集中第k张交通标志影像的标记框的类别，/>对表示该标记框对应的目标为交通标志，/>为交通标志影像数据集中第k张交通标志影像的交通标志的置信度；
步骤1所述YOLOv4小目标检测网络包括：CSPDarkNet53骨架网络、SSP+PAN模块、YOLO-head模块；
所述CSPDarkNet53骨架网络进行特征提取；
所述SSP+PAN模块进行多尺度特征提取，得到三个不同尺度的特征图，特征图的大小、分别为S1×S1、S2×S2、S3×S3；
所述YOLO-head模块分别从三个不同的尺度对交通标志的位置进行预测；
对于大小为Sl×Sl的特征图，每个网格产生D个预测框，最终会得到SL×SL×D个预测框；
第k张交通标志影像，经过网络得到的第i个格网的第j个预测框为：
步骤1所述损失函数的定义为：
Lclass为分类损失，用于完成待检测目标的分类，采用交叉熵损失函数BCE：
Lconf为置信度损失，用于提高目标检测结果的可靠性，Lconf使用交叉熵损失函数BCE：
Lbbox为边框回归损失，用于完成目标的定位，Lbbox使用CIOU损失：
其中，IoU(，)用于计算两个矩形框之间的交并比，ρ(，)用于计算两个点之间的欧式距离，为真实框/>和预测框/>最小包围框的对角线的长度，a(v)用来测量长宽比的一致性，其计算方法为：
对于项，当两个框中心点距离越远时越接近于1，距离越近时越接近于0，该惩罚项通过最小化两个检测框中心点的距离，加速损失的收敛过程。而a(v)则可以控制预测框的长宽比能够尽快与真实框的长宽比接近。LCIOU综合考虑预测框与真实框的重叠面积、中心点的距离、长宽比，使本文利用交通标志数据进行网络训练时，可以使网络参数更快地接近最优，即预测框可以更快地接近真值。对于一张存在交通标志的ROI影像，经过训练的网络可以准确的识别得到交通标志的预测框。
作为优选，步骤2所述三维激光点云数据集的定义为：
其中，表示第k个三维激光点云数据Pk中的第lk个激光点，/>为第k个三维激光点云数据中的第lk个激光点的三维坐标，K表示激光点云数据的个数，Lk表示第k个三维激光点云数据的激光点个数。
步骤2所述交通标志影像数据集的定义为：Ik，k∈[1，K]；
其中，Ik表示交通标志影像数据集中第k张交通标志影像，Ik(i，j)表示交通标志影像数据集中第k张影像上第i行第j列的像素，i∈[1，M]，j∈[1，N]，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤2所述物方坐标系的定义为：坐标系D-XYZ；
步骤2所述像方坐标系的定义为：坐标系s-xyz；
所述D-XYZ坐标系为右手系，以激光扫描仪被出厂设置的中心点D为原点，以激光扫描仪的摆放的竖直方向为Z轴，以第一条扫描线方向为X轴；
所述S-xyz坐标系为左手系，以摄像头的摄影中心S为原点，x轴为交通标志影像行的方向，y轴为交通标志影像列的方向；
像方坐标(x，y，f)为过物方坐标和摄影中心(XS，YS，ZS)的直线与像平面的交点，其中，f为相机的焦距，像方坐标(x，y，f)与像素坐标(i，j)的关系为：
y＝M/2-i，x＝j-N/2
其中，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤2所述人工选择三维激光点与交通标志影像的特征点并构建特征点集合为：
Ac，c∈[1，C]
其中，C为选取的特征点的个数，Ac的物方坐标为(Xc，Yc，Zc)，像方坐标为(xc，yc，f)。特征点的选取原则为被测场景中的物体的角点，以及线段的端点或交点。如果被测场景中缺少点特征明显的地物，可以考虑在缺乏点特征的区域人为布设具有明显角点的物体；
步骤2所述构建共线条件方程为：
其中，(x0，y0，f)为像主点的像方坐标，(Xc，Yc，Zc)为特征点Ac的物方坐标，(xc，yc，f)为特征点Ac的像方坐标，Δx和Δy代表***误差的改正数，ai，j(i∈[1，3]，j∈[1，3])为旋转矩阵第i行第j列的元素。
所述旋转矩阵为：
旋转矩阵的元素是外方位元素中三个角元素的函数；
使用转角***，旋转矩阵中的参数和角元素的函数关系为：
步骤2所述计算物方坐标系和像方坐标系的旋转矩阵以及摄影中心在物方坐标系下的坐标为：
根据选取的特征点的像方坐标和物方坐标，根据所述共线条件方程建立误差方程组，利用最小二乘方法求出物方坐标系和像方坐标系的旋转矩阵R以及摄影中心在物方坐标系下的坐标(XS，YS，ZS)；
作为优选，步骤3所述待检测的交通标志影像的交通标志预测框为：
Bk＝(Vk，Uk，Wk，Hk)，k∈[1，K]
其中，K为待检测交通标志的个数，(yk，Uk)为第k张待检测交通标志影像的交通标志预测框中心点的像素坐标，Vk为第k张待检测交通标志影像的第Vk列，Uk为第k张待检测交通标志影像的第Uk列，Wk为第k张待检测交通标志影像的预测框的宽度，Hk为第k张待检测交通标志影像的预测框的长度；
步骤3所述根据共线条件方程对点云进行逆映射为：
对于第k张待检测交通标志影像，与其对应的第k个三维点云数据为：
其中，Lk为第k个三维点云数据Pk中包含的三维点的个数。对于每一个三维点、根据步骤2所述的共线条件方程以及步骤2计算得到的摄影机相对于激光扫描仪的位置(XS，YS，ZS)和旋转矩阵R进行逆映射，其像方坐标/>可由下式计算得到：
其中，(x0，y0，f)为像主点的像方坐标，ai，j(i∈[1，3]，j∈[1，3])为旋转矩阵R第i行第j列的元素，(XS，YS，ZS)为摄影中心在激光坐标系下的坐标。
进一步计算得到第k张待检测交通标志影像对应的三维点云数据中每个三维点的像素坐标/>为：
其中，M表示交通标志影像的行数，N表示交通标志影像的列数。
步骤3所述获得待检测的交通标志影像的交通标志预测框所对应的四棱锥形点云为：
把经过所述逆映射投影到影像上之后落入预测框(Vk，Uk，Wk，Hk)的激光点提取出来，即所述像素坐标需要满足下面的条件：
满足上述条件的三维点构成了第k张待检测交通标志预测框所对应的四棱锥形点云：
其中，表示第k张交通标志影像所对应的第k个四棱锥形点云Rk中的第/>个三维点，/>为第k个四棱锥形点云中第/>个三维点的坐标，/>为第k个四棱锥形点云中包含的三维点的个数。
步骤3所述基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云为：
根据步骤2计算得到的相机的摄影中心在激光坐标系中的三维坐标(XS，YS，ZS)，对于第k张交通标志影像所对应的第k个四棱锥形点云中的任意三维点用该点与摄影中心之间的欧式距离表示激光点到相机的距离。
步骤3.1：设置最接近相机的激光点作为第一个聚类簇的种子点，设其到相机的距离为dmin，设置一定的距离阈值dc，将距离小于dmin+dc的激光点添加进该聚类簇中；
步骤3.2：将该聚类簇中距离最远的激光点作为种子点，设该距离为dmax，将距离落在(dmax，dmax+dc)区间内的激光点添加进该聚类簇；
重复步骤步骤3.2，直到该聚类簇的点数不再增加，则完成了一个聚类簇的提取；
步骤3.3：将剩余激光点中距离最近的激光点作为新的聚类簇的种子点，重复前两步的操作，直到所有的激光点都被分到不同的聚类簇中；
步骤3.4：交通标志聚类簇为反射强度最高的聚类簇，定义第k张交通标志影像对应的交通标志聚类簇为
其中，表示第k张交通标志影像所对应的第k个交通标志聚类簇Ck中的第nk个三维点，/>为第k个交通标志聚类簇包含的三维点的个数。
步骤3所述利用增长算法获得支撑杆点云为：
以交通标志聚类簇最低点作为种子点，获得以该种子点为球心指定半径的球体范围内的点云，该范围内的点云即为一小段支撑杆点云。之后以该段点云中的最低点作为新的种子点，继续进行增长，直到不再有新的激光点添加进来，则生长停止。此时，被生长进来的所有激光点被认为是支撑杆点云；定义第k个交通标志聚类簇的支撑杆点云为
其中，表示第k张交通标志影像所对应的第k个支撑杆点云/>中的第mk个三维点，/>为第k个支撑杆点云包含的三维点的个数。
步骤3所述通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌为：
对于第k张交通标志影像，与其对应的包含交通标志和支撑杆的完整交通标牌为：
作为优选，步骤4所述利用交通标志聚类簇的局部法向量判断交通标志是否发生形变为：
基于交通标志聚类簇首先利用RANSAC平面拟合算法获得交通标志的整体单位法向量/>之后对于交通标志聚类簇/>中任意一点/>在聚类簇/>中搜索离/>点最近的6个点
计算点的局部单位法向量/>
其中设/>根据PCA，法线方向应为最小的特征值对应的特征向量。当局部单位法向量/>与整体单位法向量/>的夹角大于10°时，认为该点附近发生了形变。当附近发生形变的点的占该交通标志聚类簇中包含三维点总数/>的比值大于一定比例时，认为该交通标志发生了形变。
步骤4所述利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖为：
基于激光点的强度属性对提取得到的交通标志聚类簇进行聚类分析，得到高反射强度和低反射强度的两个聚类簇，以高反射强度激光点数的占比近似代替高反射强度区域的面积比，如果该比值小于一定比例，认为交通标志表面被其他物体覆盖了。
步骤4所述根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡为：
在利用步骤3所述基于距离准则对四棱锥形点云进行欧式聚类后，如果被判断为交通标志的聚类簇不是距离摄影中心最近的一个聚类簇，则说明该交通标志被遮挡。
步骤4所述利用交通标志支撑杆的方向向量判断交通标牌是否发生倾斜为：
首先构建支撑杆点云的协方差矩阵，并对其进行特征值分解，可以获得支撑杆的单位方向向量θk。则倾斜角αk可以利用下式计算得到：
其中为θk在z方向上的分量。如果αk大于经验阈值，认为交通标牌发生了倾斜。
步骤4所述通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转为：
从点云数据中获得道路的通行方向的单位方向向量δk，计算δk与所述交通标志的整体单位法向量在水平方向上的分量的夹角βk：
其中，与/>代表δk在x和y方向上的分量，/>与/>代表/>在x和y方向上的分量。如果βk大于经验阈值10°，认为该交通标牌发生了旋转。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明利用深度学习网络在影像数据上自动学习交通标志的特征，准确地识别到了不同视角、不同遮挡等各种状态下的交通标志。之后通过三维激光点云数据和影像数据所在坐标系之间的转换关系，以及交通标志的预测框追却获得交通标志的点云。利用点云数据的空间信息和反射率信息，可以准确检测的到交通标志发生的各种不良变化。这种方法直接利用影像上的准确检测结果将交通标志点云的位置锁定在一个四棱锥体内，不需要处理庞大的点云数据，是一种通用性强、鲁棒性高的交通标志检测及其不良变化评估方案。
附图说明
图1：是本发明实施例提供的一种方法流程示意图；
图2：是本发明实施例提供的一种激光和相机坐标系示意图；
图3：是本发明实施例提供的一种交通标志点云提取结果示意图；
图4：是本发明实施例提供的一种交通标志支撑杆点云提取示意图；
图5：是本发明实施例提供的一种交通标志局部法向量示意图；
图6：是本发明实施例提供的一种交通标志表面被覆盖示意图；
图7：是本发明实施例提供的一种交通标志被遮挡示意图；
图8：是本发明实施例提供的一种交通标志支撑杆倾斜角示意图；
图9：是本发明实施例提供的一种交通标志发生旋转示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合图1至图9介绍本发明的具体实施方式为一种影像优先的交通标牌变化检测方法，包括以下步骤：
步骤1：引入包含不同大小、形状、遮挡程度以及光照条件的交通标志影像构建交通标志影像数据集，并人工标记每张交通标志影像中交通标志的标记框；构建YOLOv4小目标检测网络，将交通标志影像数据集每张交通标志影像作为训练集依次输入至YOLOv4小目标检测网络进行预测得到每张交通标志影像交通标志的预测框，结合每张交通标志影像中交通标志的标记框构建损失函数，进一步通过余弦退火算法进行迭代优化训练，得到训练后YOLOv4小目标检测网络；
步骤1所述交通标志影像数据集为：Ik，k∈[1，K]，其中，K＝1000为交通标志影像数据集中交通标志影像的个数；
其中，Ik表示交通标志影像数据集中第k张交通标志影像，Ik(i，j)表示交通标志影像数据集中第k张影像上第i行第j列的像素，i∈[1，M]，j∈[1，N]，M＝3088表示交通标志影像的行数，N＝2056表示交通标志影像的列数；
步骤1所述每张交通标志影像中交通标志的标记框为：
其中，，为交通标志影像数据集中第k张交通标志影像的交通标志的标记框中心点的像素坐标，/>为交通标志影像数据集中第k张交通标志影像的第/>列，/>为交通标志影像数据集中第k张交通标志影像的第/>行，/>分别为交通标志影像数据集中第k张交通标志影像的交通标志的标记框的宽度，/>为交通标志影像数据集中第k张交通标志影像的交通标志的标记框的长度，/>为交通标志影像数据集中第k张交通标志影像的标记框的类别，/>时表示该标记框对应的目标为交通标志，/>为交通标志影像数据集中第k张交通标志影像的交通标志的置信度；
步骤1所述YOLOv4小目标检测网络包括：CSPDarkNet53骨架网络、SSP+PAN模块、YOLO-head模块；
所述CSPDarkNet53骨架网络进行特征提取；
所述SSP+PAN模块进行多尺度特征提取，得到三个不同尺度的特征图，特征图的大小、分别为S1×S1、S2×S2、S3×S3，S1＝13，S2＝26，S3＝52；
所述YOLO-head模块分别从三个不同的尺度对交通标志的位置进行预测；
对于大小为Sl×Sl的特征图，每个网格产生D＝3个预测框，最终会得到Sl×Sl×3个预测框；
第k张交通标志影像，经过网络得到的第i个格网的第j个预测框为：
步骤1所述损失函数的定义为：
Lclass为分类损失，用于完成待检测目标的分类，采用交叉熵损失函数BCE：
Lconf为置信度损失，用于提高目标检测结果的可靠性，Lconf使用交叉熵损失函数BCE：
Lbbox为边框回归损失，用于完成目标的定位，Lbbox使用CIOU损失：
其中，IoU(，)用于计算两个矩形框之间的交并比，ρ(，)用于计算两个点之间的欧式距离，为真实框/>和预测框/>最小包围框的对角线的长度，a(v)用来测量长宽比的一致性，其计算方法为：
对于项，当两个框中心点距离越远时越接近于1，距离越近时越接近于0，该惩罚项通过最小化两个检测框中心点的距离，加速损失的收敛过程。而a(v)则可以控制预测框的长宽比能够尽快与真实框的长宽比接近。LCIOU综合考虑预测框与真实框的重叠面积、中心点的距离、长宽比，使本文利用交通标志数据进行网络训练时，可以使网络参数更快地接近最优，即预测框可以更快地接近真值。对于一张存在交通标志的ROI影像，经过训练的网络可以准确的识别得到交通标志的预测框。
步骤2：引入交通标志影像数据集及每张交通标志影像数据所对应的三维激光点云数据，构建三维激光点云数据集；人工选择三维激光点云数据与交通标志影像的特征点并构建特征点集合；利用特征点集合中三维激光点的坐标和交通标志影像的像素坐标构建共线条件方程，计算三维激光点云数据所在的物方坐标系和交通标志影像数据所在的像方坐标系之间的旋转矩阵以及摄影中心在物方坐标系下的坐标；
步骤2所述三维激光点云数据集的定义为：
其中，表示第k个三维激光点云数据Pk中的第lk个激光点，/>为第k个三维激光点云数据中的第lk个激光点的三维坐标，K表示激光点云数据的个数，Lk表示第k个三维激光点云数据的激光点个数。
步骤2所述交通标志影像数据集的定义为：Ik，k∈[1，K]；
其中，Ik表示交通标志影像数据集中第k张交通标志影像，Ik(i，j)表示交通标志影像数据集中第k张影像上第i行第j列的像素，i∈[1，M]，j∈[1，N]，M＝3088表示交通标志影像的行数，N＝2056表示交通标志影像的列数；
步骤2所述物方坐标系的定义为：坐标系D-XYZ；
步骤2所述像方坐标系的定义为：坐标系s-xyz；
所述D-XYZ坐标系为右手系，以激光扫描仪被出厂设置的中心点D为原点，以激光扫描仪的摆放的竖直方向为Z轴，以第一条扫描线方向为X轴，如图2(a)所示；
所述S-xyz坐标系为左手系，以摄像头的摄影中心S为原点，x轴为交通标志影像行的方向，y轴为交通标志影像列的方向；
像方坐标(x，y，f)为过物方坐标和摄影中心(XS，YS，ZS)的直线与像平面的交点，如图2(b)所示，其中，f为相机的焦距，像方坐标(x，y，f)与像素坐标(i，j)的关系为：
y＝M/2-i，x＝j-N/2
其中，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤2所述人工选择三维激光点与交通标志影像的特征点并构建特征点集合为：
Ac，c∈[1，C]
其中，C＝15为选取的特征点的个数，Ac的物方坐标为(Xc，Yc，Zc)，像方坐标为(xc，yc，f)。特征点的选取原则为被测场景中的物体的角点，以及线段的端点或交点。如果被测场景中缺少点特征明显的地物，可以考虑在缺乏点特征的区域人为布设具有明显角点的物体；
步骤2所述构建共线条件方程为：
/>
其中，(x0，y0，f)为像主点的像方坐标，(Xc，Yc，Zc)为特征点Ac的物方坐标，(xc，yc，f)为特征点Ac的像方坐标，Δx和Δy代表***误差的改正数，ai，j(i∈[1，3]，j∈[1，3])为旋转矩阵第i行第j列的元素。
所述旋转矩阵为：
旋转矩阵的元素是外方位元素中三个角元素的函数；
使用转角***，旋转矩阵中的参数和角元素的函数关系为：
步骤2所述计算物方坐标系和像方坐标系的旋转矩阵以及摄影中心在物方坐标系下的坐标为：
根据选取的特征点的像方坐标和物方坐标，根据所述共线条件方程建立误差方程组，利用最小二乘方法求出物方坐标系和像方坐标系的旋转矩阵R以及摄影中心在物方坐标系下的坐标(XS，YS，ZS)；
步骤3：将待检测的交通影像通过步骤1所述的训练后YOL0v4小目标检测网络，预测得到待检测的交通标志影像的交通标志预测框；将待检测的交通影像对应的三维点云数据通过共线条件方程进行逆映射得到待检测的交通影像对应的三维点云数据的像素坐标；将经过逆映射后得到的像素坐标落在待检测的交通标志影像的交通标志预测框范围内的三维点从待检测交通标志影像对应的三维点云数据中提取出来，得到交通标志预测框所对应的四棱锥形点云；基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云；利用增长算法获得支撑杆点云，通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌。
步骤3所述待检测的交通标志影像的交通标志预测框为：
Bk＝(Vk，Uk，Wk，Hk)，k∈[1，K]
其中，K为待检测交通标志的个数，(Vk，Uk)为第k张待检测交通标志影像的交通标志预测框中心点的像素坐标，Vk为第k张待检测交通标志影像的第Vk列，Uk为第k张待检测交通标志影像的第Uk列，Wk为第k张待检测交通标志影像的预测框的宽度，Hk为第k张待检测交通标志影像的预测框的长度；
步骤3所述根据共线条件方程对点云进行逆映射为：
对于第k张待检测交通标志影像，与其对应的第k个三维点云数据为：
/>
其中，Lk为第k个三维点云数据Pk中包含的三维点的个数。对于每一个三维点、根据步骤2所述的共线条件方程以及步骤2计算得到的摄影机相对于激光扫描仪的位置(XS，YS，ZS)和旋转矩阵R进行逆映射，其像方坐标/>可由下式计算得到：
其中，(x0，y0，f)为像主点的像方坐标，ai，j(i∈[1，3]，j∈[1，3])为旋转矩阵R第i行第j列的元素，(XS，YS，ZS)为摄影中心在激光坐标系下的坐标。
进一步计算得到第k张待检测交通标志影像对应的三维点云数据中每个三维点的像素坐标/>为：
其中，M表示交通标志影像的行数，N表示交通标志影像的列数。
步骤3所述获得待检测的交通标志影像的交通标志预测框所对应的四棱锥形点云为：
把经过所述逆映射投影到影像上之后落入预测框(Vk，Uk，Wk，Hk)的激光点提取出来，即所述像素坐标需要满足下面的条件：
满足上述条件的三维点构成了第k张待检测交通标志预测框所对应的四棱锥形点云，得到的四棱锥形点云如图3所示：
其中，表示第k张交通标志影像所对应的第k个四棱锥形点云Rk中的第/>个三维点，/>为第k个四棱锥形点云中第/>个三维点的坐标，/>为第k个四棱锥形点云中包含的三维点的个数。
步骤3所述基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云为：
根据步骤2计算得到的相机的摄影中心在激光坐标系中的三维坐标(XS，YS，ZS)，对于第k张交通标志影像所对应的第k个四棱锥形点云中的任意三维点用该点与摄影中心之间的欧式距离表示激光点到相机的距离。
(1)设置最接近相机的激光点作为第一个聚类簇的种子点，设其到相机的距离为dmin，设置一定的距离阈值dc＝0.02m，将距离小于dmin+dc的激光点添加进该聚类簇中；
(2)将该聚类簇中距离最远的激光点作为种子点，设该距离为dmax，将距离落在(dmax，dmax+dc)区间内的激光点添加进该聚类簇；
重复步骤(2)，直到该聚类簇的点数不再增加，则完成了一个聚类簇的提取；
(3)将剩余激光点中距离最近的激光点作为新的聚类簇的种子点，重复前两步的操作，直到所有的激光点都被分到不同的聚类簇中；
(4)交通标志聚类簇为反射强度最高的聚类簇，定义第k张交通标志影像对应的交通标志聚类簇为
其中，表示第k张交通标志影像所对应的第k个交通标志聚类簇Ck中的第nk个三维点，/>为第k个交通标志聚类簇包含的三维点的个数。
如图3所示，不同的灰度代表不同的聚类簇，最终得到的交通标志聚类簇为反射强度最高的聚类簇，且在正常无遮挡的情况下，该交通标志聚类簇为距离摄影中心最近的一个聚类簇。
步骤3所述利用增长算法获得支撑杆点云为：
如图4所示，以交通标志聚类簇最低点作为种子点，获得以该种子点为球心指定半径的球体范围内的点云，该范围内的点云即为一小段支撑杆点云。之后以该段点云中的最低点作为新的种子点，继续进行增长，直到不再有新的激光点添加进来，则生长停止。此时，被生长进来的所有激光点被认为是支撑杆点云；定义第k个交通标志聚类簇的支撑杆点云为
其中，表示第k张交通标志影像所对应的第k个支撑杆点云/>中的第mk个三维点，/>为第k个支撑杆点云包含的三维点的个数。
步骤3所述通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌为：
对于第k张交通标志影像，与其对应的包含交通标志和支撑杆的完整交通标牌为：
步骤4：对交通标牌点云进行交通标志的状态评估，进而判断是否发生了不良变化。具体为：利用交通标志聚类簇的局部法向量判断交通标志是否发生形变；利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖；根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡；通过计算交通标志支撑杆的方向向量与垂直方向的夹角判断交通标牌是否发生倾斜；通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转。
步骤4所述利用交通标志聚类簇的局部法向量判断交通标志是否发生形变为：
(a)良好情况下的局部法向量，ni代表第i个局部区域areai对应的局部法向量。(b)标志部分发生了部分变形，变形区域的局部法向量偏离交通标志整体方向。
基于交通标志聚类簇首先利用RANSAC平面拟合算法获得交通标志的整体单位法向量/>之后对于交通标志聚类簇/>中任意一点/>在聚类簇/>中搜索离/>点最近的6个点
计算点的局部单位法向量/>
其中设/>根据PCA，法线方向应为最小的特征值对应的特征向量。当局部单位法向量/>与整体单位法向量/>的夹角大于10°时，认为该点附近发生了形变。当附近发生形变的点的占该交通标志聚类簇中包含三维点总数/>的比值大于20％时，认为该交通标志发生了形变。
如图5所示，其中长箭头代表交通标志的整体法向量，短箭头代表交通标志的局部法向量。如图5(a)展示了良好情况下的局部法向量，此时局部法向量一般和整体法向量一致，而如图5(b)有一部分法向量偏离了交通标志的整体法向量，此时可以判断交通标志发生了形变。
步骤4所述利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖为：
如图6展示了一个未被覆盖的交通标志(a)和一个被覆盖的交通标志(b)，其中三维点的颜色越深代表其反射强度越低。交通标志表面往往具有特殊的反光膜，在激光数据中反射强度高，因此对于正常未被覆盖的交通标志，其反射强度高的区域占比较高；由于覆盖交通标志的普通物体的反射强度低，因此对于被覆盖了的交通标志，其反射强度低的区域占比较低。
基于激光点的强度属性对提取得到的交通标志聚类簇进行聚类分析，得到高反射强度和低反射强度的两个聚类簇，以高反射强度激光点数的占比近似代替高反射强度区域的面积比，如果该比值小于80％，认为交通标志表面被其他物体覆盖了。
步骤4所述根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡为：
在利用步骤3所述基于距离准则对四棱锥形点云进行欧式聚类后，如果被判断为交通标志的聚类簇不是距离摄影中心最近的一个聚类簇，则说明该交通标志被遮挡。
如图7展示了一个交通标志被遮挡的情况，其中三维点的灰度代表交通标志的反射强度，三维点的颜色越深表示其反射强度越低。当交通标志被遮挡时，距离摄影中心最近的一个聚类簇的反射强度较低。
步骤4所述利用交通标志支撑杆的方向向量判断交通标牌是否发生倾斜为：
如图8所示，首先构建支撑杆点云的协方差矩阵，并对其进行特征值分解，可以获得支撑杆的单位方向向量θk。则倾斜角αk可以利用下式计算得到：
/>
其中为θk在z方向上的分量。如果αk大于经验阈值10°，认为交通标牌发生了倾斜。
步骤4所述通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转为：
如图9所示，从点云数据中获得道路的通行方向的单位方向向量δk，计算δk与所述交通标志的整体单位法向量在水平方向上的分量的夹角βk：
其中，与/>代表δk在x和y方向上的分量，/>与/>代表Nk在x和y方向上的分量。如果βk大于经验阈值10°，认为该交通标牌发生了旋转。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护。

Claims (5)

1.一种影像优先的交通标牌变化检测方法，其特征在于，包括以下步骤：
步骤1：引入包含不同大小、形状、遮挡程度以及光照条件的交通标志影像构建交通标志影像数据集，并人工标记每张交通标志影像中交通标志的标记框；构建YOLOv4小目标检测网络，将交通标志影像数据集每张交通标志影像作为训练集依次输入至YOLOv4小目标检测网络进行预测得到每张交通标志影像交通标志的预测框，结合每张交通标志影像中交通标志的标记框构建损失函数，进一步通过余弦退火算法进行迭代优化训练，得到训练后YOLOv4小目标检测网络；
步骤2：引入交通标志影像数据集及每张交通标志影像数据所对应的三维激光点云数据，构建三维激光点云数据集；人工选择三维激光点云数据与交通标志影像的特征点并构建特征点集合；利用特征点集合中三维激光点的坐标和交通标志影像的像素坐标构建共线条件方程，计算三维激光点云数据所在的物方坐标系和交通标志影像数据所在的像方坐标系之间的旋转矩阵以及摄影中心在物方坐标系下的坐标；
步骤3：将待检测的交通影像通过步骤1所述的训练后YOLOv4小目标检测网络，预测得到待检测的交通标志影像的交通标志预测框；将待检测的交通影像对应的三维点云数据通过共线条件方程进行逆映射得到待检测的交通影像对应的三维点云数据的像素坐标；将经过逆映射后得到的像素坐标落在待检测的交通标志影像的交通标志预测框范围内的三维点从待检测交通标志影像对应的三维点云数据中提取出来，得到交通标志预测框所对应的四棱锥形点云；基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云；利用增长算法获得支撑杆点云，通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌；
步骤4：对交通标牌点云进行交通标志的状态评估，进而判断是否发生了不良变化；具体为：利用交通标志聚类簇的局部法向量判断交通标志是否发生形变；利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖；根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡；通过计算交通标志支撑杆的方向向量与垂直方向的夹角判断交通标牌是否发生倾斜；通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转。
2.根据权利要求1所述的影像优先的交通标牌变化检测方法，其特征在于，
步骤1所述交通标志影像数据集为：Ik，k∈[1,K]；
其中，Ik表示交通标志影像数据集中第k张交通标志影像,Ik(i,j)表示交通标志影像数据集中第k张影像上第i行第j列的像素，i∈[1,M]，j∈[1,N]，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤1所述每张交通标志影像中交通标志的标记框为：
其中，为交通标志影像数据集中第k张交通标志影像的交通标志的标记框中心点的像素坐标，/>为交通标志影像数据集中第k张交通标志影像的第/>列，/>为交通标志影像数据集中第k张交通标志影像的第/>行，/>分别为交通标志影像数据集中第k张交通标志影像的交通标志的标记框的宽度，/>为交通标志影像数据集中第k张交通标志影像的交通标志的标记框的长度,/>为交通标志影像数据集中第k张交通标志影像的标记框的类别,/>时表示该标记框对应的目标为交通标志，/>为交通标志影像数据集中第k张交通标志影像的交通标志的置信度；
步骤1所述YOLOv4小目标检测网络包括：CSPDarkNet53骨架网络、SSP+PAN模块、YOLO-head模块；
所述CSPDarkNet53骨架网络进行特征提取；
所述SSP+PAN模块进行多尺度特征提取，得到三个不同尺度的特征图，特征图的大小分别为S1×S1、S2×S2、S3×S3；
所述YOLO-head模块分别从三个不同的尺度对交通标志的位置进行预测；
对于大小为Sl×Sl的特征图，每个网格产生D个预测框,最终会得到SL×SL×D个预测框；
第k张交通标志影像，经过网络得到的第i个格网的第j个预测框为：
步骤1所述损失函数的定义为：
Lclass为分类损失，用于完成待检测目标的分类，采用交叉熵损失函数BCE：
Lconf为置信度损失，用于提高目标检测结果的可靠性，Lconf使用交叉熵损失函数BCE：
Lbbox为边框回归损失，用于完成目标的定位，Lbbox使用CIOU损失：
其中，IoU(，)用于计算两个矩形框之间的交并比，ρ(，)用于计算两个点之间的欧式距离，为真实框/>和预测框/>最小包围框的对角线的长度，a(v)用来测量长宽比的一致性，其计算方法为：
对于项，当两个框中心点距离越远时越接近于1，距离越近时越接近于0，该惩罚项通过最小化两个检测框中心点的距离，加速损失的收敛过程；而a(v)则可以控制预测框的长宽比能够尽快与真实框的长宽比接近；LCIOU综合考虑预测框与真实框的重叠面积、中心点的距离、长宽比，使本文利用交通标志数据进行网络训练时，可以使网络参数更快地接近最优，即预测框可以更快地接近真值；对于一张存在交通标志的ROI影像，经过训练的网络可以准确的识别得到交通标志的预测框。
3.根据权利要求1所述的影像优先的交通标牌变化检测方法，其特征在于，
步骤2所述三维激光点云数据集的定义为：
其中，表示第k个三维激光点云数据Pk中的第lk个激光点，/>为第k个三维激光点云数据中的第lk个激光点的三维坐标，K表示激光点云数据的个数，Lk表示第k个三维激光点云数据的激光点个数；
步骤2所述交通标志影像数据集的定义为：Ik，k∈[1，K]；
其中，Ik表示交通标志影像数据集中第k张交通标志影像,Ik(i，j)表示交通标志影像数据集中第k张影像上第i行第j列的像素，i∈[1,M]，j∈[1,N]，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤2所述物方坐标系的定义为：坐标系D-XYZ；
步骤2所述像方坐标系的定义为：坐标系S-xyz；
所述D-XYZ坐标系为右手系，以激光扫描仪被出厂设置的中心点D为原点，以激光扫描仪的摆放的竖直方向为Z轴，以第一条扫描线方向为X轴；
所述S-xyz坐标系为左手系，以摄像头的摄影中心S为原点，x轴为交通标志影像行的方向，y轴为交通标志影像列的方向；
像方坐标(x，y，f)为过物方坐标和摄影中心(XS，YS，ZS)的直线与像平面的交点，其中，f为相机的焦距，像方坐标(x，y，f)与像素坐标(i，j)的关系为：
y＝M/2-i，x＝j-N/2
其中，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤2所述人工选择三维激光点与交通标志影像的特征点并构建特征点集合为：
Ac，c∈[1，C]
其中,C为选取的特征点的个数，Ac的物方坐标为(Xc，Yc，Zc)，像方坐标为(xc，yc，f)；特征点的选取原则为被测场景中的物体的角点，以及线段的端点或交点；如果被测场景中缺少点特征明显的地物，可以考虑在缺乏点特征的区域人为布设具有明显角点的物体；
步骤2所述构建共线条件方程为：
其中，(x0，y0，f)为像主点的像方坐标，(Xc，Yc，Zc)为特征点Ac的物方坐标，(xc，yc，f)为特征点Ac的像方坐标，Δx和Δy代表***误差的改正数，ai，j(i∈[1，3]，j∈[1，3])为旋转矩阵第i行第j列的元素；
所述旋转矩阵为：
旋转矩阵的元素是外方位元素中三个角元素的函数；
使用转角***，旋转矩阵中的参数和角元素的函数关系为：
步骤2所述计算物方坐标系和像方坐标系的旋转矩阵以及摄影中心在物方坐标系下的坐标为：
根据选取的特征点的像方坐标和物方坐标，根据所述共线条件方程建立误差方程组，利用最小二乘方法求出物方坐标系和像方坐标系的旋转矩阵R以及摄影中心在物方坐标系下的坐标(XS，YS，ZS)。
4.根据权利要求1所述的影像优先的交通标牌变化检测方法，其特征在于，
步骤3所述待检测的交通标志影像的交通标志预测框为：
Bk＝(Vk，Uk，Wk，Hk)，k∈[1，K]
其中，K为待检测交通标志的个数，(Vk，Uk)为第k张待检测交通标志影像的交通标志预测框中心点的像素坐标，Vk为第k张待检测交通标志影像的第Vk列，Uk为第k张待检测交通标志影像的第Uk列，Wk为第k张待检测交通标志影像的预测框的宽度，Hk为第k张待检测交通标志影像的预测框的长度；
步骤3所述根据共线条件方程对点云进行逆映射为：
对于第k张待检测交通标志影像，与其对应的第k个三维点云数据为：
其中，Lk为第k个三维点云数据Pk中包含的三维点的个数；对于每一个三维点根据步骤2所述的共线条件方程以及步骤2计算得到的摄影机相对于激光扫描仪的位置(XS，YS，ZS)和旋转矩阵R进行逆映射，其像方坐标/>可由下式计算得到：
其中，(x0，y0，f)为像主点的像方坐标，ai，j(i∈[1，3]，j∈[1，3])为旋转矩阵R第i行第j列的元素，(XS，YS，ZS)为摄影中心在激光坐标系下的坐标；
进一步计算得到第k张待检测交通标志影像对应的三维点云数据中每个三维点的像素坐标/>为：
其中，M表示交通标志影像的行数，N表示交通标志影像的列数；
步骤3所述获得待检测的交通标志影像的交通标志预测框所对应的四棱锥形点云为：
把经过所述逆映射投影到影像上之后落入预测框(Vk，Uk，Wk，Hk)的激光点提取出来，即所述像素坐标需要满足下面的条件：
满足上述条件的三维点构成了第k张待检测交通标志预测框所对应的四棱锥形点云：
其中，表示第k张交通标志影像所对应的第k个四棱锥形点云Rk中的第lk个三维点，为第k个四棱锥形点云中第lk个三维点的坐标，/>为第k个四棱锥形点云中包含的三维点的个数；
步骤3所述基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云为：
根据步骤2计算得到的相机的摄影中心在激光坐标系中的三维坐标(XS，YS，ZS)，对于第k张交通标志影像所对应的第k个四棱锥形点云中的任意三维点用该点与摄影中心之间的欧式距离表示激光点到相机的距离；
步骤3.1：设置最接近相机的激光点作为第一个聚类簇的种子点，设其到相机的距离为dmin，设置一定的距离阈值dc，将距离小于dmin+dc的激光点添加进该聚类簇中；
步骤3.2：将该聚类簇中距离最远的激光点作为种子点，设该距离为dmax，将距离落在(dmax，dmax+dc)区间内的激光点添加进该聚类簇；
重复步骤步骤3.2，直到该聚类簇的点数不再增加，则完成了一个聚类簇的提取；
步骤3.3：将剩余激光点中距离最近的激光点作为新的聚类簇的种子点，重复前两步的操作，直到所有的激光点都被分到不同的聚类簇中；
步骤3.4：交通标志聚类簇为反射强度最高的聚类簇，定义第k张交通标志影像对应的交通标志聚类簇为
其中，表示第k张交通标志影像所对应的第k个交通标志聚类簇Ck中的第nk个三维点，/>为第k个交通标志聚类簇包含的三维点的个数；
步骤3所述利用增长算法获得支撑杆点云为：
以交通标志聚类簇最低点作为种子点，获得以该种子点为球心指定半径的球体范围内的点云，该范围内的点云即为一小段支撑杆点云；之后以该段点云中的最低点作为新的种子点，继续进行增长，直到不再有新的激光点添加进来，则生长停止；此时，被生长进来的所有激光点被认为是支撑杆点云；定义第k个交通标志聚类簇的支撑杆点云为
其中，表示第k张交通标志影像所对应的第k个支撑杆点云/>中的第/>个三维点，为第k个支撑杆点云包含的三维点的个数；
步骤3所述通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌为：
对于第k张交通标志影像，与其对应的包含交通标志和支撑杆的完整交通标牌为：
5.根据权利要求1所述的影像优先的交通标牌变化检测方法，其特征在于，
步骤4所述利用交通标志聚类簇的局部法向量判断交通标志是否发生形变为：
基于交通标志聚类簇首先利用RANSAC平面拟合算法获得交通标志的整体单位法向量/>之后对于交通标志聚类簇/>中任意一点/>在聚类簇/>中搜索离/>点最近的6个点
计算点的局部单位法向量/>
其中设/>根据PCA，法线方向应为/>最小的特征值对应的特征向量；当局部单位法向量/>与整体单位法向量/>的夹角大于10°时，认为该点附近发生了形变；当附近发生形变的点的占该交通标志聚类簇中包含三维点总数/>的比值大于一定比例时，认为该交通标志发生了形变；
步骤4所述利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖为：
基于激光点的强度属性对提取得到的交通标志聚类簇进行聚类分析，得到高反射强度和低反射强度的两个聚类簇，以高反射强度激光点数的占比近似代替高反射强度区域的面积比，如果该比值小于一定比例，认为交通标志表面被其他物体覆盖了；
步骤4所述根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡为：
在利用步骤3所述基于距离准则对四棱锥形点云进行欧式聚类后，如果被判断为交通标志的聚类簇不是距离摄影中心最近的一个聚类簇，则说明该交通标志被遮挡；
步骤4所述利用交通标志支撑杆的方向向量判断交通标牌是否发生倾斜为：
首先构建支撑杆点云的协方差矩阵，并对其进行特征值分解，可以获得支撑杆的单位方向向量θk；则倾斜角αk可以利用下式计算得到：
其中为θk在z方向上的分量；如果αk大于经验阈值，认为交通标牌发生了倾斜；
步骤4所述通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转为：
从点云数据中获得道路的通行方向的单位方向向量δk，计算δk与所述交通标志的整体单位法向量在水平方向上的分量的夹角βk：
其中,与/>代表δk在x和y方向上的分量,/>与/>代表/>在x和y方向上的分量；如果βk大于经验阈值10°，认为该交通标牌发生了旋转。
CN202110310245.4A 2021-03-23 2021-03-23 一种影像优先的交通标牌变化检测方法 Active CN112990034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310245.4A CN112990034B (zh) 2021-03-23 2021-03-23 一种影像优先的交通标牌变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310245.4A CN112990034B (zh) 2021-03-23 2021-03-23 一种影像优先的交通标牌变化检测方法

Publications (2)

Publication Number Publication Date
CN112990034A CN112990034A (zh) 2021-06-18
CN112990034B true CN112990034B (zh) 2023-09-26

Family

ID=76333193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310245.4A Active CN112990034B (zh) 2021-03-23 2021-03-23 一种影像优先的交通标牌变化检测方法

Country Status (1)

Country Link
CN (1) CN112990034B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170418B (zh) * 2021-11-30 2024-05-24 吉林大学 一种以图搜图的汽车线束连接器多特征融合图像检索方法
CN114580568A (zh) * 2022-03-24 2022-06-03 华南理工大学 一种基于深度学习的鱼种类识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3023641C (en) * 2016-01-15 2020-12-22 Wuhan Wuda Zoyon Science And Technology Co., Ltd Object surface deformation feature extraction method based on line scanning three-dimensional point cloud
CN107818288B (zh) * 2016-09-13 2019-04-09 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车载全景影像与激光点云数据配准方法研究;闫利;曹亮;陈长军;黄亮;测绘通报(第3期);全文 *

Also Published As

Publication number Publication date
CN112990034A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及***
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN110298298B (zh) 目标检测及目标检测网络的训练方法、装置及设备
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN112990034B (zh) 一种影像优先的交通标牌变化检测方法
CN111191566A (zh) 基于像素分类的光学遥感图像多目标检测方法
CN111340875B (zh) 一种基于三维激光雷达的空间移动目标检测方法
CN112766184B (zh) 基于多层级特征选择卷积神经网络的遥感目标检测方法
CN109242870A (zh) 一种基于图像划分和纹理特征的海天线检测方法
CN111105495A (zh) 一种融合视觉语义信息的激光雷达建图方法及***
Liang et al. Horizon detection from electro-optical sensors under maritime environment
CN107368790B (zh) 行人检测方法、***、计算机可读存储介质及电子设备
CN108428220A (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN114612406A (zh) 一种基于可见光和红外视觉的光伏板缺陷检测方法
CN115685160A (zh) 基于标靶的激光雷达与相机标定方法、***、电子设备
CN107765257A (zh) 一种基于反射强度辅助外部校准的激光探测与测量方法
WO2022219402A1 (en) Semantically accurate super-resolution generative adversarial networks
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN116994029A (zh) 一种用于多源数据的融合分类方法及***
Fanfani et al. Addressing Domain Shift in Pedestrian Detection from Thermal Cameras without Fine-Tuning or Transfer Learning
CN112556655B (zh) 一种林业防火单目定位方法及***
CN113095324A (zh) 一种针对锥桶的分类与测距方法及***
CN110322454B (zh) 一种基于光谱差异最大化的高分辨遥感图像多尺度分割优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant