WO2020000253A1 - 一种雨雪天气中的道路交通标志识别方法 - Google Patents

一种雨雪天气中的道路交通标志识别方法 Download PDF

Info

Publication number
WO2020000253A1
WO2020000253A1 PCT/CN2018/093095 CN2018093095W WO2020000253A1 WO 2020000253 A1 WO2020000253 A1 WO 2020000253A1 CN 2018093095 W CN2018093095 W CN 2018093095W WO 2020000253 A1 WO2020000253 A1 WO 2020000253A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
neural network
convolutional neural
rain
training
Prior art date
Application number
PCT/CN2018/093095
Other languages
English (en)
French (fr)
Inventor
王文成
吴小进
张雪原
Original Assignee
潍坊学院
潍坊紫光物联科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 潍坊学院, 潍坊紫光物联科技有限公司 filed Critical 潍坊学院
Priority to PCT/CN2018/093095 priority Critical patent/WO2020000253A1/zh
Priority to CN201880005497.2A priority patent/CN110226170A/zh
Publication of WO2020000253A1 publication Critical patent/WO2020000253A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the invention relates to the technical field of intelligent traffic, and in particular to a method for identifying road traffic signs in rainy and snowy weather.
  • the object of the present invention is to overcome the shortcomings of the prior art and provide a method for identifying road traffic signs in rainy and snowy weather.
  • a method for identifying road traffic signs in rainy or snowy weather including:
  • the processing the acquired image includes:
  • the step of decomposing the acquired image into a rough image and a detailed image includes:
  • the collected image is subjected to low-pass filtering, and the processed image is a rough image
  • the removal of rain and snow marks in the detail picture includes:
  • the detailed map is divided into a texture map and a rain mark map through a sparse dictionary learning algorithm.
  • the removal of rain and snow marks in the detail picture further includes:
  • the texture map and the rain mark map are judged twice by the rain mark aspect ratio to more accurately decompose the texture map from the detail map.
  • the performing signboard detection on the sharpened image includes:
  • the sharpened image is input into the multi-layer feature saliency model to obtain a sign detection result.
  • the establishing a multi-layer feature saliency model includes:
  • Extract the unique information of the signboard input this information into the training model, and use the boosting algorithm for training.
  • the information unique to the sign includes:
  • Shape information color information, gradient information, and position information.
  • the performing identification plate type identification on the detected identification plate image includes:
  • the cascaded convolutional neural network includes: a first-level convolutional neural network and a second-level convolutional neural network;
  • the first-level convolutional neural network performs coarse classification on the input identification plate image, and inputs the result of the rough classification to the second-level convolutional neural network for fine classification to identify the type of the identification plate.
  • the cascaded convolutional neural network performs type recognition on the identification plate, and the specific process includes:
  • the cascaded convolutional neural network obtained by training is used to identify the type of sign.
  • the training sample data includes:
  • Gaussian noise is added to the actual traffic sign image, and the image is rotated and scaled.
  • training a stable first-level convolutional neural network according to training sample data includes:
  • the training sample data is forward propagated and back conducted.
  • the gradient descent method is used to complete the update of the convolution kernel and offset, and iteratively repeats the processing until the recognition convergence conditions are met or the required number of training times is reached, and the feature vector is trained;
  • the SVM classifier is trained with this feature vector to obtain a first-level convolutional neural network.
  • the training a stable second-level convolutional neural network according to the training sample data includes:
  • the training sample data is forward propagated and back conducted, and the gradient descent method is used to complete the update of the convolution kernel and offset, and iteratively alternately processes until the recognition convergence conditions are met or the required number of training times is reached, and the feature vector is trained;
  • This feature vector is used to train an SVM classifier to obtain a second-level convolutional neural network.
  • the method further includes:
  • Kalman filter and Camshift algorithm are used to track the detected identification plate.
  • the present invention adopts the above technical solution, and the road traffic sign recognition method in rainy or snowy weather includes: processing the collected images to obtain a clear image after rain or snow removal; and performing signboard detection on the clear image; Identification of the type of the detected identification plate image.
  • the technical solution provided by the present invention can quickly and accurately identify road traffic signs in rainy and snowy weather, which is helpful to solve the problem that the driver cannot accurately and timely capture the sign information on the road due to the obstruction of sight in severe weather. Conducive to ensuring road traffic safety and improving transportation efficiency.
  • FIG. 1 is a schematic flowchart of a first embodiment of a road traffic sign recognition method according to the present invention
  • FIG. 2 is a schematic flowchart of performing rain and snow removal processing on a captured image in Embodiment 1 of the present invention
  • FIG. 3 is a schematic diagram of detecting a sign by using a multi-layer saliency model on a collected image in Embodiment 1 of the present invention
  • FIG. 4 is a diagram showing a result of performing sign detection on the collected image according to the present invention.
  • FIG. 5 is a schematic structural diagram of a BaseNet model provided in an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of a cascaded convolutional neural network for identifying a type of an identification plate provided in an embodiment of the present invention.
  • a road traffic sign recognition method in rainy or snowy weather including:
  • the color of China's signboards is relatively fixed, mainly in three colors of red, yellow, and blue, and these colors have some degradation in rain and snow.
  • B (x) is a rough image
  • R (x) is a detail image
  • the detail map is formed by the joint action of the texture layer and the rain mark layer, which is expressed as:
  • T (x) is a texture map
  • K (x) is a rain mark map
  • the collected image is subjected to low-pass filtering.
  • a weighted least squares filter is used to perform edge smoothing on the input image.
  • the processed image is a rough image B (x);
  • the acquired image is subtracted from the rough image to obtain the detail image R (x).
  • the detailed map is divided into a texture map and a rain mark map through a sparse dictionary learning algorithm.
  • the specific process can be:
  • HOG Histogram of Oriented Gradient
  • LBP Local Binary Patterns
  • the performing signboard detection on the sharpened image includes:
  • the sharpened image is input into the multi-layer feature saliency model to obtain a sign detection result.
  • said establishing a multi-layer feature saliency model includes:
  • Extract the unique information of the signboard input this information into the training model, and use the boosting algorithm for training.
  • the multi-layer feature saliency model may be a visual attention model based on the Itti algorithm, where h is a detection rate, f is a false alarm rate, and N is a series.
  • the information unique to the signboard includes:
  • Shape information that is, shape information such as triangle, square, and circle
  • Color information that is, the fixed red, blue, white, and yellow color information of traffic signs
  • Gradient information is the gradient information in eight different directions in the gray space
  • the position information is the position information that often appears in the field of view of the sign.
  • FIG. 4 is a diagram of a result of performing sign detection on the acquired image by using the above method.
  • the four (b), (c), (d), and (e) diagrams in Figure 4 show the extraction results of four different features.
  • the performing identification plate type identification on the detected identification plate image includes:
  • the cascaded convolutional neural network includes: a first-level convolutional neural network and a second-level convolutional neural network;
  • the first-level convolutional neural network performs coarse classification on the input identification plate image, and inputs the result of the rough classification to the second-level convolutional neural network for fine classification to identify the type of the identification plate.
  • This embodiment uses cascaded convolutional neural network to perform type recognition on the identification plate, which can improve the efficiency and accuracy of classification.
  • the cascaded convolutional neural network performs type recognition on the identification plate, and the specific process includes:
  • the cascaded convolutional neural network obtained by training is used to identify the type of sign.
  • this implementation improves the network's operating speed by simplifying the structure of the convolutional layer; at the same time, in order to overcome the simplification of the convolutional layer,
  • SVM Small Vector Machine
  • training sample data includes:
  • Gaussian noise is added to the actual traffic sign image, and the image is rotated and scaled.
  • the training of a stable first-level convolutional neural network based on training sample data includes:
  • the training sample data is forward propagated and back conducted.
  • the gradient descent method is used to complete the update of the convolution kernel and offset, and iteratively repeats the processing until the recognition convergence conditions are met or the required number of training times is reached, and the feature vector is trained;
  • This feature vector is used to train the SVM classifier to obtain a first-level BaseNet model.
  • the training of a stable second-level convolutional neural network according to the training sample data includes:
  • the training sample data is forward propagated and back conducted, and the gradient descent method is used to complete the update of the convolution kernel and offset, and iteratively alternately processes until the recognition convergence conditions are met or the required number of training times is reached, and the feature vector is trained;
  • This feature vector is used to train an SVM classifier to obtain 6 secondary BaseNet models.
  • the first-level convolutional neural network is a rough classification, which divides traffic signs into 6 categories, such as: speed limit signs, prohibition signs, warning signs, circular signs, square signs, and direction signs
  • the second-level convolutional neural network reclassifies the previous coarse classification results.
  • the output categories corresponding to the six second-level fine classification models are n 1 , n 2 , n 3 , n 4 , n 5, and n 6 , respectively. Realize the final classification and recognition of n-type traffic sign images.
  • the method includes:
  • Kalman filtering and Camshift Continuous Adaptive Mean-Shift, continuous Adaptive MeanShift algorithm
  • the Kalman filter can effectively predict the tracking position
  • the Camshift algorithm can effectively track the unique color features of the signboard, and the tracking speed also meets the requirements of real-time performance.
  • the present invention adopts the above technical solution, and the road traffic sign recognition method in rainy or snowy weather includes: processing the collected images to obtain a clear image after rain or snow removal; and performing signboard detection on the clear image; Identification of the type of the detected identification plate image.
  • the technical solution provided by the present invention can quickly and accurately identify road traffic signs in rainy and snowy weather, which is helpful to solve the problem that the driver cannot accurately and timely capture the sign information on the road in severe weather due to obstruction of sight. Conducive to ensuring road traffic safety and improving transportation efficiency.
  • Any process or method description in a flowchart or otherwise described herein can be understood as representing a module, fragment, or portion of code that includes one or more executable instructions for implementing a particular logical function or step of a process
  • the scope of the preferred embodiments of the present invention includes additional implementations in which the functions may be performed out of the order shown or discussed, including performing the functions in a substantially simultaneous manner or in the reverse order according to the functions involved, which It is understood by those skilled in the art to which the embodiments of the present invention pertain.
  • each part of the present invention may be implemented by hardware, software, firmware, or a combination thereof.
  • multiple steps or methods may be implemented by software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it may be implemented using any one or a combination of the following techniques known in the art: Discrete logic circuits, application specific integrated circuits with suitable combinational logic gate circuits, programmable gate arrays (PGA), field programmable gate arrays (FPGA), etc.
  • a person of ordinary skill in the art can understand that all or part of the steps carried by the methods in the foregoing embodiments may be implemented by a program instructing related hardware.
  • the program may be stored in a computer-readable storage medium.
  • the program is When executed, one or a combination of the steps of the method embodiment is included.
  • each functional unit in each embodiment of the present invention may be integrated into one processing module, or each unit may exist separately physically, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or software functional modules. If the integrated module is implemented in the form of a software functional module and sold or used as an independent product, it may also be stored in a computer-readable storage medium.
  • the aforementioned storage medium may be a read-only memory, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种雨雪天气中的道路交通标志识别方法，包括：对采集的图像进行处理，得到去雨雪后的清晰化图像（S11）；对所述清晰化图像进行标志牌检测（S12）；对检测到的标识牌图像进行标识牌类型识别（S13）。采用级联式卷积神经网络对标识牌进行类型识别，提升了分类的效率和准确度，能够对雨雪天气中的道路交通标志进行快速精确识别，有利于解决恶劣天气下，驾驶员由于视线受到阻碍而无法及时准确地捕获道路中的标志信息的问题，有利于保证道路交通安全和提高运输效率。

Description

一种雨雪天气中的道路交通标志识别方法 技术领域
本发明涉及智能交通技术领域，具体涉及一种雨雪天气中的道路交通标志识别方法。
背景技术
随着科技的快速发展和人们生活水平的整体提高，近年来我国汽车保有量显著增加。汽车在给人们带来出行便捷的同时，也给城市交通带来了明显压力，致使道路交通安全问题以及运输效率问题变得日益突出。道路交通标志识别(Traffic Sign Recognition，简称TSR)作为智能交通***的分支领域，通过对场景中的道路交通标志进行检测和分类识别，获得道路交通指示的关键信息，已成为智能交通研究的热点。
现有技术中对于交通标志识别问题的研究主要针对良好天气条件，而对不良天气如雾霾、雨、雪情况下的识别研究较少，这就造成了目前已有TSR***在实际应用中的局限性。在雾、雨、雪等恶劣天气下，由于驾驶员的视线受到阻碍，安全视野会变得很窄，能见距离变短，无法及时准确地捕获道路中的标志信息，为道路交通安全埋下隐患。在车辆行驶中，尤其是在不良天气条件下，驾驶员往往更加需要可靠的交通标志识别方法来辅助其驾驶。此外，在不良天气中可靠地获取道路交通标志信息也是无人驾驶领域需要解决的技术问题之一。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种雨雪天气中的道路交通标志识别方法。
为实现以上目的，本发明采用如下技术方案：一种雨雪天气中的道路交通标志识别方法，包括：
对采集的图像进行处理，得到去雨雪后的清晰化图像；
对所述清晰化图像进行标志牌检测；
对检测到的标识牌图像进行标识牌类型识别。
可选的，所述对采集的图像进行处理，包括：
将采集的图像分解为粗糙图和细节图；
去除细节图中的雨痕，以得到清晰化图像。
可选的，所述将采集的图像分解为粗糙图和细节图，包括：
将采集的图像进行低通滤波处理，处理后得到的图像为粗糙图；
将采集的图像与粗糙图进行相减，得到细节图。
可选的，所述去除细节图中的雨雪痕包括：
利用雨痕与交通标志纹理之间的形态学差异，通过稀疏字典学习算法将所述细节图分为纹理图和雨痕图。
可选的，所述去除细节图中的雨雪痕还包括：
根据雨痕形状特征的先验信息，通过雨痕长宽比对所述纹理图和雨痕图进行二次判别，以更精确的将纹理图从细节图中分解出来。
可选的，所述对所述清晰化图像进行标志牌检测，包括：
建立多层特征显著性模型；
将所述清晰化图像输入所述多层特征显著性模型，以得到标志牌检测结果。
可选的，所述建立多层特征显著性模型，包括：
提取标志牌特有的信息，将该信息输入训练模型，并采用boosting算法进行训练。
可选的，所述标志牌特有的信息包括：
形状信息、颜色信息、梯度信息和位置信息。
可选的，所述对检测到的标识牌图像进行标识牌类型识别，包括：
采用级联式卷积神经网络对标识牌进行类型识别；
其中，所述级联式卷积神经网络包括：第一级卷积神经网络和第二级卷积神经网络；
所述第一级卷积神经网络对输入的标识牌图像进行粗分类，并将粗分类的结果输入到第二级卷积神经网络进行细分类，以识别出标识牌的类型。
可选的，所述级联式卷积神经网络对标识牌进行类型识别，具体过程包括：
建立训练样本数据；
根据训练样本数据训练出稳定的第一级卷积神经网络和第二级卷积神经网络；
将第一级卷积神经网络和第二级卷积神经网络进行级联形成级联式卷积神经网络；
采用训练得到的级联式卷积神经网络进行标志牌类型识别。
可选的，所述训练样本数据包括：
实际采集到的交通标志图像，以及
对实际采集到的交通标志图像加入高斯噪声、并经过旋转和缩放处理后的图像。
可选的，所述根据训练样本数据训练出稳定的第一级卷积神经网络，包括：
将训练样本数据进行前向传播和反向传导，通过梯度下降法完成卷积核和偏置的更新，反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止，训练得到特征向量；
将该特征向量训练SVM分类器，得到第一级卷积神经网络。
可选的，所述根据训练样本数据训练出稳定的第二级卷积神经网络，包括：
在训练样本数据中挑选出限速标志、禁令标志、警告标志、圆形指示标志、方形指示标志、指路标志作为第二级卷积神经网络的训练样本数据；
将该训练样本数据进行前向传播和反向传导，通过梯度下降法完成卷积核和偏置的更新，反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止，训练得到特征向量；
将该特征向量训练SVM分类器，得到第二级卷积神经网络。
可选的，该方法还包括：
采用卡尔曼滤波和Camshift算法对检测到的标识牌进行跟踪。
本发明采用以上技术方案，所述雨雪天气中的道路交通标志识别方法，包括：对采集的图像进行处理，得到去雨雪后的清晰化图像；对所述清晰化图像进行标志牌检测；对检测到的标识牌图像进行标识牌类型识别。本发明所提出的技术方案能够对雨雪天气中的道路交通标志进行快速精确识别，有利于解决恶劣天气下，驾驶员由于视线受到阻碍而无法及时准确地捕获道路中的标志信息的问题，有利于保证道路交通安全和提高运输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明道路交通标志识别方法实施例一的流程示意图；
图2是本发明实施例一中对采集的图像进行去雨雪处理的流程示意图；
图3是本发明实施例一中通过多层特征显著性模型对采集的图像进行标志牌检测的示意图；
图4是本发明对采集的图像进行标志牌检测的结果图；
图5是本发明实施例中提供的BaseNet模型的结构示意图；
图6是本发明实施例中提供的级联式卷积神经网络对标识牌进行类型识别的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
如图1所示，作为本发明实施例一，提供了一种雨雪天气中的道路交通标志识别方法，包括：
S11：对采集的图像进行处理，得到去雨雪后的清晰化图像；
S12：对所述清晰化图像进行标志牌检测；
S13：对检测到的标识牌图像进行标识牌类型识别。
我国的标志牌颜色比较固定，主要有红、黄、蓝三种颜色，并且这些颜色在雨雪天气中有一定的退化。通过分析雨雪点、雨雪线在交通标志图像中的不同存在形式，我们将图像分解为粗糙图和细节图的线性叠加，用公示表示为：
J(x)＝B(x)+R(x)            (1)
其中，B(x)为粗糙图，R(x)为细节图。对于雨雪场景中的图像，细节图由纹理层和雨痕层共同作用形成，用公示表示为：
Figure PCTCN2018093095-appb-000001
其中，T(x)为纹理图，K(x)为雨痕图。因此，采用将粗糙图与去雨痕后的细节图相加来重构图像，最终得到复原清晰图像为：
I(x)＝B(x)+T(x)          (3)
基于上述模型和思路，为了得到去雨雪的交通标志牌图像，就需要对单幅 雨雪图像J(x)进行处理以获得B(x)、R(x)、T(x)和K(x)。
如图2所示，将采集的图像进行低通滤波处理，如采用加权最小二乘法滤波器对输入图像进行边缘平滑处理，处理后得到的图像为粗糙图B(x)；
将采集的图像与粗糙图进行相减，得到细节图R(x)。
进一步的，所述去除细节图中的雨雪痕包括：
利用雨痕与交通标志纹理之间的形态学差异，通过稀疏字典学习算法将所述细节图分为纹理图和雨痕图。
具体的处理过程可以是：
通过方向梯度直方图特征(HOG，Histogram of Oriented Gradient)和局部二值模式(LBP，Local Binary Patterns)来描述雨线与纹理之间的形态学差异，并借鉴基于子块的图像先验信息建模思想，利用这种差异性将细节子图字典分为纹理字典和雨痕字典，最后利用正交匹配追踪(OMP，Orthogonal Matching Pursuit)算法获得相应的稀疏系数。
在字典分类的过程中，我们将采用基于稀疏约束的正则化策略，将图像中雨本身的先验信息引入到字典分类的过程中，对误分类的原子通过雨线长宽比对子字典进行二次判别，最终将T(x)和K(x)从R(x)中分解开来，从而达到图像去雨痕效果。
进一步的，所述对所述清晰化图像进行标志牌检测，包括：
建立多层特征显著性模型；
将所述清晰化图像输入所述多层特征显著性模型，以得到标志牌检测结果。
进一步的，所述建立多层特征显著性模型，包括：
提取标志牌特有的信息，将该信息输入训练模型，并采用boosting算法进行训练。
如果提取的特征集数目较多则会影响实际检测***的实时性，需要采用有效的机制从得到的特征集中提取最有效的特征。本实施例中采用boosting算法 实现最优特征的选择，以得到最有效特征。如图3所示，所述多层特征显著性模型可以是基于Itti算法的视觉注意模型，其中，h为检测率，f为误警率，N为级数。
可以理解的是，所述标志牌特有的信息包括：
形状信息，即三角形、方形和圆形等形状信息；
颜色信息，即交通标志牌固定的红色、蓝色、白色和黄色等颜色信息；
梯度信息，是灰度空间内的八个不同方向的梯度信息；
位置信息，是标志牌在视野中经常出现的位置信息。
图4为采用以上方法对采集的图像进行标志牌检测的结果图。在图4中的(b)，(c)，(d)，(e)四个图中展示了四种不同特征的提取结果。
进一步的，所述对检测到的标识牌图像进行标识牌类型识别，包括：
采用级联式卷积神经网络对标识牌进行类型识别；
其中，所述级联式卷积神经网络包括：第一级卷积神经网络和第二级卷积神经网络；
所述第一级卷积神经网络对输入的标识牌图像进行粗分类，并将粗分类的结果输入到第二级卷积神经网络进行细分类，以识别出标识牌的类型。
本实施例通过采用级联式卷积神经网络对标识牌进行类型识别，能够提升分类的效率和准确度。
具体的，所述级联式卷积神经网络对标识牌进行类型识别，具体过程包括：
建立训练样本数据；
根据训练样本数据训练出稳定的第一级卷积神经网络和第二级卷积神经网络；
将第一级卷积神经网络和第二级卷积神经网络进行级联形成级联式卷积神经网络；
采用训练得到的级联式卷积神经网络进行标志牌类型识别。
虑到在卷积神经网络运行过程中卷积层的处理占用整个运行时间比重较大，本实施通过简化卷积层的结构来提升网络的运行速度；同时，为了克服因卷积层的简化导致网络提取特征图减少的问题，采用最大值采样和平均值采样相组合的策略来增加输出的特征数量；并采用SVM(Support Vector Machine，支持向量机)建构最优分类超平面作为达到全局最优的分类器。其网络结构如图5所示，命名为BaseNet模型。
进一步的，所述训练样本数据包括：
实际采集到的交通标志图像，以及
对实际采集到的交通标志图像加入高斯噪声、并经过旋转和缩放处理后的图像。
所述根据训练样本数据训练出稳定的第一级卷积神经网络，包括：
将训练样本数据进行前向传播和反向传导，通过梯度下降法完成卷积核和偏置的更新，反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止，训练得到特征向量；
将该特征向量训练SVM分类器，得到一级BaseNet模型。
进一步的，所述根据训练样本数据训练出稳定的第二级卷积神经网络，包括：
在训练样本数据中挑选出限速标志、禁令标志、警告标志、圆形指示标志、方形指示标志、指路标志作为第二级卷积神经网络的训练样本数据；
将该训练样本数据进行前向传播和反向传导，通过梯度下降法完成卷积核和偏置的更新，反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止，训练得到特征向量；
将该特征向量训练SVM分类器，得到6个二级BaseNet模型。
如图6所示，第一级卷积神经网络为粗分类，将交通标志分为6类，如：限速标志、禁令标志、警告标志、圆形指示标志、方形指示标志、指路标志； 第二级卷积神经网络对前一级粗分类结果进行再分类，6个二级细分类模型对应的输出类别分别为n 1、n 2、n 3、n 4、n 5和n 6，进而实现n类交通标志图像最终的分类识别。
此外，该方法还包括：
采用卡尔曼滤波和Camshift(Continuously Adaptive Mean-Shift，连续的自适应MeanShift算法)算法对检测到的标识牌进行跟踪。由于行车的轨迹一般比较确定，运用卡尔曼滤波能够有效地预测跟踪位置，而Camshift算法能够有效地跟踪标志牌特有的彩色特征，并且跟踪速度也满足实时性的要求。
本发明采用以上技术方案，所述雨雪天气中的道路交通标志识别方法，包括：对采集的图像进行处理，得到去雨雪后的清晰化图像；对所述清晰化图像进行标志牌检测；对检测到的标识牌图像进行标识牌类型识别。本发明所提出的技术方案能够对雨雪天气中的道路交通标志进行快速精确识别，有利于解决恶劣天气下，驾驶员由于视线受到阻碍而无法及时准确地捕获道路中的标志信息的问题，有利于保证道路交通安全和提高运输效率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

  1. 一种雨雪天气中的道路交通标志识别方法，其特征在于，包括：
    对采集的图像进行处理，得到去雨雪后的清晰化图像；
    对所述清晰化图像进行标志牌检测；
    对检测到的标识牌图像进行标识牌类型识别。
  2. 根据权利要求1所述的方法，其特征在于，所述对采集的图像进行处理，包括：
    将采集的图像分解为粗糙图和细节图；
    去除细节图中的雨痕，以得到清晰化图像。
  3. 根据权利要求2所述的方法，其特征在于，所述将采集的图像分解为粗糙图和细节图，包括：
    将采集的图像进行低通滤波处理，处理后得到的图像为粗糙图；
    将采集的图像与粗糙图进行相减，得到细节图。
  4. 根据权利要求2所述的方法，其特征在于，所述去除细节图中的雨雪痕包括：
    利用雨痕与交通标志纹理之间的形态学差异，通过稀疏字典学习算法将所述细节图分为纹理图和雨痕图。
  5. 根据权利要求4所述的方法，其特征在于，所述去除细节图中的雨雪痕还包括：
    根据雨痕形状特征的先验信息，通过雨痕长宽比对所述纹理图和雨痕子图进行二次判别，以更精确的将纹理图从细节图中分解出来。
  6. 根据权利要求1所述的方法，其特征在于，所述对所述清晰化图像进行标志牌检测，包括：
    建立多层特征显著性模型；
    将所述清晰化图像输入所述多层特征显著性模型，以得到标志牌检测结果。
  7. 根据权利要求6所述的方法，其特征在于，所述建立多层特征显著性模型，包括：
    提取标志牌特有的信息，将该信息输入训练模型，并采用boosting算法进行训练。
  8. 根据权利要求7所述的方法，其特征在于，所述标志牌特有的信息包括：
    形状信息、颜色信息、梯度信息和位置信息。
  9. 根据权利要求1所述的方法，其特征在于，所述对检测到的标识牌图像进行标识牌类型识别，包括：
    采用级联式卷积神经网络对标识牌进行类型识别；
    其中，所述级联式卷积神经网络包括：第一级卷积神经网络和第二级卷积神经网络；
    所述第一级卷积神经网络对输入的标识牌图像进行粗分类，并将粗分类的结果输入到第二级卷积神经网络进行细分类，以识别出标识牌的类型。
  10. 根据权利要求9所述的方法，其特征在于，所述级联式卷积神经网络对标识牌进行类型识别，具体过程包括：
    建立训练样本数据；
    根据训练样本数据训练出稳定的第一级卷积神经网络和第二级卷积神经网络；
    将第一级卷积神经网络和第二级卷积神经网络进行级联形成级联式卷积神经网络；
    采用训练得到的级联式卷积神经网络进行标志牌类型识别。
  11. 根据权利要求10所述的方法，其特征在于，所述训练样本数据包括：
    实际采集到的交通标志图像，以及
    对实际采集到的交通标志图像加入高斯噪声、并经过旋转和缩放处理后的图像。
  12. 根据权利要求10所述的方法，其特征在于，所述根据训练样本数据训练出稳定的第一级卷积神经网络，包括：
    将训练样本数据进行前向传播和反向传导，通过梯度下降法完成卷积核和偏置的更新，反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止，训练得到特征向量；
    将该特征向量训练SVM分类器，得到第一级卷积神经网络。
  13. 根据权利要求10所述的方法，其特征在于，所述根据训练样本数据训练出稳定的第二级卷积神经网络，包括：
    在训练样本数据中挑选出限速标志、禁令标志、警告标志、圆形指示标志、方形指示标志、指路标志作为第二级卷积神经网络的训练样本数据；
    将该训练样本数据进行前向传播和反向传导，通过梯度下降法完成卷积核和偏置的更新，反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止，训练得到特征向量；
    将该特征向量训练SVM分类器，得到第二级卷积神经网络。
  14. 根据权利要求1至13任一项所述的方法，其特征在于，还包括：
    采用卡尔曼滤波和Camshift算法对检测到的标识牌进行跟踪。
PCT/CN2018/093095 2018-06-27 2018-06-27 一种雨雪天气中的道路交通标志识别方法 WO2020000253A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/093095 WO2020000253A1 (zh) 2018-06-27 2018-06-27 一种雨雪天气中的道路交通标志识别方法
CN201880005497.2A CN110226170A (zh) 2018-06-27 2018-06-27 一种雨雪天气中的道路交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/093095 WO2020000253A1 (zh) 2018-06-27 2018-06-27 一种雨雪天气中的道路交通标志识别方法

Publications (1)

Publication Number Publication Date
WO2020000253A1 true WO2020000253A1 (zh) 2020-01-02

Family

ID=67822634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/093095 WO2020000253A1 (zh) 2018-06-27 2018-06-27 一种雨雪天气中的道路交通标志识别方法

Country Status (2)

Country Link
CN (1) CN110226170A (zh)
WO (1) WO2020000253A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260691A (zh) * 2020-01-18 2020-06-09 温州大学 一种基于上下文感知回归时空正则相关滤波跟踪方法
CN113033687A (zh) * 2021-04-02 2021-06-25 西北工业大学 一种雨雪气候条件下的目标检测识别方法
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
CN113255555A (zh) * 2021-06-04 2021-08-13 清华大学 中国交通标志牌识别方法、***、处理设备及存储介质
CN114495061A (zh) * 2022-01-25 2022-05-13 青岛海信网络科技股份有限公司 一种道路交通标志牌识别方法及装置
CN114818909A (zh) * 2022-04-22 2022-07-29 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
CN115620265A (zh) * 2022-12-19 2023-01-17 华南理工大学 基于深度学习的机车标志牌信息智能识别方法及***
CN115830451A (zh) * 2022-12-02 2023-03-21 上海理工大学 一种基于卷积神经网络的智慧城市建设水平识别方法
CN117523535A (zh) * 2024-01-08 2024-02-06 浙江零跑科技股份有限公司 一种交通指示牌的识别方法、终端设备以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143553B (zh) * 2019-12-06 2023-04-07 国家计算机网络与信息安全管理中心 一种实时文本数据流的特定信息识别方法及***
CN111178282A (zh) * 2019-12-31 2020-05-19 武汉中海庭数据技术有限公司 一种道路交通限速标志定位识别方法及装置
CN115661784B (zh) * 2022-10-12 2023-08-22 北京惠朗时代科技有限公司 一种面向智慧交通的交通标志图像大数据识别方法与***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
CN105139344A (zh) * 2015-06-12 2015-12-09 中国科学院深圳先进技术研究院 基于频域及相位一致性的单幅图像去除雨滴影响的方法和***
CN105844257A (zh) * 2016-04-11 2016-08-10 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警***及方法
CN106023112A (zh) * 2016-05-24 2016-10-12 中国科学院深圳先进技术研究院 一种基于小波分析的图像去雨方法及***
CN106056545A (zh) * 2016-05-24 2016-10-26 中国科学院深圳先进技术研究院 一种图像去雨方法及***
CN106934374A (zh) * 2017-03-14 2017-07-07 潍坊学院 一种雾霾场景中交通标识牌的识别方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850845B (zh) * 2015-05-30 2017-12-26 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN106919939B (zh) * 2017-03-14 2019-11-22 潍坊学院 一种交通标识牌跟踪识别方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
CN105139344A (zh) * 2015-06-12 2015-12-09 中国科学院深圳先进技术研究院 基于频域及相位一致性的单幅图像去除雨滴影响的方法和***
CN105844257A (zh) * 2016-04-11 2016-08-10 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警***及方法
CN106023112A (zh) * 2016-05-24 2016-10-12 中国科学院深圳先进技术研究院 一种基于小波分析的图像去雨方法及***
CN106056545A (zh) * 2016-05-24 2016-10-26 中国科学院深圳先进技术研究院 一种图像去雨方法及***
CN106934374A (zh) * 2017-03-14 2017-07-07 潍坊学院 一种雾霾场景中交通标识牌的识别方法及***

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260691B (zh) * 2020-01-18 2023-04-25 温州大学 一种基于上下文感知回归时空正则相关滤波跟踪方法
CN111260691A (zh) * 2020-01-18 2020-06-09 温州大学 一种基于上下文感知回归时空正则相关滤波跟踪方法
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
CN113033687A (zh) * 2021-04-02 2021-06-25 西北工业大学 一种雨雪气候条件下的目标检测识别方法
CN113255555A (zh) * 2021-06-04 2021-08-13 清华大学 中国交通标志牌识别方法、***、处理设备及存储介质
CN114495061A (zh) * 2022-01-25 2022-05-13 青岛海信网络科技股份有限公司 一种道路交通标志牌识别方法及装置
CN114495061B (zh) * 2022-01-25 2024-04-05 青岛海信网络科技股份有限公司 一种道路交通标志牌识别方法及装置
CN114818909B (zh) * 2022-04-22 2023-09-15 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
CN114818909A (zh) * 2022-04-22 2022-07-29 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
CN115830451A (zh) * 2022-12-02 2023-03-21 上海理工大学 一种基于卷积神经网络的智慧城市建设水平识别方法
CN115830451B (zh) * 2022-12-02 2023-11-03 上海理工大学 一种基于卷积神经网络的智慧城市建设水平识别方法
CN115620265A (zh) * 2022-12-19 2023-01-17 华南理工大学 基于深度学习的机车标志牌信息智能识别方法及***
CN117523535A (zh) * 2024-01-08 2024-02-06 浙江零跑科技股份有限公司 一种交通指示牌的识别方法、终端设备以及存储介质
CN117523535B (zh) * 2024-01-08 2024-04-12 浙江零跑科技股份有限公司 一种交通指示牌的识别方法、终端设备以及存储介质

Also Published As

Publication number Publication date
CN110226170A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
WO2020000253A1 (zh) 一种雨雪天气中的道路交通标志识别方法
Omar et al. Cascaded deep learning-based efficient approach for license plate detection and recognition
Philipsen et al. Traffic light detection: A learning algorithm and evaluations on challenging dataset
Gomez et al. Traffic lights detection and state estimation using hidden markov models
CN102509098B (zh) 一种鱼眼图像车辆识别方法
CN102708356A (zh) 一种基于复杂背景下的车牌自动定位和识别方法
Zhang et al. Vehicle detection using an extended hidden random field model
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
Hechri et al. Robust road lanes and traffic signs recognition for driver assistance system
Salarian et al. A vision based system for traffic lights recognition
Sugiharto et al. Traffic sign detection based on HOG and PHOG using binary SVM and k-NN
CN113837094A (zh) 基于全色高分遥感图像的路况快捷分析方法
CN107918775B (zh) 一种辅助车辆安全驾驶的斑马线检测方法及***
Ghahremannezhad et al. Automatic road detection in traffic videos
Ghahremannezhad et al. Robust road region extraction in video under various illumination and weather conditions
Li et al. Robust urban road image segmentation
CN112308801A (zh) 基于大数据图像采集的道路交通追踪管理方法及***
Phu et al. Traffic sign recognition system using feature points
CN111860113A (zh) 车道线检测方法及***
Dai et al. Deeply supervised Z-style residual network devotes to real-time environment perception for autonomous driving
FR3099839A1 (fr) Procede de reconnaissance de panneau de signalisation routiere dans des intemperies
Zhang et al. A novel detection and recognition system for Chinese traffic signs
Mir et al. Automated speed limit identification for efficient driving system
Sathya et al. Vehicle license plate recognition (vlpr)
Chen et al. A forward collision avoidance system adopting multi-feature vehicle detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924821

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924821

Country of ref document: EP

Kind code of ref document: A1