CN111597875A - 一种交通标志识别方法、装置、设备及存储介质 - Google Patents
一种交通标志识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111597875A CN111597875A CN202010249474.5A CN202010249474A CN111597875A CN 111597875 A CN111597875 A CN 111597875A CN 202010249474 A CN202010249474 A CN 202010249474A CN 111597875 A CN111597875 A CN 111597875A
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- image
- layer
- feature
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种交通标志识别方法，所述识别方法包括：获取待识别图像；对所述待识别图像进行预处理并生成图像金字塔；分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别。本发明还公开了一种交通标志识别装置、设备及存储介质。采用本发明，能够更好的检测出交通标志的位置和大小，提升交通标志区域的检测能力；还能够提升识别速度，提高识别率。
Description
技术领域
本发明涉及图像识别技术，特别涉及一种交通标志识别方法、装置、设备及存储介质。
背景技术
目前交通标志检测算法多基于两种算法：传统算法和深度学习算法，传统算法基于图像的边缘、形状或纹理等人工设计的特征算子，对目标进行特征提取和分类，这种方法容易受到光线，形变，遮挡等因素的影响，通常由较高的误识别率。深度学习算法基于深层神经网络，通过逐层的特征提取和采样处理，分类性能强大，但需要海量的数据和强劲的硬件处理能力，功耗高，成本高。
发明内容
为解决上述技术问题，第一方面，本发明公开了一种交通标志识别方法，所述识别方法包括：
获取待识别图像；
对所述待识别图像进行预处理并生成图像金字塔；
分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别；
其中，所述交通标志分类器是基于交通标志样本图像与相应的交通标志类别进行机器学习训练确定的，所述交通标志样本图像所对应的类别与所述待检测图像所对应的类别属于同一类型的类别。
进一步的，所述获取待识别图像包括：
获取摄像头采集的视频图像；
隔行隔列抽取所述视频图像得到所述待识别图像。
进一步的，所述对所述待识别图像进行预处理并生成图像金字塔包括：
对所述待识别图像进行灰度处理；
将经过灰度处理后的所述待识别图像按照预设的缩放因子进行缩放，得到预设层数的所述图像金字塔。
进一步的，所述分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征包括：
通过检测窗口检测所述图像金字塔中的各层图像；
通过次层特征整合单元在当前检测窗口中滑动计算所述当前检测窗口的特征算子；所述次层整合单元包括若干个最小特征检测单元，所述最小特征检测单元由若干个像素构成；
根据各个所述检测窗口的特征算子计算生成边缘向量作为边缘特征；
获取当前像素点的像素值，
获取所述当前像素点所在的邻域像素点和所述邻域像素点的像素值；
根据所述当前像素点的像素值和所述邻域像素点的像素值获取邻域范围内的特征信息；
根据所述特征信息计算得到纹理特征。
进一步的，根据所述当前像素点的像素值和所述邻域像素点的像素值获取邻域范围内的特征信息包括：
获取所述当前像素点和所述邻域像素点的位置信息；
根据所述位置信息、所述当前像素点的像素值和所述邻域像素点的像素值生成所述邻域范围的特征直方图，并将所述特征直方图作为特征信息。
进一步的，所述获取待识别图像之前，还包括：
获取标注有交通标志类别的训练样本图像；
对所述训练样本图像进行预处理并生成图像金字塔；
分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
将所述交通标志信息作为交通标志分类器的输入信息，将所述交通标志类别作为交通标志分类器的输出信息；
对比所述交通标志分类器的输出信息和所述训练样本图像；
根据对比的结果，训练生成所述交通标志分类器。
进一步的，所述交通标志分类器包括输入层、卷积层、下采样层、拓宽层、全连接层和输出层；
所述输入层用于获取所述交通标志信息，并将所述交通标志信息的尺寸调整至预设大小后生成二维图像矩阵；
所述卷积层用于将所述二维图像矩阵进行离散卷积运算得到卷积结果；
所述下采样层用于选择池化域内的某个像素点的像素值作为所述池化域区域的整体像素值；
所述拓宽层用于增加所述交通标志分类器的网络宽度；
所述全连接层用于提取各层的输出结果；
所述输出层通过softmax函数统计各个交通标示类别的概率得到所述交通标志的类别。
第二方面，一种交通标志识别装置，所述识别装置包括：
待识别图像获取模块，用于获取待识别图像；
图像金字塔生成模块，用于对所述待识别图像进行预处理并生成图像金字塔；
特征提取模块，用于分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
交通标志信息获取模块，用于将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
交通标志识别模块，用于基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别；
其中，所述交通标志分类器是基于交通标志样本图像与相应的交通标志类别进行机器学习训练确定的，所述交通标志样本图像所对应的类别与所述待检测图像所对应的类别属于同一类型的类别。
第三方面，本发明提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一项所述的交通标志识别方法。
第四方面，本发明提供了一种存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一项所述的交通标志识别方法。
采用上述技术方案，本发明具有如下有益效果：将边缘特征和纹理特征融合后，能够更好的检测出交通标志的位置和大小，提升交通标志区域的检测能力。并且，深层网络提取特征能力强，对模糊图像、粘连字符、结构不完整等目标有很好的泛化能力，识别能力强。从而提升识别速度，提高识别率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交通标志识别方法的流程示意图；
图2为本发明实施例提供的一种获取待识别图像的流程示意图；
图3为本发明实施例提供的一种对待识别图像进行处理的流程示意图；
图4为本发明实施例提供的一种提取边缘特征的流程示意图；
图5为本发明实施例提供的一种提取纹理特征的流程示意图；
图6为本发明实施例提供的步骤S323实施的流程示意图；
图7为本发明实施例提供的一种cell特征结构图；
图8为本发明实施例提供的一种cell特征直方图；
图9为本发明实施例提供的一种交通标志分类器的训练方法的流程示意图；
图10为本发明实施例提供的一种深层神经网络结构示意图；
图11为本发明实施例提供的一种拓宽层网络层模块示意图；
图12为本发明实施例提供的一种交通标志识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下介绍本发明一种交通标志识别方法的具体实施例，图1是本发明实施例提供的一种交通标志识别方法的流程示意图，本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。如图1所示，所述交通标志识别方法可以包括：
S100：获取待识别图像。
在具体实施时，本发明可以应用于车辆驾驶过程中，对于周围环境中的交通标志进行识别。在应用于车辆驾驶时，待识别图像可以通过设置于车辆上的摄像头获取，具体的，如图2所示，可以包括以下步骤：
S110：获取摄像头采集的视频图像；
S120：隔行隔列抽取所述视频图像得到所述待识别图像。
在具体实施时，通过隔行隔列进行抽取，能够减少图像抖动造成的干扰，提高待识别图像的可靠性。
另外，在对视频图像进行隔行隔列抽取之前或者之后，还可以对所述视频图像进行缩放至统一分辨率。比如，在交通标志检测阶段，将前视摄像头中采集的视频图像进行缩放，对于分辨率为1280*720的原图像，缩放到分辨率为640*360，并进行隔行隔列像素抽取所述视频图像得到所述待识别图像。
S200：对所述待识别图像进行预处理并生成图像金字塔。
图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的结构。通常情况下，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。在具体实施时，如图3所示，可以通过以下方式对待识别图像进行预处理并生成图像金字塔：
S210：对所述待识别图像进行灰度处理。
在本发明的实施方式中，可以采用梯度方向直方图进行交通标志识别。对待识别图像进行灰度预处理，可以去除不必要的色彩信息，降低数据处理量，提升性能。在具体实施时，可以将上诉缩放至统一尺寸的待识别图像进行灰度变换，具体可以通过对三通道的RGB图像转化成单一通道的灰度图，其灰度值范围在0～255。
S220：将经过灰度处理后的所述待识别图像按照预设的缩放因子进行缩放，得到预设层数的所述图像金字塔。
在具体实施时，预设的缩放因子可以是一个缩放值，也可以是多个缩放值，根据预设的缩放因子对待识别图像进行缩放，随着层级数的增大，其分辨率逐渐降低。比如，缩放因子为1.15，缩放的层数为5，对于分辨率为640*360的灰度图像进行多尺度缩放，则可以得到缩放后第一层尺寸556*313、第二层尺寸483*272、第三层尺寸420*236、第四层尺寸365*205以及第五层尺寸317*178共5层的图像金子塔。
在具体实施时，还可以对各尺度图像进行直方图均衡化，使对比度增强，以及对图像边界进行像素填补，避免丢失图像边缘信息。
S300：分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征。
在具体实施时，如图4所示，可以通过以下方式提取边缘特征：
S311：通过检测窗口检测所述图像金字塔中的各层图像；
S312：通过次层特征整合单元在当前检测窗口中滑动计算所述当前检测窗口的特征算子；所述次层整合单元包括若干个最小特征检测单元，所述最小特征检测单元由若干个像素构成；
S313：根据各个所述检测窗口的特征算子计算生成边缘向量作为边缘特征。
在实际实施时，先设计最小特征检测单元cell，cell由若干个像素组成，cell的形状为正方形；再设计次层特征整合单元block，block通常由若干个cell组成，每个block在取景窗口win中滑动，整合所有block收集的特征算子，组成一组可描述目标特征的边缘向量，至此提取完边缘特征。边缘特征可以通过以下方式计算，设当前像素点(x，y)的像素值为pixel(x，y)，则有：
水平边缘：grandentx＝pixel(x+1,y)-pixel(x-1,y)
垂直边缘：grandenty＝pixel(x,y+1)-pixel(x,y-1)
该点边缘的模值：grandent2 x+grandent2 y
该点边缘的朝向：tan-1(grandenty/grandentx)
边缘向量维度的计算公式为：
N＝((winsize-block)/step+1)2*(block/cell)2*bin
其中，winsize为检测窗口的尺寸，block为特征块尺寸，step为滑动步长，cell为胞元尺寸，bin为角度分隔区间个数。
在具体实施时，如图5所示，可以通过以下方式提取纹理特征：
S321：获取当前像素点的像素值。
S322：获取所述当前像素点所在的邻域像素点和所述邻域像素点的像素值。
S323：根据所述当前像素点的像素值和所述邻域像素点的像素值获取邻域范围内的特征信息。
在具体实施时，如图6所示，所述步骤S323可以包括如下步骤：
S3231：获取所述当前像素点和所述邻域像素点的位置信息；
S3232：根据所述位置信息、所述当前像素点的像素值和所述邻域像素点的像素值生成所述邻域范围的特征直方图，并将所述特征直方图作为特征信息。
S324：根据所述特征信息计算得到纹理特征。
在实际实施时，当前像素点(x，y)的像素值为pixel(x，y)时，该点的纹理特征提取方法可以为，设pixel(x，y)的值为阈值T，邻域距离为d的m个特征像素点的像素值与阈值T比较得到权重wi。若比阈值T大，则保留并设为1；若比阈值小，则舍弃并设为0，其计算方法如下公式：
然后用查表法，其中每个相邻像素点的值为2的倍数关系，即在图像坐标系中从左到右，从上到下依次为20、21、…、2n-1，n为该cell中像素点总数。再将与T比较后的的对应位置的二进制值做累加，得到该点的一个纹理特征，其计算公式为：
通过上述方法，依次遍历cell中的每个点，并将其统计，得到该cell的特征统计直方图，再将取景窗中的每个cell特征直方图整合，得到总体纹理特征。当邻域取d＝2，特征像素点m＝8时，cell特征结构图如图7所示。
如图8所示，一个cell的特征直方图中224个特征，其数据量较大，不利于特征表达和训练，可以通过采用二进制跳变次数不大于2次的方法进行特征降维。具体的，对特征直方图中的原二进制数进行一次循环移位，并进行每一位的异或操作，计算异或结果中位值为“1”的个数。比如，8为源码00000001，循环移位后10000000，异或后的值为10000001，其码中“1”的个数为2，有以下结果：异或结果等于2的编码，分别作为一个特征，共有8*7个；异或结果等于0的编码，有2种；将其他码字统一归为一类。则对于8进制编码，共有8*7+2+1类。而对于本发明的24个编码，则共有24*23+2+1类，远小于224。
S400：将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息。
在具体实施时，可以将所述边缘特征和所述纹理特征进行特征图的像素特征级联融合，从而突出了交通标示的检测区域。并进行归一化处理统计检测窗口的特征向量，并送入交通标志分类器中分类，从而判断待识别图像中是否存在交通标志，若存在，则输出交通标志在图像中的具***置坐标和尺寸。比如，其在图像中的左上角坐标为tl＝(x，y)，其宽度为width和高度为height。如果不存在交通标志，则跳到视频的下一帧继续检测。
采用上述方法对交通标志进行检测，通过二进制局部特征提取纹理和边缘融合后的特征，纹理特征侧重描述目标的细节，尤其是警告标志；边缘特征侧重描述目标轮廓信息，如圆形、三角形的梯度特征；当边缘特征被干扰时，如交通标志牌褪色、阴影干扰、炫光等，这些情况下检测效果差，加入纹理融合特征融合后，比单一的纹理特征或边缘特征方法，更好的检测出交通标志的位置和大小，提升交通标志区域的检测能力。
S500：基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别；
其中，所述交通标志分类器是基于交通标志样本图像与相应的交通标志类别进行机器学习训练确定的，所述交通标志样本图像所对应的类别与所述待检测图像所对应的类别属于同一类型的类别。
在一些可行的实施方式中，所述获取待识别图像之前，如图9所示，还包括：
S010：获取标注有交通标志类别的训练样本图像。
其中，所述训练样本图像可以包括训练样本、验证样本和测试样本，所述训练样本用于网络学习目标类别特征，所述验证样本用于验证学习效果、优化网络学习到的参数，所述测试样本用于检测生成模型的分类效果。在具体实施时，可以从试验车辆的前视摄像头录制的视频采集样本，将录制好的视频上传到工作站中，观察视频中是否出现交通标志，截取出现的交通标志图像作为原始样本数据。还可以通过旋转、倾斜、尺度变换和人为增加噪声等方法对原始样本进行扩充，从而提升样本集的丰富性，改善算法的泛化性。具体的，可以对于帧率为30的视频，在交通标志出现期间，每隔10帧截取一个样本，制作3类共10000张交通标志样本，其中训练集、验证集和测试集可以分别占总比重的70％、15％和15％。扩充后的样本集可以同时用于目标检测和分类，一部分用于梯度方向特征提取和支持分类器(SVM)训练，另一部分用于分类方法中深度学习网络模型的训练。
S020：对所述训练样本图像进行预处理并生成图像金字塔。
S030：分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征。
S040：将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息。
S050：将所述交通标志信息作为交通标志分类器的输入信息，将所述交通标志类别作为交通标志分类器的输出信息。
S060：对比所述交通标志分类器的输出信息和所述训练样本图像。
S070：根据对比的结果，训练生成所述交通标志分类器。
在一些可行的实施方式中，所述交通标志分类器包括输入层、卷积层、下采样层、拓宽层、全连接层和输出层；
所述输入层用于获取所述交通标志信息，并将所述交通标志信息的尺寸调整至预设大小后生成二维图像矩阵；
所述卷积层用于将所述二维图像矩阵进行离散卷积运算得到卷积结果；
所述下采样层用于选择池化域内的某个像素点的像素值作为所述池化域区域的整体像素值；
所述拓宽层用于增加所述交通标志分类器的网络宽度；
所述全连接层用于提取各层的输出结果；
所述输出层通过softmax函数统计各个交通标示类别的概率得到所述交通标志的类别。
通过构建深层分类神经网络并训练得到交通标志分类器，其能够提取已检测出交通标志的内容的特征，深层网络提取特征能力强，对模糊图像、粘连字符、结构不完整等目标有很好的泛化能力，识别能力强。
在一些可行的实施方式中，可以构建卷积层(convolutions)3个、下采样层(Down—pooling)5个、拓宽层(Inception)9个以及全连接层(fully connected layers)1个的深层神经网络。其中，所述拓宽层的层深度为2，从而构建得到网络层数为21的深层神经网络。输入层将获取到的交通标志信息缩放到统一尺寸后送入到神经网络中进行逐层特征提取，用卷积层提取前一层图像的特征，用下采样层减少权重、精简网络参数防止过拟合，用全连接层整合特征向量并传输给激活函数处理，最后实现分类。具体的，卷积层通过卷积核与输入图像的卷积来提取图像特征，随着网络深度的增加，提取到的特征更高级，更能抽象表达出目标特性。下采样层通过下采样池化域内的某个像素点的值来表示这个区域的整体像素值。比如，可以通过最大下采样来进行采样，最大下采样是用该区域内最大像素点的值来表示该区域特征，从而忽略掉其它像素值小的点，从而忽略其他像素点对后面链接层的贡献，减少链接权重的个数，提高计算效率，同时还能增加特征表达的图像平移不变性能力；也可以通过平均采样进行采样。拓宽层能够在增加网络宽度的同时减少训练参数，稀疏网络结构。比如，拓宽层可以由4个分支组成，第一个分支1*1卷积层，提取特征，减少通道数；第二个分支先做1*1卷积来减少输入特征图个数，再进行3*3卷积提取特征；第三个分支也是先做1*1卷积来减少输入特征图个数，再进行5*5卷积提取特征；第四个分支是先进行3*3的最大下采样来提高平移不变性，再通过1*1的卷积层生成特征图。全连接层能够整合前面网络层提取到的特征向量，再通过softmax函数计算生成目标的损失值，最后根据这个损失值进行目标的分类。
进一步的，输入层将获取到的交通标志信息的图像尺寸调整224*224后，卷积层(convolution(1))对其进行卷积操作，该层卷积核大小5*5pixel，图片边界补偿像素3，滑动步长为2。再经过采样层(Samping(1))，该层采样核尺寸为2*2pixel，图片边界补偿像素1，在本说明书中，采样均值采样，即(pixel1+pixel2+pixel3+pixel4)/4作为整体像素值。接下来的卷积核和采样处理的原理如上述过程，其中参数如图10。另外，在深层神经网络中随着网络层数的增加，训练参数成指数级增长，庞大的链接和参数量，一方面导致训练十分耗时，另一方面在目标提取特征时，部分特征之间有一定相关性，存在数据冗余，造成了分类器的过拟合问题。本发明通过增加dropout结构，将全连接层转换成稀疏链接，将部分链接权重值置零，优化模型的训练，提高训练速度。具体地，如图11所示，拓宽层由4条分支组成，第一条分支可以进行1*1*64维度的卷积处理和ReLU非线性操作得到28*28*64维度的卷积层；第二条分支可以进行1*1*96的卷积处理和ReLU操作生成28*28*96维度降参数层，再进行3*3*128的卷积处理生成28*28*96维度的卷积层；第三条分支可以进行1*1*16的卷积处理和ReLU非线性操作生成28*28*16维度的卷积层，再进行5*5*32的卷积处理生成28*28*32维度的卷积层；第四条分支是进行3*3的下采样操作，再进行1*1*32的卷积处理生成28*28*32维度的卷积层。
进一步的，通过卷积层对二维图像矩阵进行离散的卷积操作运算时，可以通过以下公式进行运算得到卷积结果：
S(i,j)＝(I*K)(i,j)＝∑x∑yI(x,y)K(i-x,j-y)
其中，I为输入图像，K为卷积核。
进一步的，在输出层中采用softmax函数完成交通标志的多分类任务。具体的，在P的作用下，目标x的预测值有标签y＝0或y＝1两种情况，表达式为：
将其扩展到类别为i(i>1)的多分类问题中：
对其取对数表达：
zi＝logP(y＝i|x)
统计每个类别出现的概率，使其表示为有效的概率分布问题，对其做归一化处理得到softmax函数：
在计算上式的最大化结果时，取对数的似然训练能有效抵消指数项，减少计算复杂度：
log(softmax(z)i)＝zi-log∑jexp(zj)
则样本x在参数θ作用下，被预测为第i类的概率为：
交通标志分类器构建完成后，将上述的训练样本图像归一化，缩放或裁剪为网络输入层接收的尺度，完成输入数据集的创建，并传输至交通标志分类器中进行训练。最后经过多次迭代训练，得到最佳网络参数，生成交通标志分类器。
交通标志分类器训练完成后，可以通过采集视频进行测试分析，具体的，测试内容分为检测和识别两部分。先定义检测模块参数：正样本正确检测数TP(Number of TruePositive)，漏识别检测数FN(Number of FalseNegative)，错误检测数FP(Number ofFalse Positive)，负样本的正确检测数TN(Number of True Positive)，则：
TPR(TruePositive Rate)检测率(召回率)：
Precision准确率率：
本发明实施例还提供了一种交通标志识别装置，如图12所示，所述识别装置1包括：
待识别图像获取模块101，用于获取待识别图像；
图像金字塔生成模块102，用于对所述待识别图像进行预处理并生成图像金字塔；
特征提取模块103，用于分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
交通标志信息获取模块104，用于将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
交通标志识别模块105，用于基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别；
其中，所述交通标志分类器是基于交通标志样本图像与相应的交通标志类别进行机器学习训练确定的，所述交通标志样本图像所对应的类别与所述待检测图像所对应的类别属于同一类型的类别。
本发明实施例还提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一项所述的交通标志识别方法。
本发明实施例还提供了一种存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一项所述的交通标志识别方法。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、***和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种交通标志识别方法，其特征在于，所述识别方法包括：
获取待识别图像；
对所述待识别图像进行预处理并生成图像金字塔；
分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别；
其中，所述交通标志分类器是基于交通标志样本图像与相应的交通标志类别进行机器学习训练确定的，所述交通标志样本图像所对应的类别与所述待检测图像所对应的类别属于同一类型的类别。
2.根据权利要求1所述的交通标志识别方法，其特征在于，所述获取待识别图像包括：
获取摄像头采集的视频图像；
隔行隔列抽取所述视频图像得到所述待识别图像。
3.根据权利要求1所述的交通标志识别方法，其特征在于，所述对所述待识别图像进行预处理并生成图像金字塔包括：
对所述待识别图像进行灰度处理；
将经过灰度处理后的所述待识别图像按照预设的缩放因子进行缩放，得到预设层数的所述图像金字塔。
4.根据权利要求1所述的交通标志识别方法，其特征在于，所述分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征包括：
通过检测窗口检测所述图像金字塔中的各层图像；
通过次层特征整合单元在当前检测窗口中滑动计算所述当前检测窗口的特征算子；所述次层整合单元包括若干个最小特征检测单元，所述最小特征检测单元由若干个像素构成；
根据各个所述检测窗口的特征算子计算生成边缘向量作为边缘特征；
获取当前像素点的像素值，
获取所述当前像素点所在的邻域像素点和所述邻域像素点的像素值；
根据所述当前像素点的像素值和所述邻域像素点的像素值获取邻域范围内的特征信息；
根据所述特征信息计算得到纹理特征。
5.根据权利要求4所述的交通标志识别方法，其特征在于，根据所述当前像素点的像素值和所述邻域像素点的像素值获取邻域范围内的特征信息包括：
获取所述当前像素点和所述邻域像素点的位置信息；
根据所述位置信息、所述当前像素点的像素值和所述邻域像素点的像素值生成所述邻域范围的特征直方图，并将所述特征直方图作为特征信息。
6.根据权利要求1所述的交通标志识别方法，其特征在于，所述获取待识别图像之前，还包括：
获取标注有交通标志类别的训练样本图像；
对所述训练样本图像进行预处理并生成图像金字塔；
分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
将所述交通标志信息作为交通标志分类器的输入信息，将所述交通标志类别作为交通标志分类器的输出信息；
对比所述交通标志分类器的输出信息和所述训练样本图像；
根据对比的结果，训练生成所述交通标志分类器。
7.根据权利要求1所述的交通标志识别方法，其特征在于，
所述交通标志分类器包括输入层、卷积层、下采样层、拓宽层、全连接层和输出层；
所述输入层用于获取所述交通标志信息，并将所述交通标志信息的尺寸调整至预设大小后生成二维图像矩阵；
所述卷积层用于将所述二维图像矩阵进行离散卷积运算得到卷积结果；
所述下采样层用于选择池化域内的某个像素点的像素值作为所述池化域区域的整体像素值；
所述拓宽层用于增加所述交通标志分类器的网络宽度；
所述全连接层用于提取各层的输出结果；
所述输出层通过softmax函数统计各个交通标示类别的概率得到所述交通标志的类别。
8.一种交通标志识别装置，其特征在于，所述识别装置包括：
待识别图像获取模块，用于获取待识别图像；
图像金字塔生成模块，用于对所述待识别图像进行预处理并生成图像金字塔；
特征提取模块，用于分别提取所述图像金字塔中的每层图像的边缘特征和纹理特征；
交通标志信息获取模块，用于将所述边缘特征和所述纹理特征进行特征关联融合，得到所述待识别图像中的交通标志信息；
交通标志识别模块，用于基于所述交通标志信息和交通标志分类器进行识别处理，得到所述交通标志信息对应的交通标志类别；
其中，所述交通标志分类器是基于交通标志样本图像与相应的交通标志类别进行机器学习训练确定的，所述交通标志样本图像所对应的类别与所述待检测图像所对应的类别属于同一类型的类别。
9.一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的交通标志识别方法。
10.一种存储介质，其特征在于，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的交通标志识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249474.5A CN111597875A (zh) | 2020-04-01 | 2020-04-01 | 一种交通标志识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249474.5A CN111597875A (zh) | 2020-04-01 | 2020-04-01 | 一种交通标志识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111597875A true CN111597875A (zh) | 2020-08-28 |
Family
ID=72190481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010249474.5A Pending CN111597875A (zh) | 2020-04-01 | 2020-04-01 | 一种交通标志识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597875A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668608A (zh) * | 2020-12-04 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN112712066A (zh) * | 2021-01-19 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN115147672A (zh) * | 2021-03-31 | 2022-10-04 | 广东高云半导体科技股份有限公司 | 一种进行物体类别识别的人工智能***及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573707A (zh) * | 2014-12-17 | 2015-04-29 | 安徽清新互联信息科技有限公司 | 一种基于多特征融合的车牌汉字识别方法 |
| WO2016155371A1 (zh) * | 2015-03-31 | 2016-10-06 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN108875454A (zh) * | 2017-05-11 | 2018-11-23 | 比亚迪股份有限公司 | 交通标志识别方法、装置和车辆 |
| CN110659550A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 交通标志牌识别方法、装置、计算机设备和存储介质 |
-
2020
- 2020-04-01 CN CN202010249474.5A patent/CN111597875A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573707A (zh) * | 2014-12-17 | 2015-04-29 | 安徽清新互联信息科技有限公司 | 一种基于多特征融合的车牌汉字识别方法 |
| WO2016155371A1 (zh) * | 2015-03-31 | 2016-10-06 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN108875454A (zh) * | 2017-05-11 | 2018-11-23 | 比亚迪股份有限公司 | 交通标志识别方法、装置和车辆 |
| CN110659550A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 交通标志牌识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 曲仕茹;李桃;: "基于改进CoHOG-LQC的行人检测算法", 西北工业大学学报, no. 02 * |
| 李红娣: ""采用金字塔纹理和边缘特征的图像烟雾检测"", 《中国图像图形学报》, 30 June 2015 (2015-06-30), pages 772 - 780 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668608A (zh) * | 2020-12-04 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN112668608B (zh) * | 2020-12-04 | 2024-03-15 | 北京达佳互联信息技术有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN112712066A (zh) * | 2021-01-19 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN115147672A (zh) * | 2021-03-31 | 2022-10-04 | 广东高云半导体科技股份有限公司 | 一种进行物体类别识别的人工智能***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| CN109977943B (zh) | 一种基于yolo的图像目标识别方法、***和存储介质 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
| CN107609549B (zh) | 一种自然场景下证件图像的文本检测方法 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN111310861A (zh) | 一种基于深度神经网络的车牌识别和定位方法 | |
| US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
| CN111275082A (zh) | 一种基于改进端到端神经网络的室内物体目标检测方法 | |
| US20070058856A1 (en) | Character recoginition in video data | |
| CN113160192A (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN111597875A (zh) | 一种交通标志识别方法、装置、设备及存储介质 | |
| CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
| CN109934216B (zh) | 图像处理的方法、装置、计算机可读存储介质 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN111898621A (zh) | 一种轮廓形状识别方法 | |
| CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及*** | |
| CN112132151A (zh) | 基于循环神经网络识别算法的图像文字识别***及方法 | |
| CN110689003A (zh) | 低照度成像车牌识别方法、***、计算机设备及存储介质 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |