CN107122701A - 一种基于图像显著性和深度学习的交通道路标志识别方法 - Google Patents
一种基于图像显著性和深度学习的交通道路标志识别方法 Download PDFInfo
- Publication number
- CN107122701A CN107122701A CN201710122736.XA CN201710122736A CN107122701A CN 107122701 A CN107122701 A CN 107122701A CN 201710122736 A CN201710122736 A CN 201710122736A CN 107122701 A CN107122701 A CN 107122701A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- image
- region
- traffic route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Neurology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像显著性和深度学习的交通道路标志识别方法。所述方法首先由卷积神经网络(CNN)生成一个网络(Alexnet),然后通过从ImageNet数据集中获取交通道路标志图片，对训练图片进行归一化预处理之后输入网络，然后训练AlexNet网络。再将测试图片进行RC显著性提取之后输入训练好的Alexnet卷积神经网络，进行交通道路标志的测试分类。本发明结合了图像显著性高效提取显著区域和深度学习在图片识别中的优势，达到对交通道路标志图片进行精准分类的目的。
Description
技术领域
本发明属于图像识别技术领域，特别是涉及一种基于卷积神经网络模型的交通道路标志的图像识别方法。
背景技术
随着经济的发展，现代交通已经非常发达，而道路交通仍占据主导地位。但是，交通安全和交通阻塞随之成了日益严重的社会问题，同时也造成了惊人的经济损失。再加上环境污染和能源等问题，就使得道路交通问题的解决不得不求助于智能技术。智能交通***这一研究领域便应运而生，并迅速发展起来。
道路交通标志识别是智能交通***研究领域中尚未解决的难题之一，也是难度较大的实景图形识别问题之一。虽然道路交通标志识别的研究工作已经取得了一定的成果，但还存在不少问题和缺陷。主要有：
1、偏重理论研究的比较多，面向应用研究的少。许多理论与方法的提出都是建立在标准图或某种局部情况的基础上，而没有考虑到更多实际应用中的需求。
2、处理方法比较单一，智能方法少，智能方法与其他方法的结合很少。目前采用的处理方法也主要使用了神经网络和遗传算法等智能方法，许多方法都是对传统方法的改进或应用，但是很少会将智能方法与其他方法相结合。
3、大多数实验对象都是基于标准图的，针对实景图的研究较少。判别环节以灰度图为对象的多，以彩色图为对象的少。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于图像显著性和深度学习的交通道路标志识别方法，本发明采用图像显著性提取算法对检测图像进行处理，高效地提取交通道路标志这一显著性区域，抑制了非显著区域的干扰，更能突出复杂背景下的显著目标，提高处理效率和准确率，具有更好的鲁棒性，更适用于实际的智能交通道路***中。
为了达到上述目的，本发明采用以下技术方案：
一种基于图像显著性和深度学习的交通道路标志识别方法本发明的工作过程，包括下述步骤：
S1、下载训练数据集；
S2、预处理，对步骤S1中数据集中的图像进行预处理；
S3、训练卷积神经网络模型；
S4、显著性提取；采用了区域对比度方法，提取测试图片中的道路交通标志；
S5、将步骤S4中提取到的道路交通标志图片输入到步骤S3中训练好的卷积神经网络模型中，通过卷积神经网络模型识别出交通道路标志图像的类别。
优选的，步骤S1中下载训练数据集，数据集来自2015年全国模糊图像处理竞赛与内容分析竞赛中的交通标志识别训练集，涉及到的交通标识分为警告标识、禁令标识、指示标识、指路标识、旅游区标识、道路施工安全标识和辅助标识7个大类，一共包含72种交通标识，标识名称来自国家和公安部的相关标准，如T型交叉。图像中标识的质量包括清晰、模糊、遮挡、阴影和倾斜等5种类型。
优选的，步骤S2预处理如下：
每一张图像，将图像缩放到256×256大小，然后从图像上中下左右5处截取5张大小为224×224的标准尺寸图像，并将标准尺寸图像与其相对应的类别成对保存，一个“标准尺寸图像-类别”对作为一个数据。
优选的，步骤S3卷积神经网络工作流程如下，输入层由32×32个感知节点组成，接收原始图像A，然后，计算流程在卷积和子抽样之间交替进行，具体如下所述：
第一隐藏层进行卷积，它由8个特征映射组成，每个特征映射由28×28个神经元组成，每个神经元指定一个5×5的接受；
第二隐藏层实现子抽样和局部平均，它同样由8个特征映射组成，但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域，一个可训练偏置和一个sigmoid激活函数；可训练系数和偏置控制神经元的操作点；
第三隐藏层进行第二次卷积，它由20个特征映射组成，每个特征映射由10×10个神经元组成；该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接，它以与第一个卷积层相似的方式操作；
第四隐藏层进行第二次子抽样和局部平均计算；它由20个特征映射组成，但每个特征映射由5×5个神经元组成，它以与第一次抽样相似的方式操作；
第五隐藏层实现卷积的最后阶段，它由120个神经元组成，每个神经元指定一个5×5的接受域；
最后是个全连接层，得到输出向量；
相继的计算层在卷积和抽样之间的连接交替，我们得到一个“双尖塔”的效果，也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射数量增加。卷积之后进行子抽样的思想是受动物视觉***中的“简单的”细胞后面跟着“复杂的”细胞的想法的启发而产生的。
优选的，步骤S4对测试图片进行显著性处理，采用了区域对比度方法，即RC方法，将空间关系整合到区域等级对比度计算当中；用RC方法进行显著性提取步骤如下：
S4.1、首先将输入原始图像A分割成数个目标区域，再计算区域等级上的颜色对比度；使用一种基于图形的图像分割方法把输入图像分割为数个区域，为每个区域建立颜色直方图，对于一个区域rk,通过测量其与图像中的其他区域的颜色对比度来计算其显著性，如下：
其中w(ri)是区域ri的权值，Dr(rk,ri)是两个区域间的颜色度量；ri中的像素数目w(ri)来强调与更大区域的颜色对比度；区域r1和r2之间的颜色距离被定义如下：
为了更好的反映一个颜色与主要颜色之间的差别，我们使用这个颜色出现在这个区域中的频率作为这个颜色的权值，其中f(ck,i)是第i个颜色ck,i在第k个区域rk中的所有的nk个颜色中的出现频率。
S4.2、在步骤S4.1的基础上再引入空间加权的区域对比度；引入一个包含空间信息的权重，权值的设置是按照区域空间距离来定义的，空间距离较远的目标区域被赋予较小的权值，空间距离较近的目标区域被赋予较大的权值；以此来增加较近区域的影响并减少较远区域的影响；对于任何区域rk，基于空间加权区域对比度的显著性定义如下：
其中，Ds(rk,ri)是区域rk和ri之间的空间距离，σs控制空间权值的强度；较大的σs值更能减少空间权值的影响，使得较远的区域更有助于当前区域的显著性，处理之后得到灰度图像B；
S4.3、提取测试图像的显著性区域，得到包含有交通道路标识区域的灰度图像B，接下来对灰度图像B进行二值化得到二值图像C。
S4.4、将步骤S4.3得到的二值化图像C中的孔洞填充，得到图像D，再以图像D作为掩模，在原始图像A中保留D对应位置为1的部分，其他置为0，得到包含有交通道路标志区域的显著性图像。
优选的，步骤S4.3中二值化图像采用全局阈值算法，Otsu法对图像进行二值化处理；Otsu是基于整幅图像的统计特性，实现阈值的自动选取；设图像有M个灰度值，取值范围在0～M-1，在此范围内选取灰度值t，将图像分成两组G0和G1，G0包含的像素的灰度值在0～t,G1的灰度值在t+1～M-1，用N表示图像像素总数，ni表示灰度值为i的像素的个数，则每一个灰度值i出现的概率pi为：
G0类出现的概率及均值为：
其中w0为G0类出现的概率，u0为G0类的均值；
G1类出现的概率及均值为：
其中w1为G1类出现的概率，u1为G1类的均值；
则类间方差δ(t)2＝w0w1(u0-u1)2
全局阈值T即是使类间方差最大的t的取值，为：
T＝argmaxδ(t),t∈[0,M-1]
将阈值T将整幅图像分成前景和背景两部分，凡是像素的灰度值大于这个阈值的设成225，小于这个阈值的设成0；将灰度图像处理成只有黑白两色的二值化图像，最终得到二值化图像C。
优选的，步骤S5根据训练好模型测试图像识别效果：将S4中显著性提取之后包含有道路交通标志区域的图片输入S3中训练好的卷积神经网络中进行测试实验。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明采用图像显著性提取算法对检测图像进行处理，高效地提取交通道路标志这一显著性区域，抑制了非显著区域的干扰，更能突出复杂背景下的显著目标，提高处理效率和准确率，具有更好的鲁棒性，更适用于实际的智能交通道路***中。
2、本发明采用卷积神经网络模型，卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程数据重建的复杂度。
3、本发明打破现有技术方法单一，智能方法少的局限，结合图像处理方法和深度学习方法。
附图说明
图1为本发明实施例具体流程图；
图2为本发明实施例的卷积神经网络的具体结构；
图3为本发明实施例的显著性提取交通道路标志的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示为本发明的方法流程图，包括图像显著性提取，归一化处理，训练卷积神经网络模型和测试卷积网络模型等四部分。具体步骤如下：
1、下载训练数据集，数据集来自2015年全国模糊图像处理竞赛与内容分析竞赛中的交通标志识别训练集，涉及到的交通标识分为警告标识、禁令标识、指示标识、指路标识、旅游区标识、道路施工安全标识和辅助标识7个大类，一共包含72种交通标识，标识名称来自国家和公安部的相关标准，如T型交叉。图像中标识的质量包括清晰、模糊、遮挡、阴影和倾斜等5种类型。
2、预处理，每一张图像，将图像缩放到256×256大小，然后从图像上中下左右5处截取5张大小为224×224的标准尺寸图像，并将标准尺寸图像与其相对应的类别成对保存，一个“标准尺寸图像-类别”对作为一个数据。
3、训练卷积神经网络模型，卷积神经网络的输入层由32×32个感知节点组成，接收原始图像A，然后，计算流程在卷积和子抽样之间交替进行，如图2所示为本实施例的卷积神经网络的具体结构，具体结构如下所述：
第一隐藏层进行卷积，它由8个特征映射组成，每个特征映射由28×28个神经元组成，每个神经元指定一个5×5的接受；
第二隐藏层实现子抽样和局部平均，它同样由8个特征映射组成，但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域，一个可训练偏置和一个sigmoid激活函数；可训练系数和偏置控制神经元的操作点；
第三隐藏层进行第二次卷积，它由20个特征映射组成，每个特征映射由10×10个神经元组成；该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接，它以与第一个卷积层相似的方式操作；
第四隐藏层进行第二次子抽样和局部平均计算；它由20个特征映射组成，但每个特征映射由5×5个神经元组成，它以与第一次抽样相似的方式操作；
第五隐藏层实现卷积的最后阶段，它由120个神经元组成，每个神经元指定一个5×5的接受域；
最后是个全连接层，得到输出向量；
相继的计算层在卷积和抽样之间的连接交替，我们得到一个“双尖塔”的效果，也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射数量增加。卷积之后进行子抽样的思想是受动物视觉***中的“简单的”细胞后面跟着“复杂的”细胞的想法的启发而产生的。
4、显著性提取，引用了对比度分析方法：区域对比度即RC方法，将空间关系整合到区域等级对比度计算当中。如图3所示为本实施例的显著性提取交通道路标志的流程图，显著性提取具体过程如下如下：
4.1、首先将输入图像A分割成数个目标区域，再计算区域等级上的颜色对比度。使用一种基于图形的图像分割方法把输入图像分割为数个区域，为每个区域建立颜色直方图，对于一个区域rk,通过测量其与图像中的其他区域的颜色对比度来计算其显著性，如下：
其中S(rk)为图像r中的区域rk的显著值，Dr(rk,ri)是空间Lab中的区域rk和区域ri两个区域间的颜色度量，w(ri)是ri中的像素数目，用以强调与更大区域的颜色对比度。
区域r1和r2之间的颜色距离被定义如下：
为了更好的反映一个颜色与主要颜色之间的差别，我们使用这个颜色出现在这个区域中的频率作为这个颜色的权值，其中f(ck,i)是第i个颜色ck,i在第k个区域rk中的所有的nk个颜色中的出现频率,为了提高区域存储和计算效率本发明使用一个稀疏直方图表示法来高效的存储和计算。
4.2、在步骤4.1的基础上再引入空间加权的区域对比度。我们引入一个包含空间信息的权重，权值的设置是按照区域空间距离来定义的，空间距离较远的目标区域被赋予较小的权值，空间距离较近的目标区域被赋予较大的权值。以此来增加较近区域的影响并减少较远区域的影响。对于任何区域rk，基于空间加权区域对比度的显著性定义如下：
其中，Ds(rk,ri)是区域rk和ri之间的空间距离，两个区域之间的空间距离被定义为与各自区域的重心之间的欧几里得距离。σs控制空间权值的强度。较大的σs值更能减少空间权值的影响，使得较远的区域更有助于当前区域的显著性。在本发明中我们使用处理之后得到灰度图像B。
4.3、提取测试图像的显著性区域，得到包含有交通道路标识区域的灰度图像B，接下来对灰度图像B进行二值化得到二值图像C。具体如下：
二值化图像采用全局阈值算法，Otsu法对图像进行二值化处理；Otsu是基于整幅图像的统计特性，实现阈值的自动选取；设图像有M个灰度值，取值范围在0～M-1，在此范围内选取灰度值t，将图像分成两组G0和G1，G0包含的像素的灰度值在0～t,G1的灰度值在t+1～M-1，用N表示图像像素总数，ni表示灰度值为i的像素的个数，则每一个灰度值i出现的概率pi为：
G0类出现的概率及均值为：
其中w0为G0类出现的概率，u0为G0类的均值；
G1类出现的概率及均值为：
其中w1为G1类出现的概率，u1为G1类的均值；
则类间方差δ(t)2＝w0w1(u0-u1)2
全局阈值T即是使类间方差最大的t的取值，为：
T＝argmaxδ(t),t∈[0,M-1]
将阈值T将整幅图像分成前景和背景两部分，凡是像素的灰度值大于这个阈值的设成225，小于这个阈值的设成0；将灰度图像处理成只有黑白两色的二值化图像，最终得到二值化图像C。
4.4、将步骤4.3得到的二值化图像C中的孔洞填充，得到图像D，再以图像D作为掩模，在原始图像A中保留D对应位置为1的部分，其他置为0，得到包含有交通道路标志区域的显著性图像。
5、根据训练好模型测试图像识别效果：将步骤4中显著性提取之后包含有道路交通标志区域的图片输入步骤3中训练好的卷积神经网络中进行测试实验。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，包括如下步骤：
S1、下载训练数据集；
S2、预处理，对步骤S1中数据集中的图像进行预处理；
S3、训练卷积神经网络模型；
S4、显著性提取；采用了区域对比度方法，提取测试图片中的道路交通标志；
S5、将步骤S4中提取到的道路交通标志图片输入到步骤S3中训练好的卷积神经网络模型中，通过卷积神经网络模型识别出交通道路标志图像的类别。
2.根据权利要求1所述的一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，步骤S1中下载训练数据集，数据集来自2015年全国模糊图像处理竞赛与内容分析竞赛中的交通标志识别训练集，涉及到的交通标识分为警告标识、禁令标识、指示标识、指路标识、旅游区标识、道路施工安全标识和辅助标识7个大类；图像中标识的质量包括清晰、模糊、遮挡、阴影和倾斜5种类型。
3.根据权利要求1所述的一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，步骤S2预处理具体过程如下：
每一张图像，将图像缩放到256×256大小，然后从图像上中下左右5处截取5张大小为224×224的标准尺寸图像，并将标准尺寸图像与其相对应的类别成对保存，一个“标准尺寸图像-类别”对作为一个数据。
4.根据权利要求1所述的一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，步骤S3卷积神经网络工作流程如下，输入层由32×32个感知节点组成，接收原始图像A，然后，计算流程在卷积和子抽样之间交替进行，具体如下所述：
第一隐藏层进行卷积，它由8个特征映射组成，每个特征映射由28×28个神经元组成，每个神经元指定一个5×5的接受；
第二隐藏层实现子抽样和局部平均，它同样由8个特征映射组成，但其每个特征映射由14×14个神经元组成；每个神经元具有一个2×2的接受域，一个可训练偏置和一个sigmoid激活函数；可训练系数和偏置控制神经元的操作点；
第三隐藏层进行第二次卷积，它由20个特征映射组成，每个特征映射由10×10个神经元组成；该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接，它以与第一个卷积层相似的方式操作；
第四隐藏层进行第二次子抽样和局部平均计算；它由20个特征映射组成，但每个特征映射由5×5个神经元组成，它以与第一次抽样相似的方式操作；
第五隐藏层实现卷积的最后阶段，它由120个神经元组成，每个神经元指定一个5×5的接受域；
最后是个全连接层，得到输出向量。
5.根据权利要求1所述的一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，步骤S4对测试图片进行显著性处理，采用了区域对比度方法，即RC方法，将空间关系整合到区域等级对比度计算当中；用RC方法进行显著性提取步骤如下：
S4.1、首先将输入原始图像A分割成数个目标区域，再计算区域等级上的颜色对比度；使用一种基于图形的图像分割方法把输入图像分割为数个区域，为每个区域建立颜色直方图，对于一个区域rk,通过测量其与图像中的其他区域的颜色对比度来计算其显著性，如下：
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<msub>
<mi>r</mi>
<mrow>
<mi>k</mi>
<mo>&NotEqual;</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
</munder>
<mi>w</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msub>
<mi>D</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中w(ri)是区域ri的权值，Dr(rk,ri)是两个区域间的颜色度量；ri中的像素数目w(ri)来强调与更大区域的颜色对比度；区域r1和r2之间的颜色距离被定义如下：
<mrow>
<msub>
<mi>D</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
</munderover>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
为了更好的反映一个颜色与主要颜色之间的差别，我们使用这个颜色出现在这个区域中的频率作为这个颜色的权值，其中f(ck,i)是第i个颜色ck,i在第k个区域rk中的所有的nk个颜色中的出现频率；
S4.2、在步骤S4.1的基础上再引入空间加权的区域对比度；引入一个包含空间信息的权重，权值的设置是按照区域空间距离来定义的，空间距离较远的目标区域被赋予较小的权值，空间距离较近的目标区域被赋予较大的权值；以此来增加较近区域的影响并减少较远区域的影响；对于任何区域rk，基于空间加权区域对比度的显著性定义如下：
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<msub>
<mi>r</mi>
<mrow>
<mi>k</mi>
<mo>&NotEqual;</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
</munder>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>r</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
</mrow>
</msub>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>/</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>s</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msub>
<mi>D</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，Ds(rk,ri)是区域rk和ri之间的空间距离，σs控制空间权值的强度；较大的σs值更能减少空间权值的影响，使得较远的区域更有助于当前区域的显著性，处理之后得到灰度图像B；
S4.3、提取测试图像的显著性区域，得到包含有交通道路标识区域的灰度图像B，接下来对灰度图像B进行二值化得到二值化图像C；
S4.4、将步骤S4.3得到的二值化图像C中的孔洞填充，得到图像D，再以图像D作为掩模，在原始图像A中保留D对应位置为1的部分，其他置为0，得到包含有交通道路标志区域的显著性图像。
6.根据权利要求5所述的一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，步骤S4.3中二值化图像采用全局阈值算法，Otsu法对图像进行二值化处理；Otsu是基于整幅图像的统计特性，实现阈值的自动选取；设图像有M个灰度值，取值范围在0～M-1，在此范围内选取灰度值t，将图像分成两组G0和G1，G0包含的像素的灰度值在0～t,G1的灰度值在t+1～M-1，用N表示图像像素总数，ni表示灰度值为i的像素的个数，则每一个灰度值i出现的概率pi为：
<mrow>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<mi>N</mi>
</mfrac>
<mo>;</mo>
</mrow>
G0类出现的概率及均值为：
<mrow>
<msub>
<mi>w</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>t</mi>
</munderover>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>t</mi>
</msubsup>
<msub>
<mi>ip</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
</mrow>
2
其中w0为G0类出现的概率，u0为G0类的均值；
G1类出现的概率及均值为：
<mrow>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>w</mi>
<mn>0</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>ip</mi>
<mi>i</mi>
</msub>
</mrow>
其中w1为G1类出现的概率，u1为G1类的均值；
则类间方差δ(t)2＝w0w1(u0-u1)2
全局阈值T即是使类间方差最大的t的取值，为：
T＝argmaxδ(t),t∈[0,M-1]
将阈值T将整幅图像分成前景和背景两部分，凡是像素的灰度值大于这个阈值的设成225，小于这个阈值的设成0；将灰度图像处理成只有黑白两色的二值化图像，最终得到二值化图像C。
7.根据权利要求1所述的一种基于图像显著性和深度学习的交通道路标志识别方法，其特征在于，步骤S5根据训练好模型测试图像识别效果：将步骤S4中显著性提取之后包含有道路交通标志区域的图片输入步骤S3中训练好的卷积神经网络中进行测试实验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710122736.XA CN107122701A (zh) | 2017-03-03 | 2017-03-03 | 一种基于图像显著性和深度学习的交通道路标志识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710122736.XA CN107122701A (zh) | 2017-03-03 | 2017-03-03 | 一种基于图像显著性和深度学习的交通道路标志识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107122701A true CN107122701A (zh) | 2017-09-01 |
Family
ID=59718198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710122736.XA Pending CN107122701A (zh) | 2017-03-03 | 2017-03-03 | 一种基于图像显著性和深度学习的交通道路标志识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107122701A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107703936A (zh) * | 2017-09-22 | 2018-02-16 | 南京轻力舟智能科技有限公司 | 基于卷积神经网络的自动导航小车***及小车定位方法 |
| CN108154102A (zh) * | 2017-12-21 | 2018-06-12 | 安徽师范大学 | 一种道路交通标志识别方法 |
| CN108256467A (zh) * | 2018-01-15 | 2018-07-06 | 河北科技大学 | 一种基于视觉注意机制和几何特征的交通标志检测方法 |
| CN109102493A (zh) * | 2018-07-03 | 2018-12-28 | 柳州市木子科技有限公司 | 一种基于cnn和lr的汽车钣金件裂纹检测*** |
| CN109636881A (zh) * | 2018-12-19 | 2019-04-16 | 沈阳天择智能交通工程有限公司 | 基于ai识别技术道路交通事故现场草图绘制方法 |
| CN109711399A (zh) * | 2018-11-05 | 2019-05-03 | 北京三快在线科技有限公司 | 基于图像的店铺识别方法、装置，电子设备 |
| CN110060238A (zh) * | 2019-04-01 | 2019-07-26 | 桂林电子科技大学 | 基于深度学习的pcb板标注印刷质量检测方法 |
| CN110321905A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 基于语义分割的异常区域检测方法、***及相关组件 |
| CN111257326A (zh) * | 2020-01-22 | 2020-06-09 | 重庆大学 | 一种金属加工区域提取方法 |
| CN112734733A (zh) * | 2021-01-12 | 2021-04-30 | 天津大学 | 基于通道重组与特征融合的无参考图像质量监测方法 |
| WO2022078216A1 (zh) * | 2020-10-14 | 2022-04-21 | 华为云计算技术有限公司 | 一种目标识别方法及装置 |
| CN114973207A (zh) * | 2022-08-01 | 2022-08-30 | 成都航空职业技术学院 | 一种基于目标检测的路标识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955718A (zh) * | 2014-05-15 | 2014-07-30 | 厦门美图之家科技有限公司 | 一种图像主体对象的识别方法 |
| CN105590319A (zh) * | 2015-12-18 | 2016-05-18 | 华南理工大学 | 一种深度学习的图像显著性区域检测方法 |
| CN105931255A (zh) * | 2016-05-18 | 2016-09-07 | 天津工业大学 | 基于显著性和深度卷积神经网络的图像中目标定位方法 |
-
2017
- 2017-03-03 CN CN201710122736.XA patent/CN107122701A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955718A (zh) * | 2014-05-15 | 2014-07-30 | 厦门美图之家科技有限公司 | 一种图像主体对象的识别方法 |
| CN105590319A (zh) * | 2015-12-18 | 2016-05-18 | 华南理工大学 | 一种深度学习的图像显著性区域检测方法 |
| CN105931255A (zh) * | 2016-05-18 | 2016-09-07 | 天津工业大学 | 基于显著性和深度卷积神经网络的图像中目标定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| L.M. RASDI RERE 等: "Metaheuristic Algorithms for Convolution Neural Networks", 《ARXIV》 * |
| 景辉芳: "深度神经网络的研究及其在植物叶片图像识别中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 朱驰 等: "改进图割的显著性区域检测算法", 《计算机工程与设计》 * |
| 黄琳: "基于深层神经网络的交通标志识别方法研究", 《万方数据知识服务平台》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107703936A (zh) * | 2017-09-22 | 2018-02-16 | 南京轻力舟智能科技有限公司 | 基于卷积神经网络的自动导航小车***及小车定位方法 |
| CN108154102A (zh) * | 2017-12-21 | 2018-06-12 | 安徽师范大学 | 一种道路交通标志识别方法 |
| CN108256467B (zh) * | 2018-01-15 | 2020-06-05 | 河北科技大学 | 一种基于视觉注意机制和几何特征的交通标志检测方法 |
| CN108256467A (zh) * | 2018-01-15 | 2018-07-06 | 河北科技大学 | 一种基于视觉注意机制和几何特征的交通标志检测方法 |
| CN109102493A (zh) * | 2018-07-03 | 2018-12-28 | 柳州市木子科技有限公司 | 一种基于cnn和lr的汽车钣金件裂纹检测*** |
| CN109711399A (zh) * | 2018-11-05 | 2019-05-03 | 北京三快在线科技有限公司 | 基于图像的店铺识别方法、装置，电子设备 |
| CN109711399B (zh) * | 2018-11-05 | 2021-04-27 | 北京三快在线科技有限公司 | 基于图像的店铺识别方法、装置，电子设备 |
| CN109636881A (zh) * | 2018-12-19 | 2019-04-16 | 沈阳天择智能交通工程有限公司 | 基于ai识别技术道路交通事故现场草图绘制方法 |
| CN110060238A (zh) * | 2019-04-01 | 2019-07-26 | 桂林电子科技大学 | 基于深度学习的pcb板标注印刷质量检测方法 |
| CN110060238B (zh) * | 2019-04-01 | 2022-04-19 | 桂林电子科技大学 | 基于深度学习的pcb板标注印刷质量检测方法 |
| CN110321905A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 基于语义分割的异常区域检测方法、***及相关组件 |
| CN111257326A (zh) * | 2020-01-22 | 2020-06-09 | 重庆大学 | 一种金属加工区域提取方法 |
| CN111257326B (zh) * | 2020-01-22 | 2021-02-26 | 重庆大学 | 一种金属加工区域提取方法 |
| WO2022078216A1 (zh) * | 2020-10-14 | 2022-04-21 | 华为云计算技术有限公司 | 一种目标识别方法及装置 |
| CN112734733A (zh) * | 2021-01-12 | 2021-04-30 | 天津大学 | 基于通道重组与特征融合的无参考图像质量监测方法 |
| CN112734733B (zh) * | 2021-01-12 | 2022-11-01 | 天津大学 | 基于通道重组与特征融合的无参考图像质量监测方法 |
| CN114973207A (zh) * | 2022-08-01 | 2022-08-30 | 成都航空职业技术学院 | 一种基于目标检测的路标识别方法 |
| CN114973207B (zh) * | 2022-08-01 | 2022-10-21 | 成都航空职业技术学院 | 一种基于目标检测的路标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107122701A (zh) | 一种基于图像显著性和深度学习的交通道路标志识别方法 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
| CN109165623B (zh) | 基于深度学习的水稻病斑检测方法及*** | |
| CN109800736A (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN110619282A (zh) | 一种无人机正射影像建筑物自动提取方法 | |
| CN109949316A (zh) | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 | |
| CN106326858A (zh) | 一种基于深度学习的公路交通标志自动识别与管理*** | |
| CN103218831B (zh) | 一种基于轮廓约束的视频运动目标分类识别方法 | |
| CN107609602A (zh) | 一种基于卷积神经网络的驾驶场景分类方法 | |
| CN101814144B (zh) | 遥感图像中无水桥梁目标识别方法 | |
| CN107392130A (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
| CN105975931A (zh) | 一种基于多尺度池化的卷积神经网络人脸识别方法 | |
| CN108491797A (zh) | 一种基于大数据的车辆图像精确检索方法 | |
| CN109325438A (zh) | 实况全景交通标志的实时识别方法 | |
| CN107169985A (zh) | 一种基于对称帧间差分和背景更新的运动目标检测方法 | |
| CN108154102A (zh) | 一种道路交通标志识别方法 | |
| CN109543632A (zh) | 一种基于浅层特征融合引导的深层网络行人检测方法 | |
| CN109766936A (zh) | 基于信息传递和注意力机制的图像变化检测方法 | |
| CN108629368B (zh) | 一种基于联合深度融合的多模态地基云分类方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
| CN103984963B (zh) | 一种高分辨率遥感图像场景分类方法 | |
| CN111738113A (zh) | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 | |
| CN107038416A (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
| CN109583349A (zh) | 一种用于在真实环境对目标车辆的颜色进行识别的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170901 |
|
| RJ01 | Rejection of invention patent application after publication |