CN111179278A - 一种图像检测的方法、装置、设备和存储介质 - Google Patents
一种图像检测的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111179278A CN111179278A CN201911295863.5A CN201911295863A CN111179278A CN 111179278 A CN111179278 A CN 111179278A CN 201911295863 A CN201911295863 A CN 201911295863A CN 111179278 A CN111179278 A CN 111179278A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- detected
- output image
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000007547 defect Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000011176 pooling Methods 0.000 claims description 97
- 238000010586 diagram Methods 0.000 claims description 36
- 238000007781 pre-processing Methods 0.000 claims description 25
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004901 spalling Methods 0.000 description 3
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 1
- 229960001685 tacrine Drugs 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像检测技术领域，具体涉及一种图像检测的方法、装置、设备和存储介质。一种图像检测的方法，包括：获取待检测图像；将所述待检测图像输入到预先训练的语义分割网络中进行语义分割处理，并得到语义分割图像；将所述语义分割图像输入检测网络进行检测得到检测结果。通过本发明，利用预先训练的语义分割网络对于待检测的图像进行语义分割处理，然后再用经过训练的检测网络进行检测。只用很少的数据集就能够完成对于图像中的缺陷的识别，通用性高，可以适用于多种对象的图像缺陷检测。
Description
技术领域
本发明涉及图像检测技术领域，具体涉及一种图像检测的方法、装置、设备和存储介质。
背景技术
随着我国经济的发展与综合国力的不断增强，高速公路里程不断增长的同时，对道路的质量也提出更高的要求。与此同时，路面的养护也越来越受到重视。在现场施工过程中，道路缺陷检测尤为困难，不仅是因为路面缺陷种类繁多，例如：坑槽、龟裂、裂痕、剥落；而且存在很多不可控的因素，如：油影、路标和油污等其他的不可控因素。目前对路面缺陷检测的技术，一种方法是用手工提取图像特征，再进行聚类分析；因为是手工提取特征，所以效率比较低下，并且聚类分析需要采用大量的样本数据才能得到相对精确的结果；或者利用多层的神经网络进行图像的特征提取和计算；而神经网络需要进行大量的样本进行训练。检测对象更换时，还需要采集信的样本重新进行训练。通用性差。
发明内容
为此，本发明实施例提供一种图像检测的方法、装置和设备，以解决上述问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，一种图像检测的方法，包括：
获取待检测图像；
将所述待检测图像输入到预先训练的语义分割网络中进行语义分割处理，并得到语义分割图像；
将所述语义分割图像输入检测网络进行检测得到检测结果。在一种可能的实施方式中，所述语义分割网络包括n-2个交替设置的卷积层和最大池化层；第n-2个最大池化层后还依次设置了第n-1、n个卷积层；n大于或者等于3。
在一种可能的实施方式中，所述第n个卷积层的输出图像记为第一输出图像；第n-1个卷积层的输出图像记为第二输出图像；
所述检测网络包括：全局池化层、与所述全局池化层对应的卷积层；全连接层；
所述全局池化层包括第一全局最大池化层和第二全局平均池化层；
所述卷积层包括第一卷积层和第二卷积层；
所述第一卷积层与所述第一全局最大池化层对应连接；
所述第二卷积层与所述第二全局平均池化层对应连接；
将所述语义分割图像输入检测网络进行检测得到检测结果，包括：
将所述第一输出图像依次输入第一全局最大池化层以及第一卷积层，得到第一输出图像的第一特征图；
将所述第一输出图像依次输入第一全局平均池化层以及第二卷积层，得到第一输出图像的第二特征图；
所述检测网络还包括M个交替设置的最大池化层和卷积层；其中，M大于1；
将所述第一输出图像和第二输出图像组合后得到第三输出图像；
将所述第三输出图像依次经过所述M个交替设置的最大池化层和卷积层得到第三输出图像的第一特征图；
全局池化层还包括第二全局最大池化层和第二全局平均池化层；
卷积层还包括第三卷积层和第四卷积层；
所述第三卷积层与所述第二全局最大池化层对应连接；
所述第四卷积层与所述第二全局平均池化层对应连接；
将所述第三输出图像的第一特征图依次经过第二全局最大池化层和第三卷积层得到第三输出图像的第二特征图；
将所述第三输出图像的第一特征图依次输入第二全局平均池化层和第四卷积层得到第三输出图像的第三特征图；
将所述第一输出图像的第一特征图、第一输出图像的第二特征图、第三输出图像的第二特征图和第三输出图像的第三特征图输入到全连接层，得到输出结果。
在一种可能的实施方式中，将所述待检测图像输入到语义分割网络之前，包括：进行二值化处理得到黑白图像。
在一种可能的实施方式中，将所述待检测图像输入到语义分割网络之前，还包括以下的一种或者几种预处理：对所述待检测图像进行膨胀预处理；
对所述待检测图片的大小进行调整预处理；
对所述待检测图片进行旋转预处理。
在一种可能的实施方式中，所述待检测图像为路面图像；所述检测结果为所述路面图像有缺陷的概率值。
根据本发明实施例的第二方面，本申请还提出了一种图像检测的装置，包括：
图像获取模块，用于获取待检测图像；
处理模块，用于将所述待检测图像输入到预先训练的语义分割网络中进行语义分割处理，并得到语义分割图像；以及将所述语义分割图像输入检测网络进行检测得到检测结果。
在一种可能的实施方式中，还包括预处理模块，用于所述处理模块将所述图像输入到语义分割网络之前，对所述待检测图像进行以下的一种或者几种预处理：
对所述待检测图像进行膨胀处理；
对所述待检测图片的大小进行调整预处理；
对所述待检测图片进行旋转预处理。。
根据本发明实施例的第三方面，一种图像检测的设备，包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如上述任一项所述的方法。
根据本发明实施例的第四方面，本申请还提出了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如上述任一项所述的方法。
本发明实施例具有如下优点：本发明通过将待检测图像输入到预先训练的语义分割网络中进行语义分割处理，得到语义分割图像并将语义分割图像输入检测网络进行检测得到检测结果。上述方法适用于道路检测路面图像中的各种缺陷的检测；缺陷包括坑槽、龟裂、裂痕、剥落；还适用于其他对象的图像缺陷检测，通用性高；并且只用很少的样本就可以完成缺陷检测。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例提供的一种图像检测的方法流程图；
图2为本发明实施例提供的语义分割网络的结构示意图；
图3为本发明实施例提供的语义分割网络和检测网络的结构示意图；
图4为本发明实施例提供的对图像进行膨胀操作后的示意图；
图5为本发明实施例提供的预处理示意图；
图6为本发明实施例提供的本申请的网络架构与其他形式的架构的网络的检测结果对比示意图；
图7为本发明实施例提供的一种图像检测的装置结构示意图；
图8为本发明实施例提供的一种图像检测的设备结构示意图。
图中：71-图像获取模块；72-处理模块；81-处理器；82-存储器。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着国民经济的飞速发展，道路建设飞速前进，对于施工完毕的道路，目前只是依靠人工肉眼进行检测识别缺陷；缺陷包括：坑槽、龟裂、裂痕、剥落等；在路面的现场施工过程中，道路缺陷检测尤为困难，不仅是因为路面缺陷种类繁多，例如：坑槽、龟裂、裂痕、剥落；而且存在如油影、路标、油污等不可控因素。现有技术中，采用的传统的聚类算法或是神经网络算法都需要大量的数据集才能够获得比较准确的结果，这就需要预先准备大量的数据集才能够进行检测。数据样本的获取需要耗费大量的精力，而如果没有大量的数据样本，则无法进行正常的检测。
基于此，本申请提出了一种图像的检测方法，参见附图1所示的图像检测的方法流程图；该方法包括：
步骤S101，获取待检测图像；
其中，图像可以是任何一种需要进行缺陷检测的图像；包括道路的图像、矿井中的图像、文物的图像等等；图像中的缺陷主要体现为裂纹、缝隙等。
图像可以是实时拍摄的，比如汽车在运行中拍摄的道路的照片；也可以是预先存储的。
步骤S102，将所述待检测图像输入到预先训练的语义分割网络中进行语义分割处理，并得到语义分割图像；
其中，语义分割是指将一个图片中的不同物体单独分割开；并且按照语义分割开；
上述的图像不仅仅限于道路图像；也可以是其他需要检测的图像；包括医学上的图像等。
语义分割网络是预先经过训练而得到的。该带有缺陷的图像经过语义分割网络处理后得到的图像中，由于将缺陷分割出来，从而更容易检测和识别该缺陷。
步骤S103，将所述语义分割图像输入检测网络进行检测得到检测结果。
其中，待检测图像为路面图像；所述检测结果为所述待检测图像中有缺陷的概率值，缺陷包括：坑槽、龟裂、裂痕、剥落。
其中，检测网络完成分割后的图像的分类，以及确定出图像含有缺陷的概率值。比如，将图像中的缺陷分类并标识出该区域为缺陷以区别于正常的区域。并输出最终的一个概率值，该概率值表示该图片包含有缺陷的概率。
本申请提出了一种图像检测的方法，用语义分割网络对图像进行语义分割，然后再用检测网络实现对缺陷的检测，确定出含有缺陷的概率，本申请只需要用少量的样本就能够实现比较高的准确率的检测，降低了训练的次数。
在一种可能的实施方式中，参见附图2所示的语义分割网络的结构示意图；
语义分割网络包括n-2个交替设置的卷积层和最大池化层；第n-2个最大池化层后还依次设置了第n-1、n个卷积层；n大于或者等于3。第n个卷积层的输出作为语义分割图像。
为了提高泛化的能力，在一种实施方式中，参见附图3所示的架构示意图；
所述第n个卷积层的输出图像记为第一输出图像；第n-1个卷积层的输出图像记为第二输出图像；
所述检测网络包括：全局池化层、与所述全局池化层对应的卷积层；全连接层；
所述全局池化层包括第一全局最大池化层和第二全局平均池化层；
所述卷积层包括第一卷积层和第二卷积层；
所述第一卷积层与所述第一全局最大池化层对应连接；
所述第二卷积层与所述第二全局平均池化层对应连接；
将所述语义分割图像输入检测网络进行检测得到检测结果，包括：
将所述第一输出图像依次输入第一全局最大池化层以及第一卷积层，得到第一输出图像的第一特征图；
其中，第一卷积层优选为1x1的卷积层。
将所述第一输出图像依次输入第一全局平均池化层以及第二卷积层，得到第一输出图像的第二特征图；
其中，第一卷积层优选为1x1的卷积层。
所述检测网络还包括M个交替设置的最大池化层和卷积层；其中，M大于1；
将所述第一输出图像和第二输出图像组合后得到第三输出图像；
将所述第三输出图像依次经过所述M个交替设置的最大池化层和卷积层得到第三输出图像的第一特征图；
全局池化层还包括第二全局最大池化层和第二全局平均池化层；
卷积层还包括第三卷积层和第四卷积层；
所述第三卷积层与所述第二全局最大池化层对应连接；
所述第四卷积层与所述第二全局平均池化层对应连接；
将所述第三输出图像的第一特征图依次经过第二全局最大池化层和第三卷积层得到第三输出图像的第二特征图；
其中，第三卷积层优选为32x1的卷积层。
将所述第三输出图像的第一特征图依次输入第二全局平均池化层和第四卷积层得到第三输出图像的第三特征图；
其中，第三卷积层优选为32x1的卷积层。
值得强调的是，第一卷积层、第二卷积层、第三卷积层和第四卷积层还可以采用其他类型的卷积层；Nx1；N大于0的整数。
将所述第一输出图像的第一特征图、第一输出图像的第二特征图、第三输出图像的第二特征图和第三输出图像的第三特征图输入到全连接层，得到输出结果。
在一种可能的实施方式中，将所述待检测图像输入到语义分割网络之前，需要进行预处理，包括：对待检测图像进行二值化处理得到黑白图像。
其中，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。
在一种可能的实施方式中，将所述待检测图像输入到语义分割网络之前，还包括以下的一种或者几种预处理：
对所述待检测图像进行膨胀预处理；
对所述待检测图片的大小进行调整预处理；
对所述待检测图片进行旋转预处理。
为了详细说明具体的实现细节，参见附图3所示的语义分割网络和检测网络的结构示意图；
首先将输入图像经过第一卷积层和第一最大池化层得到特征图feature map 1；
其中，第一卷积层有两个32x5x5的卷积核；最大池化层的卷积核为2x2；
将特征图feature map 1经过第二卷积层和第二最大池化层得到特征图featuremap 2；
其中，第二卷积层有三个64x5x5的卷积核；第二最大池化层的卷积核为2x2；
将特征图feature map 2经第三卷积层和第三最大池化层得到特征图featuremap 3；其中，第三卷积层有四个64x5x5的卷积核；第三最大池化层的卷积核为2x2；
将特征图feature map 3经过第四卷积层得到特征图feature map 4；
其中，第四卷积层设置1个1024x15x15的卷积核；将特征图feature map 4经过第五卷积层得到特征图feature map 5；
其中，第五卷积层设置一个1x1x1的卷积核；特征图feature map 5；即语义分割网络的输出；
检测网络实现缺陷检测的细节如下：
首先将特征图feature map 4和特征图feature map 5进行组合，得到特征图feature map 6；
将特征图feature map 5分别进行全局最大池化层和全局平均池化层，并且分别经过1x1的卷积层，得到1x1的特征图feature map 7和特征图feature map 8；
将特征图feature map 6经过2x2的最大池化层，得到feature map 9；
将特征图feature map 9经过卷积核为8x5x5的卷积层和卷积核为2x2的最大池化层，得到特征图feature map 10；
将特征图feature map 10经过卷积核为16x5x5的卷积层和卷积核为2x2的最大池化层，得到feature map 11；
将特征图feature map 11经过卷积核为32x5x5的卷积层，和卷积核为2x2的最大池化层，得到特征图feature map 12；
将特征图feature map 12分别经过全局最大池化层和全局平均池化层，分别经过32x1的卷积层，得到32x1的特征图feature map 13和特征图feature map 14；
将特征图feature map 7、8、13、14进行组合，输入到全连接层。
全连接层输出最终的缺陷检测结果。比如检测结果可以为0.996，表示该图像中存在缺陷的概率为0.996。
经过语义分割网络处理之后，图像中的各个语义的物体可以明显区别开；可以把缺陷从图像中分割出来。
对于语义分割网络的训练过程，包括：
首先获取多个样本图像；
其中，样本图像与目标图像应该是属于同一个类型的图像；如果目标图像为带有瑕疵的道路的图像，则样本图像也应该是带有瑕疵的道路的图像；
其中，可以预先对多张样本图像进行人工的标注，得到每一张样本图像的语义标记图；语义标记图可以为黑白图像；其中，用白色代表裂纹、瑕疵；用黑色代表正常的路面；样本包括每一个样本图像和对应的语义标记图像；
将上述的样本图像输入到预先训练的语义分割网络模型中，
对语义分割网络进行训练；其中包括，对每一个图像中的像素进行分类得到识别结果；并且与标准图像中的该位置的像素进行对比，计算得到误差；最后计算出所有的像素点的误差；最后累加所有的像素点的误差。其中，优选地，损失函数优先采用交叉熵损失函数。如果本次计算得到的损失值没有达到预定的阈值；则更新每一个卷积核中的权值，重新计算得到一个新的损失值；最终多次循环迭代计算之后，当计算得到的损失值小于预定的阈值时，则停止迭代；语义分给网络模型训练成功。
将语义分割网络训练结束之后，再训练检测网络。
在一种实施方式中，将所述图像输入到语义分割网络之前，对所述图像进行膨胀处理得到膨胀后的图像；
其中，膨胀处理是指用预定的卷积核对原始图像做卷积；卷积后的图像中，裂纹会变大，产生膨胀的效果。参见附图4所示的对图像进行膨胀操作后的示意图；采用5种不同的卷积核对图像进行处理会得到5种不同的膨胀后的图像；其中，图像(a)、(b)、(c)、(d)、(e)的卷积核依次增大；本发明经过试验发现，并不是膨胀最明显的图(e)最终的识别精确度高；而是图(b)；图b采用的卷积核为5x5。
除了膨胀的卷积核之外，还需要确定以下的超参数，参见附图5所示的预处理示意图；超参数还包括：
1)第一部分语义分割网络的损失函数的类型：损失函数包括多种，比如均方误差损失函数和交叉熵损失函数；优选地本申请采用的是交叉熵损失函数。
2)确定图像的尺寸；其中图像尺寸包括全尺寸图像和半尺寸图像；本申请优选为全尺寸图像；半尺寸图像是指图像的长度不变，图像的高度变为原来的二分之一。图像尺寸还可以用户自己输入，实现对图像的裁剪，比如输入100x200的尺寸，自动完成图像的变形。
3)图片旋转的角度。旋转的角度可以为90度；也可以是其他的任意的角度；本申请优选确定为不旋转。输入0度，则图片不旋转。
预处理主要包括上述的四方面内容，预处理结束之后，将预处理后的图像输入到模型架构中；为了显示本申请的优越性能；可以采用本申请之外的三种模型架构来和本申请的模型架构进行比较；本申请在训练过程采用随机梯度下降法(SGD)进行模型的训练，整个数据的迭代次数(epochs)为100次，模型的学习率为0.1，依据均值为0，方差为0.01的正态分布生成的随机数来对模型的参数进行初始化。为了说明本申请提出网络架构的优越性，将使用在异常检测领域效果较好的其他三种的神经网络架构：U-Net、DeepLabv3+以及商业软件Cognex ViDi Suite来进行对比测试。参见附图6所示的本申请的网络架构与其他形式的架构的网络的检测结果对比示意图。可见本申请的检测的精确度高于其他网络架构检测得精确度。
与上述的方法对应，本申请还提出了一种图像检测的装置，参见附图7所示的一种图像检测的装置结构示意图；该装置包括：
图像获取模块71，用于获取待检测的图像；
处理模块72，用于将所述图像输入到预先训练的语义分割网络进行语义分割处理得到语义分割图像；以及将所述语义分割图像输入检测网络进行检测得到检测结果。
在一种实施方式中，所述检测网络包括：全局池化层、与所述全局池化层对应的卷积层；全连接层；
所述全局池化层包括第一全局最大池化层和第二全局平均池化层；
所述卷积层包括第一卷积层和第二卷积层；
所述第一卷积层与所述第一全局最大池化层对应连接；
所述第二卷积层与所述第二全局平均池化层对应连接；
处理模块72还用于，将所述第一输出图像依次输入第一全局最大池化层以及第一卷积层，得到第一输出图像的第一特征图；
以及将所述第一输出图像依次输入第一全局平均池化层以及第二卷积层，得到第一输出图像的第二特征图；
所述检测网络还包括M个交替设置的最大池化层和卷积层；其中，M大于1；
将所述第一输出图像和第二输出图像组合后得到第三输出图像；
将所述第三输出图像依次经过所述M个交替设置的最大池化层和卷积层得到第三输出图像的第一特征图；
全局池化层还包括第二全局最大池化层和第二全局平均池化层；
卷积层还包括第三卷积层和第四卷积层；
所述第三卷积层与所述第二全局最大池化层对应连接；
所述第四卷积层与所述第二全局平均池化层对应连接；
处理模块72还用于，将所述第三输出图像的第一特征图依次经过第二全局最大池化层和第三卷积层得到第三输出图像的第二特征图；
将所述第三输出图像的第一特征图依次输入第二全局平均池化层和第四卷积层得到第三输出图像的第三特征图；
将所述第一输出图像的第一特征图、第一输出图像的第二特征图、第三输出图像的第二特征图和第三输出图像的第三特征图输入到全连接层，得到输出结果。在一种实施方式中，还包括预处理模块，用于将所述待检测图像输入到语义分割网络之前，对所述待检测图像进行以下的一种或者几种预处理：
对所述待检测图像进行膨胀预处理；
对所述待检测图片的大小进行调整预处理；
对所述待检测图片进行旋转预处理。
所述预处理模块还用于，将所述待检测图像输入到语义分割网络之前对所述待检测图像进行二值化处理得到黑白图像。
本申请还提出了一种图像检测的设备，包括：至少一个处理器81和至少一个存储器82；
所述存储器82，用于存储一个或多个程序指令；
所述处理器81，用于运行一个或多个程序指令，用以执行如上述任一项所述的方法。
第四方面，本申请还提出了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如上述任一项所述的方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种图像检测的方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入到预先训练的语义分割网络中进行语义分割处理，并得到语义分割图像；
将所述语义分割图像输入检测网络进行检测得到检测结果。
2.如权利要求1所述的方法，其特征在于，所述语义分割网络包括n-2个交替设置的卷积层和最大池化层；第n-2个最大池化层后还依次设置了第n-1、n个卷积层；n大于或者等于3。
3.如权利要求2所述的方法，其特征在于，所述第n个卷积层的输出图像记为第一输出图像；第n-1个卷积层的输出图像记为第二输出图像；
所述检测网络包括：全局池化层、与所述全局池化层对应的卷积层；全连接层；
所述全局池化层包括第一全局最大池化层和第二全局平均池化层；
所述卷积层包括第一卷积层和第二卷积层；
所述第一卷积层与所述第一全局最大池化层对应连接；
所述第二卷积层与所述第二全局平均池化层对应连接；
将所述语义分割图像输入检测网络进行检测得到检测结果，包括：
将所述第一输出图像依次输入第一全局最大池化层以及第一卷积层，得到第一输出图像的第一特征图；
将所述第一输出图像依次输入第一全局平均池化层以及第二卷积层，得到第一输出图像的第二特征图；
所述检测网络还包括M个交替设置的最大池化层和卷积层；其中，M大于1；
将所述第一输出图像和第二输出图像组合后得到第三输出图像；
将所述第三输出图像依次经过所述M个交替设置的最大池化层和卷积层得到第三输出图像的第一特征图；
全局池化层还包括第二全局最大池化层和第二全局平均池化层；
卷积层还包括第三卷积层和第四卷积层；
所述第三卷积层与所述第二全局最大池化层对应连接；
所述第四卷积层与所述第二全局平均池化层对应连接；
将所述第三输出图像的第一特征图依次经过第二全局最大池化层和第三卷积层得到第三输出图像的第二特征图；
将所述第三输出图像的第一特征图依次输入第二全局平均池化层和第四卷积层得到第三输出图像的第二特征图；
将所述第三输出图像的第一特征图依次输入第二全局平均池化层和第四卷积层得到第三输出图像的第三特征图；
将所述第一输出图像的第一特征图、第一输出图像的第二特征图、第三输出图像的第二特征图和第三输出图像的第三特征图输入到全连接层，得到输出结果。
4.如权利要求1所述的方法，其特征在于，将所述待检测图像输入到语义分割网络之前，包括：对所述待检测图像进行二值化处理得到黑白图像。
5.如权利要求1所述的方法，其特征在于，将所述待检测图像输入到语义分割网络之前，对所述待检测图像进行以下的一种或者几种预处理：
对所述待检测图像进行膨胀预处理；
对所述待检测图片的大小进行调整预处理；
对所述待检测图片进行旋转预处理。
6.如权利要求1所述的方法，其特征在于，所述待检测图像为路面图像；所述检测结果为所述路面图像有缺陷的概率值。
7.一种图像检测的装置，其特征在于，包括：
图像获取模块，用于获取待检测图像；
处理模块，用于将所述待检测图像输入到预先训练的语义分割网络中进行语义分割处理，并得到语义分割图像；以及将所述语义分割图像输入检测网络进行检测得到检测结果。
8.如权利要求7所述的装置，其特征在于，还包括预处理模块，用于将所述待检测图像输入到语义分割网络之前，对所述待检测图像进行以下的一种或者几种预处理：
对所述待检测图像进行膨胀预处理；
对所述待检测图片的大小进行调整预处理；
对所述待检测图片进行旋转预处理。
9.一种图像检测的设备，其特征在于，包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295863.5A CN111179278B (zh) | 2019-12-16 | 2019-12-16 | 一种图像检测的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295863.5A CN111179278B (zh) | 2019-12-16 | 2019-12-16 | 一种图像检测的方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179278A true CN111179278A (zh) | 2020-05-19 |
| CN111179278B CN111179278B (zh) | 2021-02-05 |
Family
ID=70648879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911295863.5A Active CN111179278B (zh) | 2019-12-16 | 2019-12-16 | 一种图像检测的方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179278B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109886964A (zh) * | 2019-03-29 | 2019-06-14 | 北京百度网讯科技有限公司 | 电路板缺陷检测方法、装置及设备 |
| CN110473173A (zh) * | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
-
2019
- 2019-12-16 CN CN201911295863.5A patent/CN111179278B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109886964A (zh) * | 2019-03-29 | 2019-06-14 | 北京百度网讯科技有限公司 | 电路板缺陷检测方法、装置及设备 |
| CN110473173A (zh) * | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179278B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
| CN109615604B (zh) | 基于图像重构卷积神经网络的零件外观瑕疵检测方法 | |
| CN111257341A (zh) | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 | |
| CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
| CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
| CN110866931B (zh) | 图像分割模型训练方法及基于分类的强化图像分割方法 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| Li et al. | Automated classification and detection of multiple pavement distress images based on deep learning | |
| Yu | YOLO V5s-based deep learning approach for concrete cracks detection | |
| CN108932471B (zh) | 一种车辆检测方法 | |
| Yin et al. | Road Damage Detection and Classification based on Multi-level Feature Pyramids. | |
| CN113988222A (zh) | 一种基于Faster-RCNN的森林火灾检测与识别方法 | |
| CN111325724B (zh) | 隧道裂纹区域检测方法和装置 | |
| CN110728214B (zh) | 一种基于尺度匹配的弱小人物目标检测方法 | |
| CN116052110B (zh) | 一种路面标线缺损智能定位方法及*** | |
| Ibrahem et al. | Weakly supervised traffic sign detection in real time using single CNN architecture for multiple purposes | |
| CN113673585B (zh) | 一种路面破损检测方法及*** | |
| Wijaya et al. | Building crack due to lombok earthquake classification based on glcm features and svm classifier | |
| Sun et al. | Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method | |
| Wang et al. | Underground defects detection based on GPR by fusing simple linear iterative clustering phash (SLIC-phash) and convolutional block attention module (CBAM)-YOLOv8 | |
| IZUMI et al. | Low-cost training data creation for crack detection using an attention mechanism in deep learning models | |
| Qinghua et al. | Research on YOLOX-based tire defect detection method | |
| CN111242940B (zh) | 一种基于弱监督学习的舌体图像分割方法 | |
| Gao et al. | A fast surface-defect detection method based on Dense-Yolo network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |