CN110827243B - 网格梁覆盖区域异常检测方法和装置 - Google Patents
网格梁覆盖区域异常检测方法和装置 Download PDFInfo
- Publication number
- CN110827243B CN110827243B CN201911025801.2A CN201911025801A CN110827243B CN 110827243 B CN110827243 B CN 110827243B CN 201911025801 A CN201911025801 A CN 201911025801A CN 110827243 B CN110827243 B CN 110827243B
- Authority
- CN
- China
- Prior art keywords
- grid beam
- image
- mask
- image block
- coverage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000004590 computer program Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 22
- 230000005856 abnormality Effects 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000013136 deep learning model Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001464837 Viridiplantae Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种网格梁覆盖区域异常检测方法和装置，其中，方法包括：获取包括待检测网格梁覆盖区域的图像；提取图像中符合预设条件的网格梁区域，得到网格梁图像块；分别计算异常网格梁图像块和各个网格梁图像块的相似度；根据相似度得到待检测网格梁覆盖区域的异常检测结果。本申请实施例通过采集包括待检测网格梁覆盖区域的图像，再提取网格梁图像块，然后根据提取的网格梁图像块和异常网格梁图像块的相似度，得到异常检测结果。相较于主要通过人工去检测的方式，本申请实施例不需要耗费大量人力成本，且检测效率较高。
Description
技术领域
本申请属于机器学习技术领域，尤其涉及一种网格梁覆盖区域异常检测方法和装置。
背景技术
网格梁，也可以称为井字梁，是不分主次，高度相当的梁，其同位相交，呈井字型。网格梁或井字梁可以设置于一些坡地区域，以起到护坡作用。
目前，对网格梁覆盖区域进行异常检测时，主要采用人工的方式去进行查看检测，例如，人工检测网格梁中间覆盖区域是否裸露。当需要检测的区域较多时，人工检测需要花费大量人力成本，且检测效率十分低下。
发明内容
本申请实施例提供一种网格梁覆盖区域异常检测方法和装置，以解决通过人工检测网格梁覆盖区域异常情况需要耗费大量人力成本且检测效率低下的问题。
第一方面，本申请实施例提供一种网格梁覆盖区域异常检测方法，包括：
获取包括待检测网格梁覆盖区域的图像；
提取所述图像中符合预设条件的网格梁区域，得到网格梁图像块；
分别计算异常网格梁图像块和各个所述网格梁图像块的相似度；
根据所述相似度得到所述待检测网格梁覆盖区域的异常检测结果。
可以看出，通过采集包括待检测网格梁覆盖区域的图像，再提取网格梁图像块，然后根据提取的网格梁图像块和异常网格梁图像块的相似度，得到异常检测结果。相较于主要通过人工去检测的方式，本申请实施例不需要耗费大量人力成本，且检测效率较高。
结合第一方面，在一种可能的实现方式中，所述提取所述图像中符合预设条件的网格梁区域，得到网格梁图像块，包括：
将所述图像转化为目标图片；
从所述目标图片中提取多张掩码图；其中，所述目标图片包括至少一个像素部分，掩码图数量与所述目标图片的像素部分数量相等；
从多张所述掩码图中选取目标掩码图；
从目标掩码图中提取符合所述预设条件的所述网格梁图像块。
结合第一方面，在一种可能的实现方式中，所述从多张所述掩码图中选取目标掩码图，包括：
对各张所述掩码图进行切割，得到掩码图像块；
将各个掩码图像块输入至预先训练好的卷积神经网络模型，获得所述卷积神经网络模型输出的表征各个所述掩码图像块属于网格梁类别的概率值；
根据各个所述掩码图像块的概率值，得到各张所述掩码图表征属于网格梁类别的概率值；
将概率值最大的掩码图作为所述目标掩码图。
结合第一方面，在一种可能的实现方式中，所述从目标掩码图中提取符合所述预设条件的所述网格梁图像块，包括：
基于关注区域的轮廓，通过轮廓提取方法对所述目标掩码图中的网格梁区域进行标注，所述关注区域的轮廓为网格梁区域的轮廓；
提取标注的网格梁区域，得到所述网格梁图像块。
结合第一方面，在一种可能的实现方式中，所述将所述图像转化为目标图片，包括：
根据设定的聚类中心数量，对所述图像使用K-means算法获得初始点；
使用所述初始点作为聚类中心初始化高斯混合模型的簇中心参数后，再通过最大期望算法调整所述高斯混合模型的簇中心参数，获得聚类结果，所述聚类结果为所述目标图片。
结合第一方面，在一种可能的实现方式中，所述提取所述图像中符合预设条件的网格梁区域，得到网格梁图像块，还包括：
使用形态学方法对所述目标掩码图进行去噪处理；
所述从目标掩码图中提取符合所述预设条件的所述网格梁图像块，包括：
从去噪后的目标掩码图中提取符合所述预设条件的所述网格梁图像块。
结合第一方面，在一种可能的实现方式中，所述分别计算异常网格梁图像块和各个所述网格梁图像块的相似度，包括：
将所述各个所述网格梁图像块和所述异常网格梁图像块输入至预先训练好的深度学习模型，获得所述深度学习模型输出的相似度。
结合第一方面，在一种可能的实现方式中，所述根据所述相似度得到所述待检测网格梁覆盖区域的异常检测结果，包括：
在对相似度超出预设阈值的网格梁图像块进行标注之后，将各个网格梁图像块按照提取时的位置进行合并，得到表征异常检测结果的图片。
第二方面，本申请实施例提供一种网格梁覆盖区域异常检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。
第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得网格梁覆盖区域异常检测装置执行上述第一方面中任一项所述的方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网格梁覆盖区域异常检测方法的流程示意框图；
图2为本申请实施例提供的步骤S102的一种具体流程示意框图；
图3为本申请实施例提供的步骤S203的具体流程示意框图；
图4为本申请实施例提供的步骤S102的另一种具体流程示意框图；
图5为本申请实施例提供的待处理图像；
图6为本申请实施例提供的待处理图像的掩码图；
图7为本申请实施例提供的去噪后的目标掩码图；
图8为本申请实施例提供的标注距离的异常网格梁的图片；
图9为本申请实施例提供的网格梁覆盖区域异常检测装置的结构框图；
图10为本申请实施例提供的网格梁覆盖区域异常检测装置的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。
本申请实施例通过采集包括待检测网格梁覆盖区域的图像，提取该图像中的网格梁图像块，再根据提取出的网格梁图像块和异常网格梁图像块之间的相似度，得到待检测网格梁覆盖区域的异常检测结果，降低了成本，提高了检测效率。
为了更好地介绍本申请实施例提供的技术方案，下面将通过具体实施例进行介绍。
请参见图1，为本申请实施例提供的一种网格梁覆盖区域异常检测方法的流程示意框图，该方法可以包括以下步骤：
步骤S101、获取包括待检测网格梁覆盖区域的图像。
可以理解的是，上述图像可以通过无人机或者是无人车等通过图像采集装置拍摄得到。
步骤S102、提取图像中符合预设条件的网格梁区域，得到网格梁图像块。
需要说明的是，图像中包括待检测网格梁覆盖区域，待检测网格梁覆盖区域包括一个个网格梁区域，网格梁区域具体表现为长方形区域或正方形区域。
上述预设条件可以是指关注区域的轮廓大小，即通过设置关注区域轮廓的大小范围，以过滤掉部分无关的区域位置，然后根据设置的关注区域的轮廓大小提取出相应的网格梁区域。例如，设置关注区域的轮廓为网格梁包围区域的轮廓，通过轮廓提取方式从代表网格梁的掩码图中自动标注网格梁区域，再提取标注的网格梁区域，得到上述网格梁图像块。
具体应用中，可以将上述图像先转换为目标图片，再从像素图像中提取出代表网格梁的掩码图，然后根据设定的关注区域的轮廓大小从代表网格梁的掩码图中提取出网格梁区域，得到网格梁图像块。
步骤S103、分别计算异常网格梁图像块和各个网格梁图像块的相似度。
需要说明的是，上述异常网格梁图像块是指根据预先设定的网格梁异常情况对应的图像块，该预先设定的异常情况是人为规定的，例如，人为规定网格梁中间覆盖区域裸露为异常，则上述异常网格梁图像块为中间覆盖区域裸露的网格梁图像块。
具体应用中，可以通过预先训练好的深度学习模型计算上述相似度，即将提取出的网格梁图像块和异常网格梁图像块输入至深度学习模型中，获得深度学习模型输出的相似度数值。当然，相似度的计算方式不限于上文提及的方式，例如还可使用SSIM和Hist的方法去计算相似度。
也就是说，在一些实施例中，上述分别计算异常网格梁图像块和各个网格梁图像块的相似度的具体过程可以包括：将各个网格梁图像块和异常网格梁图像块输入至预先训练好的深度学习模型，获得深度学习模型输出的相似度。
具体地，分别将提取的网格梁图像块和异常网格梁图像块输入至深度学习模型中，深度学习模型的各层提取并处理网格梁图像块和异常网格梁图像块的特征，然后根据特征之间的网格图像块和异常网格图像块的距离（即相似度）。
上述深度学***均值得到距离平均值，之后将距离平均值与每个异常图像块和提取出的图像块之间的距离进行比对，判断两个距离值是否接近，距离值相差越小代表两个图像块越相似，迭代多次，直到Loss值最小时，得到训练好的深度学习模型。
步骤S104、根据相似度得到待检测网格梁覆盖区域的异常检测结果。
需要说明的是，提取出的网格梁图像块和异常网格梁图像块的相似度越高，表明网格梁图像块对应的网格梁区域出现异常的概率越高。具体应用中，可以设置一个阈值，当相似度大于或等于该阈值时，认为该网格梁图像块对应的网格梁区域出现异常，反之，当相似度小于该阈值时，认为该网格梁图像块对应的网格梁区域没有出现异常。依此，得到各个网格梁图像块的异常检测结果，从而得到整个待检测网格梁覆盖区域的异常检测结果。
具体应用中，上述异常检测结果可以具体外现为一张图片，该图片是由一个个标注后的图像块组成的，即在得到各个图像块的异常与否的结果之后，根据相似度对图像块进行标注，再根据各个图像块提取时的位置，将标注后的各个图像块合并起来，得到表征异常检测结果的图片。
也就是说，在一些实施例中，上述根据相似度得到待检测网格梁覆盖区域的异常检测结果的具体过程可以包括：在对相似度超出预设阈值的网格梁图像块进行标注之后，将各个网格梁图像块按照提取时的位置进行合并，得到表征异常检测结果的图片。
具体地，在计算出相似度之后，可以采取人工的方式对相似度超过阈值的异常网格梁标注出来，上述预设阈值是一个经验值；标注之后，再将各个图像块合并起来，得到一个图片，从该图片中可以看出网格梁覆盖区域的异常情况。
可以看出，通过采集包括待检测网格梁覆盖区域的图像，再提取网格梁图像块，然后根据提取的网格梁图像块和异常网格梁图像块的相似度，得到异常检测结果。相较于主要通过人工去检测的方式，本申请实施例不需要耗费大量人力成本，且检测效率较高。
参见图2示出的步骤S102的具体流程示意框图，上述步骤S102，即上述提取图像中符合预设条件的网格梁区域，得到网格梁图像块的具体过程可以包括：
步骤S201、将图像转化为目标图片。
具体地，根据设定的聚类中心数量，对图像使用K-means算法获得初始点；使用初始点作为聚类中心初始化高斯混合模型的簇中心参数后，再通过最大期望算法调整高斯混合模型的簇中心参数，获得聚类结果，聚类结果为目标图片。
其中，上述聚类中心数量是人为设定，该聚类中心数量与上述图像中包括的类型数量相同。例如，上述图像主要包括绿色植物、网格梁中间覆盖区域裸露和网格梁中间覆盖区域不裸露等3种类型，则人为设定上述聚类中心数量为3。
步骤S202、从目标图片中提取多张掩码图；其中，目标图片包括至少一个像素部分，掩码图数量与目标图片的像素部分数量相等。
需要说明的是，目标图片中可能包括一个或多个颜色部分或者像素部分，提取的掩码图数量与颜色部分或者像素部分的数量相同。例如，上述目标图片包括红色、绿色和蓝色三个颜色部分，设置白色代表红色像素部分、绿色像素部分和蓝色像素部分，黑色代表其它颜色，基于此，从上述目标图片中提取出3张掩码图。
步骤S203、从多张掩码图中选取目标掩码图，目标掩码图为多张掩码图中属于网格梁类别概率最大的掩码图。
在一些实施例中，参见图3示出的步骤S203的具体流程示意框图，上述从多张掩码图中选取目标掩码图的具体过程可以包括：
步骤S301、对各张掩码图进行切割，得到掩码图像块。
需要说明的是，每张掩码图切割得到掩码图像块数量可以相同，例如，将每张掩码图均切割为4个掩码图像块；当然，也可以不相同，例如，一张掩码图切割为4个掩码图像块，另一个掩码图切割为5个掩码图像块。另外，掩码图像块的尺寸一般是一致的。
步骤S302、将各个掩码图像块输入至预先训练好的卷积神经网络模型，获得卷积神经网络模型输出的表征各个掩码图像块属于网格梁类别的概率值。
上述卷积神经网络模型的训练过程包括：通过无人机等设备采集大量的包括网格梁覆盖区域的图片；通过人工方式选择并标注网格梁图片，形成训练数据集；将训练数据集的图片转化为目标图片，再从目标图片中提取多个掩码图，然后再将掩码图切割成掩码图像块后，将掩码图像块输入至预先构建的卷积神经网络模型，通过卷积神经网络模型的softmax函数层预测图像块属于网格梁类别的概率值，然后判断预测类别和标注的类别是否一致，依次迭代训练多次，直到模型趋于收敛，得到训练好的卷积神经网络模型。
步骤S303、根据各个掩码图像块的概率值，得到各张掩码图表征属于网格梁类别的概率值。
步骤S304、将概率值最大的掩码图作为目标掩码图。
具体地，计算出各个掩码图像块的概率值之后，将每一个掩码图的各个掩码图像块的概率值相加，得到每一个掩码图的概率值，选取概率值最大的掩码图作为目标掩码图，该目标掩码图是最能代表网格梁的掩码图。
举例来说，A掩码图切割得到4个掩码图像块，分别为A1、A2、A3和A4，B掩码图切割得到4个掩码图像块，分别为B1、B2、B3和B4；分别将A1、A2、A3和A4，以及B1、B2、B3和B4输入至训练好的卷积神经网络模型中，得到各个掩码图像块的概率值；最后，将A1、A2、A3和A4的概率值相加得到A掩码图的概率值，将B1、B2、B3和B4的概率值相加得到B掩码图的概率值。比较A掩码图和B掩码图的概率值，取概率值较大的掩码图作为目标掩码图。
在另一些实施例中，当每张掩码图像切割成不同数量的掩码图像块时，再计算出每个掩码图像块的概率值之后，可以将每个掩码图的各个掩码图像块的概率值相加，得到一个相加和，再将相加和除以掩码图像块数量，得到该掩码图的一个概率值，基于这个概率值的大小选取出概率值最大的掩码图作为目标掩码图。
举例来说，A掩码图分割成4个掩码图像块，分别为A1、A2、A3和A4，B掩码图分割成5个掩码图像块，分别为B1、B2、B3、B4和B5。分别计算出各个掩码图像块的概率值，然后再将A1、A2、A3和A4的概率值相加后，再用相加和除以4，即使，(A1+A2+A3+A4)/4。同理，依此计算B掩码图的概率值(B1+B2+B3+B4+B5)/5。然后，比较A掩码图和B掩码图之间的概率值大小，取概率值较大的掩码图作为目标掩码图。
在另一些实施例中，也可以不对掩码图进行切割，而是将整张掩码图输入至预先训练好的卷积神经网络模型中，得到表征掩码图属于网格梁类别的概率值，然后再取概率值最大的掩码图作为上述目标掩码图。基于整张掩码图进行概率值计算的方式相较于通过将掩码图切割成多个图像块之后再进行概率计算的方式，前者的准确率较低，后者的准确率更高。
步骤S204、从目标掩码图中提取符合预设条件的网格梁图像块。
需要说明的是，上述预设条件可以是指预先设定的关注区域的轮廓大小，即通过设置关注区域轮廓的大小范围，以过滤掉部分无关的区域位置，然后根据设置的关注区域的轮廓大小提取出相应的网格梁区域。例如，设置关注区域的轮廓为网格梁区域的轮廓，通过轮廓提取方式从代表网格梁的掩码图中标注网格梁区域，再提取标注的网格梁区域，得到上述网格梁图像块。
在一些实施例中，上述从目标掩码图中提取符合预设条件的网格梁图像块的具体过程可以包括：基于关注区域的轮廓，通过轮廓提取方法对目标掩码图中的网格梁区域进行自动标注，关注区域的轮廓为网格梁包围区域的轮廓；提取标注的网格梁包围区域轮廓，得到网格梁图像块。
具体地，先通过设置关注区域的轮廓大小过滤掉无关的区域位置，再利用轮廓提取的方法，例如OpenCv findContours API，从目标掩码图提取出关注区域的轮廓，得到多个网格梁图像块。
参见图4示出的步骤S102的具体流程示意框图，上述步骤S102，即上述提取图像中符合预设条件的网格梁区域，得到网格梁图像块的具体过程可以包括：
步骤S401、将图像转化为目标图片。
步骤S402、从目标图片中提取多张掩码图；其中，目标图片包括至少一个像素部分，掩码图数量与目标图片的像素部分数量相等。
步骤S403、从多张掩码图中选取目标掩码图，目标掩码图为多张掩码图中属于网格梁类别概率最大的掩码图。
需要说明的是，步骤S401~S403与上述步骤S201~S203相同，相关介绍请参见上文相应内容，在此不再赘述。
步骤S404、使用形态学方法对目标掩码图进行去噪处理。
可以理解的是，形态学一般被用于对图像的预处理阶段，作用是去除图像中的噪声点、提取图像的边界、提取物体骨架、填充图像中的空洞等，简化图像数据，保持它们基本的形状特征，并除去不相关的结构。形态学的基本算法有膨胀腐蚀运算等。
在本申请实施例中，对步骤S403获得代表网格梁的掩码图即目标掩码图进行膨胀腐蚀等运算，以去除图片的噪音点与及填充图片，即把某些较小的区域作为噪音点，用周边的像素去填充，最终获得形态学处理后的图片。
步骤S405、从去噪后的目标掩码图中提取符合预设条件的网格梁图像块。
具体地，使用形态学方法去除目标掩码图的噪声之后，从去除噪声之后的目标掩码图中提取相应的网格梁图像块，提取过程和上述步骤S204相同，在此不再赘述。
相较于言，图4对应的网格梁图像块提取过程和图2对应的网格梁图像块提取过程，前者的效果更佳，提取的网格梁图像块更加准确。
为了更好地介绍本申请实施例提供的技术方案，下面将结合具体图片进行介绍。
首先，获取如图5示出的待处理图像，该待处理图像为包括待检测网格梁覆盖区域的图片，该图片是由无人机拍摄的。图5中包括绿色植物和网格梁覆盖区域，有一些网格梁的中间区域是裸露的，没有绿色植被的，有一些网格梁的中间区域是有绿色植被。人为规定网格梁中间覆盖区域裸露为异常，即需要检测出网格梁中间覆盖区域裸露的网格梁。
获取图5之后，由于图5中主要包括绿色植物、网格梁中间覆盖区域裸露和网格梁中间覆盖区域不裸露等3种类型，人为设定聚类中心点数量为3。然后对图5使用K-means算法、EM算法和高斯混合模型，以将图5转换为目标图片。该目标图片包括红色、绿色和蓝色三个颜色部分，设置白色代表红色像素部分、绿色像素部分和蓝色像素部分，黑色代表其他颜色。接着，从目标图片中提取跟像素部分数量一样的如图6所示的3张掩码图。
然后，将图6示出的3张掩码图均切割成图像块，使用预先训练的卷积神经网络模型预测各个图像块属于网格梁类别的概率值，再计算出这3张掩码图的属于网格梁类别的总概率值。然后，选取总概率值最大的一张掩码图作为目标掩码图。
对从图6中选取的目标掩码图进行膨胀腐蚀等运算，以去除目标掩码图的噪声，获得如图7示出的图片。接着，预先设置网格梁的区域为关注区域，使用OpenCv findContoursAPI对图7进行轮廓提取，以在图7中标注（例如，用矩形框圈出）网格梁，然后再提取标注的网格梁区域，得到网格梁图像块。
提取出网格梁图像块之后，将网格梁图像块和异常网格梁图像块输入至预先训练的深度学习模型中，以计算出网格梁图像块和异常网格梁图像块的相似度；采用人工方式对相似度超出阈值的网格梁图像块标注出来，然后再将各个图像块进行合并，得到如图8所示的图片。在图8中，被认为是异常的网格梁区域的用方框标注出来，且在相应位置均标注有数值，该数值是相似度数值（或者距离数值），例如，0.53、0.57等。从图8中可以看出，哪个网格梁区域异常，哪个网格梁区域正常。
对应于上文实施例所述的网格梁覆盖区域异常检测方法，图9示出了本申请实施例提供的网格梁覆盖区域异常检测装置的结构框图。
参见图9，该装置可以包括：
图像获取模块91，用于获取包括待检测网格梁覆盖区域的图像；
网格梁图像块提取模块92，用于提取图像中符合预设条件的网格梁区域，得到网格梁图像块；
相似度计算模块93，用于分别计算异常网格梁图像块和各个网格梁图像块的相似度；
异常检测模块94，用于根据相似度得到待检测网格梁覆盖区域的异常检测结果。
在一种可能的实现方式中，上述网格梁图像块提取模块具体用于：
将图像转化为目标图片；
从目标图片中提取多张掩码图；其中，目标图片包括至少一个像素部分，掩码图数量与目标图片的像素部分数量相等；
从多张掩码图中选取目标掩码图，目标掩码图为多张掩码图中属于网格梁类别概率最大的掩码图；
从目标掩码图中提取符合预设条件的网格梁图像块。
在一种可能的实现方式中，上述网格梁图像块提取模块具体用于：对各张掩码图进行切割，得到掩码图像块；
将各个掩码图像块输入至预先训练好的卷积神经网络模型，获得卷积神经网络模型输出的表征各个掩码图像块属于网格梁类别的概率值；
根据各个掩码图像块的概率值，得到各张掩码图表征属于网格梁类别的概率值；
将概率值最大的掩码图作为目标掩码图。
在一种可能的实现方式中，上述网格梁图像块提取模块具体用于：
基于关注区域的轮廓，通过轮廓提取方法对目标掩码图中的网格梁区域进行自动标注，关注区域的轮廓为网格梁区域的轮廓；
提取标注的网格梁区域，得到网格梁图像块。
在一种可能的实现方式中，上述网格梁图像块提取模块具体用于：根据设定的聚类中心数量，对图像使用K-means算法获得初始点；
使用初始点作为聚类中心初始化高斯混合模型的簇中心参数后，再通过最大期望算法调整高斯混合模型的簇中心参数，获得聚类结果，聚类结果为目标图片。
在一种可能的实现方式中，上述网格梁图像块提取模块还具体用于：
使用形态学方法对目标掩码图进行去噪处理；
网格梁图像块提取模块具体用于：从去噪后的目标掩码图中提取符合预设条件的网格梁图像块。
在一种可能的实现方式中，相似度计算模块具体用于：
将各个网格梁图像块和异常网格梁图像块输入至预先训练好的深度学习模型，获得深度学习模型输出的相似度。
在一种可能的实现方式中，异常检测模块具体用于：在对相似度超出预设阈值的网格梁图像块进行标注之后，将各个网格梁图像块按照提取时的位置进行合并，得到表征异常检测结果的图片。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图10为本申请一实施例提供的网格梁覆盖区域异常检测装置的结构示意图。如图10所示，该实施例的网格梁覆盖区域异常检测装置10包括：至少一个处理器100、存储器101以及存储在所述存储器101中并可在所述至少一个处理器100上运行的计算机程序102，所述处理器100执行所述计算机程序102时实现上述任意各个卫星定位信号强度预测方法实施例中的步骤。
所述网格梁覆盖区域异常检测装置10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，该网格梁覆盖区域异常检测装置可以集成于无人车或无人机等设备。当然，该网格梁覆盖区域异常检测装置也可以具体外现为无人机或其它移动设备等。该网格梁覆盖区域异常检测装置可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是网格梁覆盖区域异常检测装置10的举例，并不构成对网格梁覆盖区域异常检测装置10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器100可以是中央处理单元(Central Processing Unit，CPU)，该处理器100还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101在一些实施例中可以是所述网格梁覆盖区域异常检测装置10的内部存储单元，例如网格梁覆盖区域异常检测装置10的硬盘或内存。所述存储器101在另一些实施例中也可以是所述网格梁覆盖区域异常检测装置10的外部存储设备，例如所述网格梁覆盖区域异常检测装置10上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器101还可以既包括所述网格梁覆盖区域异常检测装置10的内部存储单元也包括外部存储设备。所述存储器101用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在网格梁覆盖区域异常检测装置上运行时，使得网格梁覆盖区域异常检测装置执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (7)
1.一种网格梁覆盖区域异常检测方法，其特征在于，包括：
获取包括待检测网格梁覆盖区域的图像；
将所述图像转化为目标图片；
从所述目标图片中提取多张掩码图；其中，所述目标图片包括至少一个像素部分，掩码图数量与所述目标图片的像素部分数量相等；
对各张所述掩码图进行切割，得到掩码图像块；
将各个所述掩码图像块输入至预先训练好的卷积神经网络模型，获得所述卷积神经网络模型输出的表征各个所述掩码图像块属于网格梁类别的概率值；
根据各个所述掩码图像块的概率值，得到各张所述掩码图表征属于网格梁类别的概率值；
将概率值最大的掩码图作为目标掩码图；
从所述目标掩码图中提取符合预设条件的网格梁图像块；
分别计算异常网格梁图像块和各个所述网格梁图像块的相似度；
根据所述相似度得到所述待检测网格梁覆盖区域的异常检测结果；
其中，所述将所述图像转化为目标图片，包括：
根据设定的聚类中心数量，对所述图像使用K-means算法获得初始点；
使用所述初始点作为聚类中心初始化高斯混合模型的簇中心参数后，再通过最大期望算法调整所述高斯混合模型的簇中心参数，获得聚类结果，所述聚类结果为所述目标图片。
2.如权利要求1所述的网格梁覆盖区域异常检测方法，其特征在于，所述从所述目标掩码图中提取符合预设条件的网格梁图像块，包括：
基于关注区域的轮廓，通过轮廓提取方法对所述目标掩码图中的网格梁区域进行标注，所述关注区域的轮廓为网格梁区域的轮廓；
提取标注的网格梁区域，得到所述网格梁图像块。
3.如权利要求1所述的网格梁覆盖区域异常检测方法，其特征在于，所述方法还包括：
使用形态学方法对所述目标掩码图进行去噪处理；
所述从所述目标掩码图中提取符合预设条件的网格梁图像块，包括：
从去噪后的目标掩码图中提取符合所述预设条件的所述网格梁图像块。
4.如权利要求1至3任一项所述的网格梁覆盖区域异常检测方法，其特征在于，所述分别计算异常网格梁图像块和各个所述网格梁图像块的相似度，包括：
将所述各个所述网格梁图像块和所述异常网格梁图像块输入至预先训练好的深度学习模型，获得所述深度学习模型输出的相似度。
5.如权利要求4所述的网格梁覆盖区域异常检测方法，其特征在于，所述根据所述相似度得到所述待检测网格梁覆盖区域的异常检测结果，包括：
在对相似度超出预设阈值的网格梁图像块进行标注之后，将各个网格梁图像块按照提取时的位置进行合并，得到表征异常检测结果的图片。
6.一种网格梁覆盖区域异常检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的网格梁覆盖区域异常检测方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的网格梁覆盖区域异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911025801.2A CN110827243B (zh) | 2019-10-25 | 2019-10-25 | 网格梁覆盖区域异常检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911025801.2A CN110827243B (zh) | 2019-10-25 | 2019-10-25 | 网格梁覆盖区域异常检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827243A CN110827243A (zh) | 2020-02-21 |
| CN110827243B true CN110827243B (zh) | 2022-07-05 |
Family
ID=69550580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911025801.2A Active CN110827243B (zh) | 2019-10-25 | 2019-10-25 | 网格梁覆盖区域异常检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827243B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522872B (zh) * | 2024-01-04 | 2024-03-22 | 长峡数字能源科技(湖北)有限公司 | 一种光伏电站的实时异常检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102903110A (zh) * | 2012-09-29 | 2013-01-30 | 宁波大学 | 对具有深度图像信息的图像的分割方法 |
| CN103544693A (zh) * | 2013-04-11 | 2014-01-29 | Tcl集团股份有限公司 | 一种前景目标的提取方法和*** |
| CN105069779A (zh) * | 2015-07-20 | 2015-11-18 | 童垸林 | 一种建筑陶瓷表面花纹图案质量检测方法 |
| CN109242869A (zh) * | 2018-09-21 | 2019-01-18 | 科大讯飞股份有限公司 | 一种图像实例分割方法、装置、设备及存储介质 |
| CN109685788A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于形态学特征的楼面缺陷图像自动检测方法 |
| CN110136170A (zh) * | 2019-05-13 | 2019-08-16 | 武汉大学 | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 |
-
2019
- 2019-10-25 CN CN201911025801.2A patent/CN110827243B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102903110A (zh) * | 2012-09-29 | 2013-01-30 | 宁波大学 | 对具有深度图像信息的图像的分割方法 |
| CN103544693A (zh) * | 2013-04-11 | 2014-01-29 | Tcl集团股份有限公司 | 一种前景目标的提取方法和*** |
| CN105069779A (zh) * | 2015-07-20 | 2015-11-18 | 童垸林 | 一种建筑陶瓷表面花纹图案质量检测方法 |
| CN109242869A (zh) * | 2018-09-21 | 2019-01-18 | 科大讯飞股份有限公司 | 一种图像实例分割方法、装置、设备及存储介质 |
| CN109685788A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于形态学特征的楼面缺陷图像自动检测方法 |
| CN110136170A (zh) * | 2019-05-13 | 2019-08-16 | 武汉大学 | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automatic Segmentation and Ventricular Border Detection of 2D Echocardiographic Images Combining K-Means Clustering and Active Contour Model;S.Nandagopalan et al;《2010 Second International Conference on Computer and Network Technology》;20100601;第448-450页 * |
| Facial expression recognition based on binarized statistical image features;Wenjin Chu et al;《2013 Ninth International Conference on Natural Computation (ICNC)》;20140519;第328-330页 * |
| 基于阈值分割的黑龙江省森林类型遥感识别;袁玉娟等;《地理科学进展》;20160531;第35卷(第5期);第655-663页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827243A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11586863B2 (en) | Image classification method and device | |
| CN108416784B (zh) | 城市建成区边界快速提取方法、装置及终端设备 | |
| CN109409377B (zh) | 图像中文字的检测方法及装置 | |
| CN111080526A (zh) | 航拍图像的农田面积的测算方法、装置、设备及介质 | |
| CN111539403B (zh) | 农业大棚的识别方法、装置及电子设备 | |
| CN111353956B (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| CN110992366B (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN111192239B (zh) | 遥感影像变化区域检测方法、装置、存储介质及电子设备 | |
| CN110189341B (zh) | 一种图像分割模型训练的方法、图像分割的方法及装置 | |
| CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
| CN111680704B (zh) | 海洋红线新增人类活动斑块自动化快速提取方法和装置 | |
| CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
| CN114722944A (zh) | 点云精度确定方法、电子设备及计算机存储介质 | |
| CN115512238A (zh) | 病害区域的确定方法、装置、存储介质及电子装置 | |
| CN114241326A (zh) | 一种渐进式遥感影像地物要素智能生产方法及*** | |
| CN110674834A (zh) | 地理围栏识别方法、装置、设备和计算机可读存储介质 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| CN110827243B (zh) | 网格梁覆盖区域异常检测方法和装置 | |
| CN114880730A (zh) | 确定目标设备的方法、装置及光伏*** | |
| CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
| CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
| CN111062984B (zh) | 视频图像区域面积的测量方法、装置、设备及存储介质 | |
| CN115345895B (zh) | 用于视觉检测的图像分割方法、装置、计算机设备及介质 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN115266719A (zh) | 基于人工智能的水质监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220214 Address after: 518000 2515, building 2, Huilong business center, North Station community, Minzhi street, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Zhongke Baotai Aerospace Technology Co.,Ltd. Address before: Room 1101-1102, building 1, Changfu Jinmao building, No.5, Shihua Road, free trade zone, Fubao street, Futian District, Shenzhen, Guangdong 518000 Applicant before: Shenzhen Zhongke Baotai Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240701 Address after: 518000 Fengyuan Building 332, Intersection of Bao'an Avenue and Xin'an Sixth Road, Area 82, Haiyu Community, Xin'an Street, Bao'an District, Shenzhen, Guangdong Province Patentee after: Shenzhen Woven Brain Intelligence Technology Co.,Ltd. Country or region after: China Address before: 518000 2515, building 2, Huilong business center, North Station community, Minzhi street, Longhua District, Shenzhen, Guangdong Province Patentee before: Shenzhen Zhongke Baotai Aerospace Technology Co.,Ltd. Country or region before: China |