CN115661475A - 一种图像异物识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及一种图像异物识别方法、装置、设备及存储介质，涉及图像识别技术领域，该方法包括：获取待检图像和模板图，通过预设的卷积层提取待检图像的第一特征图，以及通过卷积层提取模板图的第二特征图；通过预训练的图像分割模型识别第一特征图的第一分割结果，以及通过图像分割模型识别第二特征图的第二分割结果；对比第一分割结果和第二分割结果；若第一分割结果与第二分割结果不相同，获取第一分割结果与第二分割结果的第一差异信息；根据第一差异信息确定待检图像的第一异物信息；若第一分割结果与第二分割结果相同，则确定为无异物。取得了减少环境干扰，实现自动提取特征，只关注消防通道是否存在异物，而不会过多关注异物的类型的效果。

Description

一种图像异物识别方法、装置、设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种图像异物识别方法、装置、设备及存储介质。

背景技术

传统图像算法识别技术通过对比两张图的差异信息得到异物特征，经过一系列的滤波、加权求和来识别阻塞的异物。但人工提取的特征比较单一，即便采用各种滤波，仍然存在无法过滤掉噪声，使得结果图存在大量的误检，如：光影变化、地面纹理、摄像头像素噪音波动等。

采用深度学习的图像算法常常使用目标检测和语义分割来对图像进行识别。该方法有效解决了传统算法误检多的问题，但只能对特定物体，如垃圾、快递纸皮箱、汽车等，即需要预先获得物体的类型且需要以该类型对模型进行训练，再利用训练后的模型进行识别，对新增类型的异物难以识别，延展性较低。

发明内容

本发明提供了一种图像异物识别方法、装置、设备及存储介质，以解决人工提取特征仍然存在的噪声造成误检多，预先训练的模型无法有效识别新增异物的问题。

第一方面，本发明提供了一种图像异物识别方法，该方法包括：

获取待检图像和预设的模板图，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取所述预设的模板图的第二特征图；

通过预训练的图像分割模型识别所述第一特征图的第一分割结果，以及通过所述图像分割模型识别所述第二特征图的第二分割结果；

对比所述第一分割结果和所述第二分割结果；若所述第一分割结果与所述第二分割结果不相同，获取所述第一分割结果与所述第二分割结果的第一差异信息；根据所述第一差异信息确定所述待检图像的第一异物信息；

若所述第一分割结果与所述第二分割结果相同，则确定为无异物。

第二方面，本发明提供了一种控制装置，包括用于执行如第一方面任一项实施例所述的图像异物识别方法的单元。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的图像异物识别方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的图像异物识别方法的步骤。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

本发明实施例提供的该方法，通过卷积层提取模板图和待检图像中的特征得到特征图，一方面能够有效减少环境干扰，另一方面能够实现自动提取特征，相比于人工提取特征的方式，准确性及效率均得到了显著提升。通过图像分割模型识别将待检图的第一分割结果以及待检图的第二分割结果，并根据第一分割结果以及第二分割结果的第一差异信息确定所述待检图像的第一异物信息。本发明的方法无需关注异物的类型，仅仅关注是否存在异物，只要第一分割结果与第二分割结果不相同就判定在待检图像中存在异物，因此无论是何种种类的异物，本发明的技术方案均能够识别到其存在。而现有技术的方法，由于需要将异物具体归类到某一类别，因此，当出现新的异物类别时，则无法识别。

本发明的技术方案特别适用于消防通道的异物识别场景，针对消防通道场景，监控人员通常只关注消防通道是否存在异物，而不会过多关注异物的类型，通过本发明的技术方案，能够准确识别消防通道是否存在异物，在存在异物时，可向监控人员发出告警信息，从而实现及时精准的监控。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种图像异物识别方法的流程示意图；

图2为本发明实施例2提供的一种图像异物识别方法的流程示意图；

图3为本发明实施例提供的一种图像异物识别方法的子流程示意图；

图4为本发明实施例提供的一种图像异物识别方法的子流程示意图；

图5为本发明实施例1提供的一种控制装置结构示意图；

图6为本发明实施例2提供的一种控制装置结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图；

图8为本发明实施例提供的实例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1为本发明实施例提供的一种图像异物识别方法的流程示意图。本发明实施例提出了一种图像异物识别方法，具体地，参见图1，该图像异物识别方法包括如下步骤S101-S104。

S101，获取待检图像，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取预设的模板图的第二特征图。

具体实施中，可从视频采集装置采集的视频流中提取帧图像作为待检图像，或者，待检图像可由用户输入。需要说明的是，上述待检图像的获取方式仅仅是一个示例，本领域技术人员还可以采用其它获取待检图像的方式，这并不会超出本发明的保护范围。将所述待检图像经预设的卷积层进行卷积计算，得到的特征图作为第一特征图；将所述模板图经预设的卷积层进行卷积计算，得到的特征图作为第二特征图。所述卷积计算的原理具体为可参考现有资料确定，对此本发明不做具体限定。

通过卷积层对待检图像以及模板图进行卷积计算，可避免噪声、光照等不定因素的影响，更加清晰地提取待检图像以及模板图中的物体轮廓，以便后续通过图像分割模型对特征图进行分割。

在一实施例中，以上步骤S101具体包括：从预设的视频采集装置的视频流中提取帧图像作为所述待检图像。

具体实施中，视频采集装置包括摄像头，摄像头一般具有视频摄像/传播和静态图像捕捉等基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号，然后借由并行端口或USB连接输入到电脑后由软件再进行图像还原。截取视频流中的帧图像作为所述待检图像。

S102，通过预训练的图像分割模型识别所述第一特征图的第一分割结果，以及通过所述图像分割模型识别所述第二特征图的第二分割结果。

具体实施中，图像分割模型指把一个完整的图像按照设定方式或规则分成若干个部分，为每一部分按照某种规则贴上一个“标签”，但缺点是可识别的异物数量少，需要增加可识别的异物种类时，需要收集大量的数据，重新训练模型。本发明中，仅仅利用了图像分割模型能够把一个完整的东西按照某种方式或规则分成若干个部分的功能。通过图像分割模型对第一特征图进行识别，可区分得到第一特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第一分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。进一步地，通过图像分割模型对第二特征图进行识别，可区分得到第二特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第二分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。需要说明的是，所述区分物体并非根据物体的类型进行区分，而是根据得到的物体轮廓以及物体轮廓在所述待检图像中框定的图像区域，以区分物体。

通过图像分割模型识别、区分以及分割物体轮廓，而无需预先收集异物种类训练识别种类能力，即可对新增异物快速准确地识别，具有迭代频率高的效果。

S103，对比所述第一分割结果和所述第二分割结果；若所述第一分割结果与所述第二分割结果不相同，获取所述第一分割结果与所述第二分割结果的第一差异信息；根据所述第一差异信息确定所述待检图像的第一异物信息。

具体实施中，将第一分割结果与第二分割结果进行比较，得到第一差异信息。第一差异信息具体为所述第一分割结果特有的物体轮廓。例如，在一实施例中，经第一分割结果与第二分割结果进行比较，得到第一物体轮廓以及第二物体轮廓存在第一分割结果中且不存在第二分割结果中，则将第一物体轮廓以及第二物体轮廓作为第一差异信息。

经第一分割结果与第二分割结果进行比较得到的第一差异信息，根据所述第一差异信息在所述待检图像中确定第一异物信息。例如，在一实施例中，第一差异信息包括第一物体轮廓，则将所述第一物体轮廓在所述待检图像中框定的图像区域判定为第一异物信息。第一异物信息与第一差异信息包含的物体轮廓相对应。若第一差异信息包括多个物体轮廓，则根据多个物体轮廓可在所述图像区域内一一对应确定多个第一异物信息。

在一实施例中，以上步骤S103之后，还包括：于所述待检图像中标记出所述第一异物信息。

具体实施中，第一异物信息对应第一物体轮廓，可根据第一物体轮廓在所述待检图像中框定的图像区域，将所框定的图像区域于所述待检图像中标记出，标记的形式可为方框形、圆形等，标记的颜色可为红色、绿色、蓝色等。

参见图8，图中检测出多个物体轮廓，并将所框定的图像区域于所述待检图像中以方框形标记出，在方框形上方标出所框定的图像对应的异物的像素数量。

S104，若所述第一分割结果与所述第二分割结果相同，则确定为无异物。

具体实施中，经第一分割结果与第二分割结果进行比较未得到第一差异信息，则未得到第一异物信息，确定待检图像相比较模板图无异物。

通过卷积层提取模板图和待检图像中的特征得到特征图，一方面能够有效减少环境干扰，另一方面能够实现自动提取特征，相比于人工提取特征的方式，准确性及效率均得到了显著提升。通过图像分割模型识别将待检图的第一分割结果以及待检图的第二分割结果，并根据第一分割结果以及第二分割结果的第一差异信息确定所述待检图像的第一异物信息。本发明的方法无需关注异物的类型，仅仅关注是否存在异物，只要第一分割结果与第二分割结果不相同就判定在待检图像中存在异物，因此无论是何种种类的异物，本发明的技术方案均能够识别到其存在。而现有技术的方法，由于需要将异物具体归类到某一类别，因此，当出现新的异物类别时，则无法识别。特别适用于消防通道的异物识别场景，针对消防通道场景，监控人员通常只关注消防通道是否存在异物，而不会过多关注异物的类型，通过本发明的技术方案，能够准确识别消防通道是否存在异物，在存在异物时，可向监控人员发出告警信息，从而实现及时精准的监控。

实施例2

图2为本发明实施例提供的一种图像异物识别方法的流程示意图。本发明实施例提出了一种图像异物识别方法，具体地，参见图2，该图像异物识别方法包括如下步骤S201-S215。

S201，从预设的视频采集装置的视频流中提取帧图像作为初始模板图。

具体实施中，视频采集装置正常运行，视频采集装置可采集摄像头所监控的范围内的视频，在工作人员将摄像头所监控的范围内的异物清理后，开始从所述视频流中提取帧图像作为初始模板图。

通过工作人员预先对监控范围内的异物清理，确保视频流中提取帧图像中不存在异物，以便提高得到更有权威性的图像作为识别异物的参照图像，即得到准确无异物的模板图。

S202，从视频流中提取所述初始模板图的后一帧图像作为比对图。

具体实施中，从视频流中提取所述初始模板图的后一帧图像作为比对图。

S203，判断所述比对图是否与所述初始模板图相同。

具体实施中，将比对图与初始模板图进行对比，根据比对图是否与所述初始模板图相同，判断是否存在不稳定因素影响，当比对图与所述初始模板图相同，则判定不存在不稳定因素影响，当比对图与所述初始模板图不相同，则判定存在不稳定因素影响。通过判断所述比对图是否与所述初始模板图相同，可有效避免以不稳定状态采集得到的图像作为模板图，即避免得到存在异物的模板图，从而影响执行后续的异物识别。

在一实施例中，参见图4，图4为本发明实施例提供的一种图像异物识别方法的子流程示意图。以上步骤S203包括步骤S401-S404：

S401，通过所述预设的卷积层提取所述初始模板图的第四特征图，以及通过所述预设的卷积层提取所述比对图的第五特征图。

具体实施中，将所述初始模板图经预设的卷积层进行卷积计算，得到的特征图作为第四特征图；将所述比对图经预设的卷积层进行卷积计算，得到的特征图作为第五特征图。

S402，通过所述图像分割模型识别所述第四特征图的第四分割结果，以及通过所述图像分割模型识别所述第五特征图的第五分割结果。

具体实施中，图像分割模型具有对特征图像进行物体识别，并描绘出物体轮廓的功能。通过图像分割模型对第四特征图进行识别，可区分得到第四特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第四分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。通过图像分割模型对第五特征图进行识别，可区分得到第五特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第五分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。需要说明的是，所述区分物体并非根据物体的类型进行区分，而是根据得到的物体轮廓以及物体轮廓在所述待检图像中框定的图像区域，以区分物体。

S403，若所述第四分割结果与所述第五分割结果不相同，判定所述比对图与所述初始模板图不相同。

具体实施中，当第四分割结果与所述第五分割结果不相同，通常为摄像区域存在移动物体、摄像头闪动噪声、镜头晃动等不稳定因素导致，由此，当前不稳定状态得到的图像并不能正确地作为模板图，应判定为比对图与所述初始模板图不相同，避免当前不稳定状态得到的图像作为模板图。

S404，若所述第四分割结果与所述第五分割结果相同，判定所述比对图与所述初始模板图相同。

具体实施中，当第四分割结果与所述第五分割结果相同，判定当前未检测出不稳定因素，即获取的帧图像稳定，则判定所述比对图与所述初始模板图相同。

S204，若所述比对图与所述初始模板图相同，获取目标步骤的执行次数，判断所述目标步骤的执行次数是否少于预设的次数阈值，所述目标步骤为所述判断所述比对图是否与所述初始模板图相同的步骤。

具体实施中，若所述比对图与所述初始模板图相同，获取执行目标步骤S203的次数。获取执行目标步骤S203的次数，在于记录采集比对图的次数，以便执行多次对比图与初始模板图的对比，避免初始模板图存在如移动物体、摄像头闪动噪声、镜头晃动等不稳定因素的影响，严谨地确保模板图由稳定状态下得到。

S205，若所述目标步骤的执行次数少于预设的次数阈值，将所述比对图作为新的初始模板图，并跳转到步骤S202。

例如，在一实施例中，需要连续10帧比对图没有检测出异物，即预设的次数阈值为10，若执行目标步骤S203的次数少于10，则将未检测出异物的上一比对图作为新的初始模板图，并跳转到步骤S202。

S206，若所述目标步骤的执行次数等于所述次数阈值，将所述比对图作为所述模板图。

例如，在一实施例中，需要连续10帧比对图没有检测出异物，即预设的次数阈值为10，若执行目标步骤S203的次数等于10，则将第10帧比对图作为模板图。

若所述比对图与所述初始模板图不相同，跳转到步骤S201。

具体实施中，若所述比对图与所述初始模板图不相同，判定为比对图检测出异物，所述比对图不能作为模板图。在一实施例中，需要连续10帧比对图没有检测出异物，当执行目标步骤S203的次数未到第10次时，若所述比对图与所述初始模板图不相同，则判定当前的比对图检测出异物，需要跳转到步骤S201，重新记录执行目标步骤S203的次数。

通过连续预设数量帧没有检测出异物的比对图作为模板图，更利于后续准确地识别异物。

S207，获取待检图像和预设的模板图，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取所述预设的模板图的第二特征图。

具体实施中，可从视频采集装置采集的视频流中提取帧图像作为待检图像，或者，待检图像可由用户输入。需要说明的是，上述待检图像的获取方式仅仅是一个示例，本领域技术人员还可以采用其它获取待检图像的方式，这并不会超出本发明的保护范围。将所述待检图像经预设的卷积层进行卷积计算，得到的特征图作为第一特征图；将所述模板图经预设的卷积层进行卷积计算，得到的特征图作为第二特征图。所述卷积计算原理具体为可参考现有资料确定，对此本发明不做具体限定。

通过卷积层对待检图像以及模板图进行卷积计算，可避免噪声、光照等不定因素的影响，更加清晰地提取待检图像以及模板图中的物体轮廓，以便后续通过图像分割模型对特征图进行分割。

在一实施例中，以上步骤S207具体包括：从预设的视频采集装置的视频流中提取帧图像作为所述待检图像。

具体实施中，视频采集装置包括摄像头，摄像头一般具有视频摄像/传播和静态图像捕捉等基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号，然后借由并行端口或USB连接输入到电脑后由软件再进行图像还原。截取视频流中的帧图像作为所述待检图像。

S208，通过预训练的图像分割模型识别所述第一特征图的第一分割结果，以及通过所述图像分割模型识别所述第二特征图的第二分割结果。

具体实施中，图像分割模型指把一个完整的图像按照设定方式或规则分成若干个部分，为每一部分按照某种规则贴上一个“标签”，但缺点是可识别的异物数量少，需要增加可识别的异物种类时，需要收集大量的数据，重新训练模型。本发明中，仅仅利用了图像分割模型能够把一个完整的东西按照某种方式或规则分成若干个部分的功能。通过图像分割模型对第一特征图进行识别，可区分得到第一特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第一分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。进一步地，通过图像分割模型对第二特征图进行识别，可区分得到第二特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第二分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。需要说明的是，所述区分物体并非根据物体的类型进行区分，而是根据得到的物体轮廓以及物体轮廓在所述待检图像中框定的图像区域，以区分物体。

通过图像分割模型识别、区分以及分割物体轮廓，而无需预先收集异物种类训练识别种类能力，即可对新增异物快速准确地识别，具有迭代频率高的效果。

S209，对比所述第一分割结果和所述第二分割结果；若所述第一分割结果与所述第二分割结果不相同，获取所述第一分割结果与所述第二分割结果的第一差异信息；根据所述第一差异信息确定所述待检图像的第一异物信息。

具体实施中，将第一分割结果与第二分割结果进行比较，得到第一差异信息。第一差异信息具体为所述第一分割结果特有的物体轮廓。例如，在一实施例中，经第一分割结果与第二分割结果进行比较，得到第一物体轮廓以及第二物体轮廓存在第一分割结果中且不存在第二分割结果中，则将第一物体轮廓以及第二物体轮廓作为第一差异信息。

经第一分割结果与第二分割结果进行比较得到的第一差异信息，根据所述第一差异信息在所述待检图像中确定第一异物信息。例如，在一实施例中，第一差异信息包括第一物体轮廓，则将所述第一物体轮廓在所述待检图像中框定的图像区域判定为第一异物信息。第一异物信息与第一差异信息包含的物体轮廓相对应。若第一差异信息包括多个物体轮廓，则根据多个物体轮廓可在所述图像区域内一一对应确定多个第一异物信息。

在一实施例中，以上步骤S209之后，还包括：于所述待检图像中标记出所述第一异物信息。

具体实施中，第一异物信息对应第一物体轮廓，可根据第一物体轮廓在所述待检图像中框定的图像区域，将所框定的图像区域于所述待检图像中标记出，标记的形式可为方框形、圆形等，标记的颜色可为红色、绿色、蓝色等。

参见图8，图中检测出多个物体轮廓，并将所框定的图像区域于所述待检图像中以方框形标记出，在方框形上方标出所框定的图像对应的异物的像素数量。

S210，若所述第一分割结果与所述第二分割结果相同，则确定为无异物。

具体实施中，经第一分割结果与第二分割结果进行比较未得到第一差异信息，则未得到第一异物信息，确定待检图像相比较模板图无异物。

S211，从所述视频流中提取所述待检图像往后的预设数量的目标图像作为验证图像集。

例如，在一实施例中，从视频流中提取所述待检图像往后的6帧目标图像作为验证图像集。

S212，获取所述验证图像集的各所述目标图像的第二异物信息。

例如，在一实施例中，将验证图像集中的6帧目标图像经卷积计算并分别与将模板图经卷积计算的特征图像一并输入图像分割模型，图像分割模型分别输出验证图像集中的6帧目标图像的第二异物信息。

在一实施例中，参见图3，图3为本发明实施例提供的一种图像异物识别方法的子流程示意图。以上步骤S212包括步骤S301-S304：

具体实施中，以下根据验证图像集中的6帧目标图像的其中1帧进行说明，实际场景中验证图像集中的所有目标图像均执行以下步骤S301-S304。

S301，通过所述预设的卷积层提取所述目标图像的第三特征图。

具体实施中，将所述目标图像经预设的卷积层进行卷积计算，得到的特征图作为第三特征图。

S302，通过所述图像分割模型识别所述第三特征图的第三分割结果。

具体实施中，通过图像分割模型对第三特征图进行识别，可区分得到第三特征图中所有的物体轮廓，并将所有物体轮廓分割开来。由此，所述第三分割结果包括所有物体轮廓的坐标信息、像素信息以及面积信息。

S303，若所述第三分割结果与所述第二分割结果不相同，获取所述第三分割结果与所述第二分割结果的第二差异信息。

具体实施中，将第三分割结果与第二分割结果进行比较，得到第二差异信息。第二差异信息具体为所述第三分割结果特有的物体轮廓。例如，在一实施例中，经第三分割结果与第二分割结果进行比较，得到第三物体轮廓以及第四物体轮廓存在第三分割结果中且不存在第二分割结果中，则将第三物体轮廓以及第四物体轮廓作为第二差异信息。

S304，根据所述第二差异信息确定所述目标图像的第二异物信息。

具体实施中，经第三分割结果与第二分割结果进行比较得到的第二差异信息，根据所述第二差异信息在所述待检图像中确定第二异物信息。例如，在一实施例中，第二差异信息包括第三物体轮廓，则将所述第三物体轮廓在所述待检图像中框定的图像区域判定为第二异物信息。第二异物信息与第二差异信息包含的物体轮廓相对应。若第二差异信息包括多个物体轮廓，则根据多个物体轮廓可在所述图像区域内一一对应确定多个第二异物信息。

S213，获取所述验证图像集中所述第二异物信息与所述第一异物信息相同的目标图像所占的比例。

具体实施中，所述验证图像集中的所有目标图像均执行步骤S301-S304后，计算验证图像集中第二异物信息与第一异物信息相同的目标图像所占的比例。例如，在一实施例中，验证图像集中包括6帧目标图像，第二异物信息与第一异物信息相同的目标图像有4帧，则验证图像集中第二异物信息与第一异物信息相同的目标图像所占的比例为66.7％。

S214，若所述比例小于预设的比例阈值，判定所述第一异物信息为误判。

例如，在一实施例中，预设的比例阈值为66.6％，上述6帧目标图像，第二异物信息与第一异物信息相同的目标图像有4帧，比例为66.7％的例子中，判定第一异物信息为正常，即第一异物信息识别为异物；若6帧目标图像，第二异物信息与第一异物信息相同的目标图像有3帧，比例为50％，比例50％小于预设的比例阈值66.7％，判定第一异物信息为误判，即第一异物信息不识别为异物，误判的第一异物信息将被过滤掉。通过比例进一步验证异物的识别，避免移动物体和摄像头闪动噪声对识别结果造成误判。

实施例3

参见图5本发明实施例还提供了一种图像异物识别装置500，该图像异物识别装置包括第一获取单元501、第一识别单元502、第一比对单元503以及第一判定单元504。

第一获取单元501,用于获取待检图像和预设的模板图，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取所述预设的模板图的第二特征图。

在一实施例中，以上第一获取单元501具体包括：

从预设的视频采集装置的视频流中提取帧图像作为所述待检图像。

第一识别单元502,用于通过预训练的图像分割模型识别所述第一特征图的第一分割结果，以及通过所述图像分割模型识别所述第二特征图的第二分割结果。

第一对比单元503,用于对比所述第一分割结果和所述第二分割结果；若所述第一分割结果与所述第二分割结果不相同，获取所述第一分割结果与所述第二分割结果的第一差异信息；根据所述第一差异信息确定所述待检图像的第一异物信息。

第一判定单元504,用于若所述第一分割结果与所述第二分割结果相同，则确定为无异物。

实施例4

参见图6本发明实施例还提供了一种图像异物识别装置600，该图像异物识别装置包括第一提取单元601、第二提取单元602、第一判断单元603、第二获取单元604、第三跳转单元605、第二判定单元606、第三获取单元607、第二识别单元608、第二比对单元609、第三判定单元610、第三提取单元611、第四获取单元612、第五获取单元613以及第四判定单元614。

第一提取单元601,用于从预设的视频采集装置的视频流中提取帧图像作为初始模板图。

第二提取单元602,用于从视频流中提取所述初始模板图的后一帧图像作为比对图。

第一判断单元603,用于判断所述比对图是否与所述初始模板图相同。

第二获取单元604,用于若所述比对图与所述初始模板图相同，获取目标步骤的执行次数，判断所述目标步骤的执行次数是否少于预设的次数阈值，所述目标步骤为所述判断所述比对图是否与所述初始模板图相同的步骤。

第三跳转单元605,用于若所述目标步骤的执行次数少于预设的次数阈值，将所述比对图作为新的初始模板图，并跳转到第二提取单元602。

第二判定单元606,用于若所述目标步骤的执行次数等于所述次数阈值，将所述比对图作为所述模板图。

在一实施例中，若所述比对图与所述初始模板图不相同，跳转到第一提取单元601。

第三获取单元607,用于获取待检图像和预设的模板图，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取所述预设的模板图的第二特征图。

在一实施例中，以上第三获取单元607具体包括：

从预设的视频采集装置的视频流中提取帧图像作为所述待检图像。

第二识别单元608,用于通过预训练的图像分割模型识别所述第一特征图的第一分割结果，以及通过所述图像分割模型识别所述第二特征图的第二分割结果。

第二对比单元609,用于对比所述第一分割结果和所述第二分割结果；若所述第一分割结果与所述第二分割结果不相同，获取所述第一分割结果与所述第二分割结果的第一差异信息；根据所述第一差异信息确定所述待检图像的第一异物信息。

第三判定单元610,用于若所述第一分割结果与所述第二分割结果相同，则确定为无异物。

第三提取单元611,用于从所述视频流中提取所述待检图像往后的预设数量的目标图像作为验证图像集。

第四获取单元612,用于获取所述验证图像集的各所述目标图像的第二异物信息。

在一实施例中，以上第四获取单元612具体包括：

通过所述预设的卷积层提取所述目标图像的第三特征图；

通过所述图像分割模型识别所述第三特征图的第三分割结果；

若所述第三分割结果与所述第二分割结果不相同，获取所述第三分割结果与所述第二分割结果的第二差异信息；

根据所述第二差异信息确定所述目标图像的第二异物信息。

第五获取单元613,用于获取所述验证图像集中所述第二异物信息与所述第一异物信息相同的目标图像所占的比例。

第四判定单元614,用于若所述比例小于预设的比例阈值，判定所述第一异物信息为误判。

如图7所示，本发明实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，

存储器113，用于存放计算机程序；

在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的图像异物识别方法的控制方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的图像异物识别方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像异物识别方法，其特征在于，包括：

获取待检图像和预设的模板图，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取所述预设的模板图的第二特征图；

通过预训练的图像分割模型识别所述第一特征图的第一分割结果，以及通过所述图像分割模型识别所述第二特征图的第二分割结果；

对比所述第一分割结果和所述第二分割结果；若所述第一分割结果与所述第二分割结果不相同，获取所述第一分割结果与所述第二分割结果的第一差异信息；根据所述第一差异信息确定所述待检图像的第一异物信息；

若所述第一分割结果与所述第二分割结果相同，则确定为无异物。

2.根据权利要求1所述的图像异物识别方法，其特征在于，所述获取待检图像，包括：

从预设的视频采集装置的视频流中提取帧图像作为所述待检图像。

3.根据权利要求2所述的图像异物识别方法，其特征在于，所述根据所述第一差异信息确定所述待检图像的异物信息之后，所述方法还包括：

从所述视频流中提取所述待检图像往后的预设数量的目标图像作为验证图像集；

获取所述验证图像集的各所述目标图像的第二异物信息；

获取所述验证图像集中所述第二异物信息与所述第一异物信息相同的目标图像所占的比例；

若所述比例小于预设的比例阈值，判定所述第一异物信息为误判。

4.根据权利要求3所述的图像异物识别方法，其特征在于，所述获取所述验证图像集的各所述目标图像的第二异物信息，包括：

通过所述预设的卷积层提取所述目标图像的第三特征图；

通过所述图像分割模型识别所述第三特征图的第三分割结果；

若所述第三分割结果与所述第二分割结果不相同，获取所述第三分割结果与所述第二分割结果的第二差异信息；

根据所述第二差异信息确定所述目标图像的第二异物信息。

5.根据权利要求1所述的图像异物识别方法，其特征在于，所述获取待检图像，通过预设的卷积层提取所述待检图像的第一特征图，以及通过所述预设的卷积层提取预设的模板图的第二特征图之前，所述方法还包括：

从预设的视频采集装置的视频流中提取帧图像作为初始模板图；

从视频流中提取所述初始模板图的后一帧图像作为比对图；

判断所述比对图是否与所述初始模板图相同；

若所述比对图与所述初始模板图相同，获取目标步骤的执行次数，判断所述目标步骤的执行次数是否少于预设的次数阈值，所述目标步骤为所述判断所述比对图是否与所述初始模板图相同的步骤；

若所述目标步骤的执行次数少于预设的次数阈值，将所述比对图作为新的初始模板图，并跳转到所述从视频流中提取所述初始模板图的后一帧图像作为比对图的步骤；

若所述目标步骤的执行次数等于所述次数阈值，将所述比对图作为所述模板图；

若所述比对图与所述初始模板图不相同，跳转到所述从预设的视频采集装置的视频流中提取帧图像作为初始模板图的步骤。

6.根据权利要求5所述的图像异物识别方法，其特征在于，所述判断所述比对图是否与所述初始模板图相同，包括：

通过所述预设的卷积层提取所述初始模板图的第四特征图，以及通过所述预设的卷积层提取所述比对图的第五特征图；

通过所述图像分割模型识别所述第四特征图的第四分割结果，以及通过所述图像分割模型识别所述第五特征图的第五分割结果；

若所述第四分割结果与所述第五分割结果不相同，判定所述比对图与所述初始模板图不相同；

若所述第四分割结果与所述第五分割结果相同，判定所述比对图与所述初始模板图相同。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一差异信息确定所述待检图像的第一异物信息之后，所述方法还包括：

于所述待检图像中标记出所述第一异物信息。

8.一种图像异物识别装置，其特征在于，包括用于执行如权利要求1-7任一项所述方法的单元。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。

Images