CN114299290B - 裸土识别方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种裸土识别方法、装置、设备及计算机可读存储介质。本发明包括输入待检测的图像；通过深度学习神经网络预训练模型对图像进行像素级别预测，进行图像分割；设置置信度阈值对图像进行过滤；提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；根据像素块保留完整度对图像上的像素块进行保留或删除；根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。本发明应用于图像处理的技术领域。

Description

裸土识别方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种裸土识别方法、装置、设备及计算机可读存储介质。

背景技术

如今，语义分割(应用于静态2D图像、视频甚至3D数据、体数据)是计算机视觉的关键问题之一。在宏观意义上来说，语义分割是为场景理解铺平了道路的一种高层任务。作为计算机视觉的核心问题，场景理解的重要性越来越突出，因为现实中越来越多的应用场景需要从影像中推理出相关的知识或语义(即由具体到抽象的过程)。这些应用包括自动驾驶、人机交互、计算摄影学、图像搜索引擎、增强现实等。应用各种传统的计算机视觉和机器学***的工作以及验证相关实验结果等是非常困难的。更具体地，语义图像分割的目标是用对应的所表示的类来标记图像的每个像素。因为我们正在预测图像中的每个像素，所以此任务通常被称为密集预测。而传统机器学习具有运算速度快，设计简单的特点。在简单的分类问题中，往往不需要大量的特征，只选择主要的少数特征就可以获得比较优良的分类性能。

城市建设施工过程中经常会产生裸土，如果裸土得不到及时处理，极易产生扬尘、泥水等，对城市环境造成极大的污染，侵害公众的健康，因此在实际工地作业中需要监督工人将裸露的土地用蓝布覆盖。在城市建设施工所涉及的场景下，仅需要识别裸土一样物体类别，而现有技术中有通过重新训练神经网络模型以识别裸土，但是重新训练神经网络模型需要重新处理和标注数据，存在开发流程复杂的情况，而且误检率较高，误检部分大多为水泥，因此目前需要研发出一种开发时间短、分类速度快及准确率高的裸土识别方法、装置、设备及计算机可读存储介质。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，第一目的为提供了一种开发时间短、分类速度快及准确率高的裸土识别方法、装置、设备及计算机可读存储介质。

本发明第二目的为提供了一种开发时间短、分类速度快及准确率高的裸土识别装置。

本发明第三目的为提供了一种开发时间短、分类速度快及准确率高的裸土识别设备。

本发明第四目的为提供了一种开发时间短、分类速度快及准确率高的计算机可读存储介质。

本发明提供了一种土识别方法，所述的裸土识别方法包括以下步骤：

输入待检测的图像；

通过深度学习神经网络预训练模型对图像进行像素级别预测，进行图像分割；

设置置信度阈值对图像进行过滤；

提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；

通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

根据像素块保留完整度对图像上的像素块进行保留或删除；

根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

进一步，所述的设置置信度阈值对图像进行过滤的步骤包括：

取置信度阈值为0.9，若像素置信度值大于0.9，判断为裸土，否则按照置信度顺延预测结果类别。

进一步，所述的通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

设置色度阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

设置颜色比值阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素。

进一步，所述的设置色度阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

取色度阈值为95，若像素色度小于95，判断为非裸土，将该像素删除，否则保留该预测像素。

进一步，所述的设置颜色比值阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

取RGB蓝色与RGB红色的比值为0.91作为阈值，若像素的RGB蓝色与RGB红色的比值大于0.91，判断为非裸土，将该像素删除，否则保留该像素。

进一步，所述的根据像素块保留完整度对图像上的像素块进行保留或删除的步骤包括：

将像素个数小于500的像素块删除，保留像素个数大于500的像素块。

进一步，所述的根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型的步骤包括：

对预测结果进行输出，若图片中像素块大于等于3个，则判断图片为有裸土；若图片中像素块小于3个，则判断为没有裸土。

本发明还提供了一种裸土识别装置，所述的裸土识别装置包括：

图像输入模块，用于输入待检测的图像；

图像分割模块，用于通过深度学习神经网络预训练模型对建筑工地所拍摄的图像进行像素级别预测，对图像进行图像分割；

置信度过滤模块，用于设置置信度阈值对图像进行过滤；

裸土特征提取模块，用于提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；

二分类模块，用于通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

像素块完整度过滤模块，用于根据像素块保留完整度对图像上的像素块进行保留或删除；

图像输出模块，用于根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

本发明还提供了一种裸土识别设备，其特征在于：所述的裸土识别设备包括：

存储器、处理器、摄像头及存储在存储器上并可在处理器上运行的裸土识别处理程序，所述的裸土识别处理程序被处理器执行时实现所述的裸土识别方法的步骤。

本发明还提供了一种计算机可读存储介质，其特征在于：所述的计算机存储介质上存储有裸土识别处理程序，所述裸土识别处理程序被处理器执行时实现所述的裸土识别方法的步骤。

本发明的有益效果是：

本发明提供了一种裸土识别方法、装置、设备及计算机可读存储介质，所述的裸土识别方法通过置信度、颜色、像素块保留完整度进行特征级联，采用深度学习神经网络预训练模型以及机器学习手工特征级联的方法与重新训练神经网络模型相比，通过深度学习图像分割提供初步模型预测数据，对裸土和非裸土区域进行初步的像素级别预测，在图像分割的基础上，进一步引入传统机器学习手工特征级联的方法，有效提高了准确率和召回率，将有裸土的图片成功分类出来，不需要重新处理和标注数据，简化了开发流程，开发时间短，且分类速度快，算法性能好。这一方法可以应用到不同的工地，极大减少了人力成本，使得本发明具有开发时间短、分类速度快及准确率高的优点。

附图说明

图1是裸土识别方法的流程图；

图2是裸土识别方法的流程图；

图3是裸土识别方法的流程图；

图4是裸土识别方法的流程图；

图5是裸土识别方法的流程图；

图6是裸土识别方法的流程图；

图7是裸土识别方法的流程图；

图8是裸土识别方法的检测流程图；

图9是裸土识别装置的示意图；

图10是假土误检通过置信度为0.9进行级联的前后效果图；

图11是假土误检通过置信度为0.9进行级联的前后效果图；

图12是假土误检通过置信度为0.9进行级联的前后效果图；

图13是真裸土通过置信度为0.9进行级联的前后效果图；

图14是真裸土通过置信度为0.9进行级联的前后效果图；

图15是真裸土通过置信度为0.9进行级联的前后效果图；

图16为将水泥图通过色度95作为阈值进行二分类后的效果图；

图17为将裸土图通过色度95作为阈值进行二分类后的效果图；

图18为水泥图通过取95为色度阈值、0.9为置信度阈值过滤效果图；

图19为裸土图通过取95为色度阈值、0.9为置信度阈值过滤效果图。

具体实施方式

下面以具体地实施例对本公开实施例的技术方案以及本公开实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

如图1及图8所示，本发明提供了一种裸土识别方法，所述的裸土识别方法包括以下步骤：

步骤S1，输入待检测的图像；

步骤S2，通过深度学习神经网络预训练模型对图像进行像素级别预测，进行图像分割；

具体地，通过深度学习神经网络预训练模型对图像进行图像分割，获取初步的预测结果；

步骤S3，设置置信度阈值对图像进行过滤；

具体地，由于语义分割对图像进行预测时，每个像素都会有每个类别的置信度预测数据，由于真土与假土之间存在预测置信度的区别，通过设置置信度阈值对图像进行过滤，能够减少深度学习神经网络预训练模型的误检率，提高模型预测准确率。

步骤S4，提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；

步骤S5，通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

具体地，由于裸土与水泥的色度及颜色比值均存在明显差异，因此通过设置色度阈值以及设置颜色比值阈值对裸土与水泥进行二分类，从而减少误分类。

步骤S6，根据像素块保留完整度对图像上的像素块进行保留或删除；

具体地，由于过滤后，仍存在小部分水泥预测为裸土的情况，但是水泥预测像素块经过前面的二分类过滤后具有碎片化的特点，其像素块比较散碎，没有连接性，而真裸土预测像素整体性及连接性较强，利用这个特征，进一步优化预测结果，完善检测效果，减少误分类。

步骤S7，根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

所述的裸土识别方法通过置信度、颜色、像素块保留完整度进行特征级联，采用深度学习神经网络预训练模型以及机器学习手工特征级联的方法与重新训练神经网络模型相比，通过深度学习图像分割提供初步模型预测数据，对裸土和非裸土区域进行初步的像素级别预测，在图像分割的基础上，进一步引入传统机器学习手工特征级联的方法，有效提高了准确率和召回率，将有裸土的图片成功分类出来，不需要重新处理和标注数据，简化了开发流程，开发时间短，且分类速度快，算法性能好。这一方法可以应用到不同的工地，极大减少了人力成本，使得本发明具有开发时间短、分类速度快及准确率高的优点。

在上述步骤S3中，如图2所示，所述的设置置信度阈值对图像进行过滤的步骤包括：

步骤S31，取置信度阈值为0.9，若像素置信度值大于0.9，判断为裸土，否则按照置信度顺延预测结果类别。选取阈值的方法是通过比较不同阈值获得的结果，在样本图片上根据特征分布情况选择分类错误率最小的阈值，本质上是使用极大似然估计法。

具体地，图10至图12为假土误检通过置信度为0.9进行级联的前后效果图，图13至图15为真裸土通过置信度为0.9进行级联的前后效果图，图10至图15的上半部均为未处理部分，下半部均为通过置信度为0.9进行级联后的效果图，能够看到，假土经过置信度阈值过滤后存在较大的变化，识别为裸土的区域大大减小，甚至有些图像识别为裸土的区域直接消失，而真土的图像的像素能够保留，因此，通过步骤S31的设置，能够减小误检率，提高预测准确率。

如图3所示，在上述步骤S5中，所述的通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

步骤S51，设置色度阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

步骤S52，设置颜色比值阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素。

具体地，通过人工肉眼比对能够确认，水泥和裸土存在较大的颜色区别，故将色度纳入分析范围，纳入特征选择，且水泥和真裸土RGB颜色比值存在明显差异，因此通过色度阈值及颜色比值阈值对裸土与水泥进行二分类，从而减少误分类。

在上述步骤S51中，所述的设置色度阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

如图4所示，步骤S511，取色度阈值为95，若像素色度小于95，判断为非裸土，将该像素删除，否则保留该预测像素。

具体地，图16为将水泥图通过色度95作为阈值进行二分类后的效果图；图17为将裸土图通过色度95作为阈值进行二分类后的效果图；图18为水泥图通过取95为色度阈值、0.9为置信度阈值过滤效果图；图19为裸土图通过取95为色度阈值、0.9为置信度阈值过滤效果图。可以确认，通过取色度阈值为95能够更好的进行二分类，能够将图像中的水泥像素大幅度甚至是全部过滤，提升了模型准确率。

如图5所示，在上述步骤S52中，所述的设置颜色比值阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

步骤S521，取RGB蓝色与RGB红色的比值为0.91作为阈值，若像素的RGB蓝色与RGB红色的比值大于0.91，判断为非裸土，将该像素删除，否则保留该像素。

具体地，由于水泥基本都为灰色像素，而裸土大部分为偏红的像素，因此，水泥和RGB裸土的蓝色与RGB红色的比值差异较明显，通过取RGB蓝色与RGB红色的比值为0.91作为阈值能够更好的进行二分类，从而减少误分类。

如图6所示，在上述步骤S6中，所述的根据像素块保留完整度对图像上的像素块进行保留或删除的步骤包括：

步骤S61，将像素个数小于500的像素块删除，保留像素个数大于500的像素块。

具体地，利用水泥预测像素块具有碎片化的特点，以及真裸土预测像素整体性及连接性较强的的特点，将像素个数小于500的像素块删除，只保留像素个数大于500的像素块，进一步优化预测结果。

如图7所示，在上述步骤S7中，所述的根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型的步骤包括：

步骤S71，对预测结果进行输出，若图片中像素块大于等于3个，则判断图片为有裸土；若图片中像素块小于3个，则判断为没有裸土。

如图9所示，本发明还提供了一种裸土识别装置，所述的裸土识别装置包括：

图像输入模块10，用于输入待检测的图像；

图像分割模块20，用于通过深度学习神经网络预训练模型对建筑工地所拍摄的图像进行像素级别预测，对图像进行图像分割；

置信度过滤模块30，用于设置置信度阈值对图像进行过滤；

裸土特征提取模块40，用于提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；

二分类模块50，用于通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

像素块完整度过滤模块60，用于根据像素块保留完整度对图像上的像素块进行保留或删除；

图像输出模块70，用于根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

本实施例所提供的装置，用于输入待检测的图像；用于通过深度学习神经网络预训练模型对建筑工地所拍摄的图像进行像素级别预测，对图像进行图像分割；用于设置置信度阈值对图像进行过滤；用于提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；用于通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；用于根据像素块保留完整度对图像上的像素块进行保留或删除；用于根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

该装置通过置信度、颜色、像素块保留完整度进行特征级联，采用深度学习神经网络预训练模型以及机器学习手工特征级联与重新训练神经网络模型相比，通过深度学习图像分割提供初步模型预测数据，对裸土和非裸土区域进行初步的像素级别预测，在图像分割的基础上，进一步引入传统机器学习手工特征级联，有效提高了准确率和召回率。

需要说明的是，本实施例为与上述的方法项实施例相对应的装置项实施例，本实施例可与上述方法项实施例互相配合实施。上述方法项实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述方法项实施例中。

本发明还提供了一种裸土识别设备，所述的裸土识别设备包括：

存储器、处理器、摄像头及存储在存储器上并可在处理器上运行的裸土识别处理程序，所述的裸土识别处理程序被处理器执行时实现所述的裸土识别方法的步骤。

此外，本发明还提供了一种计算机可读存储介质，所述的计算机存储介质上存储有裸土识别处理程序，所述裸土识别处理程序被处理器执行时实现所述的裸土识别方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器，或者网络设备等)执行本发明各个实施例所述的方法。

虽然本发明的实施例是以实际方案来描述的，但是并不构成对本发明含义的限制，对于本领域的技术人员，根据本说明书对其实施方案的修改及与其他方案的组合都是显而易见的。

Claims (10)

1.一种裸土识别方法，其特征在于：所述的裸土识别方法包括以下步骤：

输入待检测的图像；

通过深度学习神经网络预训练模型对图像进行像素级别预测，进行图像分割；

设置置信度阈值对图像进行过滤；

提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；

通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

根据像素块保留完整度对图像上的像素块进行保留或删除；

根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

2.根据权利要求1所述的裸土识别方法，其特征在于：所述的设置置信度阈值对图像进行过滤的步骤包括：

取置信度阈值为0.9，若像素置信度值大于0.9，判断为裸土，否则按照置信度顺延预测结果类别。

3.根据权利要求2所述的裸土识别方法，其特征在于：所述的通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

设置色度阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

设置颜色比值阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素。

4.根据权利要求3所述的裸土识别方法，其特征在于：所述的设置色度阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

取色度阈值为95，若像素色度小于95，判断为非裸土，将该像素删除，否则保留该预测像素。

5.根据权利要求3所述的裸土识别方法，其特征在于：所述的设置颜色比值阈值对裸土与水泥进行二分类，删除图像中判断为非裸土的像素的步骤包括：

取RGB蓝色与RGB红色的比值为0.91作为阈值，若像素的RGB蓝色与RGB红色的比值大于0.91，判断为非裸土，将该像素删除，否则保留该像素。

6.根据权利要求1所述的裸土识别方法，其特征在于：所述的根据像素块保留完整度对图像上的像素块进行保留或删除的步骤包括：

将像素个数小于500的像素块删除，保留像素个数大于500的像素块。

7.根据权利要求1所述的裸土识别方法，其特征在于：所述的根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型的步骤包括：

对预测结果进行输出，若图片中像素块大于等于3个，则判断图片为有裸土；若图片中像素块小于3个，则判断为没有裸土。

8.一种裸土识别装置，其特征在于：所述的裸土识别装置包括：

图像输入模块，用于输入待检测的图像；

图像分割模块，用于通过深度学习神经网络预训练模型对建筑工地所拍摄的图像进行像素级别预测，对图像进行图像分割；

置信度过滤模块，用于设置置信度阈值对图像进行过滤；

裸土特征提取模块，用于提取出识别为裸土的像素作为图像掩膜，利用图像掩膜对图像进行特征提取；

二分类模块，用于通过颜色对裸土与水泥进行二分类，删除图像中判断为非裸土的像素；

像素块完整度过滤模块，用于根据像素块保留完整度对图像上的像素块进行保留或删除；

图像输出模块，用于根据完整像素块的个数，将预测的图像分为有裸土和无裸土两种类型。

9.一种裸土识别设备，其特征在于：所述的裸土识别设备包括：

存储器、处理器、摄像头及存储在存储器上并可在处理器上运行的裸土识别处理程序，所述的裸土识别处理程序被处理器执行时实现如权利要求1－7任一项所述的裸土识别方法的步骤。

10.一种计算机可读存储介质，其特征在于：所述的计算机存储介质上存储有裸土识别处理程序，所述裸土识别处理程序被处理器执行时实现如权利要求1－7任一项所述的裸土识别方法的步骤。

Images