CN111597899B

CN111597899B - 景区地面塑料瓶探测方法

Info

Publication number: CN111597899B
Application number: CN202010298079.6A
Authority: CN
Inventors: 邵奇可; 陈一苇; 卢熠
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2020-04-16
Filing date: 2020-04-16
Publication date: 2023-08-11
Anticipated expiration: 2040-04-16
Also published as: CN111597899A

Abstract

景区地面塑料瓶探测方法，包括如下步骤：1)采集大量景区中高空摄像头的图像以及其他塑料瓶数据集，依据现场的管理需求进行数据集的标定，确定使用的一阶段目标检测算法模型；2)构建参数自适应的损失函数和3)构建一阶段目标检测算法模型的损失函数LOSS；4)采用梯度下降法对一阶段目标检测算法模型的权值进行更新，直到模型收敛为止；将训练好的模型在实际***中完成对塑料瓶的检测，并根据现场塑料瓶的存在时间与位置关系，实现对塑料瓶的检测***。本发明的优点在于提出的焦点损失函数能够提高塑料瓶探测模型的参数自适应性，大幅提高了塑料瓶探测的准确率。

Description

景区地面塑料瓶探测方法

技术领域

本发明属于图像识别与计算机视觉技术领域，涉及的是景区地面塑料瓶探测方法。

背景技术

目前，针对游人在景区内随意丢弃塑料瓶，工作人员无法及时处理地面上丢弃的塑料瓶问题，传统处理方法主要包括：一是通过工作人员对景区的不断巡检；二是通过传统图像算法对景区地面上的塑料瓶进行识别。其中，通过工作人员的巡检完成对景区地面塑料瓶的处理方式，该处理方式需要耗费大量人力、物力和财力，且由于工作人员需要休假以及在人工的巡检过程中会有漏检等因素，效果并不理想。而传统图像算法的泛化性较差，需要摄像头在固定的角度、固定的光照条件下，才能实现对图像中塑料瓶的检测。

因此，利用景区中现有的安防摄像头对景区地面的塑料瓶进行实时识别，并将地面塑料瓶的位置信息发送到控制中心，通知现场工作人员及时处理，不仅能够大幅缩减人工费用，而且能够提高景区对地面塑料瓶的处理效率。因此这种基于视频的景区地面塑料瓶检测***具有很好的推广价值。

利用安防摄像头的视频流对景区地面塑料瓶识别，对识别算法的精准度以及信息的实时性要求较高。因此，采用基于深度学习的目标检测算法较合理。基于深度学习的目标检测算法分为二阶段模型与一阶段模型。虽然二阶段目标检测模型具有更好的检测精度，但其前向推理速度较慢，无法满足业务场景的实时性要求。在传统的一阶段目标检测算法模型中，虽然算法的实时性较好，但无法达到二阶段目标检测算法模型的检测精度。在图像检测目标时含有大量的景区背景对象，景区背景对象的损失值虽然很小，但是数量远远超过塑料瓶目标，目前传统的目标检测方法在这种复杂场景下很难获得较高的识别准确度，因此迫切需要一种具有高度自适应性的目标检测方法。

发明内容

本发明要克服现有技术的上述缺点，提供一种识别准确度高、自适应性好的景区地面塑料瓶探测方法。

本发明对一阶段目标检测算法模型中的损失函数进行改进。损失函数作为卷积神经网络中梯度下降过程的目标函数，直接影响着卷积神经网络的训练结果。而卷积神经网络训练的结果好坏直接关系着目标检测的识别精度，因此对损失函数的设计显现的尤为重要。在一阶段目标检测算法模型训练过程中，网络在图像检测目标时含有大量的景区背景对象，景区背景对象的损失值虽然很小，但是在数量上远远超过塑料瓶，因此在计算损失值时，概率值小的景区背景损失值压倒了塑料瓶目标损失值，导致模型精度下降很多，因此在检测模型中嵌入焦点损失函数来提高训练精度。而在焦点损失函数中有超参数需要依据经验值去设置，无法依据预测出的类别概率值，自动调节自身的超参大小。

本发明针对焦点损失函数在训练过程中需要手动调节超参数，训练过程中的参数不具备自适应性的问题，提出了一种基于半监督学习的深度学习损失函数，该损失函数使用加权法对超参进行改进，使得网络在梯度下降过程中，能够自适应的调节网络超参数，进而提高网络的学习效率。

景区地面塑料瓶探测方法，包括如下步骤：

Step 1：构建塑料瓶数据集M，训练数据集T，验证数据集V，标注塑料瓶类别数C，训练数据批次大小batch，训练批次数batches，学习率l_rate，训练数据集T与验证数据集V之间的比例系数ζ。

ζ＝Card(V)/Card(T)

其中：V∪T＝M，C∈N⁺，ζ∈(0,1)，batches∈N⁺,l_rate∈N⁺，batch∈N⁺，表示图像的高和宽，r表示图像的通道数。

Step 2：确定待训练的一阶段目标检测模型，设卷积神经网络深度为L，网络卷积层卷积核集合G，网络输出层采用全连接方式，其卷积核集合A，网络特征图集合U，表示第l层网络中第k个特征图/>对应的网格数量，锚点集合M，具体定义如下：

其中：分别表示第l层网络对应的卷积核、特征图和锚点的高、宽、维度。/>表示第l层网络卷积核的填充大小，/>表示第l层网络卷积步长，f表示卷积神经元的激励函数，Θ表示选取的输入特征，Λ∈N⁺表示第l层网络的锚点总数，Ξ∈N⁺表示输出层节点总数，Φ∈N⁺表示第l层网络特征图总数，Δ∈N⁺表示第l层卷积核的总数。

Step 3：设计参数自适应的焦点损失函数如下：

其中：

表示第l层网络上第i个网格中第j个锚点在图像t_k的塑料瓶样本与景区背景样本置信度的损失函数；同理，/>表示塑料瓶预测框的损失函数，/>表示塑料瓶类别的损失函数，λ∈Q为损失函数/>参数。

和/>分别表示塑料瓶目标和景区背景目标的损失函数，具体如下所示：

表示第l层网络上第i个网格中第j个锚点预测的前景塑料瓶概率值，同理，/>表示相对应的景区背景概率值。/>分别表示第l层网络上第i个网格中第j个锚点的预测框中心点横坐标和纵坐标，同理/>分别表示塑料瓶样本标定框的中心点横坐标与纵坐标；/>分别表示第l层网络上第i个网格中第j个锚点的预测框中心点到该框边界的最短欧式距离，同理/>分别表示塑料瓶样本标定框的中心点到该框边界的最短欧式距离；/>表示第l层网络上第i个网格中第j个锚点预测的塑料瓶类别预测值。同理，/>表示塑料瓶类别的标定状态，/>表示塑料瓶样本进行预测，/>表示是否对景区背景样本进行预测，具体计算如下：

其中参数α∈(0，1)；iou_j表示锚点m_j在第i个网格中锚点框与塑料瓶标定框的交叠率，miou表示最大交叠率。

Step 4：基于Step 3中的一阶段目标检测算法模型的损失函数，利用训练集对模型进行梯度下降法训练，直至模型收敛。在模型测试阶段，设置报警时间为timer，当***模型检测到塑料瓶时，自动记录其所属的详细类别、位置信息，并开始计时，超过给定的时间timer后，如果再次检测到的塑料瓶详细类别和位置信息与之前一致，则发出告警。

本发明的优点是：能够提高塑料瓶探测模型的参数自适应性，大幅提高塑料瓶探测的准确率。

附图说明

图1是本发明的卷积神经网络的网络结构图。

图2是本发明的卷积神经网络中损失函数结构图。

图3是本发明给出的基于卷积神经网络的塑料瓶检测算法部署流程图。

具体实施方式

为了更好的说明本发明的技术方案，下面结合附图，通过一个实施例，对本发明做进一步说明。

景区地面塑料瓶探测方法，包括如下步骤：

Step 1：采集大量高空拍摄的塑料瓶图像数据，构建出塑料瓶数据集M的数量为10000，训练数据集T的数量为8000，验证数据集V的数量为2000，标注塑料瓶类别数C取值为5，分别为芬达塑料瓶、口可可乐塑料瓶、脉动塑料瓶、尖叫塑料瓶、农夫山泉塑料瓶，训练数据批次大小batch取值为4，训练批次数batches取值为1000，学习率l_rate取值为0.001，训练数据集T与验证数据集V之间的比例系数ζ取值为0.25，所有图像的高、宽、通道数设置一致，图像的高h_k和宽w_k分别取值为416，416，图像的通道数r取值为3。

Step 2：确定一阶段目标检测模型为Yolov3，卷积神经网络深度L设置为139，其中，卷积核的高、宽和维度设置具体如图1所示，卷积核的填充大小默认为1，卷积步长/>默认为1，卷积神经元的激励函数f默认为leakly_relu激励函数；锚点在每一层网络中都共享，锚点集合M取值为{(10,13),(30,61),(156,198)}，即在每一层网络层中，锚点总数Λ取值为3；网络输出层采用全连接方式，其卷积核集合A取值为{(1,1,30),(1,1,30),(1,1,30)}，即输出层节点总数Ξ取值为3。

Step 3：如图2所示，构建参数自适应的焦点损失函数LOSS，参数α取值为0.25，参数λ取值为0.5。

Step 4：基于Step 3中的一阶段目标检测算法模型的损失函数，利用训练集对模型进行梯度下降法训练，直至模型收敛。如图3所示，利用景区内安放的摄像头的视频流进行实时检测，在模型测试阶段，报警时间timer取值为3分钟，当***模型检测到塑料瓶时，自动记录其所属的详细类别、位置信息，并开始计时，超过3分钟后，如果再次检测到的塑料瓶详细类别和位置信息与之前一致，则发出告警。

以上阐述的是本发明给出的一个实施例表现出的优良优化效果，显然本发明不只是限于上述实施例，在不偏离本发明基本精神及不超出本发明实质内容所涉及范围的前提下对其可作种种变形加以实施。

Claims

1.景区地面塑料瓶探测方法，包括以下步骤：

Step 1：构建塑料瓶数据集M′，训练数据集T，验证数据集V，标注塑料瓶类别数C，训练数据批次大小batch，训练批次数batches，学习率l_rate，训练数据集T与验证数据集V之间的比例系数ζ；

ζ＝Card(V)Card(T)

其中：V∪T＝M′，C∈N⁺，ζ∈(0,1)，batches∈N⁺,l_rate∈N⁺，batch∈N⁺，表示图像的高和宽，r表示图像的通道数；

其中：分别表示第l层网络对应的卷积核、特征图和锚点的高、宽、维度；/>表示第l层网络卷积核的填充大小，/>表示第l层网络卷积步长，f表示卷积神经元的激励函数，Θ表示选取的输入特征，Λ∈N⁺表示第l层网络的锚点总数，Ξ∈N⁺表示输出层节点总数，Φ∈N⁺表示第l层网络特征图总数，△∈N⁺表示第l层卷积核的总数；

Step 3：设计参数自适应的焦点损失函数，具体包括：

其中：

表示第l层网络上第i个网格中第j个锚点在图像t_k的塑料瓶样本与景区背景样本置信度的损失函数；同理，/>表示塑料瓶预测框的损失函数，/>表示塑料瓶类别的损失函数，λ为损失函数/>参数；/>和/>分别表示塑料瓶目标和景区背景目标的损失函数，具体如下所示：

表示第l层网络上第i个网格中第j个锚点预测的前景塑料瓶概率值，同理，表示相对应的景区背景概率值；/>分别表示第l层网络上第i个网格中第j个锚点的预测框中心点横坐标和纵坐标，同理/>分别表示塑料瓶样本标定框的中心点横坐标与纵坐标；/>分别表示第l层网络上第i个网格中第j个锚点的标定框中心点到该框边界的最短欧式距离，同理/>分别表示塑料瓶样本预测框的中心点到该框边界的最短欧式距离；/>表示第l层网络上第i个网格中第j个锚点预测的塑料瓶类别预测值；同理，/>表示塑料瓶类别的标定状态，/>表示是否对塑料瓶样本进行预测，/>表示是否对景区背景样本进行预测，具体计算如下：

其中参数α∈(0,1)；iou_j表示锚点m_j在第i个网格中锚点框与塑料瓶标定框的交叠率，miou表示最大交叠率；

Step 4：利用Step 3中的一阶段目标检测算法模型的损失函数，对模型进行梯度下降法训练，直至模型收敛；在***运行阶段，利用一阶目标检测模型提取网络特征值，并基于K-means聚类方法确定锚点，设置报警时间为timer，当***模型检测到塑料瓶时，自动记录其所属的详细类别、位置信息，并开始计时，超过给定的时间timer后，如果再次检测到的塑料瓶详细类别和位置信息与之前一致，则发出告警。