CN113191273A - 基于神经网络的油田井场视频目标检测与识别方法及*** - Google Patents

Abstract

本发明公开了一种基于神经网络的油田井场视频目标检测与识别方法及***，所述方法包括以下步骤：对油田井场视频抽帧形成的油田场景图像进行预处理；将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，获得图像中出现的目标位置及目标类别信息；将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。本发明针对于油田井场现场的多样化场景，利用自定义的两级深度神经网络结构，可提升识别的准确率，实现油田场景下多目标的快速有效检测与识别，为油田生产与运输带来安全上的保障。

Description

基于神经网络的油田井场视频目标检测与识别方法及***

技术领域

本发明属于计算机数字图像处理与模式识别技术领域，涉及油田井场作业区目标检测与识别领域，特别涉及一种基于神经网络的油田井场视频目标检测与识别方法及***。

背景技术

大多数油田位于现场交通不便、自然环境十分恶劣的地区，同时又加上盗窃和破坏的问题，石油生产和运输安全受到严重威胁。油田开采工作的一个重要组成部分就是做好安全控制工作。安全工作包括自然环境十分复杂带来的安全问题、石油生产和运输安全问题以及井场操作人员的安全。

现有在安防监控上最重要的技术是采用移动帧检测，一般也叫运动检测，常用于无人值守监控录像和自动报警。通过摄像头按照不同帧率采集图像，得到的图像被CPU按照一定算法进行计算和比较，当画面有变化时，如有人走过、镜头被移动等，计算比较得出的数字结果会超过阈值并指示***自动做出相应的处理。针对于油田厂区中复杂的场景，包含抽油机、工程车、工作人员、动物、轿车这些复杂目标。

目前，通用的移动帧检测方案不能够准确实时地检测到具体目标，难以精确化监控且实施有目的性管控。

发明内容

本发明的目的在于提供一种基于神经网络的油田井场视频目标检测与识别方法及***，以解决上述存在的一个或多个技术问题。本发明针对于油田井场现场的多样化场景，利用自定义的两级深度神经网络结构，可提升识别的准确率，实现油田场景下多目标的快速有效检测与识别，为油田生产与运输带来安全上的保障。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于神经网络的油田井场视频目标检测与识别方法，包括以下步骤：

对油田井场视频抽帧形成的油田场景图像进行预处理，获得预处理后的图像；

将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，获得图像中出现的目标位置及目标类别信息；其中，所述预先训练好的深度神经网络油田井场目标检测与识别器中，基于深度神经网络的目标检测与识别网络包括：

第一级网络模型，用于对油田井场拍摄的分辨率大于预设阈值的高分辨率图像进行目标识别，输出图像中存在的目标物的位置信息和第一类别信息；

第二级网络模型，用于输入预设关心的目标物图像，输出第二类别信息；其中，所述预设关心的目标物图像通过将第一级网络模型输出的目标图像去除掉背景类目标后获得；

将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。

本发明的进一步改进在于，所述预先训练好的深度神经网络油田井场目标检测与识别器的训练步骤具体包括：

将标注有目标位置和类别信息标签的学习样本集图片输入基于深度神经网络的目标检测与识别网络进行训练，基于目标位置和类别的联合学习损失函数调整基于深度神经网络的目标检测与识别网络参数；

使用随机梯度下降的方式进行优化，生成油田井场目标检测与识别器，每隔一个epoch的迭代进行一次模型测试，挑选性能最好或性能达到预设要求的模型作为训练好的深度神经网络油田井场目标检测与识别器。

本发明的进一步改进在于，采用Yolo网络作为第一级神经网络模型。

本发明的进一步改进在于，所述第一级神经网络模型训练的步骤包括：

将学习样本集图片送入到第一级网络模型Yolo网络的BackBone模块，得到输入图像的特征图；

将特征图送入到Neck网络和预测网络中，根据预测标签信息和标注信息设计损失函数进行训练，通过不断训练和测试，选择使得测试集误差最小的模型参数组合作为第一级网络模型的参数。

本发明的进一步改进在于，采用SSD模型作为第二级网络模型。

本发明的进一步改进在于，所述第二级网络模型的训练步骤包括：

将第一级神经网络模型输出的初步目标检测与分类结果进行筛选，去除背景类图像，获得预设关心的目标物图像；

将预设关心的目标物图像送入到第二级网络模型，进行训练和预测，获得训练好的第二级网络模型。

本发明的进一步改进在于，第一类别信息包括：人、车、动物；第二类别信息包括：红色安全帽、蓝色安全帽、穿工作服的工人、未穿工作服的工人、轿车、油罐车、工程车、抽油机。

本发明的进一步改进在于，获取标注有目标位置和类别信息标签的学习样本集图片时，采用数据增强的方式，扩增数据集包括：

对单一图片进行几何畸变、光照畸变、图像遮挡；

采用多图组合数据增强技术，将采集到的图像进行组合，利用Mosaic DataAugmentation技术，使得四张训练图像按一定比例组合成一张图像。

本发明的一种基于神经网络的油田井场视频目标检测与识别***，包括：

预处理模块，用于对油田井场视频抽帧形成的油田场景图像进行预处理，获得预处理后的图像；

识别分类模块，用于将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，获得图像中出现的目标位置及目标类别信息；

告警匹配模块，用于将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。

与现有技术相比，本发明具有以下有益效果：

本发明针对于没有明显结构化标签的井场图像信息，利用自定义的深度神经网络(包括)，能够实现油田场景下不同种类目标(可以是车辆、人员、动物等)的检测与识别。本发明中，基于自定义的深度神经网络(包括第一网络模型和第二网络模型)，可提升识别的准确率，对油田的智能化数字监控带来了很大提升，方便人员管理和安全事件快速告警，减少油田生产过程中的安全事件。

本发明针对于油田井场现场的多样化场景，对采集的数据集进行了数据增强处理，利用自定义的两级深度神经网络结构，考虑油田摄像机抽取到图像信息的特点，进行了小目标检测与识别的优化，可提升识别的准确率，实现油田场景下多目标的快速有效检测与识别，为油田生产与运输带来安全上的保障。

本发明采用深度神经网络模型，采集大量油田特殊场景图像，通过训练模型，达到对多目标精确识别，实时识别抽油机、工程车、工作人员、动物、轿车等复杂目标，并提供警报***，将不同事件列为不同的安全类别，为石油生产和运输安全带来巨大保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于神经网络的油田井场视频目标检测与识别方法的流程示意图；

图2是本发明实施例中，油田井场识别效果示意图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。

请参阅图1和图2，本发明实施例的一种基于神经网络的油田井场视频智能实时监控与识别的方法，包括以下步骤：

对油田井场视频抽帧形成的油田场景图像进行预处理；

将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，输出当前图像中出现的目标位置及目标类别信息；

将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。

本发明实施例中，预先训练好的深度神经网络油田井场目标检测与识别器的训练步骤包括：

建立基于深度神经网络的目标检测与识别网络；

将标注有目标位置和类别信息标签的学习样本集图片输入建立的基于深度神经网络的检测与识别网络进行训练，并基于目标的位置和类别的联合学习损失函数调整基于深度神经网络的检测与识别网络参数；使用随机梯度下降的方式进行优化，生成油田井场目标检测与分类识别器，每隔一个epoch的迭代进行一次模型测试，挑选一个性能最好的模型保存下来，最终保存下来的模型为训练好的深度神经油田井场目标检测与识别器。

本发明实施例中，将标注有目标位置和类别信息标签的学习样本集图片输入建立的基于深度神经网络的检测与识别网络进行训练，并基于目标的位置和类别的联合学习损失函数调整基于深度神经网络的检测与识别网络参数，具体包括：

3.1、将采集到的油田场景图像信息做标注，可以标注的标签信息有不同颜色安全帽、不同颜色工作服、不同的车辆类别、不同种类的动物、明火、烟雾等标签。考虑到真实情况下，一些种类标签图像的数据集较少或者人工标注工作量较大，采用数据增强的方式，扩增数据集，除了采用对单一图片进行经典的几何畸变、光照畸变、图像遮挡等，针对于油田井场场景中大多数摄像头监控范围很大，存在大量小目标，本发明采用多图组合数据增强技术，将采集到的图像进行组合，利用Mosaic data augmentation技术，使得四张训练图像按一定比例组合成一张图像，使训练的模型学会在更小的范围内识别对象。

3.2、针对于井场摄像头一般是远场场景拍摄，目标物很小在图像中占据比例很小，采用单级网络模型，会出现漏检率、误检率过高和重框现象严重等问题，本发明采用两级网络模型进行目标检测和识别，第一级网络对于油田井场拍摄的高分辨率图像进行目标识别，输出图像中存在的目标物的位置信息和大类别信息，比如人、车、动物、烟火位置和类别信息。将第一级网络模型输出的目标图像筛除掉背景类目标，将油田监控所关心的其他目标物图像输入到第二级网络，进一步的识别细分类的目标，如红色安全帽、蓝色安全帽、穿工作服工作人员、小汽车、货车、工程车、羊、狗等具体目标类别信息，如图2所示。

3.3、油田井场存在大量摄像头，需要实时对几百路、几千路视频流处理并且检测和识别出目标物，本发明采用Yolo网络作为第一级神经网络模型，Yolo神经网络模型及该系列后续网络模型具有很快的推理速度。

3.4、根据步骤3.3所述第一级神经网络模型，将步骤3.1预处理后的图像集送入到第一级网络模型Yolo网络的BackBone模块得到输入图像的特征图信息，该步骤是对图像信息进一步做特征提取和压缩，将井场高分辨的图像提取出关键特征图，便于后面步骤中网络模型高效计算和精确目标检测与识别。

3.5、将步骤3.4对图像提取到的特征图送入到Neck网络和预测网络中，然后根据预测标签信息和人工标注信息设计损失函数进行训练，通过不断训练和测试，选择使得测试集误差最小的模型参数组合作为第一级网络的参数。

3.5、将步骤3.5所得到的初步目标检测与分类结果进行筛选，去除背景类图像，将所关心的目标类图像送入到第二级网络模型，进行训练和预测。所述第二级网络模型采用SSD模型。

3.6、步骤3.5中第二级网络模型对第一级网络所得到图像信息和类别信息进行更进一步分类和检测，其中第二级网络模型特征提取选择与提取模块，先对图像的特征提取与加工，形成第二级网络特征图，之后再将该特征图送入到分类器中进行分类，可以得到更加细分的目标类型，如红色安全帽、蓝色安全帽、穿工作服的工人、未穿工作服的工人、轿车、油罐车、工程车、抽油机等目标位置和类别信息。

本发明实施例的一种基于神经网络的油田井场视频目标检测与识别***，包括：

预处理模块，用于对油田井场视频抽帧形成的油田场景图像进行预处理，获得预处理后的图像；

识别分类模块，用于将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，获得图像中出现的目标位置及目标类别信息；

告警匹配模块，用于将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。

本发明实施例中，第一级网络采用Yolo网络，针对于油田场景复杂，包括办公室、厂区、作业区、近场景、远场景、雨雪天、白天、黑夜等等，且大多数目标物在图像中区域占比小，对大量的候选检测进行准确排序对于优异表现的目标检测器来说非常重要，然而之前的研究工作使用分类得分作为排序的依据，它们都不能可靠地表示排序，这会损害检测性能，特别的，我们设计了一个新的损失函数，称为Varifocal损失，用于训练密集的物体检测器来预测IACS。

网络模型损失函数Varifocal Loss定义为：

其中，p是预测的IACS得分，q是目标IoU分数。对于训练中的正样本，将q设置为生成的bbox和gt box之间的IoU，而对于训练中的负样本，所有类别的训练目标q均为0。

当训练一个密集的物体检测器使连续的IACS回归时，本发明从focal loss中借鉴了样本加权思想来解决类不平衡问题；但是，与focal loss同等对待正负样本的损失不同，本发明选择不对称地对待它们。

本发明实施例的实验结果如表1所示。

表1.油田场景数据集在不同网络模型上的测试效果

通过表1可知，本发明通过改进数据集预处理增强策略、自定义Varifocal Loss损失函数，可以实现对油田场景中多种复杂目标的有效识别，提高了原始算法的检测精度，实现油田场景下多目标的快速有效检测与识别，为油田生产与运输带来安全上的保障。

综上所述，本发明实施例公开了一种基于神经网络的油田井场视频智能实时监控与识别的方法，所述方法包括：采用现有公开图像数据集和自制图像数据集，标注并预处理图像数据集建立数据库，形成学习样本；基于制作好的图像数据集对所述二级深度神经网络和自定义的油田作业目标物的联合学习损失函数；训练出深度学习网络的参数使得损失函数达到最小；采用训练好的网络参数部署到生产环境下进行识别；将识别结果与数据库中安全等级信息进行匹配，输出识别到的图像所属的可能产生安全等级信息，达到告警目的。本发明对油田生产过程中的多种安全问题行进行告警，可以有效达到监控目的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (9)

1.一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，包括以下步骤：

对油田井场视频抽帧形成的油田场景图像进行预处理，获得预处理后的图像；

将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，获得图像中出现的目标位置及目标类别信息；其中，所述预先训练好的深度神经网络油田井场目标检测与识别器中，基于深度神经网络的目标检测与识别网络包括：

第一级网络模型，用于对油田井场拍摄的分辨率大于预设阈值的高分辨率图像进行目标识别，输出图像中存在的目标物的位置信息和第一类别信息；

第二级网络模型，用于输入预设关心的目标物图像，输出第二类别信息；其中，所述预设关心的目标物图像通过将第一级网络模型输出的目标图像去除掉背景类目标后获得；

将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。

2.根据权利要求1所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，所述预先训练好的深度神经网络油田井场目标检测与识别器的训练步骤具体包括：

将标注有目标位置和类别信息标签的学习样本集图片输入基于深度神经网络的目标检测与识别网络进行训练，基于目标位置和类别的联合学习损失函数调整基于深度神经网络的目标检测与识别网络参数；

使用随机梯度下降的方式进行优化，生成油田井场目标检测与识别器，每隔一个epoch的迭代进行一次模型测试，挑选性能最好或性能达到预设要求的模型作为训练好的深度神经网络油田井场目标检测与识别器。

3.根据权利要求1所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，采用Yolo网络作为第一级神经网络模型。

4.根据权利要求3所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，所述第一级神经网络模型训练的步骤包括：

将学习样本集图片送入到第一级网络模型Yolo网络的BackBone模块，得到输入图像的特征图；

将特征图送入到Neck网络和预测网络中，根据预测标签信息和标注信息设计损失函数进行训练，通过不断训练和测试，选择使得测试集误差最小的模型参数组合作为第一级网络模型的参数。

5.根据权利要求1所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，采用SSD模型作为第二级网络模型。

6.根据权利要求5所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，所述第二级网络模型的训练步骤包括：

将第一级神经网络模型输出的初步目标检测与分类结果进行筛选，去除背景类图像，获得预设关心的目标物图像；

将预设关心的目标物图像送入到第二级网络模型，进行训练和预测，获得训练好的第二级网络模型。

7.根据权利要求1所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，第一类别信息包括：人、车、动物；第二类别信息包括：红色安全帽、蓝色安全帽、穿工作服的工人、未穿工作服的工人、轿车、油罐车、工程车、抽油机。

8.根据权利要求2所述的一种基于神经网络的油田井场视频目标检测与识别方法，其特征在于，获取标注有目标位置和类别信息标签的学习样本集图片时，采用数据增强的方式，扩增数据集包括：

对单一图片进行几何畸变、光照畸变、图像遮挡；

采用多图组合数据增强技术，将采集到的图像进行组合，利用Mosaic DataAugmentation技术，使得四张训练图像按一定比例组合成一张图像。

9.一种基于神经网络的油田井场视频目标检测与识别***，其特征在于，包括：

预处理模块，用于对油田井场视频抽帧形成的油田场景图像进行预处理，获得预处理后的图像；

识别分类模块，用于将预处理后的图像输入预先训练好的深度神经网络油田井场目标检测与识别器进行识别，获得图像中出现的目标位置及目标类别信息；

告警匹配模块，用于将获得的目标位置及目标类别信息与预先建立的油田告警等级信息进行匹配，输出识别结果。

Images