CN112733730B - 采油作业现场吸烟人员识别处理方法及*** - Google Patents

采油作业现场吸烟人员识别处理方法及*** Download PDF

Info

Publication number
CN112733730B
CN112733730B CN202110038437.4A CN202110038437A CN112733730B CN 112733730 B CN112733730 B CN 112733730B CN 202110038437 A CN202110038437 A CN 202110038437A CN 112733730 B CN112733730 B CN 112733730B
Authority
CN
China
Prior art keywords
data
type
information
prediction
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110038437.4A
Other languages
English (en)
Other versions
CN112733730A (zh
Inventor
梁鸿
杨莹
魏学成
巩亚明
邵明文
张千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202110038437.4A priority Critical patent/CN112733730B/zh
Publication of CN112733730A publication Critical patent/CN112733730A/zh
Application granted granted Critical
Publication of CN112733730B publication Critical patent/CN112733730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种采油作业现场吸烟人员识别处理方法及***，属于机器视觉技术领域，调用摄像头对采油作业现场进行拍照获取环境照片；使用识别模型确定环境照片中是否有烟头；其中，识别模型为使用多组数据通过机器学习训练得出；多组数据包括第一类数据和第二类数据；第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；在环境照片存在烟头的情况下，则判定采油作业现场人员存在吸烟行为，并发出预警信号。本发明提取了图像的多尺度特征，得到多层特征映射，得到特征金字塔，解决了尺度变化问题，可快速准确的进行现场照片中的烟头识别。

Description

采油作业现场吸烟人员识别处理方法及***
技术领域
本发明涉及机器视觉技术领域，具体涉及一种基于无锚和多尺度特征自适应融合的采油作业现场吸烟人员识别处理方法及***。
背景技术
由于采油作业现场环境复杂，采油施工人员的不规范操作存在着重大安全隐患，尤其是人员吸烟问题，可能会造成重大事故。能实时和准确的检测到采油现场人员的吸烟行为并在第一时间发起警报对于保证采油现场生产安全具有重要意义。快速且准确的检测到现场视频图像中的烟头对于识别现场人员是否吸烟至关重要，而烟头属于小目标问题，难以检测。
在计算机视觉领域，一张图片通常存在多个目标，目标的尺寸和姿态各有所异，多尺度问题，尤其是小目标问题一直阻碍检测精度的提升。由于小目标相比其他目标具有分辨率低，模糊，携带信息较少的问题，因此，检测网络提取该类目标的特征表达能力弱，且难以获取足够的特征来对目标进行精确的定位和标注。
目前采用的目标检测器都是以损失精度或速度为代价的。近几十年来，由于卷积神经网络(CNN)的出现，基于锚的两阶段和一阶段目标检测算法分别在精度和速度方面得到了巨大的提升。但是，两级检测器获得更好的精度但速度慢，而一级检测器具有高效率但精度较低。因此，融合不同的检测框架或方法以利用它们的优点并克服它们的缺点通常是有益的。
为了解决CNN存在参数量大和尺度限定的问题，全卷积网络(FCN)实现了参数共享，且可以对图像进行像素级的分类，可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留原始输入图像中的空间信息，但是，全卷积网络(FCN)没有充分考虑像素与像素之间的关系。
发明内容
本发明的目的在于提供一种基于无锚和多尺度特征自适应融合的采油作业现场吸烟人员识别处理方法及***，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种采油作业现场人员吸烟检测识别处理方法，该方法包括：
调用摄像头对采油作业现场进行拍照获取环境照片；
使用识别模型对环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
在所述环境照片存在烟头的情况下，则判定采油作业现场人员存在吸烟行为，并发出预警信号。
优选的，使用多组数据通过机器学习训练所述识别模型包括：
分别获取第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息；
利用损失函数分别计算所述第一预测信息与所述第一类数据的标签信息的第一误差以及所述第二预测信息与所述第二类数据的标签信息的第二误差；
采用反向传播法对所述预先构建的检测识别网络的参数进行优化，直至所述第一误差和所述第二误差分别达到各自的期望值，得到所述识别模型。
优选的，获取第一预测信息和第二预测信息包括：
分别提取第一类数据中的照片的多个第一特征信息以及第二类数据中的照片的多个第二特征信息；
分别合并多个第一特征信息以及多个第二特征信息，得到第一融合特征信息和第二融合特征信息；
根据所述第一融合特征信息和所述第二融合特征信息，分别获取所述第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息。
优选的，所述第一预测信息和所述第二预测信息均包括对应的照片中每个像素的类别信息、中心偏移信息和回归信息。
优选的，所述第一误差和所述第二误差均包含对应的照片中每个像素的分类误差之和、回归误差之和以及中心点偏移之和。
优选的，所述损失函数为：
Figure BDA0002894318850000031
其中，px,y、tx,y分别表示每个像素的位置(x,y)的分类标签的二维向量和边界框坐标的四维向量；Npos表示整个图像的像素个数；
Figure BDA0002894318850000032
表示每个像素的分类损失之和；Lcls、tcx,y分别表示焦损和每个位置(x,y)的真值框的类标签；p{tcx,y>0}表示每个像素为正样本的概率，若tcx,y>0，则p＝1，否则p＝0；Lreg、trx,y分别表示IOU损失和每个像素位置(x,y)的训练回归目标；LBCE表示中心偏移的二分类交叉熵损失函数。
第二方面，本发明提供一种采油作业现场人员吸烟检测识别处理***，该***包括：
采集模块，用于调用摄像头对采油作业现场进行拍照获取环境照片；
识别模块，用于使用识别模型对所述环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
判断模块，用于在所述环境照片存在烟头的情况下，判定采油作业现场人员存在吸烟行为，并发出预警信号。
优选的，所述识别模块包括预测单元、计算单元以及优化单元；
所述预测单元，用于利用预先构建的检测识别网络分别获取第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息；
所述计算单元，用于利用损失函数分别计算第一预测信息与所述第一类数据的标签信息的第一误差以及第二预测信息与所述第二类数据的标签信息的第二误差；
所述优化单元，用于采用反向传播法对所述预先构建的检测识别网络的参数进行优化，直至所述第一误差和所述第二误差分别达到各自的期望值，得到所述识别模型。
优选的，所述预先构建的检测识别网络包括主干网、颈部、特征映射部以及头部；
所述主干网采用ResNet-50网络，用于提取并保存第一类数据中照片的第一特征信息和第二类数据中照片的第二特征信息；
所述颈部，包括多个自适应空间池化模块，自适应空间池化模块包含自适应池化和自适应空间融合，用于增大第一特征信息和第二特征信息的感受野分别得到第一特征映射和第二特征映射；
所述特征映射部，通过自适应金字塔对第一特征映射和第二特征映射进行自适应空间融合和残差连接，得到最终的特征金塔；
所述头部主要由多个预测子网络组成，用于输出所述第一预测信息和所述第二预测信息。
优选的，所述预测子网络包含并行的分类分支和回归分支，在分类分支中，增加了一个中心偏移子分支，用于阻止由远离目标中心点的位置产生的边界框。
本发明有益效果：识别模型结构简单、易于训练、计算量少、便于优化，可快速准确的进行现场照片中的烟头识别；提取了图像的多尺度特征，***了多个自适应空间池化模块，增大了特征的可接受野得到多层特征映射；通过自适应金字塔模块融合多层特征映射得到特征金字塔，解决了尺度变化问题，同时获取多尺度上下文信息来建立像素间的联系，有利于小目标的准确快速检测；特征金字塔的每层特征通过一个头部得到图像每个像素的预测信息，去除了锚的使用，减少了内存和复杂计算；将多个预测信息进行融合，经过非极大值抑制(NMS)去除多余的边界框，输出最终的检测结果。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所述的采油作业现场人员吸烟检测识别处理***原理框图。
图2为本发明实施例3所述的采油作业现场人员吸烟检测识别处理方法流程图。
图3为本发明实施例4所述的采油作业现场人员吸烟检测识别处理方法流程图。
图4为本发明实施例4所述的采油作业现场人员吸烟检测网络的网络结构示意图。
图5为本发明实施例4所述的采油作业现场人员吸烟检测网络的自适应池化模块的结构示意图。
图6为本发明实施例4所述的采油作业现场人员吸烟检测网络的子检测网络结构示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
如图1所示，本发明实施例1提供一种采油作业现场人员吸烟检测识别处理***，该***包括：
采集模块，用于调用摄像头对采油作业现场进行拍照获取环境照片；
识别模块，用于使用识别模型对所述环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
判断模块，用于在所述环境照片存在烟头的情况下，判定采油作业现场人员存在吸烟行为，并发出预警信号。
在本实施例1中，所述识别模块包括预测单元、计算单元以及优化单元。
所述预测单元，用于利用预先构建的检测识别网络分别获取第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息；
所述计算单元，用于利用损失函数分别计算第一预测信息与所述第一类数据的标签信息的第一误差以及第二预测信息与所述第二类数据的标签信息的第二误差；
所述优化单元，用于采用反向传播法对所述预先构建的检测识别网络的参数进行优化，直至所述第一误差和所述第二误差分别达到各自的期望值，得到所述识别模型。
在本实施例1中。所述预先构建的检测识别网络包括主干网、颈部、特征映射部以及头部；
所述主干网采用ResNet-50网络，用于提取并保存第一类数据中照片的第一特征信息和第二类数据中照片的第二特征信息；
所述颈部，包括多个自适应空间池化模块，自适应空间池化模块包含自适应池化和自适应空间融合，用于增大第一特征信息和第二特征信息的感受野分别得到第一特征映射和第二特征映射；
所述特征映射部，通过自适应金字塔对第一特征映射和第二特征映射进行自适应空间融合和残差连接，得到最终的特征金塔；
所述头部主要由多个预测子网络组成，用于输出所述第一预测信息和所述第二预测信息。
所述预测子网络包含并行的分类分支和回归分支，在分类分支中，增加了一个中心偏移子分支，用于阻止由远离目标中心点的位置产生的边界框。
在本实施例1中，利用上述采油作业现场人员吸烟检测识别处理***，实现了采油作业现场人员吸烟检测识别处理方法，该方法包括如下流程步骤：
调用摄像头对采油作业现场进行拍照获取环境照片；
使用识别模型对环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
在所述环境照片存在烟头的情况下，则判定采油作业现场人员存在吸烟行为，并发出预警信号。
使用多组数据通过机器学习训练所述识别模型包括：
分别获取第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息；
利用损失函数分别计算所述第一预测信息与所述第一类数据的标签信息的第一误差以及所述第二预测信息与所述第二类数据的标签信息的第二误差；
采用反向传播法对所述预先构建的检测识别网络的参数进行优化，直至所述第一误差和所述第二误差分别达到各自的期望值，得到所述识别模型。
获取第一预测信息和第二预测信息包括：
分别提取第一类数据中的照片的多个第一特征信息以及第二类数据中的照片的多个第二特征信息；
分别合并多个第一特征信息以及多个第二特征信息，得到第一融合特征信息和第二融合特征信息；
根据所述第一融合特征信息和所述第二融合特征信息，分别获取所述第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息。
所述第一预测信息和所述第二预测信息均包括对应的照片中每个像素的类别信息、中心偏移信息和回归信息。
所述第一误差和所述第二误差均包含对应的照片中每个像素的分类误差之和、回归误差之和以及中心点偏移之和。
所述损失函数为：
Figure BDA0002894318850000101
其中，px,y、tx,y分别表示每个像素的位置(x,y)的分类标签的二维向量和边界框坐标的四维向量；Npos表示整个图像的像素个数；
Figure BDA0002894318850000102
表示每个像素的分类损失之和；Lcls、tcx,y分别表示焦损和每个位置(x,y)的真值框的类标签；p{tcx,y>0}表示每个像素为正样本的概率，若tcx,y>0，则p＝1，否则p＝0；Lreg、trx,y分别表示IOU损失和每个像素位置(x,y)的训练回归目标；LBCE表示中心偏移的二分类交叉熵损失函数。
实施例2
本发明实施例2提供一种基于无锚和多尺度特征自适应融合的采油作业现场人员吸烟检测识别处理方法，包括：
利用安装于采油作业现场的摄像头采集现场环境有烟头和没有烟头的正视图图像作为二分类数据集，对所述正视图图像预处理后进行标注得到所述正视图图像的标签信息；然后输入至预先构建的初始采油作业现场吸烟检测网络中，提取多个特征信息，将所述多个特征信息进行合并，得到融合特征信息；
根据所述融合特征信息获取所述正视图图像每个像素的预测信息，利用损失函数计算所述预测信息与所述标签信息的误差；
采用反向传播法对所述初始采油作业现场吸烟检测网络的参数进行优化直至所述误差达到期望值，得到完成训练的采油作业现场人员吸烟检测网络。
将利用安装于采油作业现场的摄像头采集现场环境照片作为待检测的正视图图像，输入至所述完成训练的采油作业现场人员吸烟检测网络，输出所述待检测正视图图像的检测信息。
根据所述检测信息中的类别判断采油作业现场人员是否吸烟，如果在环境照片中检测到烟头，则判定为吸烟且发出警告。
所述对所述正视图图像进行预处理包含：去模糊、光照畸变、裁剪、水平翻转，旋转和将所述图像随机裁剪尺寸为640像素至800像素等，主要是使所述正视图图像更加清晰，增加所述数据集的数量，提高识别精度。
所述每个像素的预测信息包含：所述每个像素的类别信息，中心偏移信息和回归信息；
所述每个像素的类别信息为一个H×W×C的三维矩阵；C为所述数据集的类别数；所述每个像素的中心偏移信息为一个H×W×1的三维矩阵；所述每个像素的回归信息为一个H×W×4的三维矩阵；
进一步优选地，所述损失函数为：
Figure BDA0002894318850000111
其中，px,y、tx,y分别表示每个像素的位置(x,y)的分类标签的二维向量和边界框坐标的四维向量；Npos表示整个图像的像素个数；
Figure BDA0002894318850000112
表示每个像素的分类损失之和；Lcls、tcx,y分别表示焦损和每个位置(x,y)的真值框的类标签；p{tcx,y>0}表示每个像素为正样本的概率，若tcx,y>0，则p＝1，否则p＝0；Lreg、trx,y分别表示IOU损失和每个像素位置(x,y)的训练回归目标；LBCE表示中心偏移的二分类交叉熵损失函数。
在本实施例2中，所述采油作业现场人员吸烟检测网络包括：
主干网，用于提取所述正视图图像的多尺度特征信息；
颈部，用于将所述多尺度特征信息分别通过自适应空间池化模块得到特征映射；
将所述特征映射通过自适应金字塔模块得到一个特征金字塔；
头部，将特征金字塔的每一层特征通过所述头部得到特定的多个预测信息；
将所述多个预测信息进行融合得到所述正视图图像的检测信息。
在本实施例2中，所述主干网为ResNet-50，所述多尺度特征信息为三层尺度分别为对800×1024像素的原始图像经过8倍、16倍和32倍的下采样分别得到100×128、50×64和25×32像素的特征信息；
所述颈部包括自适应池化和自适应空间融合；所述自适应金字塔模块包括自适应空间融合和残差连接；所述头部部分包括多个预测子网络；所述多个预测子网络由多个相同的分类分支和回归分支组成；所述回归分支与分类分支并行且参数共享；所述检测信息为所述正视图图像中的目标的类别和检测边界框。
实施例3
如图2所示，本发明实施例3提供一种基于无锚和多尺度特征自适应融合的采油作业现场人员吸烟检测识别处理方法，该方法具体操作步骤如下：
步骤S11：将预先完成训练的采油作业现场人员吸烟检测网络部署到采油作业现场的服务器上。
步骤S12：通过中央处理器将采油作业现场的摄像头产生的视频流接入到服务器上，将获得的采油作业现场施工人员的视频输入至预先完成训练的采油作业现场人员吸烟检测网络，输出所述视频的检测信息。
步骤S13：根据所述视频的检测信息，对采油作业现场是否有烟头做出判断结果。
步骤S14：根据所述判断结果，若采油作业现场存在烟头，则判定采油作业现场施工人员存在吸烟行为，根据采油作业现场的摄像头ID获得采油作业现场施工人员吸烟的位置。
步骤S15：根据所述采油作业现场施工人员吸烟的位置生产预警信号发送给采油作业现场监控人员。
本实施例3中，将基于无锚和多尺度特征自适应融合的采油作业现场人员吸烟检测方法应用于采油作业现场施工人员吸烟检测***中，利用所述采油作业现场人员吸烟检测网络获取所述视频的检测信息后，根据所述检测信息对采油作业现场施工人员的吸烟行为进行了判断及预警。
实施例4
本发明实施例4提供一种基于无锚和多尺度特征自适应融合的采油作业现场人员吸烟检测识别处理方法，有效提高了小目标检测的精度同时保持了实时检测。
如图3所示，本实施例4中，所述采油作业现场人员吸烟检测识别处理方法具体操作步骤如下：
步骤S01：利用安装在采油作业现场的摄像头采集包含烟头的现场环境和不包含烟头的现场环境正视图图像作为二分类训练集，对所述正视图图像进行标注得到标签信息，然后对初始图像进行预处理操作；
所述预处理操作主要包含：去模糊、光照畸变、裁剪、水平翻转，旋转，归一化处理和将所述图像随机裁剪尺寸为640像素至800像素等，主要是使所述正视图图像更加清晰，增加所述数据集的数量，提高识别精度。
步骤S02：将所述正视图图像输入至预先构建的初始采油作业现场人员吸烟检测网络中，提取多个正视图特征信息和输出预测信息；
如图4所示，本实施例4所提供的预先构建的初始采油作业现场人员吸烟检测网络，为端到端的一阶段无锚检测网络，包括主干网、颈部、特征映射、特征金字塔、头部。
所述检测网络是基于全卷积的，用于预测图像中每个像素的类别信息和回归信息。
所述主干网采用ResNet-50网络，用于提取并保存采油作业现场摄像头采集到的施工人员吸烟和未吸烟正视图图像的特征信息。
如图5所示，所述颈部主要包括多个自适应空间池化模块，这些模块包含自适应池化和自适应空间融合，用来增大所述特征信息的感受野得到所述特征映射。
所述特征映射通过自适应金字塔模块融合多尺度得到最终的特征金塔，所述自适应金字塔模块主要包含自适应空间融合和残差连接。
所述头部主要由多个预测子网络组成，如图6所示。所示预测子网络包含并行的分类分支和回归分支，在分类分支中，增加了一个中心偏移子分支，用于阻止由远离目标中心点的位置产生的低质量的边界框。
步骤S03：通过损失函数计算所述预测信息和所述数据集标签信息的误差。
所述误差主要包含所述正视图图像每个像素的分类误差之和、回归误差之和以及中心点偏移之和。
步骤S04：采用反向传播算法对所述初始采油作业现场人员吸烟检测网络的参数进行优化，以便网络输出的预测值与标签值之间的误差达到最小期望值，完成所述初始采油作业现场人员吸烟检测网络的训练，得到采油作业现场人员吸烟检测网络。
步骤S05：将采油作业现场摄像头采集到的待检测正视图图像输入至所述采油作业现场人员吸烟检测网络，输出所述待检测正视图图像的检测信息。
本实施例4提供的基于无锚和多尺度特征自适应融合的采油作业现场人员吸烟检测识别处理方法，开发了一套无锚一阶段的像素级检测网络架构，除去了锚的使用，减少了参数量和锚相关的复杂计算，在网络架构中创新的引入了自适应池化模块，用来增大特征的感受野；使用自适应金字塔模块融合多尺度特征，以获取多尺度上下文信息，大大的提高了小目标的检测精度同时保持实时检测。特别是复杂的采油作业现场场景下，能够对施工人员吸烟进行较好的检测，且易部署实施。
实施例5
本发明实施例5提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行采油作业现场人员吸烟检测识别处理方法，该方法包括如下流程步骤：
调用摄像头对采油作业现场进行拍照获取环境照片；
使用识别模型对环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
在所述环境照片存在烟头的情况下，则判定采油作业现场人员存在吸烟行为，并发出预警信号。
实施例6
本发明实施例6提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现采油作业现场人员吸烟检测识别处理方法，该方法包括如下流程步骤：
调用摄像头对采油作业现场进行拍照获取环境照片；
使用识别模型对环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
在所述环境照片存在烟头的情况下，则判定采油作业现场人员存在吸烟行为，并发出预警信号。
综上所述，本发明实施例所述的采油作业现场人员吸烟检测识别处理方法，将采油作业现场的摄像头采集到的待检测正视图图像输入至采油作业现场人员吸烟检测网络，输出所述待检测正视图图像的采油作业现场人员吸烟检测信息。根据所述采油作业现场人员吸烟检测信息可判断采油作业现场施工人员是否存在吸烟行为，依据判断结果生成预警信号。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种采油作业现场人员吸烟检测识别处理方法，其特征在于，包括：
调用摄像头对采油作业现场进行拍照获取环境照片；
使用识别模型对环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；使用多组数据通过机器学习训练所述识别模型包括：
利用预先构建的检测识别网络分别获取第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息；所述预先构建的检测识别网络包括主干网、颈部、特征映射部以及头部；所述主干网采用ResNet-50网络，用于提取并保存第一类数据中照片的第一特征信息和第二类数据中照片的第二特征信息；所述颈部，包括多个自适应空间池化模块，自适应空间池化模块包含自适应池化和自适应空间融合，用于增大第一特征信息和第二特征信息的感受野分别得到第一特征映射和第二特征映射；所述特征映射部，通过自适应金字塔对第一特征映射和第二特征映射进行自适应空间融合和残差连接，得到最终的特征金字塔；所述头部主要由多个预测子网络组成，用于输出所述第一预测信息和所述第二预测信息；所述预测子网络包含并行的分类分支和回归分支，在分类分支中，增加了一个中心偏移子分支，用于阻止由远离目标中心点的位置产生的边界框；
利用损失函数分别计算所述第一预测信息与所述第一类数据的标签信息的第一误差以及所述第二预测信息与所述第二类数据的标签信息的第二误差；
采用反向传播法对所述预先构建的检测识别网络的参数进行优化，直至所述第一误差和所述第二误差分别达到各自的期望值，得到所述识别模型；
在所述环境照片存在烟头的情况下，则判定采油作业现场人员存在吸烟行为，并发出预警信号。
2.根据权利要求1所述的采油作业现场人员吸烟检测识别处理方法，其特征在于，获取第一预测信息和第二预测信息包括：
分别提取第一类数据中的照片的多个第一特征信息以及第二类数据中的照片的多个第二特征信息；
分别合并多个第一特征信息以及多个第二特征信息，得到第一融合特征信息和第二融合特征信息；
根据所述第一融合特征信息和所述第二融合特征信息，分别获取所述第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息。
3.根据权利要求2所述的采油作业现场人员吸烟检测识别处理方法，其特征在于，所述第一预测信息和所述第二预测信息均包括对应的照片中每个像素的类别信息、中心偏移信息和回归信息。
4.根据权利要求3所述的采油作业现场人员吸烟检测识别处理方法，其特征在于，所述第一误差和所述第二误差均包含对应的照片中每个像素的分类误差之和、回归误差之和以及中心点偏移之和。
5.根据权利要求1所述的采油作业现场人员吸烟检测识别处理方法，其特征在于，所述损失函数为：
Figure DEST_PATH_IMAGE001
其中，p x,y 、t x,y 分别表示每个像素的位置(x,y)的分类标签的二维向量和边界框坐标的四维向量；N pos 表示整个图像的像素个数；
Figure 950772DEST_PATH_IMAGE002
表示每个像素的分类损失之和；L cls 、tc x,y 分别表示焦损和每个位置(x,y)的真值框的类标签；p{tc x,y >0}表示每个像素为正样本的概率，若tc x,y >0，则p=1，否则p=0；L reg 、tr x,y 分别表示IOU损失和每个像素位置(x,y)的训练回归目标；L BCE 表示中心偏移的二分类交叉熵损失函数。
6.一种采油作业现场人员吸烟检测识别处理***，其特征在于，包括：
采集模块，用于调用摄像头对采油作业现场进行拍照获取环境照片；
识别模块，用于使用识别模型对所述环境照片进行分析，确定所述环境照片中是否有烟头；其中，所述识别模型为使用多组数据通过机器学习训练得出；所述多组数据包括第一类数据和第二类数据；所述第一类数据中的每组数据均包括：包含烟头的照片和标识该照片中包含烟头的标签；第二类数据中的每组数据均包括：不包含烟头的照片和标识该照片中不包含烟头的标签；
判断模块，用于在所述环境照片存在烟头的情况下，判定采油作业现场人员存在吸烟行为，并发出预警信号；
所述识别模块包括预测单元、计算单元以及优化单元；
所述预测单元，用于利用预先构建的检测识别网络分别获取第一类数据中照片的每个像素的第一预测信息和第二类数据中照片的每个像素的第二预测信息；所述预先构建的检测识别网络包括主干网、颈部、特征映射部以及头部；所述主干网采用ResNet-50网络，用于提取并保存第一类数据中照片的第一特征信息和第二类数据中照片的第二特征信息；所述颈部，包括多个自适应空间池化模块，自适应空间池化模块包含自适应池化和自适应空间融合，用于增大第一特征信息和第二特征信息的感受野分别得到第一特征映射和第二特征映射；所述特征映射部，通过自适应金字塔对第一特征映射和第二特征映射进行自适应空间融合和残差连接，得到最终的特征金字塔；所述头部主要由多个预测子网络组成，用于输出所述第一预测信息和所述第二预测信息；所述预测子网络包含并行的分类分支和回归分支，在分类分支中，增加了一个中心偏移子分支，用于阻止由远离目标中心点的位置产生的边界框；
所述计算单元，用于利用损失函数分别计算第一预测信息与所述第一类数据的标签信息的第一误差以及第二预测信息与所述第二类数据的标签信息的第二误差；
所述优化单元，用于采用反向传播法对所述预先构建的检测识别网络的参数进行优化，直至所述第一误差和所述第二误差分别达到各自的期望值，得到所述识别模型。
CN202110038437.4A 2021-01-12 2021-01-12 采油作业现场吸烟人员识别处理方法及*** Active CN112733730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110038437.4A CN112733730B (zh) 2021-01-12 2021-01-12 采油作业现场吸烟人员识别处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110038437.4A CN112733730B (zh) 2021-01-12 2021-01-12 采油作业现场吸烟人员识别处理方法及***

Publications (2)

Publication Number Publication Date
CN112733730A CN112733730A (zh) 2021-04-30
CN112733730B true CN112733730B (zh) 2022-11-18

Family

ID=75591452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110038437.4A Active CN112733730B (zh) 2021-01-12 2021-01-12 采油作业现场吸烟人员识别处理方法及***

Country Status (1)

Country Link
CN (1) CN112733730B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969166A (zh) * 2019-12-04 2020-04-07 国网智能科技股份有限公司 一种巡检场景下小目标识别方法和***
CN111027372A (zh) * 2019-10-10 2020-04-17 山东工业职业学院 一种基于单目视觉与深度学习的行人目标检测识别方法
CN111126278A (zh) * 2019-12-24 2020-05-08 北京邮电大学 针对少类别场景的目标检测模型优化与加速的方法
CN111310850A (zh) * 2020-03-02 2020-06-19 杭州雄迈集成电路技术股份有限公司 车牌检测模型的构建方法及***、车牌检测方法及***
CN112084882A (zh) * 2020-08-18 2020-12-15 深圳英飞拓科技股份有限公司 一种行为检测方法、装置及计算机可读存储介质
CN112085739A (zh) * 2020-08-20 2020-12-15 深圳力维智联技术有限公司 基于弱监督的语义分割模型的训练方法、装置及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629282B (zh) * 2018-03-29 2021-12-24 福建海景科技开发有限公司 一种吸烟检测方法、存储介质及计算机
CN109410218B (zh) * 2018-10-08 2020-08-11 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN111178424A (zh) * 2019-12-26 2020-05-19 中国石油大学(北京) 一种石油化工生产现场安全合规性实时检测***及方法
CN111209893A (zh) * 2020-01-20 2020-05-29 成都国翼电子技术有限公司 一种用于警务督察吸烟行为识别方法
CN111274930B (zh) * 2020-04-02 2022-09-06 成都鼎安华智慧物联网股份有限公司 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN111476252B (zh) * 2020-04-03 2022-07-29 南京邮电大学 一种面向计算机视觉应用的轻量化无锚框目标检测方法
CN111598843B (zh) * 2020-04-24 2022-11-11 国电南瑞科技股份有限公司 基于深度学习的电力变压器呼吸器目标缺陷检测方法
CN111814704B (zh) * 2020-07-14 2021-11-26 陕西师范大学 基于级联注意力与点监督机制的全卷积考场目标检测方法
CN112017161A (zh) * 2020-08-06 2020-12-01 杭州深睿博联科技有限公司 一种基于中心点回归的肺结节检测方法和检测装置
CN111932518A (zh) * 2020-08-12 2020-11-13 杭州深睿博联科技有限公司 一种深度学习的全景牙片病灶检测及分割方法及装置
CN112070729B (zh) * 2020-08-26 2023-07-07 西安交通大学 一种基于场景增强的anchor-free遥感图像目标检测方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027372A (zh) * 2019-10-10 2020-04-17 山东工业职业学院 一种基于单目视觉与深度学习的行人目标检测识别方法
CN110969166A (zh) * 2019-12-04 2020-04-07 国网智能科技股份有限公司 一种巡检场景下小目标识别方法和***
CN111126278A (zh) * 2019-12-24 2020-05-08 北京邮电大学 针对少类别场景的目标检测模型优化与加速的方法
CN111310850A (zh) * 2020-03-02 2020-06-19 杭州雄迈集成电路技术股份有限公司 车牌检测模型的构建方法及***、车牌检测方法及***
CN112084882A (zh) * 2020-08-18 2020-12-15 深圳英飞拓科技股份有限公司 一种行为检测方法、装置及计算机可读存储介质
CN112085739A (zh) * 2020-08-20 2020-12-15 深圳力维智联技术有限公司 基于弱监督的语义分割模型的训练方法、装置及设备

Also Published As

Publication number Publication date
CN112733730A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及***
CN111898581A (zh) 动物检测方法、装置、电子设备及可读存储介质
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN115294117A (zh) Led灯珠的缺陷检测方法及相关装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112434612A (zh) 吸烟检测方法、装置、电子设备及计算机可读存储介质
CN114331949A (zh) 一种图像数据处理方法、计算机设备以及可读存储介质
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN111382638B (zh) 一种图像检测方法、装置、设备和存储介质
CN115880765A (zh) 区域入侵异常行为检测方法、装置及计算机设备
US11532158B2 (en) Methods and systems for customized image and video analysis
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN112733730B (zh) 采油作业现场吸烟人员识别处理方法及***
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN116543333A (zh) 电力***的目标识别方法、训练方法、装置、设备和介质
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN116363656A (zh) 包含多行文本的图像识别方法、装置及计算机设备
CN111401104A (zh) 分类模型的训练方法、分类方法、装置、设备及存储介质
CN117274957B (zh) 一种基于深度学习的道路交通标志检测方法及***
CN111008582B (zh) 一种头部照片分析方法、***和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant