CN115240277A - 安检行为的监控方法、装置、电子设备及存储介质 - Google Patents

安检行为的监控方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115240277A
CN115240277A CN202210956039.5A CN202210956039A CN115240277A CN 115240277 A CN115240277 A CN 115240277A CN 202210956039 A CN202210956039 A CN 202210956039A CN 115240277 A CN115240277 A CN 115240277A
Authority
CN
China
Prior art keywords
label
security
classification model
security inspection
security check
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210956039.5A
Other languages
English (en)
Inventor
陈运华
余祖杰
李鹏飞
曾平平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lansi System Integration Co ltd
Original Assignee
Lansi System Integration Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lansi System Integration Co ltd filed Critical Lansi System Integration Co ltd
Priority to CN202210956039.5A priority Critical patent/CN115240277A/zh
Publication of CN115240277A publication Critical patent/CN115240277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种安检行为的监控方法、装置、电子设备及存储介质，属于安防技术领域。其中，该方法包括：获取多个视角下的安检图像；将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。通过本发明，解决了相关技术中人工监督安检行为难以做到时刻监督的技术问题，提高了安检行为的监控效率。

Description

安检行为的监控方法、装置、电子设备及存储介质
技术领域
本发明涉及安防技术领域，具体而言，涉及一种安检行为的监控方法、装置、电子设备及存储介质。
背景技术
对于高保密性工作场所，需要对违禁物品进行检测、对于高保密性的产品也需要监控禁止产品或设计的流出。随着安检产品的推陈出新，安检仪器设备已经能解决大部分的违禁品，但仍没有一个或几个安防检测设备能够覆盖所有材质和大小物品的检测，安检员的手部触碰式安检仍成为了必要，并占到了一定的比例。安检岗安检员通过手拍触受检人关键***位，避免发生产品泄露和违禁物品携带的情况。安检员的操作有其规范，如何评判安检员的动作是否做齐全，做标准是监测安检工作的重要环节。安检员工作的质量管控存在较大风险，在该场景下，相关技术中关于安检员工作质量监督仅为线上线下巡视抽查方式，通过智能分析方法未见有落地，对于安检岗较多的园区和平台便需要投入大量人力才能保证监控质量，且无法做到时时刻刻监督。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明提供了一种安检行为的监控方法、装置、电子设备及存储介质，以解决相关技术人工监督安检行为难以做到时刻监督，监控效率低的技术问题。
根据本申请实施例的一个方面，提供了一种安检行为的识别方法，包括：获取多个视角下的安检图像；将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
进一步，根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求包括：采用所述多标签分类模型输出与所述目标人员标签信息匹配的安检部位标签；获取多个视角下的安检动作图像；将所述多个视角下的安检动作图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的所述安检部位标签的动作标签和对应的置信度，其中，所述动作标签对应的置信度用于表示安检员按照预设安检要求对受检人的受检部位进行安检的概率，所述受检部位与所述安检部位标签对应；若所述动作标签对应的置信度大于预设阈值，则确定所述安检行为符合预设安检要求。
进一步，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息包括：将所述多个视角下的安检图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的人员外观标签的第一置信度和人员身份属性标签对应的第二置信度；根据所述人员外观标签的第一置信度和所述人员身份属性标签对应的第二置信度分别确定受检人的外观属性和身份属性；根据所述身份属性和外观属性在所述安检图像上添加所述目标人员标签信息。
进一步，所述多标签分类模型包括特征提取模块、特征融合模块和多标签预测模块，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息包括：将所述多个视角下的安检图像输入所述特征提取模块中，提取每个视角下与所述人员标签信息对应的特征信息；将所述特征信息输入至所述特征融合模块中，将多个视角下对应的特征信息进行融合；将融合后的特征信息输入至所述多标签预测模块，得到目标人员标签信息。
进一步，在将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息之前，所述方法还包括：获取安检图像样本；设置所述安检图像样本的样本标签，其中，所述样本标签包括正样本标签，负样本标签，忽略标签，所述正样本标签用于标识对应图像样本包括对应人员属性或安检动作，负样本标签用于标识对应图像样本不包括对应人员属性或安检动作，忽略标签用于指示在训练指定人员属性或安检动作时不使用该安检图像样本；使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型。
进一步，使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型包括：使用所述安检图像样本和以下损失函数Loss对初始模型进行训练，得到所述多标签分类模型：
Figure BDA0003791401290000031
其中，yi为第i个标签对应的标签值，所述标签值取值为0或1，P为多标签分类模型针对每个标签预测的概率值，所述概率值的取值范围为[0,1]，
Figure BDA0003791401290000032
为从i＝1到i＝n的所有标签对应的交叉熵的和，1[yi≠-1]表示当yi≠-1时，输出为1或者输出为0，m为标签值为0或1的数量，n为所有标签的数量。
进一步，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息之前，还包括：获取每个视角下的原始视频帧序列；分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧；根据预设的安检划定区域，对所述当前视频帧进行裁剪，得到各视角下对应的安检区域图，将所述安检区域图作为所述安检图像。
根据本申请实施例的另一个方面，还提供了一种安检行为的监控装置，包括：获取模块，用于获取多个视角下的安检图像；标签确定模块，用于将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；分析模块，用于根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
进一步，所述分析模块包括第一分析模块，所述第一分析模块，用于采用所述多标签分类模型输出与所述目标人员标签信息匹配的安检部位标签；获取多个视角下的安检动作图像；将所述多个视角下的安检动作图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的所述安检部位标签的动作标签和对应的置信度，其中，所述动作标签对应的置信度用于表示安检员按照预设安检要求对受检人的受检部位进行安检的概率，所述受检部位与所述安检部位标签对应；若所述动作标签对应的置信度大于预设阈值，则确定所述安检行为符合预设安检要求。
进一步，所述标签确定模块包括第一确定模块，所述第一确定模块，用于将所述多个视角下的安检图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的人员外观标签的第一置信度和人员身份属性标签对应的第二置信度；根据所述人员外观标签的第一置信度和所述人员身份属性标签对应的第二置信度分别确定受检人的外观属性和身份属性；根据所述身份属性和外观属性在所述安检图像上添加所述目标人员标签信息。
进一步，所述标签确定模块包括第二确定模块，所述第二确定模块，用于将所述多个视角下的安检图像输入所述特征提取模块中，提取每个视角下与所述人员标签信息对应的特征信息；将所述特征信息输入至所述特征融合模块中，将多个视角下对应的特征信息进行融合；将融合后的特征信息输入至所述多标签预测模块，得到目标人员标签信息。
进一步，所述安检行为的监控装置包括模型训练模块，所述模型训练模块用于获取安检图像样本；设置所述安检图像样本的样本标签，其中，所述样本标签包括正样本标签，负样本标签，忽略标签，所述正样本标签用于标识对应图像样本包括对应人员属性或安检动作，负样本标签用于标识对应图像样本不包括对应人员属性或安检动作，忽略标签用于指示在训练指定人员属性或安检动作时不使用该安检图像样本；使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型。
进一步，所述模型训练模块，还用于使用所述安检图像样本和以下损失函数Loss对初始模型进行训练，得到所述多标签分类模型：
Figure BDA0003791401290000041
其中，yi为第i个标签对应的标签值，所述标签值取值为0或1，P为多标签分类模型针对每个标签预测的概率值，所述概率值的取值范围为[0,1]，
Figure BDA0003791401290000042
为从i＝1到i＝n的所有标签对应的交叉熵的和，1[yi≠-1]表示当yi≠-1时，输出为1或者输出为0，m为标签值为0或1的数量，n为所有标签的数量。
进一步，所述安检行为的监控装置包括数据预处理模块，所述数据预处理模块，用于获取每个视角下的原始视频帧序列；分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧；根据预设的安检划定区域，对所述当前视频帧进行裁剪，得到各视角下对应的安检区域图，将所述安检区域图作为所述安检图像。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，获取多个视角下的安检图像；将多个视角下的安检图像输入预先训练的多标签分类模型中，得到多标签分类模型输出的目标人员标签信息，其中，多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；根据目标人员标签信息对当前安检行为进行分析，监测当前安检行为是否符合预设安检要求，通过多标签分类模型对多视角的安检图像进行分析，得出受检人的人员标签信息，进而可以根据人员标签信息对应的安检要求自动监测安检员的当前安检行为是否符合安检规范，解决了相关技术人工监督安检行为难以做到时刻监督的技术问题，提高了安检行为的监控效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种计算机的硬件结构框图；
图2是根据本发明实施例的一种安检行为的监控方法的流程图；
图3是本发明实施例安检行为监控***模块示意图；
图4是本发明实施例的现场布局示意图；
图5是本发明实施例的多标签分类模型的流程示意图；
图6是本发明实施例的基于Residual Block结构的特征提取模块示意图；
图7是本发明实施例的基于Attention Block结构的特征融合模块示意图；
图8是本发明实施例的基于Residual Block结构的预测模块示意图；
图9是根据本发明实施例的一种安检行为的监控装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在手机、计算机、平板或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种视频动静率识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种安检行为的监控方法，图2是根据本发明实施例的一种安检行为的监控方法的流程图，如图2所示，该流程包括如下步骤：
步骤S10，获取多个视角下的安检图像；
安检门岗区域通常有较多的人员进出，安检员安检动作快，***位多因此对安检动作进行监督的实时性要求高。同时，在进行安检动作时安检员与受检人之间的距离较近，容易发生局部遮挡，视觉遮挡的问题很难通过单一摄像头调整合适的角度和位置得到解决，本实施例中设置多个摄像头，通过多个摄像头同时获取多个视角下的安检岗安检员安检行为的安检图像。请参考图4，以单门岗为例，在单门岗的两侧安装摄像头，采用左侧摄像头和右侧摄像头对安检区进行监控，为使拍摄清晰，可参考如下硬件安装参数和摄像头***参数：摄像头架设高度H在3.5米-4.5米范围，摄像头与安检垫所成角度θ约为45°，与安检垫的参考垂直距离d2为1.4米、参考平行距离d1为0.9米，其中，安检垫直径长0.5米，安检垫成可设置为蓝色或其他便于标识的颜色，安检垫高度为10cm-15cm；摄像头分辨率大于1280x720，帧率大于20帧/秒，摄像头为网络摄像头，当然也可以设置其他的参数，此处并不限定。
步骤S20，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；
将多个视角下的安检图像输入预先训练的多标签分类模型中，得到多标签分类模型输出的目标人员标签信息，其中，多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；人员标签信息可以是依据具体的安检需求预先确定的信息，具体地，人员标签信息包括人员外观标签和人员身份属性标签，其中人员外观标签包括“有人/无人”、“长袖/短袖”、“长发/短发/戴帽子”、“正面/背面”等可以通过人员朝向、着装等特征分辨的较为直接的外观标签；人员身份属性标签包括“安检员”、“供应商”、“客户”、“协警”、“员工”等，人员身份属性标签可以通过受检人的着装颜色和/或样式辨别获得，便于后续程序可以针对不同外观属性和身份属性的人员进行特殊的安检规范处理和记录。每个人员标签信息对应一组安检要求的安检行为，例如，如多标签分类模型识别受检人穿着为短袖，则“安检手腕”动作无需进行，若受检人为“短发”则安检动作中可以不用“安检头发”，若是特殊群体“供应商”则需加上“安检仪”检测方式。基于人员标签信息对人员进出进行判断，并对受检人的人员属性进行分析，其中，对人员进出进行判断包括：当多标签分类模型输出的“有人”标签的置信度大于设定阈值(设定阈值例如60％，或者还可以根据实际标准需求设置其他阈值)，则视为该帧安检图像表明已经有人进入安检区，同时若多标签分类模型输出的“正面”标签大于设定阈值则视为受检人正面进入，否则视为“背面”进入。同理，当多标签分类模型的算法给安检图像的“有人”标签的分值小于设定阈值则视为受检人已经离开安检区。需要说明的是，不同标签的置信度可对应设置不同的阈值，即不同标签对应的置信度设定阈值可以相同也可以不同。
步骤S30，根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
根据目标人员标签信息对当前安检行为进行分析，监测当前安检行为是否符合预设安检要求；例如，多标签分类模型输出的目标人员标签信息为“长袖”“长发”“供应商”，“长袖”“长发”“供应商”标签对应的安检要求为安检手腕、头发、并加上安检仪进行检测，则分析当前安检行为是否做出了安检手腕和安检头发的动作，以及是否加上安检仪进行检测，若是，则可确定安检员的安检行为符合预设安检要求。
通过上述步骤，获取多个视角下的安检图像；将多个视角下的安检图像输入预先训练的多标签分类模型中，得到多标签分类模型输出的目标人员标签信息，其中，多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；根据目标人员标签信息对当前安检行为进行分析，监测当前安检行为是否符合预设安检要求，通过多标签分类模型对多视角的安检图像进行分析，得出受检人的人员标签信息，进而可以根据人员标签信息对应的安检要求自动监测安检员的当前安检行为是否符合安检规范，解决了相关技术人工监督安检行为难以做到时刻监督的技术问题，提高了安检行为的监控效率。
在本实施例的一实施方式中，根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求包括：
步骤A，采用所述多标签分类模型输出与所述目标人员标签信息匹配的安检部位标签；
采用多标签分类模型输出与目标人员标签信息匹配的安检部位标签，对于不同的目标人员标签信息有与其匹配的安检部位标签，例如，目标人员标签为长袖，则安检部位标签对应包括手肘手腕等身体部位，目标人员标签为短袖，安检部位标签则不包括手肘手腕的身体部位，安检部位标签可以包括“颈部”、“左肩”、“右肩”、“左手肘”、“右手肘”、“左手腕”、“右手腕”等身体部位，该身体部位可以根据安检要求进行部位增加和细化。
步骤B，获取多个视角下的安检动作图像；
步骤C，将所述多个视角下的安检动作图像输入预先训练的多标签分类模型中，
步骤D，获取所述多标签分类模型输出的所述安检部位标签的动作标签和对应的置信度，其中，所述动作标签对应的置信度用于表示安检员按照预设安检要求对受检人的受检部位进行安检的概率，所述受检部位与所述安检部位标签对应；
步骤E，若所述动作标签对应的置信度大于预设阈值，则确定所述安检行为符合预设安检要求。
进一步采集多个视角下的安检动作图像，将多个视角下的安检动作图像输入预先训练的多标签分类模型中，获取多标签分类模型输出的安检部位标签的动作标签和对应的置信度，其中，动作标签对应的置信度用于表示安检员按照预设安检要求对受检人的受检部位进行安检的概率，受检部位与安检部位标签对应；动作标签为若安检员对受检员通过手部触碰一个或多个受检部位，则确定被触碰的这些受检部位已被安检完成，对应的安检部位标签则表示安检员按照预设安检要求完成了安检动作，若安检员的手部位置未触碰受检部位，则确定被触碰的这些受检部位未被安检，对应的安检部位标签则表示安检员未按照预设安检要求进行安检动作，例如安检员的手部保持在空中或距离受检部位存在预设距离，则确定为“无状态”标签，该标签表示有人，但未有明确的安检动作。若动作标签对应的置信度大于预设阈值，则确定安检行为符合预设安检要求，例如安检部位标签“左肩”的动作标签对应的置信度为90％，预设阈值为60％，则确定安检员按照预设安检要求对左肩进行了安检，并确定安检行为符合预设安检要求，因两只手安检，所以存在一个或两个部位同时达标出现的情况。
在本实施方式中，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息包括：
步骤S201，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的人员外观标签的第一置信度和人员身份属性标签对应的第二置信度；
步骤S202，根据所述人员外观标签的第一置信度和所述人员身份属性标签对应的第二置信度分别确定受检人的外观属性和身份属性；
步骤S203，根据所述身份属性和外观属性在所述安检图像上添加所述目标人员标签信息。
将多个视角下的安检图像输入预先训练的多标签分类模型中，可以获取多标签分类模型输出的人员外观标签的第一置信度和人员身份属性标签对应的第二置信度；在模型训练时，对所有的人员外观标签和人员身份属性标签均会赋值为“1”“0”“-1”中的一种，分别代表“是”，“不是”，“忽略”；对于标签赋值为0或1的情况，每个人员外观标签对应一个第一置信度分值，第一置信度分值对应的取值区间为[0,1]，第一置信度分值越大，则越确定对应的人员外观标签为“是”，多标签分类模型在所有人员外观标签上(例如“短袖”、“长袖”“长发”“短发”“戴帽子”等)均对应有一个分值，只需要从所有人员外观标签中确定出分值大于预设阈值的人员外观标签，仅输出分值大于预设阈值的人员外观标签即可，由于标签对应的分值越高，则对应的人员外观属性的可能性越大，因此根据第一置信度大于预设阈值的人员外观标签确定对应的受检人的外观属性，并在安检图像上添加对应的外观属性。正常情况下，多标签分类模型在所有的人员身份属性标签中只会存在一个第二置信度分值较高的人员身份属性标签，其他的人员身份属性标签的第二置信度分值均较低，因此确定第二置信度达到预设阈值的人员身份属性标签，根据第二置信度达到预设阈值的人员身份属性标签即可确定该受检人的人员身份属性，例如多标签分类模型输出“供应商”对应的第二置信度为80％、其他“安检员”、“客户”、“协警”、“员工”对应的第二置信度分别为11％、12％、13％、14％，均远低于“供应商”对应的第二置信度，预设阈值为60％，“供应商”标签对应的第二置信度大于预设阈值，则表明该受检人员是“供应商”身份属性，则在安检图像上添加“供应商”的人员标签信息，根据多标签分类模型推理出的受检人的属性标签置信度大于设定阈值，图像区域内的人将判定该受检人的身份和外观属性，根据身份属性和外观属性在安检图像上添加目标人员标签信息，将每一帧安检图像经过多标签分类模型推理判别出的标签，均会通过程序标记在这一帧安检图像上，实时的安检图像推流到应用端，可视化地进行展示，使得应用端可实时查看安检视频。
进一步地，每一帧的安检图像以及安检图像上标记的人员标签信息均会进行保留存储；将每个进出的受检人对应的历史视频单独保存为一条安检记录，用户可通过平台查看历史视频；每一次的出岗人员的安检时间和安检部位均会写入到数据库；在应用端可以进行当前时间和历史时间的安检行为数据分析，如针对不同安检门岗，查看每日(或多天)出岗人数、异常数量、异常比例、异常部位的比例等从而有针对性的改善和提升安防策略。参考图3，视频监控采集***采集多个视角下的安检图像，即获取多个视频帧，对多个视频帧进行预处理，具体的预处理过程可参照下述的步骤L-N，此处不做赘述，进而经过多视角多标签分类模型，进行人员进出分析、人员属性分析以及安检动作分析，进而进行数据存储与数据分析，可视化展示以及异常告警处理。
在本实施例的一实施方式中，所述多标签分类模型包括特征提取模块、特征融合模块和多标签预测模块，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息包括：
步骤F，将所述多个视角下的安检图像输入所述特征提取模块中，提取每个视角下与所述人员标签信息对应的特征信息；
步骤G将所述特征信息输入至所述特征融合模块中，将多个视角下对应的特征信息进行融合；
步骤H，将融合后的特征信息输入至所述多标签预测模块，得到目标人员标签信息。
可参考图5，模块一(特征提取层)即特征提取模块，将左右两个视角下的安检图像image1和image2输入特征提取模块中，提取每个视角下与人员标签信息对应的特征信息，其中特征提取层采取权重共享的方式进行实现。进而将左右两个视角的特征信息输入至模块二(特征融合层)即特征融合模块中，即将多个视角下对应的特征信息进行叠加合并融合为一个整体，再将融合后的特征信息输入至模块三(预测层)即多标签预测模块进行二次学***均值池化)等机制进行处理得到融合之后的特征信息。再对该整体进行特征提取，融合后的特征经过多组Residual Block卷积层、全连接层(Fully Connected Layers，FC)、Sigmoid操作得到最终的输出概率。本实施例将在特征提取模块中进行特征提取的过程记为第一阶段，将在多标签预测模块中进行特征提取的过程记为第二阶段，多个安检图像通过第一阶段和第二阶段不断地学习，生成在一个一维的特征向量，每个特征对应一个置信度分值，置信度分值用来描述多个视角下的情况，最终经过处理会在对应的标签下得出对应的置信度分值，例如长袖标签上置信度分值为0.8。
具体地，如图6所示的特征提取模块的结构示意图，包含一组Convolution Block(卷积模块)和一组Residual Block(残差块)，另外Residual Block可以扩展至多组以实现更抽象的特征提取。其中Convolution Block由多组卷积层和一组MaxPool(MaxPool是取一个区域内的最大值)层组成，Residual Block分为上下两部分，第一部分包含左侧的一组1x1的卷积层和右侧的多组卷积层，然后将左右两部分相加作为输出，第二部分只包含多组卷积层，然后将输入和输出相加做为最终的输出。
如图7所示的特征融合模块结构示意图，包含一组Attention Block。其中由一组拼接层、一组卷积层以及一组AvgPool层组成。多组特征按照空间维度进行拼接，然后通过卷积层+Sigmoid(由(-∞,+∞)映射到[0,1]的关系函数)处理得到融合权重，最后将两者相乘再进行AvgPool处理得到融合后的特征，其中AvgPool会依据输入的特征数量进行动态调整。
如图8所示的多标签预测模块结构示意图，其中包含多组Residual Block、一组AvgPool模块以及一组FC+Sigmoid模块。Residual Block基本与特征提取模块的ResidualBlock类似，只是做了卷积层数和通道数量的调整，AvgPool模块将卷积层的Feature Map压缩得到特征向量，最后通过FC+Sigmoid得到最终的输出概率。整个多标签分类模型结构通过端对端(end-to-end)的方式进行多视角下的多标签分类训练，能够充分利用多视角图像数据的信息解决视觉遮挡问题，从而提高安检岗安检员行为分析的准确率和召回率，从而减少漏报和误报。
在本实施方式中，在将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息之前，所述方法还包括：
步骤I，获取安检图像样本；
步骤J，设置所述安检图像样本的样本标签，其中，所述样本标签包括正样本标签，负样本标签，忽略标签，所述正样本标签用于标识对应图像样本包括对应人员属性或安检动作，负样本标签用于标识对应图像样本不包括对应人员属性或安检动作，忽略标签用于指示在训练指定人员属性或安检动作时不使用该安检图像样本；
步骤K，使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型。
通过安检图像样本对初始模型进行训练，得到多标签分类模型，设置安检图像样本的样本标签，样本标签包括正样本标签，负样本标签，忽略标签，正样本标签用于标识对应图像样本包括对应人员属性或安检动作，可理解地，如果图像样本K对应的标签i为真，例如图像样本中确实有人，则“有人”标签为1即
Figure BDA0003791401290000141
负样本标签用于标识对应图像样本不包括对应人员属性或安检动作，如果图像样本K对应的标签i不为真，例如图像样本中没有人，则“有人”标签为0即
Figure BDA0003791401290000142
为了减少数据干扰并且更有利于模型的学习，针对部分模糊样本标签以及“无人”等特殊情况，额外增加了
Figure BDA0003791401290000143
表示样本K需要忽略的忽略标签i。忽略标签用于指示在训练指定人员属性或安检动作时不使用该安检图像样本，忽略标签对应的人员属性处于不确定的中间状态；例如，图像样本中不确定是否有人，则忽略该样本，忽略样本不参与训练，以减少数据干扰，再例如，图像样本中受检人的头发为盘扎起来的长发，从正面视角无法准确确定受检人是否为短发，因此在训练长发短发的人员属性时不使用该安检图像样本，标签数据是一个由-1、0和1组成的一维向量。进而使用安检图像样本和损失函数对初始模型进行训练，得到多标签分类模型，同时，本实施例采用基于Adam的梯度下降法更新模型参数，总共训练40个周期，批次大小(BatchSize)为64。
进一步地，使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型包括：
使用所述安检图像样本和以下损失函数Loss对初始模型进行训练，得到所述多标签分类模型：
Figure BDA0003791401290000151
Figure BDA0003791401290000152
其中：1[yi≠-1]表示当yi≠-1时，输出为1，否则输出为0，即忽略标签为-1的样本。
本实施例采用二分类交叉熵(Binary Cross Entropy,BCE)作为损失函数。即假设待分类的安检图像的预测概率为P，其标签为Y＝{y1，y2，...，yn}，yi为对应第i个标签对应的标签值，该标签值为0或1，P为多标签分类模型针对每个标签预测的概率值，该概率值可为本实施例中的置信度，概率值为[0,1]即0到1之间的任一值，[-yilog(P)-(1-yi)log(1-P)]为二分类交叉熵，即正样本的交叉熵加上负样本的交叉熵，
Figure BDA0003791401290000153
为从i＝1号标签到i＝n号标签，每一个标签都对应有一个交叉熵的值，将所有标签对应的交叉熵的值进行累加，其中：1[yi≠1]表示当yi≠-1时，输出为1或者输出为0，即忽略标签为-1的样本。m为标签值不为-1(即标签值为0或1)的数量，即将标签值为-1的忽略标签进行忽略，不参与求和，n为所有标签的数量，m为所有标签中标签值不为-1的数量。本实施例提供基于多视角的多标签分类模型方法，获取多个视角下的待分类安检岗安检员行为分析的安检图像，并通过特征提取、特征融合、以及结果预测等获得图像的多标签分类结果。多个视角下的图像数据可以有效的减少视觉遮挡，能够提高安检岗安检员行为分析的准确率和召回率，从而减少漏报和误报。
进一步地，本实施例的一实施方式中，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息之前，还包括：
步骤L，获取每个视角下的原始视频帧序列；
步骤M，分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧；
步骤N，根据预设的安检划定区域，对所述当前视频帧进行裁剪，得到各视角下对应的安检区域图，将所述安检区域图作为所述安检图像。
获取每个视角下的原始视频帧序列，分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧，根据预设的安检划定区域，对当前视频帧进行裁剪，得到各视角下对应的安检区域图，将安检区域图作为安检图像输入多标签分类模型进行推理。将视频监控设备现场实施后，安检员与受检人进行模拟动作，通过模拟整个安检动作，在图像配置软件手动框出安检区域，预设的安检划定区域即手动框出的安检区域，由于现场排队安检以及出入的人员较多，比较混乱，因此只对框出来的区域做安检动作识别，可有效提高识别精度。此安检划定区域能够包含安检门垫、安检员、受检人，使得所有动作都在框内且尽量让受检人处于视野中间且安检动作范围占比大于80％(还可以是其他值)。通过程序对网络摄像头取流，获取每个视角下的原始视频帧序列，以左右两个视角为例作说明，若监控视频无法正常读取，则进行监控异常处理等待恢复再进行后续图像分析；程序维持多个视角下的多个视频帧缓存区，该缓存区存储原始视频帧序列，分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧；即每次程序分别从多个缓存区队列中取出同一时刻各视角下的最新的视频帧；视频帧获得后，根据现场摄像头架设后划定的安检区域，通过程序opencv裁剪取出安检区域图；对安检区域截取后，每个安检区域图均处理成同尺寸的图像，形成一组多视角图像数据，送入多标签分类模型进行推理。
进一步地，在监测当前安检行为是否符合预设安检要求之后，若监测当前安检行为不符合预设安检要求，则输出异常提示，控制进出闸机关闭。当受检人离开安检区域后，该次的安检行为已经结束，对安检动作做最终判定。判断出漏检或不检的异常流程，会立即进行一系列的异常处理。处理方式包括：在web***上及时弹出异常窗口，监控室的人员将会看到异常提示信息；直接通过接口联动控制现场出入岗门口的进出闸机，主动关闭闸机并发出声音提示；推送手机短信，异常告警后，直接将异常信息(时间、门岗和何种异常)发送到当周的值班人员手机上。本实施例可有效监测安检员的安检操作是否规范，能够利用有限的硬件资源，进行高实时率和高准确性的安检行为分析。对每一个出入员工的安检过程能够数据化，实时监控查看。可完成单门岗、双门岗、3门岗及以上数量门岗的覆盖，经过分析统计误检率低于5％，视频的异常捕捉效率极高，有效的降低了安检员安检动作遗漏风险；其次在节约成本方面主要是人力成本的节约。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种安检行为的监控装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的一种安检行为的监控装置的结构框图，如图9所示，该装置包括：获取模块60，标签确定模块61，分析模块62，其中，
获取模块60，用于获取多个视角下的安检图像；
标签确定模块61，用于将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；
分析模块62，用于根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
可选的，所述分析模块包括第一分析模块，所述第一分析模块，用于采用所述多标签分类模型输出与所述目标人员标签信息匹配的安检部位标签；获取多个视角下的安检动作图像；将所述多个视角下的安检动作图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的所述安检部位标签的动作标签和对应的置信度，其中，所述动作标签对应的置信度用于表示安检员按照预设安检要求对受检人的受检部位进行安检的概率，所述受检部位与所述安检部位标签对应；若所述动作标签对应的置信度大于预设阈值，则确定所述安检行为符合预设安检要求。
可选的，所述标签确定模块包括第一确定模块，所述第一确定模块，用于将所述多个视角下的安检图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的人员外观标签的第一置信度和人员身份属性标签对应的第二置信度；根据所述人员外观标签的第一置信度和所述人员身份属性标签对应的第二置信度分别确定受检人的外观属性和身份属性；根据所述身份属性和外观属性在所述安检图像上添加所述目标人员标签信息。
可选的，所述标签确定模块包括第二确定模块，所述第二确定模块，用于将所述多个视角下的安检图像输入所述特征提取模块中，提取每个视角下与所述人员标签信息对应的特征信息；将所述特征信息输入至所述特征融合模块中，将多个视角下对应的特征信息进行融合；将融合后的特征信息输入至所述多标签预测模块，得到目标人员标签信息。
可选的，所述安检行为的监控装置包括模型训练模块，所述模型训练模块用于获取安检图像样本；设置所述安检图像样本的样本标签，其中，所述样本标签包括正样本标签，负样本标签，忽略标签，所述正样本标签用于标识对应图像样本包括对应人员属性或安检动作，负样本标签用于标识对应图像样本不包括对应人员属性或安检动作，忽略标签用于指示在训练指定人员属性或安检动作时不使用该安检图像样本；使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型。
可选的，所述模型训练模块，还用于使用所述安检图像样本和以下损失函数Loss对初始模型进行训练，得到所述多标签分类模型：
Figure BDA0003791401290000181
其中，yi为第i个标签对应的标签值，所述标签值取值为0或1，P为多标签分类模型针对每个标签预测的概率值，所述概率值的取值范围为[0,1]，
Figure BDA0003791401290000182
为从i＝1到i＝n的所有标签对应的交叉熵的和，1[yi≠-1]表示当yi≠-1时，输出为1或者输出为0，m为标签值为0或1的数量，n为所有标签的数量。
可选的，所述安检行为的监控装置包括数据预处理模块，所述数据预处理模块，用于获取每个视角下的原始视频帧序列；分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧；根据预设的安检划定区域，对所述当前视频帧进行裁剪，得到各视角下对应的安检区域图，将所述安检区域图作为所述安检图像。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取多个视角下的安检图像；
S2，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；
S3，根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取多个视角下的安检图像；
S2，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；
S3，根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种安检行为的监控方法，其特征在于，所述方法包括：
获取多个视角下的安检图像；
将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；
根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
2.根据权利要求1所述的方法，其特征在于，根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求包括：
采用所述多标签分类模型输出与所述目标人员标签信息匹配的安检部位标签；
获取多个视角下的安检动作图像；
将所述多个视角下的安检动作图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的所述安检部位标签的动作标签和对应的置信度，其中，所述动作标签对应的置信度用于表示安检员按照预设安检要求对受检人的受检部位进行安检的概率，所述受检部位与所述安检部位标签对应；
若所述动作标签对应的置信度大于预设阈值，则确定所述安检行为符合预设安检要求。
3.根据权利要求1所述的方法，其特征在于，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息包括：
将所述多个视角下的安检图像输入预先训练的多标签分类模型中，获取所述多标签分类模型输出的人员外观标签的第一置信度和人员身份属性标签对应的第二置信度；
根据所述人员外观标签的第一置信度和所述人员身份属性标签对应的第二置信度分别确定受检人的外观属性和身份属性；
根据所述身份属性和外观属性在所述安检图像上添加所述目标人员标签信息。
4.根据权利要求1所述的方法，其特征在于，所述多标签分类模型包括特征提取模块、特征融合模块和多标签预测模块，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息包括：
将所述多个视角下的安检图像输入所述特征提取模块中，提取每个视角下与所述人员标签信息对应的特征信息；
将所述特征信息输入至所述特征融合模块中，将多个视角下对应的特征信息进行融合；
将融合后的特征信息输入至所述多标签预测模块，得到目标人员标签信息。
5.根据权利要求1所述的方法，其特征在于，在将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息之前，所述方法还包括：
获取安检图像样本；
设置所述安检图像样本的样本标签，其中，所述样本标签包括正样本标签，负样本标签，忽略标签，所述正样本标签用于标识对应图像样本包括对应人员属性或安检动作，负样本标签用于标识对应图像样本不包括对应人员属性或安检动作，忽略标签用于指示在训练指定人员属性或安检动作时不使用该安检图像样本；
使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型。
6.根据权利要求5所述的方法，其特征在于，使用所述安检图像样本和损失函数对初始模型进行训练，得到所述多标签分类模型包括：
使用所述安检图像样本和以下损失函数Loss对初始模型进行训练，得到所述多标签分类模型：
Figure FDA0003791401280000031
Figure FDA0003791401280000032
其中，yi为第i个标签对应的标签值，所述标签值取值为0或1，P为多标签分类模型针对每个标签预测的概率值，所述概率值的取值范围为[0,1]，
Figure FDA0003791401280000033
为从i＝1到i＝n的所有标签对应的交叉熵的和，1[yi≠-1]表示当yi≠-1时，输出为1或者输出为0，m为标签值为0或1的数量，n为所有标签的数量。
7.根据权利要求1所述的方法，其特征在于，将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息之前，还包括：
获取每个视角下的原始视频帧序列；
分别获取同一时刻各视角下的原始视频帧序列中的当前视频帧；
根据预设的安检划定区域，对所述当前视频帧进行裁剪，得到各视角下对应的安检区域图，将所述安检区域图作为所述安检图像。
8.一种安检行为的监控装置，其特征在于，包括：
获取模块，用于获取多个视角下的安检图像；
标签确定模块，用于将所述多个视角下的安检图像输入预先训练的多标签分类模型中，得到所述多标签分类模型输出的目标人员标签信息，其中，所述多标签分类模型包括多个人员标签信息，每个人员标签信息对应一组安检要求的安检行为；
分析模块，用于根据所述目标人员标签信息对当前安检行为进行分析，监测所述当前安检行为是否符合预设安检要求。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
CN202210956039.5A 2022-08-10 2022-08-10 安检行为的监控方法、装置、电子设备及存储介质 Pending CN115240277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210956039.5A CN115240277A (zh) 2022-08-10 2022-08-10 安检行为的监控方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210956039.5A CN115240277A (zh) 2022-08-10 2022-08-10 安检行为的监控方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115240277A true CN115240277A (zh) 2022-10-25

Family

ID=83679819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210956039.5A Pending CN115240277A (zh) 2022-08-10 2022-08-10 安检行为的监控方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115240277A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189101A (zh) * 2023-04-28 2023-05-30 公安部第一研究所 一种安检员视觉作业规范识别判定和引导的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189101A (zh) * 2023-04-28 2023-05-30 公安部第一研究所 一种安检员视觉作业规范识别判定和引导的方法及***
CN116189101B (zh) * 2023-04-28 2023-08-04 公安部第一研究所 一种安检员视觉作业规范识别判定和引导的方法及***

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
CN110674772B (zh) 电力作业现场智能安全管控辅助***及方法
JP7014440B2 (ja) 映像監視システム、映像処理方法および映像処理プログラム
CN110428522A (zh) 一种智慧新城的智能安防***
CN109309808A (zh) 一种基于人脸识别的监控***及方法
CN109298785A (zh) 一种监测设备的人机联控***及方法
CN111191507A (zh) 智慧社区的安全预警分析方法及***
CN109831634A (zh) 目标对象的密度信息确定方法及装置
CN115240277A (zh) 安检行为的监控方法、装置、电子设备及存储介质
CN112241651B (zh) 数据展示方法及***、数据处理方法、存储介质、***
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及***
CN113469080B (zh) 一种个体、群体、场景交互协同感知方法、***及设备
CN105095891A (zh) 一种人脸捕捉的方法，装置及***
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警***及方法
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示***
Hameete et al. Intelligent Multi-Camera Video Surveillance.
CN115829324A (zh) 一种人员安全风险静默监视方法
CN113902987A (zh) 群体智能的对象检测方法、存储介质和处理器
CN114429677A (zh) 一种煤矿场景作业行为安全识别考核方法及***
CN115116136A (zh) 一种异常行为检测方法、装置、介质
CN111126771B (zh) 基于区域关注度预测安检员识图质量监督保障***及方法
CN112347889A (zh) 一种变电站作业行为辨识方法及装置
CN112288266A (zh) 调车手信号的处理、模型获取方法、装置、设备及介质
CN110443197A (zh) 一种视觉场景智能理解方法及***
CN207995400U (zh) 一种基于无线传感器的多个体绑定关系的判定***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination